精品一久久_日韩成人激情_av2016天堂网_国产成年片_日日影视_精品国产观看

1、負責設(shè)計、開發(fā)及優(yōu)化爬蟲逆向工程流程，高效獲取并處理互聯(lián)網(wǎng)數(shù)據(jù)，技術(shù)預研難點公關(guān)工作； 2、深入分析目標網(wǎng)站的反爬機制，制定有效的應(yīng)對策略； 3、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼、混淆加密，算法還原，so層，頁面跳轉(zhuǎn)等難點攻克，提升網(wǎng)頁抓取的效率和質(zhì)量； 4、對抓取后的數(shù)據(jù)進行清洗、存儲等，并持續(xù)優(yōu)化平臺，以便滿足各種爬取業(yè)務(wù)需求。 5、負責網(wǎng)絡(luò)爬蟲系統(tǒng)平臺的架構(gòu)設(shè)計與開發(fā)（如抓取調(diào)度、多樣化抓取，頁面解析和結(jié)構(gòu)化抽取）、技術(shù)選型； 任職要求： 1、精通Python爬蟲框架，熟悉Scrapy、Selenium等自動化工具； 2、具備扎實的網(wǎng)絡(luò)協(xié)議知識，熟悉HTML、CSS、JavaScript等前端技術(shù)； 3、有成功解決復雜反爬蟲問題的經(jīng)驗，熟悉常見反爬蟲技術(shù)及繞過方法； 4、精通軟件逆向、加密解密知識、各種軟件逆向工程開發(fā)工具使用；熟悉軟件逆向分析流程； 薪酬：20000-40000 年十三薪外另項目獎金