崗位要求:
1.負責設(shè)計開發(fā)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略,進行多平臺信息的抓取和分析
2.設(shè)計爬蟲策略和防屏蔽規(guī)則,完成對復雜網(wǎng)站和APP的信息抓取
3.參與業(yè)務(wù)功能需求探討,數(shù)據(jù)分析處理落地,并提供后端接口
任職資格:
1.熟悉web、APP抓取原理及技術(shù),熟悉常用的爬蟲網(wǎng)絡(luò)框架及重要組件;
2.至少熟悉Python、Nodejs、Go等一種編程語言,熟練掌握MySQL、Redis等數(shù)據(jù)庫的使用
3.了解常見的反爬機制,能夠破解常見的反爬機制
4.了解抓包技巧,突破抓包驗證
5.具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于分析問題解決問題
加分項(非必須):
1.了解相關(guān)APP逆向技術(shù)、js逆向和相關(guān)調(diào)試工具
2.掌握軟件加密解密知識
3.了解反爬蟲相關(guān)技術(shù)棧
4.有機票行業(yè)相關(guān)經(jīng)驗優(yōu)先