職位描述
1、負責爬蟲系統的設計與開發,核心工作是編寫對應java代碼或python腳本;
2、負責網頁信息和APP數據抽取、清洗、消重等工作,提升平臺的抓取效率;
3、實時監控爬蟲進度和預警處理;
4、與產品部門和上級溝通確保數據的準確性及時性;
5、了解項目需求和設計,評審數據庫表結構設計;
6、參與需求評審,根據需求進行數據采集工作;
任職要求:
1、本科及以上,計算機相關專業,5年以上相關工作經驗;
2、Mysql、python、scrapy、selenium、正則表達式、html;
3、熟悉java、python的爬蟲框架;
4、熟練掌握 html、css、xpath、正則表達式、scrapy、selenium、pandas;
5、深入了解 HTTP,TCP/IP 網絡協議;
6、熟悉常見的反爬策略,有一定的研究和解決問題的能力;
7、具備相關IT專業證書優先;