任職資格:
1.計算機、統計學等相關專業,國家統招本科及以上學歷;
2.熟悉Linux操作系統、關系型和非關系型數據庫管理系統,熟練掌握Python、JavaScrip編程語言,具備扎實的數據結構與算法基礎;
3.熟悉主流爬蟲框架,熟練掌握ADSL 撥號代理、正則表達式、加解密處理、圖像識別破解等多種爬蟲技術;
4.熟悉主流反爬蟲技術機制及其突破方案,對各類反爬手段(如賬號/IP封禁機制、各類驗證碼、JS混淆加密、滑塊驗證、數據混淆等)有實際解決經驗。
崗位職責:
1.負責網頁及APP接口數據采集技術研發,深入發掘各類網頁及APP接口特性與規律,研發高效、穩定的數據采集技術方案;
2.負責爬蟲抓取策略及防屏蔽規則的設計與優化,構建反爬對抗組件庫,提升數據采集的效率、成功率和數據質量;
3.參與數據層建設,專注于特定垂直領域的數據爬取工作,進行多平臺信息的抓取、整合與分析;
4.負責智能采集系統的設計與開發,包括但不限于采集任務調度管理、頁面智能解析與結構化信息抽取、海量數據的存儲與高效讀取等核心模塊。
注:本崗位為子公司招聘,一經錄用,將與安徽省建院數智科技有限公司簽訂勞動合同。