職位描述
PythonJavaScript數據采集爬蟲開發反爬蟲分布式爬蟲Scrapy互聯網IT服務計算機軟件
一、職位描述：
1、負責設計和開發分布式的網絡爬蟲應用，包括調度、抓取、入庫等內容，進行互聯網相關信息的抓取和分析
2、負責實現大規模數據的抓取、抽取，去重、分類，垃圾過濾，質量識別、解析入庫等工作
3、負責對指定的多個網站進行網頁抓取、數據提取、破解反爬策略
4、承接開發任務，需求分析，確保按時按質按量完成任務
5、有良好的溝通和學習能力.有較強的團隊協作能力以及快速解決問題的能力。
二、崗位要求：
1、計算機或相關專業、具備3年以上項目開發經驗；
2、具有scrapy, scrapy-redis開發經驗；
3、具有web逆向經驗, 如滑塊驗證碼, 瑞數5代6代
4、熟悉多線程、網絡編程，精通網頁抓取原理及技術，精通正則表達式；?
5、熟悉并熟練應用各種常見加密算法；?
6、熟悉至少一種關系型數據庫(MySQL等); 熟悉NoSQL redis mongodb；至少熟悉一種mq, 有過數據庫調優和海量數據存儲經驗優先；
7、具有工商數據、金融數據、案件數據抓取經驗者優先;?
8、有移動平臺（iOS，安卓）開發經驗優先；
?
工作地點
上海浦東新區中國人壽金融中心
相似職位
- python爬蟲工程師（線上一輪面試）8000-9000元
上海 - 徐匯
上海申美信息科技有限公司北京分公司 - 開發工程師（爬蟲方向）7000-14000元
上海 - 楊浦
上海畢得醫藥科技股份有限公司 - 高級爬蟲工程師1.8-2.2萬
上海 - 閔行
上海現代通用識別技術有限公司 - 開發工程師（爬蟲方向）8000-15000元
上海 - 楊浦
上海畢得醫藥科技股份有限公司 - 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - 爬蟲工程師（項目合作）1.5-3萬
上海 - 浦東
美國Selleck生物科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業銀行招聘
- 交通銀行招聘
- 建發集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發布者
郭女士/人事經理
三日內活躍立即溝通
上海問道云人工智能科技有限公司上海問道云人工智能科技有限公司成立于2017年，從事人工智能創新研究，致力于將先進的人工智能技術與行業應用相結合。用堅實的技術力量參與人工智能領域的基礎性科學研究，致力服務于金融、法律、零售等多個行業。
公司主頁