職位描述
Python爬蟲開發(fā)云計算/大數(shù)據(jù)互聯(lián)網(wǎng)
崗位職責(zé)：
1、負責(zé)設(shè)計和開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，從各種數(shù)據(jù)源中抓取數(shù)據(jù)；
2、對抓取到的數(shù)據(jù)進行清洗、去重、轉(zhuǎn)換等處理，確保數(shù)據(jù)的質(zhì)量和準確性；
3、解決爬蟲過程中遇到的各種技術(shù)問題，如反爬機制、IP封鎖、驗證碼識別等；
4、持續(xù)優(yōu)化爬蟲策略和算法，提高數(shù)據(jù)抓取的效率和覆蓋率；
5、與數(shù)據(jù)分析師、開發(fā)團隊等合作，將抓取到的數(shù)據(jù)集成到公司的數(shù)據(jù)平臺或應(yīng)用中。
任職要求：
1、計算機、軟件工程等統(tǒng)招本科及以上學(xué)歷，具有2年及以上工作經(jīng)驗；
2、熟練掌握至少一門編程語言 Python、Java 等，精通至少一種常用的爬蟲框架和工具，如 Scrapy、BeautifulSoup、Selenium（Python）、OkHttp；能夠獨立承擔(dān)爬蟲工作
3、熟悉 HTTP 協(xié)議、HTML、CSS、JavaScript 等，能夠分析網(wǎng)頁結(jié)構(gòu)和數(shù)據(jù)提取邏輯
4、熟悉數(shù)據(jù)庫操作，如 MySQL、MongoDB等；
5、熟悉分布式爬蟲架構(gòu)和技術(shù)，能夠應(yīng)對各種復(fù)雜的反爬機制；有大型分布式爬蟲系統(tǒng)（全網(wǎng)和垂直抓?。┑拈_發(fā)經(jīng)驗優(yōu)先；
6、對數(shù)據(jù)敏感，有數(shù)據(jù)分析和挖掘經(jīng)驗者優(yōu)先；
7、熟悉主流爬取技術(shù)，如協(xié)議破解、模擬點擊、AST解混淆、app逆向等，能夠解決封賬號、封IP、驗證碼等問題者優(yōu)先
8、具有良好的專業(yè)素養(yǎng)，有較好的學(xué)習(xí)能力，有分析問題、解決問題的能力，有較好的領(lǐng)悟力和執(zhí)行力；
9、工作積極互動，責(zé)任心強，服從安排，身心健康，有一定的抗壓能力；
10、善于溝通，具備較好的團隊合作精神。
工作地點
閔行區(qū)上海通用識別技術(shù)研究所-西門
相似職位
- 開發(fā)工程師（爬蟲方向）7000-14000元
上海 - 楊浦
上海畢得醫(yī)藥科技股份有限公司 - 開發(fā)工程師（爬蟲方向）8000-15000元
上海 - 楊浦
上海畢得醫(yī)藥科技股份有限公司 - 爬蟲工程師（項目合作）1.5-3萬
上海 - 浦東
美國Selleck生物科技有限公司 - 高級爬蟲工程師1.8-2.2萬
上海 - 閔行
上?，F(xiàn)代通用識別技術(shù)有限公司 - python爬蟲工程師（線上一輪面試）8000-9000元
上海 - 徐匯
上海申美信息科技有限公司北京分公司 - 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
姬女士/人事招聘
昨日活躍立即溝通
上海現(xiàn)代通用識別技術(shù)有限公司
上?，F(xiàn)代通用識別技術(shù)有限公司是專門從事高端證件的防偽設(shè)計和制作、個性化數(shù)碼印刷服務(wù)的國有企業(yè)，承擔(dān)過許多重要身份識別項目的設(shè)計研發(fā)工作，國家和地方重要證件的設(shè)計制作，并積極努力參與市場竟?fàn)帲瑸樯鐣_發(fā)了一系列相關(guān)技術(shù)產(chǎn)品。公司擁有先進的管理系統(tǒng)，通過了具有"國際貿(mào)易通行證"之稱的ISO9001國際質(zhì)量體系認證，保證了每個產(chǎn)品成本合理、質(zhì)量穩(wěn)定、性能可靠。公司擁有一批一流的研發(fā)人才保證了技術(shù)不斷創(chuàng)新，新品層出不窮。近些年來公司在技術(shù)創(chuàng)新方面取得了不斐的成績：證件塑卡防偽印刷方面：我們擁有一支高水平的設(shè)計、制版、印刷專業(yè)技術(shù)人才隊伍，在印刷防偽工藝上具有獨步的多方位的技術(shù)手段、配合先進的設(shè)計軟件和一流的工藝設(shè)備，能夠為用戶提供具有高防偽性、質(zhì)量上乘、數(shù)字準確的高端防偽產(chǎn)品，如各種塑卡和紙質(zhì)證件和有價證（券）以及證書等。在防偽印刷工藝、技術(shù)和材料和的開發(fā)方面我們注重特種材料和特殊工藝的研究和開發(fā)，主要產(chǎn)品有：特種紙張、特種油墨、激光全息、裝幀材料、微型標識等。在數(shù)碼印刷方面：我們擁有目前先進的富士施樂數(shù)碼印刷機，可以為我們的客戶提供從各種數(shù)碼圖文設(shè)計、彩色黑白數(shù)碼快印、可變數(shù)據(jù)快印等個性化，同時提供全套的印后加工服務(wù)。在技術(shù)研發(fā)方面：擁有高技術(shù)研發(fā)人員，針對特定項目開展定制化研發(fā)服務(wù)。公司位于閔行區(qū)浦江鎮(zhèn)863軟件孵化基地內(nèi)，環(huán)境優(yōu)美、設(shè)施完備、配套齊全。除了通過ISO9001質(zhì)量管理體系的認證、高新企業(yè)認證外，我公司還具備上海市保密局下發(fā)的保密印刷的資質(zhì)，還擁有一支年輕，富有開拓創(chuàng)新精神的團隊。今后我們還將不斷的健全經(jīng)營機制，完善管理模式，優(yōu)化服務(wù)體系，竭誠為您擔(dān)供優(yōu)質(zhì)便捷的服務(wù)。
公司主頁