職位描述
反爬蟲分布式爬蟲爬蟲開發(fā)
【崗位職責(zé)】
1、負(fù)責(zé)網(wǎng)絡(luò)資源的搜集、抽取、清洗、去重、分類及過濾，構(gòu)建高質(zhì)量的數(shù)據(jù)資源庫(kù)；
2、根據(jù)業(yè)務(wù)需求，設(shè)計(jì)并實(shí)現(xiàn)高效的數(shù)據(jù)采集方案，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性；
3、協(xié)助業(yè)務(wù)部門進(jìn)行數(shù)據(jù)的更新與維護(hù)，提供數(shù)據(jù)支持及解決方案；
4、優(yōu)化采集腳本，提升數(shù)據(jù)采集效率，解決采集過程中的反爬蟲策略問題；
5、參與數(shù)據(jù)采集工具的開發(fā)以及成品數(shù)據(jù)集的制作。
【任職要求】
1、統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)、電子信息、軟件工程等相關(guān)專業(yè)；
2、熟練掌握Python編程語(yǔ)言，具備扎實(shí)的編程基礎(chǔ)，熟悉正則表達(dá)式、XPATH、requests等技術(shù)；
3、熟悉Web前端技術(shù)，包括HTML、HTTP、JavaScript、JSON等，能夠處理動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)；
4、掌握常用數(shù)據(jù)庫(kù)操作，mongodb，mysql等
5、了解Linux開發(fā)環(huán)境，掌握基本shell命令，具備linux部署的能力；
6、有爬蟲類項(xiàng)目經(jīng)驗(yàn)優(yōu)先，熟悉常用的爬蟲框架（如Scrapy、自動(dòng)化等）；
7、具備網(wǎng)絡(luò)資源搜集、信息抽取、文本分類等相關(guān)經(jīng)驗(yàn)者優(yōu)先；
8、具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神，能夠獨(dú)立解決問題并承擔(dān)工作壓力。
工作地點(diǎn)
合肥蜀山區(qū)天源迪科科技園
相似職位
- 大數(shù)據(jù)爬蟲工程師8000-16000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - 大數(shù)據(jù)爬蟲工程師6000-12000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - 初級(jí)Python工程師（爬蟲）7000-12000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - 爬蟲工程師8000-12000元
合肥 - 蜀山
飛友科技有限公司 - python爬蟲助理工程師5000-6000元
合肥 - 廬陽(yáng)
安徽雅云暉智能科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
李先生/招聘
當(dāng)前在線立即溝通
安徽九聯(lián)正遠(yuǎn)教育科技有限公司安徽九聯(lián)正遠(yuǎn)教育科技有限公司自2016年3月成立以來，經(jīng)過精心布局，現(xiàn)已擁有校企合作辦學(xué)、金融培訓(xùn)、無人機(jī)應(yīng)用技術(shù)職業(yè)教育、人工智能等多個(gè)戰(zhàn)略布局模塊。數(shù)年來，公司深耕于金融、人工智能以及無人機(jī)應(yīng)用技術(shù)職業(yè)教育十余年，與亳州學(xué)院、信陽(yáng)職業(yè)技術(shù)學(xué)院、南陽(yáng)農(nóng)業(yè)職業(yè)學(xué)院、鶴壁職業(yè)技術(shù)學(xué)院、六安職業(yè)技術(shù)學(xué)院、滁州技師學(xué)院等院校合作開設(shè)金融科技應(yīng)用、財(cái)富管理、無人機(jī)、人工智能等校企合作專業(yè)，在校學(xué)生3000余人,是“市場(chǎng)需求和勞動(dòng)就業(yè)緊密結(jié)合，校企合作、工學(xué)結(jié)合,結(jié)構(gòu)合理、形式多樣，靈活開放、自助發(fā)展,有中國(guó)特色的現(xiàn)代職業(yè)教育體系”的開創(chuàng)者和中堅(jiān)力量。當(dāng)前，主要發(fā)展人工智能板塊，業(yè)務(wù)范圍廣泛，主要包括數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)質(zhì)檢、數(shù)據(jù)交付等環(huán)節(jié)，目前我們擁有專業(yè)的標(biāo)注團(tuán)隊(duì)以及先進(jìn)的標(biāo)注工具，能夠高效、準(zhǔn)確地完成各種類型的數(shù)據(jù)標(biāo)注任務(wù)。目前主要有合肥、成都、西安等職場(chǎng)未來我們將廣泛和各種職業(yè)技術(shù)院校拓展合作空間，不斷創(chuàng)新合作模式。與此同時(shí)，我們也會(huì)不斷提高自身的技術(shù)實(shí)力與服務(wù)水平，滿足客戶日益增長(zhǎng)的要求。
公司主頁(yè)