職位描述
PythonScrapyNumPyPandas數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)挖掘
職位概要:
負(fù)責(zé)設(shè)計并實現(xiàn)爬蟲框架、規(guī)范及監(jiān)控體系，對目標(biāo)網(wǎng)站內(nèi)容及附件數(shù)據(jù)進(jìn)行采集。對采集數(shù)據(jù)和文檔進(jìn)行大模型提取的前處理以及后處理，確保數(shù)據(jù)入庫的質(zhì)量和效率。
崗位職責(zé):
1.數(shù)據(jù)采集系統(tǒng)開發(fā)與維護(hù)：
（1）開發(fā)維護(hù)目標(biāo)網(wǎng)站數(shù)據(jù)采集程序和框架（如強(qiáng)化版Scrapy），解決登錄驗證、令牌加密、IP/頻率限制、驗證碼等復(fù)雜反爬挑戰(zhàn)；
（2）建設(shè)和維護(hù)統(tǒng)一采集任務(wù)管理監(jiān)控平臺（調(diào)度、監(jiān)控、報警、日志、自動補(bǔ)漏）；
2.數(shù)據(jù)預(yù)處理與后處理：
（1）對原始數(shù)據(jù)和文檔進(jìn)行預(yù)處理，如自動化分類、格式轉(zhuǎn)換、糾錯等，滿足大模型輸入要求；
（2）對大模型輸出數(shù)據(jù)使用算法或模型進(jìn)行后處理，包括自動化校驗與規(guī)范化；
3.數(shù)據(jù)入庫和集成協(xié)作：
（1）與后端團(tuán)隊協(xié)作，設(shè)計和實現(xiàn)數(shù)據(jù)入庫、任務(wù)調(diào)度和推送 任職資格：
1、本科以上學(xué)歷，計算機(jī)、數(shù)學(xué)、數(shù)據(jù)科學(xué)、統(tǒng)計學(xué)相關(guān)專業(yè)優(yōu)先。
2、5年以上工作經(jīng)驗，3年以上Python開發(fā)和數(shù)據(jù)處理經(jīng)驗，擅長數(shù)據(jù)采集（爬蟲），熟悉大模型
技術(shù)核心：
1、精通Python 及生態(tài)，熟悉 pandas, numpy 等數(shù)據(jù)處理框架.
2、熟悉 Scrapy框架、Requests、BeautifulSoup/lxml
3、熟悉 MySQL/PostgreSQL、MongoDB、Redis 的操作、基礎(chǔ)設(shè)計與SQL查詢
4、熟悉Git的使用
5、熟悉Selenium、Playwright 或 Puppeteer等
6、（加分項）了解 rabbitmq, redis, celery 等分布式任務(wù)調(diào)度框架
7、（加分項）了解 python async 或多進(jìn)程多線程高性能開發(fā)
工作地點
雙流區(qū)超圖成都大廈1棟
相似職位
- 爬蟲與數(shù)據(jù)工程師1.2-1.8萬
成都 - 雙流
四川業(yè)億辰科技有限公司 - 爬蟲工程師8000-13000元
成都 - 郫都
中鐵科學(xué)研究院集團(tuán)有限公司 - python爬蟲工程師9000-15000元
成都 - 雙流
四川見山科技有限責(zé)任公司 - python爬蟲工程師1-1.5萬
成都 - 雙流
四川見山科技有限責(zé)任公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
蘭女士/人資經(jīng)理
剛剛活躍立即溝通
四川業(yè)億辰科技有限公司四川業(yè)億辰科技有限公司專注于業(yè)務(wù)咨詢、ERP實施（SAP）、電子商務(wù)、移動政務(wù)、移動電商的專業(yè)軟件服務(wù)提供商。公司致力于軟件系統(tǒng)的開發(fā)和應(yīng)用，將高端咨詢和互聯(lián)網(wǎng)+大數(shù)據(jù)進(jìn)行結(jié)合，以優(yōu)秀的創(chuàng)新思維和領(lǐng)先的技術(shù)能力為客戶提供端到端的高端整體解決方案，幫助傳統(tǒng)企業(yè)向互聯(lián)網(wǎng)領(lǐng)域轉(zhuǎn)型升級，實現(xiàn)傳統(tǒng)業(yè)務(wù)向互聯(lián)網(wǎng)互聯(lián)網(wǎng)的快速接入，互通，打造一體化的全渠道營銷供應(yīng)鏈體系。公司產(chǎn)品兼顧傳統(tǒng)企業(yè)信息化市場和互聯(lián)網(wǎng)技術(shù)市場，主要產(chǎn)品方向為兩方面，一方面，通過與企業(yè)信息化服務(wù)商合作，提供專業(yè)的電子商務(wù)、供應(yīng)鏈、大數(shù)據(jù)等技術(shù)產(chǎn)品，補(bǔ)充企業(yè)信息化在互聯(lián)網(wǎng)方面的弱項。另外一方面，以互聯(lián)網(wǎng)為平臺，打造輕量級的供應(yīng)鏈+互聯(lián)網(wǎng)的產(chǎn)品，實現(xiàn)網(wǎng)絡(luò)營銷自主推廣。公司集結(jié)了一批年輕的、有學(xué)識的、具有實干精神的三高（高素質(zhì)、高標(biāo)準(zhǔn)、高學(xué)歷）IT人才，以及一批業(yè)務(wù)知識豐富、項目管理能力強(qiáng)、市場反應(yīng)速度快的行業(yè)技術(shù)專家、項目管理干部及高層次商務(wù)人才。核心團(tuán)隊成員經(jīng)驗豐富，大都擁有10年以上從事企業(yè)信息化咨詢和軟件行業(yè)的工作經(jīng)歷，同時擁有國際、國內(nèi)知名公司工作背景。
公司主頁