崗位職責:
1.負責使用 Python 開發高效、獲取公開或授權的網絡數據;
2.優化程序,確保數據獲取的穩定性和效率;
3.對采集的數據進行清洗、去重、結構化存儲(如MySQL、CSV等);
4.構建自動化數據采集與監控系統,確保數據更新的及時性;
5.配合數據分析師或業務團隊,提供高質量的數據支持;
6.編寫技術文檔,維護采集代碼,優化數據采集流程。
任職要求:
1.具有2年以上數據開發經驗,計算機相關專業專科及以上;
2.熟練掌握 Python,熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等;
3.熟悉 HTML/CSS/JavaScript,能解析動態網頁(如Ajax、SPA等);
4.掌握 XPath、正則表達式(Regex) 等數據提取技術;
5.熟悉數據庫(MySQL、SQL等),能設計合理的數據存儲方案;
6.了解 HTTP/HTTPS 協議,熟悉 Headers、Cookies、Session 等網絡請求機制