任職要求:
1.熟練掌握python語言;用過至少一種爬蟲框架,如scrapy、feapder等,具備自研爬蟲框架經驗者優先考慮。
2.熟練掌握SQL語言及至少一種關系型數據庫,熟練掌握Redis。
3.熟練掌握至少一種自動化測試框架,例如playwright、selenium、chromedp等。
4.有web系統逆向工程經驗及反爬蟲經驗者優先考慮。
5.具備基礎的運維能力。
崗位職責:
1.參與分布式數據采集平臺的架構設計與研發落地。
2.負責和產品進行需求對接,開發數據采集腳本。
3.負責現有數據采集平臺和爬蟲腳本的維護工作,保證數據穩定、高效的采集。