崗位職責:
1、負責外部數據采集需求,完成采集站點分析,數據采集,數據結構化,數據質量保障以及外部數據維護工作。數據從接入到最后業務使用都需要大量人力投入開發運維。
2、負責databee采集工具日常技術支持,問題排查、答疑,使用文檔便編寫及維護。
3、外部數據去重整合、異常數據處理/數據評測/數據訂正、NER/NED數據預處理等
崗位要求:
1、熟悉java/python有大于2年的爬蟲開發經驗
2、熟悉webmagic等開源爬蟲框架 或 熟悉常用爬蟲框架平臺
3、能夠熟練的開發爬取日常網頁/APP內容