崗位內容:
1. 數據倉庫搭建與管理,設計和實施數據倉庫,制定ETL(提取、轉換、加載)相關的設計方案和開發計劃;評估數據源的格式、訪問方式和數據質量,制定相應的數據抽取策略
2. 數據管道設計與維護,構建和維護數據管道,確保數據能夠高效地從源頭傳輸到目標存儲系統;使用自動化工具和持續監控來優化數據流和處理流程
3.數據遷移與轉換,負責將現有SQL Server數據庫中的OA和ERP系統數據遷移至PostgreSQL數據庫,并確保數據的完整性和一致性。
4. 數據采集與清洗,從各種數據源(如數據庫、數據倉庫、實時數據流等)收集數據;數據清洗與預處理,并制作為視圖或者表單
5.技術與工具應用,掌握多種編程語言(如Python、Java、SQL等),熟悉主流數據庫(如MySQL、Oracle等);使用Hadoop、Apache Spark等大數據處理工具進行數據分析和處理
6.合作與溝通,根椐需求設計和實施數據解決方案;參與制定數據分析相關制度流及標準規范,推動完狀況并落實實施。
任職要求:
1. 熟練掌握常見的數據庫類型、數據庫原理及其調優方法,具有深入的數據庫技術功底。
2. 計算機科學、軟件工程、數據挖掘、機器學習等相關專業
3. 熟悉SQL和python,并掌握數據采集、清洗和預處理的能力;具備設計數據架構、開發算法和構建機器學習模型的能力
4. 技術能力(編程語言、數據庫管理、大數據技術、ETL工具、數據倉庫、數據可視化、機器學習與AI)與軟技能(溝通、協作能力,解決問題能力)