崗位職責:
1、負責使用集團及公司自研的大數據平臺,對內部各業務系統數據進行采集、清洗1.轉換和加載(ETL/ELT)工作,確保數據準確、及時地進入數據平臺。
2.參與數據倉庫/數據湖的設計、建模及分層建設,構建規范的數據模型,提供穩定高效的數據基礎層。
3.開發和優化數據處理流程及任務,包括離線批處理和可能的實時流處理,提升數據處理效率和資源利用率。
4.負責數據質量的監控和管理,建立數據質量校驗規則,保障數據資產的可靠性
5.與業務團隊、數據分析師和應用開發工程師緊密協作,理解數據需求,提供高質量的數據支持,助力內部運營分析、報表可視化及 AI/ML 應用開發。
6.編寫相關技術設計文檔、開發規范和操作手冊,負責數據任務的日常監控和維護。
任職要求:
1.精通 SQL,具備復雜 SQL 編寫、性能調優以及常用數據庫(如 MySQLPostgreSQL)的使用經驗。
2.熟練掌握至少一種主流編程語言(如 Python,Java,Scala),并有實際的數據處理或腳本開發經驗,
3.扎實的數據倉庫理論基礎,熟悉維度建模等方法,理解數據倉庫各層的作用和設計原則。
4.熟悉大數據生態圈的常用技術或工具,如 Hadoop、Spark、Hive 等
5.具備良好的數據敏感度和分析能力,能夠從數據中發現問題,
6.具備良好的溝通協作能力和解決問題的能力,對數據工作充滿熱情。