崗位職責:
1.設計并實施大數據處理和分析策略,確保數據質量和精準度。
2.與團隊合作,優化數據處理流程,提高數據效率。
3.參與大數據項目的規劃和執行,協助解決技術難題。
4.與架構師對齊長期目標,作為技術中堅,負責設計分布式數據倉庫(如Hive/Iceberg)和數據湖架構,規劃數據流向(采集→存儲→計算→服務)
5.主導數據清洗、轉換、加載流程,使用Spark/ Flink構建高效作業,優化資源分配
6.監控數據處理活動,確保遵守相關法律法規和標準。
任職要求:
1.具備扎實的大數據處理和分析能力,熟悉數據處理工具和語言。
2.具有良好的問題解決能力,能夠獨立處理和解決技術問題。
3.技術棧
①精通Java編程語言
②大數據工具鏈:Spark/Hadoop/Kafka/Hive,熟悉數據湖(Delta/Iceberg)
4.開發能力
①設計ETL流程(如Kafka→Spark→Hive)
②SQL優化(復雜查詢調優,Hive/Presto)
③Spark作業優化(數據傾斜處理、資源分配)
5.數據經驗
①大規模數據處理:參與TB-PB級項目(如日志清洗、用戶行為分析)
②數據質量保障:設計校驗規則、處理臟數據
③主導過千萬級DAU用戶數據處理