精品一久久_日韩成人激情_av2016天堂网_国产成年片_日日影视_精品国产观看

崗位職責： 1.數據倉庫建設：擁有豐富的數據倉庫建設經驗，包括數據建模、ETL開發和設計等。 2.核心業務設計與開發：負責大數據項目的核心業務設計和開發，確保系統的可用性和高性能。 3.技術預研：參與大數據相關技術發展方向的預研，助力業務成長，推動技術創新。 4.數據采集與同步：利用Dinky開發的FlinkSQL代碼消費Kafka中的用戶日志數據，并將其寫入Doris、Paimon、Hudi和Iceberg的ODS層。使用DolphinScheduler配置SeaTunnel任務，同步MySQL中的業務數據到Doris的ODS層。 5.數據倉庫架構設計：遵循ODS（操作數據存儲）-> DWD（數據倉庫明細層）/ DIM（維度數據層）-> DWS（數據服務層）-> ADS（應用數據存儲）的四級數據分層架構，確保數據在Doris、Paimon、Hudi和Iceberg中的有效流轉。 6.數據可視化：利用大屏可視化工具和報表工具制作和展示ADS層和DWS層的數據報表和數據大屏，直觀呈現數據洞察。 任職要求： 1.學歷要求：本科及以上學歷，計算機、軟件、數學等相關專業背景，具備3年以上大數據開發工作經驗。 2.編程技能：熟悉Java，掌握Linux系統和命令、Shell編程，具備較強的獨立開發能力，良好的代碼風格。 3.大數據技術經驗：具有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等大數據技術的開發、設計和調優經驗，深刻理解大數據基礎架構和平臺。 4.流處理技術：熟悉Spark和Flink，深入了解Flink或Spark的原理及底層技術。 5.ETL與數據建模：熟悉數據倉庫ETL開發和數據建模，具備大型數據倉庫架構設計、模型設計和性能調優等相關經驗。