一、崗位職責:
(1)設計并構建基于開源技術的大數據平臺整體架構,融合湖倉一體化理念,實現數據的高效存儲與管理,確保平臺具備高可用性、可擴展性和高性能;
(2)主導大數據平臺技術規劃、技術選型、架構設計、技術演進并保障系統穩定以及時效要求;
(3)主導數據平臺的獨立研發工作,負責系統架構設計、技術選型和開發指導,實現數據資產的統一管理、數據服務的高效提供以及數據治理的有效實施;
(4)負責大數據平臺的性能優化和監控,及時發現并解決系統性能瓶頸和故障,保障平臺穩定運行;
(5)與數據團隊、算法團隊、治理團隊、業務部門緊密合作,提供技術指導和支持,確保大數據平臺與業務需求緊密結合,推動項目的順利實施;
二、任職要求:
(1)本科以上學歷,數學、統計、計算機相關專業優先,5年或以上數據平臺開發相關工作經驗;
(2)具備大數據平臺架構設計能力,深入了解大數據生態相關組件,熟悉Hadoop、Flink、Spark、Doris/Starrocks等技術,有大數據架構搭建相關經驗者優先;
(3)具備離線與實時數據倉庫設計和開發經驗,熟練掌握 ETL/ELT 工具和技術;
(4)了解 AI 算法,熟悉數據治理、元數據管理、數據質量、主數據管理技術技術,能夠為 AI 應用提供數據支持;
(5)具備良好的系統分析和設計能力,能夠解決復雜的技術問題;具備優秀的團隊協作和溝通能力,能夠有效推動跨部門合作;具備較強的學習能力和創新意識,關注大數據技術發展趨勢,不斷探索新技術在公司業務中的應用;