崗位職責:
1、負責數據倉庫腳本任務及數據的遷移工作,確保最終數據完整性和一致性。
2、使用 Hive SQL 進行數據查詢操作,基于 Hadoop 大數據組件完成數據腳本部署、驗證。
編寫和維護數據搬遷相關的操作文檔。
3、與業務團隊和開發團隊協作,確保數據搬遷項目按時交付,
4、負責搬遷工具的用戶支持、問題排查和系統運維等工作,沉淀工具手冊,支持用戶完成搬遷項目。
任職要求:
1、5年以上大數據相關工作經驗,具備數據倉庫、數據開發能力。
2、有大型數據倉庫遷移項目經驗者優先。
3、數據倉庫技術:熟悉數據倉庫的設計、建模和優化,熟悉 ETL 流程。
4、大數據組件:熟悉Hadoop生態系統(如HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、Clickhouse 等大數據組件的使用,
5、編程語言:精通 Hive SQL,能夠編寫復雜的査詢語句;有一定 Python、java 等編程語言的基礎。