崗位職責:
1.數據同步與ETL開發: 負責設計、開發、測試和維護數據同步、抽取、轉換和加載(ETL)流程,確保數據高效、準確、穩定地從源系統流向目標系統。
2.數據同步通道部署與運維: 負責使用OGG、DSG等數據同步工具進行通道的部署、配置、監控、調優和故障處理,保障數據同步通道的穩定運行。
3.日常數據開發與運維: 使用Python、Java等編程語言進行日常數據開發任務(如腳本編寫、自動化任務開發)和數據運維工作(如數據質量檢查、任務監控、問題排查)。
4.數據庫開發與操作: 熟練編寫和優化SQL腳本,基于Greenplum、Oracle、MySQL、PostgreSQL等主流數據庫進行數據查詢、分析、轉換和存儲過程開發等。
5.數據運維程序開發:根據業務需求,開發數據清洗、轉換、入庫等相關的運維程序和工具,提升數據處理效率和自動化水平。
6.數據質量保障:參與數據清洗規則的制定與實施,確保入庫數據的準確性、完整性和一致性。
任職要求:
1.工作經驗:
- 3年以上數據開發相關工作經驗。
- 具備以下經驗優先:
1)有使用 OGG (Oracle GoldenGate) 或 DSG 等數據同步工具的實際部署、配置或運維經驗。
2)了解ETL工具(如 Informatica, DataStage, Kettle 等)或調度工具(如 Airflow, DolphinScheduler 等)。
2.技術能力:
- 熟練掌握 Python 和 Shell 腳本編程,能夠獨立完成開發任務。
- 精通 SQL 語言,具備復雜查詢、性能調優、存儲過程編寫等能力。
- 熟練使用至少兩種主流數據庫(Greenplum, Oracle, MySQL, PostgreSQL)進行開發、管理和優化,理解其核心架構與特性。
- 了解至少一種國產或新興數據庫(如 OceanBase, TiDB, 人大金倉(KingbaseES))的基本原理和使用方式。
- 熟悉 Linux 操作系統(如 CentOS, RedHat, Ubuntu 等),掌握常用命令、系統管理、環境配置和腳本執行。
- 加分項 (非必需,但優先考慮):
1)具備一定的 Java 開發能力。
2)熟悉數據倉庫建模理論(如維度建模)。
3)有大數據生態組件(如 Hive, Spark, HDFS 等)的使用經驗。
4)了解容器化技術(Docker, Kubernetes)。
3.其他要求:
- 具備良好的學習能力、分析問題和解決問題的能力。
- 工作認真負責,有較強的責任心和團隊協作精神,能承受一定的工作壓力。
- 具備良好的溝通能力,能夠清晰表達技術方案和問題。