【崗位職責】
1、負責數據中臺開發和運維工作,包括運維集團統建項目以及各二級單位相關系統的開發和運維服務;
2、具備基于現有源代碼開發和管理能力,可以對軟件系統深度問題分析和處理、系統漏洞修復和處理、程序配置管理、源代碼管控, 具備對公司個性化業務系統的運維和二次開發能力,對現有的系統做調優和按需調整的能力;
3、負責規劃和執行數字化過程中的數據管理、數據治理等工作;
4、負責數據中臺運維和組件優化,包括但不限于對大數據集群組件、容器化服務、各類中間件、數據庫等調優工作;
5、設計和優化高性能ETL流程,處理TB/PB級數據,優化數據計算效率與資源利用率;
6、基于數據平臺對平臺架構、核心組件進行運行監控、優化指導、性能瓶頸等復雜技術問題提供解決方案及技術落地;
7、負責數據平臺的技術路線規劃、設計和實施,確保平臺能有效支持業務需求。
【任職條件】
1.教育背景:本科及以上學歷,專業領域包括軟件工程、自動化、計算機科學、數據分析等與數字化相關的專業。
2.工作經驗:至少5年以上在大數據、數據中臺相關領域的工作經驗,具有能源行業、用友大數據平臺相關經驗者優先。
3.技能要求:
(1)熟練使用大數據生態組件(HDFS/YARN/MapReduce等),具備Spark/Flink等實時計算開發經驗;
(2)熟悉關系型數據庫(MySQL/clickhouse/postgresql)及NoSQL(HBase/Redis/mongodb)等數據庫技術(MPP架構),以上至少精通幾項,并且具備大數據平臺/數據倉庫/BI的系統落地經驗;
(3)精通數據建模及ETL設計開發,對數據倉庫、數據平臺、數據分析等有深刻理解,具備豐富的海量數據加工處理和優化經驗;
(4)具備多種大數據治理專業領域的知識和項目實戰經驗,包括元數據管理、數據目錄管理、數據標準管理、數據質量管理、數據安全管理等;
(5)熟練使用Java和Python、nodeJs語言中一種或者多種,扎實的Java基礎,深入理解JVM原理、多線程并發、內存管理等。
(6) 微服務物聯網PaaS服務:具備主流開源云原生微服務運維工程師能力;
容器化DevOps、分布式對象存儲:具備Kubernetes運維專家管理員能力;DevOps專家工程師能力;Ceph存儲管理能力。
(7) 熟悉kafka,zookeeper,nginx,ElaticSearch等各類中間件,具備較強的運維能力;
4.個人素質:
①強烈的責任心和主動性;
②出色的溝通能力和團隊合作精神;
③能夠理解和分析復雜的業務問題,并提出解決方案。