崗位職責(zé):
1、基于微服務(wù)架構(gòu)與分布式系統(tǒng)設(shè)計理念,構(gòu)建數(shù)據(jù)治理平臺架構(gòu);采用Docker容器化技術(shù)實現(xiàn)服務(wù)彈性伸縮與 DevOps流程集成;
2、負責(zé)設(shè)計跨源元數(shù)據(jù)采集管道與血緣分析引擎,構(gòu)建規(guī)則驅(qū)動的自動化監(jiān)控與RBAC/ABAC權(quán)限治理體系、敏感數(shù)據(jù)脫敏等。
3、負責(zé)湖倉平臺建設(shè),完成數(shù)據(jù)入湖和維度模型建設(shè);
4、運用ETL工具(如 Kettle、DataStage)實現(xiàn)與各類內(nèi)外數(shù)據(jù)源(Mysql、Doris)的穩(wěn)定對接;
5、負責(zé)業(yè)務(wù)平臺的常態(tài)化維護,及時處理各類技術(shù)問題。
任職資格:
1、本科及以上學(xué)歷,計算機相關(guān)專業(yè),碩士研究生優(yōu)先;
2、具備3年及以上軟件開發(fā)經(jīng)驗,深入理解后端開發(fā)、平臺運維及數(shù)據(jù)治理相關(guān)工作;
3、熟悉Java微服務(wù)開發(fā)、Linux部署運維,具備快速掌握新技術(shù)及高效解決問題的能力;
4、精通Atlas、OpenMetadata等數(shù)據(jù)治理開源平臺功能邏輯,具備血緣解析與元數(shù)據(jù)建模實戰(zhàn)經(jīng)驗;
5、精通 MySQL、PostgreSQL 等關(guān)系型數(shù)據(jù)庫,以及 Doris等MPP分布式分析引擎;
6、精通Hadoop生態(tài)體系,熟練運用 Flink 實現(xiàn)流批一體化數(shù)據(jù)處理;
7、對數(shù)據(jù)治理技術(shù)有持續(xù)的熱情,具備良好的溝通能力和團隊協(xié)作精神;
8、具有良好的代碼習(xí)慣,遵循編碼規(guī)范、代碼可讀性強等。