崗位職責:
1.負責大數(shù)據(jù)平臺的搭建、配置、優(yōu)化和維護工作,確保平臺穩(wěn)定、高效運行,滿足業(yè)務(wù)需求;
2. 運用大數(shù)據(jù)技術(shù)對數(shù)據(jù)進行全流程處理,包括數(shù)據(jù)采集、存儲、分析和可視化等;
3. 負責將各個子系統(tǒng)集成到大數(shù)據(jù)平臺中,確保各系統(tǒng)模塊協(xié)同工作;
4. 跟蹤技術(shù)趨勢,評估引入新技術(shù),優(yōu)化平臺和系統(tǒng)性能以及功能。
任職要求:
1. 擁有本科及以上學歷,計算機科學、軟件工程、數(shù)據(jù)科學等相關(guān)專業(yè)優(yōu)先;
2.掌握數(shù)據(jù)湖,數(shù)據(jù)倉庫,數(shù)據(jù)中臺,數(shù)據(jù)應(yīng)用等理論知識,具備6年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(數(shù)據(jù)平臺建設(shè)、數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)處理分析、數(shù)據(jù)可視化等)
3. 熟練掌握 Hadoop、Flink、HBase、Kafka 等大數(shù)據(jù)框架。精通 Flink 的流批一體化處理,實現(xiàn)高效的數(shù)據(jù)實時處理;熟悉 HBase 的分布式存儲模型,進行數(shù)據(jù)的高效讀寫;掌握 Kafka 的消息隊列機制,保障數(shù)據(jù)的可靠傳輸;熟悉Java,Python者優(yōu)先考慮;
4. 熟練掌握大數(shù)據(jù)環(huán)境下,數(shù)據(jù)庫性能優(yōu)化方法,如數(shù)據(jù)庫分庫、分表、分層索引等,監(jiān)控和優(yōu)化數(shù)據(jù)庫的性能;
5.具有高度的責任感,優(yōu)秀的溝通能力和領(lǐng)導能力,有創(chuàng)新意識;具有大規(guī)模數(shù)據(jù)平臺建設(shè)和運維的實際經(jīng)驗,對數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)API發(fā)布和數(shù)據(jù)應(yīng)用管理等數(shù)據(jù)治理服務(wù)有深刻理解;有從0-1大數(shù)據(jù)平臺架構(gòu)搭建能力者優(yōu)先。