崗位職責:
1、負責環(huán)保大數(shù)據(jù)治理平臺的安裝、部署、運維工作,保證平臺能夠穩(wěn)定的運行;
2、負責環(huán)保大數(shù)據(jù)接入、清洗、轉換、建模與分析等工作;
3、構建元數(shù)據(jù)管理、數(shù)據(jù)質量管理、數(shù)據(jù)目錄管理等大數(shù)據(jù)治理系統(tǒng),并對數(shù)據(jù)治理開源組件進行二次開發(fā);
4、構建數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市體系,建立數(shù)據(jù)分析模型,開發(fā)數(shù)據(jù)服務;
5、構建數(shù)據(jù)接入體系,將各種數(shù)據(jù)源的數(shù)據(jù)導入到大數(shù)據(jù)治理平臺。
任職要求:
1、計算機、數(shù)學相關專業(yè)本科以上學歷,3年以上基于大數(shù)據(jù)平臺的開發(fā)工作經(jīng)驗;
2、熟練掌握python,Java,scala等編程語言,有豐富的大數(shù)據(jù)應用開發(fā)經(jīng)驗;
3、具備較豐富的hadoop/hive/hbase/spark/flink/kafka/ambari/griffin/atlas等大數(shù)據(jù)組件應用和二次開發(fā)經(jīng)驗;
4、對數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市建設、數(shù)據(jù)治理有深刻理解;
5、有環(huán)保大數(shù)據(jù)治理經(jīng)驗優(yōu)先。