崗位職責(zé):
1.大數(shù)據(jù)平臺(tái)構(gòu)建:搭建和維護(hù)數(shù)據(jù)采集、存儲(chǔ)、處理、計(jì)算、分析和可視化的平臺(tái);
2.數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和開發(fā):參與數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型設(shè)計(jì)和開發(fā),ETL相關(guān)的Python和SQL開發(fā),以及開發(fā)文檔的編寫;
3.數(shù)據(jù)處理流程設(shè)計(jì)與實(shí)現(xiàn):設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)采集、清洗、轉(zhuǎn)換、處理和存儲(chǔ)的流程,確保數(shù)據(jù)的準(zhǔn)確性和一致性;
4.構(gòu)建數(shù)據(jù)治理體系:落地?cái)?shù)據(jù)治理工具(如Apache Atlas/Apache Griffin),實(shí)現(xiàn)元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量治理;
5.開發(fā)和維護(hù)數(shù)據(jù)分析工具:開發(fā)和維護(hù)各種數(shù)據(jù)分析工具和算法,如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等。
任職要求:
1.計(jì)算機(jī)、統(tǒng)計(jì)學(xué)或相關(guān)專業(yè),本科及以上學(xué)歷;
2.3年以上大數(shù)據(jù)平臺(tái)開發(fā)經(jīng)驗(yàn),具有豐富的大數(shù)據(jù)建設(shè)與運(yùn)維經(jīng)驗(yàn);
3.精通Hadoop生態(tài)組件及MPP框架(Flink/ StarRocks);
4.具備軌道交通、能源行業(yè)(如光伏、儲(chǔ)能)項(xiàng)目經(jīng)驗(yàn)者加分。