能力要求
1.具有豐富的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)項(xiàng)目經(jīng)歷,有獨(dú)立承擔(dān)完整需求設(shè)計(jì)開(kāi)發(fā)的工作經(jīng)驗(yàn);
2.熟悉至少一種MPP架構(gòu)數(shù)據(jù)庫(kù),熟練掌握sql的編寫(xiě)及優(yōu)化能力;
3.熟悉Doris、Seatunnel、DolphinSchedule、spark、flink等,能處理hive與spark常見(jiàn)報(bào)錯(cuò)問(wèn)題;
4.熟悉Linux常用命令,熟練掌握Linux基礎(chǔ)操作,掌握J(rèn)ava、Python等語(yǔ)言開(kāi)發(fā)能力;
5.熟悉常見(jiàn)的數(shù)據(jù)治理框架,例如Datavines等;
6.具有數(shù)據(jù)標(biāo)準(zhǔn)制定經(jīng)驗(yàn)。
工作內(nèi)容
1.負(fù)責(zé)已有數(shù)據(jù)中臺(tái)的運(yùn)維和開(kāi)發(fā),包括不限于完成相關(guān)組件安裝、腳本開(kāi)發(fā)與優(yōu)化等;
2.ETL開(kāi)發(fā),定義數(shù)據(jù)抽取、轉(zhuǎn)換、加載規(guī)則,確保數(shù)據(jù)準(zhǔn)確加載;
3.實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品研發(fā)工作,包括報(bào)表分析系統(tǒng)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)接口等;
4.負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量工作的持續(xù)推進(jìn)。
5.負(fù)責(zé)協(xié)助團(tuán)隊(duì)的數(shù)據(jù)治理工作推進(jìn)及匯報(bào);