崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)和優(yōu)化,確保數(shù)據(jù)的高效存儲(chǔ)、處理和訪問,確保系統(tǒng)的穩(wěn)定性和可靠性。
2、負(fù)責(zé)根據(jù)業(yè)務(wù)設(shè)計(jì)和構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉庫,包括數(shù)據(jù)模型設(shè)計(jì)、ETL流程開發(fā)等?。不斷優(yōu)化模型和產(chǎn)品,建立線上監(jiān)控、評(píng)估和報(bào)表。
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)、處理和計(jì)算任務(wù),保障數(shù)據(jù)的高效提取和分析。
4、開發(fā)、優(yōu)化和維護(hù)與Flink、Hadoop、Hive、Spark相關(guān)的數(shù)據(jù)處理程序和作業(yè)。
技能要求:
1.精通Flink、Hadoop,精通SQL語言及調(diào)優(yōu)方法;具備豐富的Flink、Spark、MapReduce、HDFS、Hive等大數(shù)據(jù)框架的實(shí)際設(shè)計(jì)與開發(fā)經(jīng)驗(yàn)。
2.能夠獨(dú)立設(shè)計(jì)和開發(fā)大規(guī)模數(shù)據(jù)處理和分析系統(tǒng),具備良好的編程能力和調(diào)試能力。
3.具備扎實(shí)的Java編程基礎(chǔ),熟悉常用的數(shù)據(jù)結(jié)構(gòu)和算法。
4.熟練掌握J(rèn)ava、Python等編程語言,熟悉Spring框架,包括Spring Boot、Spring MVC等,有相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先。
5.具備良好的溝通能力和團(tuán)隊(duì)協(xié)作能力,能夠與產(chǎn)品、運(yùn)維、測(cè)試等部門有效配合,完成項(xiàng)目開發(fā)任務(wù)。
6.熟悉PostgreSQL、Clickhouse、Doris、Neo4j等數(shù)據(jù)庫中的一個(gè)或多個(gè),并有過實(shí)際項(xiàng)目的開發(fā)經(jīng)驗(yàn)的優(yōu)先。
經(jīng)驗(yàn)要求:
5-8年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),有大規(guī)模數(shù)據(jù)處理項(xiàng)目實(shí)施經(jīng)驗(yàn)者優(yōu)先考慮。
項(xiàng)目工作地:河西區(qū)