崗位職責:
大數據平臺設計:
負責大數據基礎平臺、海量數據存儲處理分布式平臺、數據分析系統架構的設計構建和研發。
設計和構建企業級大數據平臺的整體架構,包括數據收集、數據存儲、數據挖掘、數據輸出等。
負責規劃從數據源到數據應用的整體流程,并參與用戶產品和數據產品的決策。
技術選型與優化:
基于Hadoop、Spark等大數據平臺進行技術選型和開發。
負責大數據平臺的優化和改進工作,包括性能調優、故障恢復等。
數據治理與規范:
制定項目/數據倉庫設計及實現規范,指導設計研發和部署。
制定數據治理領域的數據體系化管理措施,包括元數據設計、數據標準、數據質量、數據安全等。
技術研發與創新:
深入研究大數據相關技術和產品,跟進業界先進技術。
負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。
團隊管理與培養:
負責大數據研發團隊建設、人才梯隊培養和技術團隊管理。
搭建與培養團隊成員,進行任務劃分、進度監控、代碼規范和質量保證。
技能要求:
編程與框架:
精通Hadoop、HBase、Hive、Spark等大數據技術及其生態圈。
熟悉Java、Python等編程語言,了解NoSQL、全文搜索引擎等。
數據分析與決策:
具備采用大數據技術分析海量數據的能力。
熟悉數據挖掘和數據分析方法,能夠構建用戶數據模型。
云計算與分布式系統:
具有云計算的經驗和知識,知道如何在云計算環境中工作。
掌握分布式系統原理,對分布式存儲、流式計算、消息隊列等有深入理解。
數據倉庫與數據挖掘:
具備豐富的數據倉庫建模理論和數據挖掘經驗。
能夠基于業務需求設計和開發數據倉庫和數據挖掘方案。
任職要求:
學歷與經驗:
碩士及以上學歷,計算機相關專業。
5年以上大數據系統架構經驗,特別是在互聯網、大數據領域的開發經驗。
項目經驗:
有成功的大數據項目經驗,包括大數據平臺的規劃、設計、開發和優化等。
具備大項目管理經驗,包括但不限于前期需求溝通、建設方案編寫、中期項目實施、進度匯報、后期項目維護等。
其他:
強烈的敬業精神,良好的溝通與協調能力,能有效組織協調團隊完成各類開發工作。
對大數據有深刻的理解,對解決具有挑戰性問題充滿激情。