崗位描述:
1、能夠熟練使用Linux,熟練編寫 shell 腳本,要求具備python開發基礎,有豐富python經驗優先。
2、熟悉Hadoop/Hbase/Spark生態原理,精通hdfs,hive等大數據組件使用,要求有HiveSql開發經驗、hbase/hive調優經驗。
3、具備Spark相關開發經驗,熟悉 udf、dsl 的相關開發,能使用Spark對數據進行離線處理。
任職要求:
1、計算機相關專業,本科及以上學歷,4年以上Hadoop相關經驗,2年以上Spark開發經驗。
2、精通oracle/mysql/gbase等任意一種數據庫,熟練掌握SQL、存儲過程等開發技術和主流的ETL開發工具。
3、熟悉數據倉庫、數據開發技術,具備數據倉庫建模設計能力和經驗優先。
4、要求熟悉Flink的流處理原理和數據處理流程,能夠使用Flink進行實時數據處理。
5、熟悉大數據集群管理平臺如CDH、ambari等,有一定的大數據集群運維經驗,有搭建經驗優先。