崗位職責:
1.支持Hadoop集群底座的運維故障分析、解決、性能優化;大數據集相關組件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等組件運維;
2.開發數據采集、清洗、分析、挖掘及可視化功能,需熟悉ES、milvus、pgsql等。
3.熟悉國產數據庫,包括doris等;
4.配合開展HDFS存儲、Hive元數據治理優化,建立并完善存儲治理方案;
5.配合開展Hive、Spark作業優化,對業務側提出優化建議。如:作業小文件問題、數據傾斜治理方案等;
6.提出集群優化建設方案,配合建設和優化大規模分布式集群的自動化運維、監控等工具和管理平臺。
任職要求:
1.本科及以上學歷,通信/計算機等相關專業,具有良好的學習能力、溝通能力、團隊合作能力及一定的抗壓能力;
2.熟悉Hadoop、Hive、Hbase、Spark等開源項目,理解組件架構及原理;
3.對大數據運維開發有濃厚興趣,熟悉Apache Hadoop部署、性能調優;
4.能閱讀/理解Hadoop等相關開源組件源碼;
5.對HQL、SparkSQL等有較深入的研究,能解決實際業務性能問題;
6.熟練掌握LDAP、Kerberos等安全認證體系;
7.熟練掌握Linux命令與工具進行問題定位,熟悉常規的互聯網技術架構;
8.具備一定的Java開發能力;
9.有信控平臺開發經驗者優先錄取。