崗位職責:
1. 負責設計和開發大數據處理系統,包括數據采集、清洗、存儲、處理和分析等各個環節。
2. 維護現有的大數據平臺,確保系統的穩定性和高可用性。
3. 對大數據處理流程進行性能調優,提升數據處理效率。
4. 參與數據倉庫的設計與實現,構建高效的數據模型以支持業務需求。
5. 制定并實施數據質量管理策略,確保數據的準確性和一致性。
6. 持續關注大數據領域的新技術和新工具,評估其適用性并引入到項目中。
7. 編寫相關的設計文檔和技術文檔,保證項目的可維護性和可擴展性。
任職要求:
1、本科以上學歷,計算機相關專業。
2、3-5年的大數據開發相關工作經驗。
3、熟練掌握Hadoop生態組件,如HDFS、MapReduce、YARN等;
4、熟悉實時計算框架,如Spark、Flink、Storm等。
5、熟練使用SQL,有較強的數據庫操作能力,熟悉Hive、HBase、MySQL等數據庫。
6、掌握Python或Java等編程語言。;
7、了解數據倉庫設計原理及方法論,有ETL工具使用經驗者優先,如Kafka、Flume等。
8、具備良好的溝通能力和團隊協作精神,強烈的責任心和抗壓能力,能夠獨立解決問題。
有政府項目工作經驗優先