崗位職責:
1、負責數據獲取、數據接入,實現高效穩定的數據入湖鏈路;
2、負責數據模型開發,datamapping編寫,ETL設計、開發、優化;
3、優化數據處理過程,提升數據產出時效,提高數據質量
4、負責部分業務線的BI展現,與產品協作,進行相關數據分析:
1、熟悉mysql/Starrocks/hive/spark/Flink等大數據組件,具備編寫、優化復雜SQL的能力;
2、熟悉Paimon、Iceberg等數據湖組件,具備離線、實時計算開發能力;
3、熟悉整個數據開發鏈路,包括數據集成、數據處理、數據調度、BI展現等,如Dolphinscheduler、QuickBl等;
4、熟悉Python,可以進行數據獲取開發,如爬蟲、RPA等;
5.有良好的業務sense,能快速理解業務需求:具備獨立分析及解決問題能力,有責任感具備良好的團隊合作精神和溝通能力;