職位描述:
1.數據清洗與加工:負責從各種數據源中提取、清洗和轉換數據,確保數據的準確性和一致性。
2.數據治理:制定和實施數據治理策略,確保數據的質量、安全性和合規性。
3.知識庫構建:設計和構建本地知識庫,支持數據的存儲、檢索和分析。
3.模型訓練:參與機器學習模型的訓練和優化,支持數據驅動的決策和自動化流程。
5.工具與技術棧:熟悉大數據處理工具(如Hadoop、Spark)、數據庫(如SQL、NoSQL)、數據清洗工具(如Pandas、PySpark)以及機器學習框架(如TensorFlow、PyTorch)。
技能要求:
1.編程語言:熟練掌握Python、Scala、Java等編程語言。
2.大數據技術:熟悉Hadoop、Spark、Flink等大數據處理框架。
3.數據庫:熟悉SQL和NoSQL數據庫,如MySQL、PostgreSQL、MongoDB等。
4.數據清洗與ETL:有豐富的數據清洗和ETL(Extract, Transform, Load)經驗。
5.機器學習:具備基本的機器學習知識,能夠參與模型的訓練和優化。
6.數據治理:了解數據治理的最佳實踐,熟悉數據質量管理、元數據管理、數據安全等。
7.溝通能力:良好的溝通能力,能夠與業務部門和技術團隊有效協作。
軟技能:
1.問題解決能力:能夠獨立解決復雜的數據問題。
2.團隊合作:能夠在團隊中協作,推動項目進展。
3.學習能力:對新技術,特別是AI新技術及工具有強烈的學習興趣,能夠快速掌握和應用新工具。
4.會使用Cursor、MarsCode等AI輔助編程工具者,請準備在面試時投屏演示講解;