崗位職責:
1.負責具身智能方向的多模態大模型研發,包括視覺、語音、機器人控制等多模態感知與認知決策模塊的聯合建模;
2.設計、訓練和優化具備語言、圖像、動作、環境狀態等多模態預訓練模型,推動模型的性能和泛化能力提升;
3.探索和研發多模態與動作決策的對齊機制,提升模型在真實機器人環境中的任務規劃與控制能力;
4.與機器人平臺團隊協作,實現模型的實際部署,進行仿真與真實環境下的驗證與迭代優化;
5.跟蹤國際前沿技術與學術成果(如PaLM-E、RT-X、SayCan、Gato、VIMA、MineDojo等),及時推動最新研究成果在團隊內部的技術轉化。
任職資格:
1.計算機科學、人工智能、機器人學或相關領域碩士及以上學歷;
2.具備扎實的深度學習、多模態學習、強化學習等相關理論基礎;
3.有過多模態模型的訓練經驗(如LLaVA,QwenVL, InternVL, PaliGemma等);
4.有過多模態數據集或者測試集的構建經驗;
5.熟練掌握PyTorch、Jax等主流深度學習框架,有大模型訓練經驗者優先;
6.具備優秀的編程能力與工程實現能力,能獨立快速搭建原型并迭代;
7.較強的英文文獻閱讀和分析能力,能夠跟蹤和轉化前沿科研成果。
優先考慮:
1.熟悉機器人仿真環境和平臺(如MuJoCo、Isaac Gym、Habitat、PyBullet等);
2.發表過NeurIPS、ICLR、CVPR、ICRA等領域頂級會議或期刊論文;
3.具備實際機器人平臺部署經驗(機械臂、移動機器人、服務機器人等);
4.開源過相關領域的代碼或工具。
5.有機器人操作學習(如模仿學習、強化學習、BC等)相關經驗,或參與過多模態(視覺-語言-動作)VLA預訓練大模型研發者優先。