職位描述
1、參與機器人領域相關大模型的構建,如感知理解及環境交互的大語言模型(LLM)或大型視覺 - 語言模型(VLM)或大型音頻 - 語言模型(ALM)等。
2、負責設計并研發高效的零樣本、少樣本視覺推理及語言理解能力,提升多模態模型的環境感知能力(包括但不限于目標檢測、分類等);研究語言交互及動作指令之間的表征關系與使用方法(如語言動作空間表征,動作指令生成及虛擬環境與現實環境的language grounding等)。
3、負責設計并研究高效好用的機器人任務規劃能力并提升通用性,如復雜任務拆解能力,跨時間窗口的上下文環境記憶及靈活記憶存取能力等機器人前沿技術研究。
4、負責研究多模態異構數據融合技術,包括數據集構建、異構/跨模態傳感器數據融合方法、基于上下文感知的記憶編碼及知識表征、跨模態信息使用方法及邏輯推理等。
5、解決基礎模型在機器人場景使用的魯棒性和模型安全問題,如多模態大模型使用中的幻覺問題,動作行為決策的environment and distribution shift,快速、高準確率的機器人決策推理等問題。
職位要求
1、2年以上計算機視覺(CV)或 自然語言處理(NLP)或 強化學習(RL)等相關領域的工作經驗。
2、優秀的代碼動手能力、扎實的數據結構及計算機功底,熟練掌握Python等編程語言,PyTorch、TensorFlow等深度學習框架。
3、熟悉強化學習中的經典算法和基礎理論,如DQN、DDPG、PPO等。
4、關注機器人和AI前沿技術進展,自驅力強,有良好的抗壓和團隊協作能力。
有以下經驗者優先:
1、有ACM/NOI/IOI、Kaggle、國內外數學大賽、機器學習、深度學習相關競賽獲獎者優先。
2、在大模型領域(不限于語言、視覺、音頻等)有重度參與該領域有重要影響力的項目者優先。
3、有多軸機械臂、足式機器人等機器人平臺算法研發及工程經驗者優先。
4、在機器學習(ML),強化學習(RL)等應用領域(模仿學習、深度強化學習、分層強化學習、多智能體等)有深入的項目落地經驗者優先。
5、熟練使用一種以上機器人仿真平臺,如PyBullet、Isaac Gym/Sim、MuJoCo、AI2-THOR、Gazebo。
6、熟練掌握ROS、ROS2、CyberRT等開發環境者優先。
7、有機器人/人工智能頂級會議、頂級期刊發表者優先,包括不限于CVPR、NeurIPS、ICRA、IROS、ICML、ACL。