前沿算法研究與技術創新:負責人工智能領域前沿算法研究和創新,重點聚焦LLM、生成式AI、時序類大模型等,探索人類反饋強化學習、MoE、多模態、long-context等方向。
模型微調與優化:負責對大語言模型(LLM)進行領域適配微調(如LoRA、P-Tuning等),提升模型在特定任務(如對話、文本生成等)上的性能。
數據處理與構建:清洗、標注和構建高質量的微調數據集,設計數據增強策略以提升模型泛化能力。
實驗設計與調參:設計微調實驗方案,調整超參數(學習率、批次大小等),評估模型效果并迭代優化。
性能評估與監控:使用BLEU、ROUGE等指標評估模型輸出,分析bad case并提出改進方案。
模型對齊:優化強化學習與對齊訓練流程,解決大規模分布式環境下的效率瓶頸和行業對齊。
工程化部署支持:協助將微調后的模型部署到生產環境,優化推理效率(如量化、剪枝)。
技術跟蹤與創新:跟進大模型領域最新技術(如RLHF、Adapter架構),探索低成本微調方案。
任職要求:
技術背景:計算機、AI相關專業碩士及以上學歷,熟悉PyTorch/TensorFlow框架和Transformer架構。
微調經驗:有LLM(如GPT、LLaMA、ChatGLM)微調實戰經驗,熟悉Prompt Engineering和Few-shot Learning。
數據處理能力:熟練使用NLP工具(Hugging Face、spaCy),具備文本清洗、標注和分布式訓練經驗。
編程基礎:精通Python,熟悉Linux環境,能優化訓練代碼(如混合精度訓練、分布式訓練)。
工程方向:精通分布式、微服架構思想,具有創建生產工程的相關經驗。
問題解決能力:能分析模型欠擬合/過擬合問題,提出數據或算法層面的解決方案。
團隊協作:良好的溝通能力,能與算法、產品團隊協作落地業務場景需求。