1、 效果標準制定:基于業務場景研究及語料分析,定義業務場景的標準及理想態效果;??2、評測體系建立:建立科學、公允、客觀的大模型評測體系,幫助發現和分析問題,推動模型優化;??3、策略分析:結合用戶洞察、行業分析、實驗數據,深化評測分析,并探索優化策略,并推動產品研發迭代方案;??4、語料定義與生產:基于效果問題,定義高質量模型語料,協同標注團隊交付標注結果;與算法團隊協作,推動模型迭代。??5、對預訓練語言模型、精調、PE、RAG等大模型技術有一定理解;
能力要求:有 AI 標注運營經驗或用戶運營經驗;熟悉大模型產品,日常至少有1-2款常用 AI 產品