崗位職責(zé):
1.制定測試方案:根據(jù)智能體功能需求和架構(gòu)設(shè)計(jì),編寫測試用例并搭建測試環(huán)境,覆蓋系統(tǒng)功能、性能及多場景交互驗(yàn)證。
2.對智能體的算法、模型性能(如意圖識(shí)別、任務(wù)規(guī)劃、多智能體協(xié)同等)進(jìn)行自動(dòng)化測試及評估。
3.開展可靠性測試(如穩(wěn)定性、壓力測試)及邊界場景驗(yàn)證,識(shí)別潛在缺陷并輸出分析報(bào)告。
4.自動(dòng)化工具應(yīng)用:開發(fā)并維護(hù)自動(dòng)化測試腳本/代碼,提升測試效率;研究新技術(shù)框架(如深度學(xué)習(xí)工具鏈),優(yōu)化測試流程。
5.模型與數(shù)據(jù)支持:參與數(shù)據(jù)收集與清洗,輔助模型訓(xùn)練;評估算法效果,提出改進(jìn)建議。
6.參與需求評審,推動(dòng)開發(fā)團(tuán)隊(duì)修復(fù)問題;協(xié)助產(chǎn)品經(jīng)理優(yōu)化智能體交互邏輯。崗位要求:
1.Agent測試或算法測試經(jīng)驗(yàn)
2.熟悉大模型能力各項(xiàng)能力 例如指令跟隨等
3.熟練智能體評估指標(biāo) BLEu和rouge等
4.針對RAG等精確率 準(zhǔn)確率等測試方式 方法等
5.提示詞工程,在工作過程中可以熟練針對智能體搭建Prompt進(jìn)行修改
6.對各項(xiàng)GPU等有了解
7.對智能體可進(jìn)行調(diào)優(yōu)