職位描述
崗位職責(zé):
1、負(fù)責(zé)對基于大語言模型構(gòu)建的通用垂類應(yīng)用進(jìn)行效果和質(zhì)量評估,通過與產(chǎn)品研發(fā)團隊的緊密合作,制定評估標(biāo)準(zhǔn)和體系,準(zhǔn)確分析評估效果,為應(yīng)用的優(yōu)化和改進(jìn)提供支持,以提升應(yīng)用的性能、用戶體驗和市場競爭力;
2、應(yīng)用效果與質(zhì)量評估:負(fù)責(zé)評估基于大語言模型構(gòu)建的通用垂類應(yīng)用的效果和質(zhì)量,包括但不限于語言理解準(zhǔn)確性、生成內(nèi)容的合理性、邏輯連貫性、知識準(zhǔn)確性等方面;參與設(shè)計測試用例,涵蓋不同場景、用戶需求和輸入條件,以確保應(yīng)用在各種情況下的穩(wěn)定性和可靠性,參與收集和分析用戶反饋數(shù)據(jù),結(jié)合實際使用情況,對應(yīng)用的性能和用戶體驗進(jìn)行綜合評估;
3、評估標(biāo)準(zhǔn)與體系建設(shè):理解業(yè)務(wù)需求和產(chǎn)品目標(biāo),與產(chǎn)品研發(fā)團隊密切溝通和協(xié)作,負(fù)責(zé)制定詳細(xì)、明確的評估標(biāo)準(zhǔn)和指標(biāo)體系,理解評估數(shù)據(jù)的收集、整理和分析流程,確保評估數(shù)據(jù)的完整性和可靠性,為評估體系的持續(xù)改進(jìn)提供數(shù)據(jù)支持;
4、評估效果分析與報告:撰寫評估報告,清晰闡述評估方法、過程、結(jié)果和結(jié)論,為產(chǎn)品研發(fā)團隊提供決策依據(jù)和改進(jìn)方向。
任職要求:
1、本科及以上學(xué)歷,統(tǒng)計、計算機、數(shù)學(xué)等理科專業(yè)優(yōu)先;
2、熟悉NLP、CV相關(guān)的算法和技術(shù)優(yōu)先,熟悉大模型訓(xùn)練、SFT、RL算法者優(yōu)先,有一定的Python基礎(chǔ),可通過腳本處理進(jìn)行數(shù)據(jù)處理優(yōu)先;
3、熟練使用市面上大模型相關(guān)應(yīng)用,有較深A(yù)I理解,有一定的Prompt Engineering使用經(jīng)驗優(yōu)先;
4、有大模型標(biāo)注評測、用戶體驗、文圖分析相關(guān)經(jīng)驗優(yōu)先;
5、承擔(dān)過獨立產(chǎn)出任務(wù)并達(dá)成結(jié)果,過程體現(xiàn)個人能力及責(zé)任;
6、具備快速學(xué)習(xí)能力和適應(yīng)能力。