崗位概述?:
大模型測試工程師,負責對大模型及相關應用進行全面、深入的測試工作,保障產品質量。?
崗位職責?:
1、負責測試方案制定與執行:深入剖析業務需求,精準制定針對 AI 大模型及相關應用的全面評測方案,并高效組織實施。方案涵蓋功能測試、性能測試、穩定性測試、安全測試等多維度測試內容,確保系統全方位滿足用戶需求與行業標準。?
2、負責多維度大模型自動化測試:?
- 功能測試:對大模型的各項功能進行細致驗證,包括但不限于文本生成、RAG、Agent等功能,確保模型輸出結果的準確性和完整性,符合預期的功能需求。?
- 性能測試:開展性能測試工作,評估模型在不同負載下的響應時間、吞吐量、資源利用率等性能指標,分析性能瓶頸并提出優化建議。?
- 穩定性測試:進行長時間的穩定性測試,監測模型在持續運行過程中的表現,及時發現并解決可能出現的異常情況,確保模型具備高穩定性。?
- 安全測試:對大模型進行安全漏洞檢測,防范潛在的安全風險,如數據泄露、模型被攻擊等。?
3、負責線上模型監測與支持:實時監測線上模型的輸出質量,建立有效的質量評估機制,及時發現并反饋模型運行中的問題。?
4、負責測試結果分析與報告:深度分析評測結果,撰寫專業、詳實的測試報告。
5、負責測試方法與流程優化:持續關注行業最新技術動態,構建和引入先進的自動化測試技術,減少手工測試工作量,提升測試的準確性和可靠性。?
6、協助算法工程師或開發工程師進行大模型的調優、訓練等。
任職要求?:
1、教育背景:本科及以上學歷,計算機科學、軟件工程、數學、統計學等相關專業優先。扎實的專業知識基礎有助于深入理解大模型技術和測試原理。?
2、工作經驗:3 年以上軟件測試工作經驗,其中至少 1 年 AI 大模型測試經驗。具備豐富的軟件測試經驗,熟悉軟件測試流程和方法,能夠熟練運用各種測試工具。
3、專業技能:?熟練掌握 Java、Python、C++ 等至少一種編程語言,具備良好的編程習慣和代碼調試能力。能夠運用編程語言編寫測試腳本、自動化測試工具和數據分析程序,提高測試工作的效率和質量。?
4、深入理解軟件測試設計方法,熟悉軟件編程規范和軟件缺陷管理流程,具備軟件自動化測試方案設計與實施能力。
5、有知名互聯網公司、人工智能企業相關工作經驗者優先。有 RAG 和 Agent 的測試經驗,使用過 Ragas、Openeval、Deepeval 之類的大模型評估框架者優先。
6、具備良好的溝通能力和團隊協作精神,能夠與算法、研發、產品、運營等多部門團隊進行有效的溝通和協作,共同推進項目進展。
7、具有較強的問題解決能力和分析能力,能夠快速定位和解決測試過程中發現的問題,提出有效的解決方案。
8、工作認真負責,有較強的責任心和質量意識,對測試工作充滿熱情,確保測試工作的準確性和完整性。