崗位職責(zé):
1、設(shè)計(jì)和開(kāi)發(fā)大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)處理鏈路,為基座模型預(yù)訓(xùn)練提供穩(wěn)定、可靠的高質(zhì)量數(shù)據(jù)處理能力,包括數(shù)據(jù)尋源、數(shù)據(jù)抓取/采集、數(shù)據(jù)解析(OCR、圖片、網(wǎng)頁(yè))等工作內(nèi)容;
2、設(shè)計(jì)和開(kāi)發(fā)服務(wù)大模型預(yù)訓(xùn)練的數(shù)據(jù)平臺(tái),管理數(shù)據(jù)的元信息、血緣、存儲(chǔ)治理等數(shù)據(jù)全生命周期要素;提供預(yù)訓(xùn)練數(shù)據(jù)的可視化、可觀測(cè)能力;探索數(shù)據(jù)實(shí)驗(yàn)、數(shù)據(jù)發(fā)版的工程上限;
3、針對(duì)LLM、VLM等模型構(gòu)建數(shù)據(jù)合成方案和框架,支持?jǐn)?shù)據(jù)Scale等工作;
4、根據(jù)大模型訓(xùn)練數(shù)據(jù)特點(diǎn),抽象并開(kāi)發(fā)高效、可靠的數(shù)據(jù)加工框架,提升所有大模型算法工程師處理數(shù)據(jù)的工程效率;
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)優(yōu)先;
2、三年以上本崗位工作經(jīng)驗(yàn);
3、熟悉 Python 編程語(yǔ)言,熟悉計(jì)算機(jī)圖形學(xué),熟悉;
4、良好的溝通協(xié)調(diào)能力和團(tuán)隊(duì)合作精神;
5、較強(qiáng)的主動(dòng)性、責(zé)任心與執(zhí)行能力,能獨(dú)立承擔(dān)任務(wù)和有系統(tǒng)進(jìn)度把控能力。