崗位職責(zé):
1、數(shù)據(jù)采集與處理:
協(xié)助構(gòu)建實驗數(shù)據(jù)的采集管道,對實驗數(shù)據(jù)進(jìn)行清洗、格式化和存儲。
編寫腳本或程序,實現(xiàn)數(shù)據(jù)的批處理、流處理等功能。
2、數(shù)據(jù)存儲與優(yōu)化:
協(xié)助設(shè)計并優(yōu)化實驗數(shù)據(jù)的存儲方案,支持 PB 級數(shù)據(jù)的讀寫性能。
使用并管理數(shù)據(jù)庫(如 PostgreSQL、ClickHouse、Redis 等),提升查詢性能。
3、數(shù)據(jù)分析與可視化:
協(xié)助開發(fā)數(shù)據(jù)分析工具,支持實驗數(shù)據(jù)的快速分析與展示。
使用工具(如 Python、Grafana 等)進(jìn)行實驗數(shù)據(jù)的可視化處理。
4、系統(tǒng)維護(hù)與監(jiān)控:
協(xié)助搭建數(shù)據(jù)平臺的監(jiān)控和告警機(jī)制,保障系統(tǒng)的穩(wěn)定運(yùn)行。
對系統(tǒng)中的數(shù)據(jù)處理流程進(jìn)行日常調(diào)試和優(yōu)化。
任職要求:
1、學(xué)歷要求:計算機(jī)科學(xué)、軟件工程、數(shù)據(jù)科學(xué)、物理學(xué)或相關(guān)專業(yè)本科及以上;
2、工作經(jīng)驗:2年及以上的數(shù)據(jù)開發(fā)工作經(jīng)驗
3、編程能力:熟悉至少一種編程語言(如 Python、Java、C++),具備良好的代碼閱讀和編寫能力。
4、數(shù)據(jù)庫基礎(chǔ):了解 MySQL 或 PostgreSQL,能夠編寫基本的 SQL 查詢。
5、數(shù)據(jù)處理知識:了解數(shù)據(jù)處理的基本流程,如數(shù)據(jù)清洗、格式轉(zhuǎn)換等。
6、操作系統(tǒng):熟悉 Linux 基本操作,能夠編寫 Shell 腳本。