Data infra平台开发工程师

岗位职责 / Responsibilities

1、负责公司数据平台的全栈开发，涵盖数据湖仓体系构建、数据预处理管线、数据集管理与版本控制等核心模块;

2、开发数据湖仓架构，整合多源异构数据，实现数据的高效存储、查询与生命周期管理;

3、构建大规模训练数据集的生产管线，包括数据清洗、格式转换、数据增强、采样策略及自动化标注流程;

4、设计并实现高性能的数据加载与预处理能力，优化数据IO瓶颈，支撑大规模分布式训练的高效数据供给;

5、负责数据集版本管理与可追溯性建设，建立数据血缘关系，确保训练数据的可复现性;

6、参与数据管线的自动化与编排能力建设，推动数据从原始采集到模型训练的自动化流转;

7、与算法、Infra团队紧密协作，理解模型对数据的需求与格式要求，持续优化数据平台的易用性与效率。

任职要求 / Requirements

1、本科及以上学历，计算机、软件工程、数据科学等相关专业;

2、3年以上数据平台或大数据开发经验，有AI训练数据平台建设经验者优先;

3、精通至少一种后端开发语言（Go/Python/Java），具备扎实的工程化能力;

4、熟悉数据湖仓相关技术及大数据处理引擎，有实际项目经验;

5、熟悉分布式存储及对象存储，了解高效数据访问模式与缓存策略;

6、了解常见数据格式，有数据格式转换与优化经验者优先;

7、具备良好的系统设计能力与问题解决能力，有大规模数据处理与性能优化经验者优先;

8、自驱力强，结果导向，能适应快节奏的研发环境。