大数据开发工程师

岗位职责：

负责企业级大数据湖仓一体平台架构设计与核心开发，构建高可用数据采集、存储、计算体系，支撑海量数据实时/离线处理及业务决策。

1、参与集团统一的湖仓一体架构的设计和技术选型，平台的构建和优化维护，确保湖仓一体架构的高性能，可扩展性和稳定性。

2、负责湖仓一体平台的开发与维护，包括但不限于数据采集清洗，存储、处理、调度等全流程。

3、负责集团数据应用平台、数据统一出口平台的开发与维护，包括但不限公共数据集开发、帆软报表页面开发、数据接口开发与维护等。

4、编写高质量的数据处理代码，实现海量数据的实时处理和离线分析。

5、负责集团级数据治理体系制定并执行数据标准、指标、质量、安全的管理策略与流程，治理平台的导入及运维管理。

6、与产品、数据治理工程师、数据分析师等团队协作，推动数据在业务中的应用和价值转化。

7、研究和引入新进的大数据技术和工具，不断提升团队的技术能力。

任职资格：

1、计算机科学、信息技术或相关专业本科及以上学历，5年以上大数据开发经验。。

2、精通SQL开发与调优，熟悉大数据领域相关的技术，包含但不限于hadoop、hive、spark、flink、datax、seatunnel等，精通oracle、greenplum、kudu、dris等存储引擎工具。

3、精通一种或多种编程语言(如：java、scala、python)，具备良好的代码规范和开发习惯。

4、熟悉数据仓库设计，有丰富的数据建模和ETL开发经验。

5、对大数据能力输出、报表展示工具有落地经验。

6、具备优秀的项目管理能力，能够跨部门沟通和协作，熟悉业务领域数据需求，可对接生产、供应链等领域，具备数据合规与价值挖掘能力; 。