Data Engineer Mid Level | Azure & Databricks, Brazil

Estamos em busca de um(a) Engenheiro(a) de Dados Mid Level para atuar em um projeto de estruturação e evolução da plataforma de dados de um cliente do setor financeiro e de gestão de ativos.

Missão

Atuar na construção, integração, transformação e disponibilização de dados, desenvolvendo pipelines e soluções de engenharia de dados em ambiente Azure e Databricks, garantindo qualidade, consistência, rastreabilidade e eficiência dos processos.

Como será o seu dia a dia

• Desenvolver e manter pipelines de dados em Azure utilizando Databricks e PySpark.
• Implementar processos de ingestão, transformação e disponibilização de dados.
• Trabalhar com Python e SQL para manipulação e transformação dos dados.
• Estruturar e organizar dados em ambientes Data Lake/Lakehouse.
• Tratar e integrar dados provenientes de diferentes fontes.
• Desenvolver e automatizar processos e consultas.
• Monitorar pipelines e atuar na identificação e resolução de problemas.
• Garantir a qualidade, consistência e rastreabilidade dos dados.
• Implementar processos de CI/CD e automação de deploys.
• Trabalhar com Git/GitHub e Azure DevOps.
• Apoiar a evolução dos modelos de dados e das soluções definidas pela arquitetura.
• Apoiar a disponibilização de dados para iniciativas de Analytics, IA e Machine Learning.

Responsabilidades

• Desenvolver e manter pipelines ETL/ELT.
• Implementar integrações entre diferentes fontes de dados.
• Desenvolver e otimizar modelos de dados conceituais, lógicos e físicos.
• Apoiar projetos de migração e integração de dados para cloud.
• Implementar práticas de qualidade, monitoramento e governança de dados.
• Automatizar processos de engenharia de dados e deploys.
• Documentar processos, soluções e boas práticas.
• Trabalhar em colaboração com times técnicos, de negócio e ciência de dados.
• Seguir padrões e direcionamentos definidos pela arquitetura de dados.

Requisitos

• Experiência profissional em Engenharia de Dados.
• Experiência com Microsoft Azure.
• Experiência com Databricks e PySpark.
• Conhecimento sólido de Python e SQL.
• Experiência com processos de ETL/ELT.
• Conhecimento em modelagem de dados conceitual, lógica e física.
• Experiência com Azure Data Factory (ADF), Azure Data Lake Storage, Synapse e Spark.
• Conhecimento de Git/GitHub e Azure DevOps.
• Conhecimento de práticas de CI/CD.
• Experiência com integração e tratamento de dados.

Diferenciais

• Experiência com Azure Machine Learning (Azure ML).
• Conhecimento em deploy de modelos de IA/ML.
• Experiência com Power BI e desenvolvimento de dashboards.
• Vivência em projetos do setor financeiro.
• Conhecimento em arquiteturas Data Lake/Lakehouse.