Data Developer (AI / Databricks) Sênior , Brazil

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para integrar nossa equipe na gerência de Transformação de Cadastro de Clientes. Este profissional será fundamental para o desenvolvimento e manutenção de pipelines de dados em um ambiente Azure, utilizando as melhores práticas de engenharia de dados.

Sua Missão:

- Desenvolver e manter pipelines/esteiras de dados em Azure com Databricks.

- Implementar pipelines automatizados para ingestão, transformação e disponibilização de dados.

- Garantir qualidade e governança dos dados em todo o ciclo.

- Colaborar com times multidisciplinares para evolução da arquitetura de dados.

- Tratar altos volumes de dados cadastrais.

- Monitorar indicadores e qualidade das entregas.

- Automatizar processos e consultas.

- Analisar dados para identificar problemas e propor soluções.

Responsabilidades e Atribuições:

- Desenvolvimento de Pipelines: Criar e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.

- Automação de Deploys: Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.

- Modelagem de Dados: Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.

- Migração para Cloud: Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.

- Colaboração com Times: Trabalhar em conjunto com times de negócio e ciência de dados para o deploy de modelos de IA em ambiente cloud.

- Qualidade dos Dados: Garantir a qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.

- Documentação: Documentar processos, arquiteturas e boas práticas de engenharia de dados.

Requisitos e Qualificações:

- Experiência sólida em Azure Data Services, Databricks e PySpark.

- Domínio de Python e SQL para manipulação e transformação de dados.

- Conhecimento em CI/CD e versionamento com GitHub.

- Domínio de processos de ETL/ELT.

- Experiência em modelagem de dados (conceitual, lógica e física).

- Atuação com Microsoft Azure: ADF, Synapse, Data Lake Storage e Spark.

- Familiaridade com Git/GitHub e Azure DevOps para versionamento e automação de deploys.

- Vivência em projetos de migração para cloud e integração de grandes volumes de dados.

- Desejável experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.

Diferenciais:

- Experiência em projetos de IA e automação de pipelines.

- Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.

- Participação em iniciativas de MDM (Master Data Management).

- Familiaridade com Databricks MLflow para gestão de modelos.

- Atuação em ambientes Data Lake e Data Warehouse.