Sênior Data Developer(Azure/Databricks), Brazil
Estamos em busca de um Data Developer para atuar em projeto de nicho financeiro.
Você será responsável por garantir a integridade, consistência e eficiência dos modelos de dados, realizando revisões estruturais, definindo padrões e assegurando governança em todo o ciclo de vida dos dados - da ingestão ao consumo por modelos de IA e times de negócio.
Responsabilidades:
-Desenvolver e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando
Databricks para processamento e integração.
-Realizar consultas, integrações e manipulação de dados em ambientes relacionais e não
relacionais.
-Implementar práticas de CI/CD para automação de deploys e versionamento de código em
GitHub.
-Projetar e otimizar modelos de dados para garantir escalabilidade, performance e
governança.
-Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos
dados.
-Apoiar projetos de modernização e migração de soluções analíticas legadas para o
ambiente cloud.
-Colaborar com times de negócio e ciência de dados para deploy de modelos de IA em
ambiente cloud.
-Produtizar modelos de Machine Learning no Databricks (MLOps), incluindo uso de Azure
ML e MLflow.
-Garantir qualidade e consistência dos dados, aplicando técnicas de data profiling e
monitoramento contínuo.
-Documentar processos, arquiteturas e boas práticas de engenharia de dados.
Requisitos Técnicos:
-Experiência sólida em Azure Data Services e Databricks.
-Experiência com arquitetura medalhão (Bronze / Silver / Gold).
-Vivência em projetos de migração para cloud.
-Atuação em ambientes Data Lake e/ou Data Warehouse.
-Domínio de Python e PySpark para manipulação e transformação de dados.
-Domínio de SQL para consultas e modelagem.
-Experiência em ETL/ELT e integração de grandes volumes de dados.
-Experiência em modelagem de dados (conceitual, lógica e física).
-Conhecimento em CI/CD e versionamento com GitHub.
-Conhecimento em esteiras DevOps/DataOps/MLOps.
-Experiência com deploy de modelos de IA e uso do Azure ML.
-Familiaridade com Databricks MLflow para gestão e versionamento de modelos.
-Noções de Governança e Qualidade de Dados em Cloud.
-Capacidade de aplicar data profiling e monitoramento de qualidade de dados.
-Experiência com projetos de IA e automação de pipelines inteligentes.
Diferenciais:
-Experiência com SAS - leitura, entendimento e apoio à migração para Python/PySpark.
-Experiência com MongoDB para manipulação de dados não relacionais.
-Experiência com FICO.
-Experiência com ingestão e integração de dados via API do SAP Ariba.
-Conhecimentos em Hive e Teradata em contextos de modernização de legado.
-Participação em iniciativas de MDM (Master Data Management).
-Conhecimento em arquiteturas orientadas a dados e boas práticas avançadas de
governança.