[Job-30563] Data Developer Sênior, Brazil
Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados, você será responsável por garantir a integridade, consistência e eficiência dos modelos de dados em todo o ecossistema, realizando revisões estruturais, definindo padrões e assegurando governança.
Responsabilidades:
-Desenvolver e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.-Realizar consultas, integrações e manipulação de dados em ambientes relacionais e não relacionais, incluindo: SQL e MongoDB.
-Visão 360º (ex: Entender o projeto como um todo, entendendo os impactos que uma solução pontual posso acarretar o projeto).
-Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
-Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.-
-Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
-Colaborar com times de negócio e ciência de dados para deploy de modelos de IA em ambiente cloud.
-Garantir qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
-Documentar processos, arquiteturas e boas práticas de engenharia de dados.
Requisitos Técnicos:
-Experiência sólida em Azure Data Services e Databricks.
-MongoDB.
-Experiência com Databricks com PySpark
-Experiência com Arquitetura medalhão.
-Produtização de modelos de Machine Learning no Databricks (MlOps)
-Domínio de Python e SQL para manipulação e transformação de dados.
-Conhecimento em CI/CD e versionamento com GitHub.
-Experiência em modelagem de dados (conceitual, lógica e física).
-Vivência em projetos de migração para cloud.
-Experiência em ETL/ELT e integração de grandes volumes de dados.
-Experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.
-Experiência com projetos de IA e automação de pipelines.
Diferenciais:
-Conhecimento ou experiência relevante com SAS.
-Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.
-Participação em iniciativas de MDM (Master Data Management).
-Familiaridade com Databricks MLflow para gestão de modelos.
-Atuação em ambientes Data Lake e Data Warehouse.