[Job-31365] Data Developer (Azure/Databrics) Sênior , Brazil
Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados, para integrar um time na gerência de Transformação de Cadastro de Clientes, em contexto de nicho financeiro.
Responsabilidades:
-Desenvolver e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.-
-Visão 360º (ex: Entender o projeto como um todo, entendendo os impactos que uma solução pontual posso acarretar o projeto).
-Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
-Modelar e evoluir tabelas no Unity Catalog, aplicando boas práticas de nomenclatura e versionamento de schema.
-Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.-
-Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
-Colaborar com times de negócio e ciência de dados para deploy de modelos de IA em ambiente cloud.
-Garantir qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
-Documentar processos, arquiteturas e boas práticas de engenharia de dados.
Requisitos Técnicos:
-Experiência sólida em Azure Data Services e Databricks.
-Experiência com Databricks com PySpark
-Experiência com Arquitetura medalhão.
-Domínio de Python e SQL para manipulação e transformação de dados.
-Conhecimento em CI/CD e versionamento com GitHub.
-Conhecimento em modelagem de dados analíticos (camadas de ingestão, preparação e consumo).
-Vivência em projetos de migração para cloud.
-Experiência em ETL/ELT e integração de grandes volumes de dados.
-Experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.
-Experiência com projetos de IA e automação de pipelines.
Diferenciais:
-Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.
-Vivência em projeto de contexto financeiro.
-Participação em iniciativas de MDM (Master Data Management).
-Familiaridade com Databricks MLflow para gestão de modelos.
-Atuação em ambientes Data Lake e Data Warehouse.