Senior/Pleno Data Developer (Databricks/Data Lakehouse ), Brazil

Buscamos uma Pessoa Engenheira de Dados Senior/Pleno para ser a força motriz de um projeto de alta visibilidade: a migração de nossos Data Warehouses on-premise para a nuvem (Databricks).

Seu papel será fundamental desde o início, participando de levantamentos técnicos para mapear o cenário atual e definir o roadmap da migração. Você será a ponte entre a engenharia de dados robusta e a criação de valor analítico para o negócio, garantindo que nossos dados sejam não apenas bem estruturados, mas também prontos para gerar insights.

Suas responsabilidades no dia a dia:

- Construção de Pipelines de Dados: Projetar, desenvolver e otimizar pipelines de dados eficientes e escaláveis usando SQL avançado e Python/PySpark.

- Modelagem para Análise: Criar e manter modelos de dados otimizados para consumo analítico, aplicando as melhores práticas de mercado como Star Schema e a estruturação em camadas (Bronze, Silver, Gold) para construir tabelas analíticas (OBTs) de alto desempenho.

- Garantia de Qualidade e Governança: Implementar e liderar rotinas de testes, validações e governança para garantir a integridade, consistência e confiabilidade dos dados em todas as etapas do pipeline.

- Resolução de Problemas e Comunicação: Atuar como referência técnica, mobilizando as equipes necessárias, comunicando-se de forma eficaz para resolver impedimentos e traduzindo requisitos de negócio em soluções de dados.

- Gestão do Roadmap Técnico: Criar e gerenciar o roadmap do projeto, identificando dependências técnicas, planejando entregas e gerenciando mudanças de forma proativa.

Habilidades e Qualificações que buscamos:

- Experiência Prática com a Stack: Vivência sólida com bancos de dados relacionais (SQL, Oracle) e, principalmente, com o ecossistema Databricks (Spark, PySpark) e orquestradores como Azure Data Factory (ADF).

- Modelagem de Dados Aplicada: Profunda compreensão e experiência na implementação das camadas de dados Bronze, Silver e Gold, além de modelos como Star Schema e Tabelas Analíticas (OBT).

- Conhecimentos Fundamentais: Compreensão sólida de qualidade de dados, governança e operações essenciais como MERGE em ambientes de Data Lakehouse.

Liderança e Comunicação:

Capacidade de lidar com tarefas pouco descritas, usando a comunicação e a investigação para refinar o entendimento.

Experiência na criação e gestão de roadmaps técnicos.

Proficiência em Código: Domínio de SQL para consultas complexas e - Python/PySpark para transformação e manipulação de dados.

Diferenciais que nos impressionam:

Certificações em Databricks ou Azure (ex: Azure Data Engineer).

Experiência com ferramentas de orquestração de workflows (ex: Airflow).

Familiaridade com plataformas de Business Intelligence (ex: Power BI, Tableau) e como os dados são consumidos.

Vivência em metodologias ágeis.