Senior Data Engineer [Databricks]

Na CI&T, há mais de um ano, estamos liderando a transformação digital do e-commerce multicanal de um dos maiores varejistas farmacêuticos do Brasil. Agora, estamos em busca de pessoas apaixonadas por tecnologia e inovação para integrar nossos times Hiper Eficientes e acelerar projetos com Inteligência Artificial!

Com o suporte do CI&T Flow, nossa IA revolucionária, você terá acesso às melhores ferramentas para maximizar eficiência, criatividade e impacto nos projetos. Aqui, trabalhamos com tecnologia de ponta que não só transforma, mas também redefine os padrões do mercado.

Se você busca crescimento, inovação e a chance de moldar o futuro, essa é a sua oportunidade. Venha fazer parte de uma equipe que inspira mudanças e cria soluções extraordinárias.

Seja protagonista da revolução tecnológica com a CI&T.

Inscreva-se agora e faça história conosco!

Projeto para estruturar e acelerar a plataforma de dados de uma tribo que já opera 700+ pipelines em Databricks, responsáveis por produtos de dados monetizados pela empresa. A solução cresceu em "modo aceleração" (construir primeiro, desenhar depois) e agora precisa de maturidade técnica: orquestração automatizada, qualidade de dados ponta a ponta e centralização dos motores de distribuição.

Responsabilidades

- Atuar na esteira completa dos dados: ingestão (pouso no Lake/S3) → camada Bronze → Silver → Gold → feature store → camada de distribution (produto final) → entrega ao cliente (API, arquivo/batch, SFTP, bucket, DynamoDB).

- Substituir a orquestração manual atual (execução sequencial de fluxos, monitorada "na mão") por orquestração automatizada nativa do Databricks.

- Implementar processos de qualidade de dados entre todas as camadas do pipeline (do pouso no Lake até a entrega final ao cliente).

- Desenvolver e parametrizar fluxos existentes (parte do desenho/arquitetura já está pronta - o time precisa de capacidade de execução, não de redesenho do zero).

- Contribuir com o desenvolvimento de módulos correlatos:

- Motor de faturamento - billing dos consumos de dados dos produtos.

- Motor de arquivaria - padronização da distribuição de arquivos para múltiplos canais de cliente (bucket, SFTP, Connect etc.), hoje fragmentado entre Airflow e Databricks.

Hard Skills (obrigatórias)

- Databricks - proficiência é o requisito central do projeto (não apenas conhecimento básico).

- Apache Spark - core de execução dos pipelines.

- Engenharia de dados / ETL, com domínio de arquitetura em camadas (medalhão: Bronze/Silver/Gold).

- Experiência com orquestração de pipelines de dados.

- Experiência implementando frameworks/processos de qualidade de dados em pipelines produtivos.

- Familiaridade com ambiente cloud AWS (S3, DynamoDB) - arquitetura é híbrida (AWS + Databricks), mas o foco do projeto é Databricks.

Hard Skills (desejáveis)

- Terraform.

- Databricks Asset Bundles (DAB).

- Experiência com distribuição de dados via múltiplos canais (SFTP, buckets, APIs).

- Vivência com produtos de dados / dados como produto monetizável.

Soft Skills

- Autonomia e capacidade de execução - o desenho e a definição do que precisa ser feito já existem; a demanda é por capacidade de execução com pouca curva de aprendizado.

- Onboarding rápido em ambientes já documentados/estruturados, mas com histórico de crescimento acelerado (nem tudo é "clean").

- Conforto para atuar em contexto de ritmo acelerado (built-first, design-later), lidando com soluções construídas em cima de MVPs que agora precisam ser centralizadas/padronizadas.

- Colaboração cross-squad (interface com squads de plataforma, produto/canal digital e times internos de engenharia).