Senior Data Engineer, Brazil

Sobre a oportunidade

Na CI&T, combinamos tecnologia, dados e expertise humana para criar soluções que geram impacto para grandes empresas.

Estamos buscando uma pessoa Senior Data Engineer para fazer parte de um time responsável pela construção de uma solução de centralização e transformação de dados para uma grande empresa do segmento de CPG (Consumer Packaged Goods).

Neste desafio, você atuará no desenvolvimento e evolução de soluções de dados, desde a ingestão e integração de diferentes fontes até a transformação e disponibilização dos dados para consumo analítico.

Você fará parte de um time de Data Engineers, trabalhando em parceria com o Data & Tech Lead e outros profissionais, contribuindo para a implementação da arquitetura de dados, evolução da plataforma e construção de soluções escaláveis e confiáveis.

Principais responsabilidades

• Desenvolver e evoluir pipelines de dados para ingestão, transformação e disponibilização das informações.
• Desenvolver processos de ETL/ELT utilizando Databricks e Python.
• Trabalhar com SQL e SQL Server, desenvolvendo consultas, procedures e rotinas de processamento.
• Implementar e evoluir soluções baseadas na arquitetura Medallion, utilizando as camadas Bronze, Silver e Gold.
• Integrar e processar dados provenientes de diferentes fontes e sistemas corporativos.
• Realizar tratamento, transformação, validação e padronização dos dados.
• Contribuir para a construção das camadas transacional e analítica da solução.
• Garantir qualidade, performance, consistência e confiabilidade dos pipelines e dados.
• Investigar problemas nos processos de dados e propor soluções técnicas.
• Trabalhar em conjunto com o Data & Tech Lead e demais profissionais na definição e implementação das soluções.
• Contribuir para a evolução técnica da plataforma, propondo melhorias de arquitetura, processos e automações.
• Apoiar a disponibilização dos dados para soluções analíticas e modelos de consumo, incluindo Power BI.

Principais tecnologias

• Databricks
• Python
• SQL / SQL Server
• Data Pipelines
• ETL / ELT
• Arquitetura Medallion (Bronze, Silver e Gold)

Conhecimentos complementares

• Azure
• Stored Procedures
• Integração de diferentes fontes de dados
• SharePoint
• Power BI
• Modelos semânticos
• Sistemas legados e fontes corporativas

Requisitos Técnicos

• Experiência profissional sólida em Data Engineering.
• Experiência prática no desenvolvimento e evolução de pipelines de dados.
• Sólido conhecimento de SQL e SQL Server.
• Experiência com Python aplicado ao processamento, transformação e integração de dados.
• Experiência prática com Databricks.
• Conhecimento de ETL/ELT e arquitetura de dados.
• Experiência trabalhando com diferentes fontes e sistemas de dados.
• Capacidade de investigar problemas e propor soluções técnicas.
• Conhecimento de práticas voltadas à qualidade, performance e confiabilidade de dados.
• Boa comunicação e capacidade de trabalhar de forma colaborativa em times multidisciplinares.
• Inglês intermediário para comunicação em ambiente corporativo e interação com times e clientes internacionais.

Será um diferencial

• Experiência com Azure Data Services.
• Experiência com Power BI e modelos semânticos.
• Conhecimento de SharePoint e integração com plataformas de dados.
• Experiência com Power Platform, especialmente Power Apps e Power Automate.
• Conhecimento de SAP e integração de dados SAP.
• Conhecimento de processos de Supply Chain.
• Conhecimento de Espanhol.