Data Engineer Pleno

O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade.

Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.

Responsabilidades e atribuições

• Desenvolver e manter pipelines de dados escaláveis utilizando Spark e Delta Lake,

• Garantir a qualidade e disponibilidade dos dados para times de ciência de dados e para as aplicações,

• Construir e operar pipelines de produção para inferência de modelos de ML,

• Implementar estratégias de data quality e testes em pipelines de dados,

• Colaborar na evolução da arquitetura de dados seguindo padrões como medalhão,

• Otimizar performance das pipelines,

• Arquiteturas de dados em larga escala para indústria,
• Pipelines de produção para aplicações de machine learning,
• Boas práticas de data quality e governança de dados,
• Visão de negócio aplicada a problemas industriais reais.

Requisitos e qualificações

• Experiência de 2 a 4 anos atuando com engenharia de dados,

• Experiência sólida com Apache Spark (preferencialmente PySpark),

• Familiaridade com arquiteturas de Data Lakehouse e formatos colunares (Delta, Parquet),

• Experiência com controle de versão usando Git e boas práticas de programação e código limpo,

• Capacidade de comunicar e discutir soluções técnicas com diferentes perfis.

Requisitos desejáveis

• Experiência com pipelines de MLOps e deploy de modelos em produção,

• Conhecimento em ferramentas de data quality e observabilidade de dados,

• Desenvolvimento de data apps,

• Familiaridade com processamento de dados em streaming ou near-real-time,

• Conhecimento em cloud (Azure ou AWS) e DBT,

• Familiaridade em Databricks (Jobs, Workflows, Unity Catalog).