Data Engineer - Azure

Shape the Future with LCG

Na LCG acreditamos que a inovação acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizações de diferentes setores na sua transformação digital, criando impacto através de projetos desafiantes e equipas de excelência.

Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contínua, a partilha de conhecimento e a evolução profissional fazem parte do dia a dia. Aqui, terás a oportunidade de colaborar com equipas multidisciplinares, trabalhar em contextos internacionais e contribuir para o desenvolvimento de soluções tecnológicas inovadoras.

Na LCG, o teu talento impulsiona a inovação e o teu crescimento acompanha a evolução da tecnologia.

Procuramos um perfil de Data Engineer para integrar a nossa equipa.

O que vais fazer?

• Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e, quando aplicável, Azure Data Factory;

• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas Data Lakehouse;

• Preparar datasets para Machine Learning, incluindo limpeza, tratamento de valores em falta, transformação de variáveis e feature engineering;

• Colaborar no desenvolvimento, treino e avaliação de modelos de classificação, regressão, clustering e/ou previsão de séries temporais;

• Selecionar métricas de avaliação adequadas aos objetivos de negócio;

• Implementar pipelines de inferência/scoring e integrar os resultados dos modelos nos processos de dados;

• Monitorizar a qualidade dos dados e o desempenho dos modelos em produção;

• Colaborar com equipas de negócio, Data Scientists e equipas técnicas no levantamento de requisitos e na implementação de soluções;

• Assegurar boas práticas de desenvolvimento, versionamento, documentação e testes.

O que precisas de saber?

• Entre 2 a 3 anos de experiência em Engenharia de Dados, incluindo participação em projetos com Machine Learning tradicional;

• Experiência sólida em Azure Databricks;

• Bons conhecimentos de Python, SQL e PySpark;

• Experiência com Azure Data Lake Storage e formatos como Parquet e Delta Lake;

• Experiência no ciclo completo de desenvolvimento de soluções de dados: ingestão, transformação, modelação e disponibilização;

• Experiência prática com bibliotecas de Machine Learning;

• Conhecimentos de preparação de dados, treino, validação e avaliação de modelos;

• Compreensão de conceitos como overfitting, data leakage, separação entre treino e teste e validação cruzada;

• Experiência na integração de modelos em pipelines de processamento e scoring em batch;

• Experiência com Git e boas práticas de desenvolvimento de software;

• Capacidade de desenvolver soluções escaláveis, considerando o desempenho e os custos de execução.

O que valorizamos?

• Experiência com Azure Machine Learning, nomeadamente jobs/pipelines de treino, registo de modelos e endpoints de inferência;

• Conhecimentos de monitorização de modelos, deteção de data drift e processos de retreino;

• Experiência na disponibilização de modelos através de APIs ou endpoints online;

• Conhecimentos de Unity Catalog, governação de dados e controlo de acessos;

• Experiência com metodologias ágeis, nomeadamente Scrum, e ferramentas como Jira e Confluence;

• Proatividade, autonomia e capacidade analítica na resolução de problemas;

• Boa comunicação e facilidade de interação com equipas multidisciplinares;

• Capacidade de traduzir necessidades de negócio em soluções técnicas, com foco na entrega de valor.

Localização: Portugal

Modelo de trabalho: Remoto