Databricks Data Engineer

Sobre a YellowIpe

Temos a missão de inspirar a conexão da tecnologia com as pessoas, fomentamos o melhor de nossos profissionais através de nossa expertise em encontrar e atrair os melhores talentos para os melhores projetos. O Foco nas Pessoas, Colaboração e Comprometimento são os pilares que nos guiam nessa trajetória.

Junte-se à equipa amarela como nosso novo Databricks Data Engineer!

Responsabilidades:

• Colaborar com a equipa de Data & Analytics de uma instituição financeira prestigiada em Lisboa, suportando a migração das capacidades de engenharia de dados da Azure Synapse para a plataforma Databricks.
• Executar tarefas de engenharia de dados, focando na adoção e implementação eficaz do Databricks, utilizando a arquitetura Data Vault estabelecida que classifica os dados em camadas de bronze (dados brutos), prata (dados estruturados e processados que compõem a camada de data lake) e ouro (camada orientada ao negócio e pronta para consumo).
• Construir, otimizar e manter pipelines de transformação de dados, garantindo a eficiência e escalabilidade na movimentação de dados entre as várias camadas.
• Implementar práticas robustas de governança de dados durante o processo de engenharia, assegurando a criação de um catálogo de dados abrangente e a rastreabilidade dos dados (data lineage), integrando essas funcionalidades na nova arquitetura.
• Trabalhar em estreita colaboração com a equipa interna, proporcionando suporte técnico e compartilhando conhecimento para reforçar as capacidades de engenharia da equipa.
• Realizar testes rigorosos e garantir a qualidade dos dados durante todo o processo de migração, abordando e resolvendo problemas de performance de forma proativa.
• Contribuir para a documentação técnica e manual de melhores práticas, garantindo que todo o conhecimento adquirido durante o projeto esteja acessível para a equipa.

Requisitos:

• Experiência prática comprovada com Databricks, não sendo suficiente experiência genérica em Spark ou engenharia de dados na nuvem (obrigatório).
• Sólidos conhecimentos em Engenharia de Dados, com historial demonstrado na construção e otimização de pipelines em arquiteturas de dados em camadas (obrigatório).
• Experiência prévia em práticas de governança de dados, incluindo implementação e gestão de catálogos de dados e rastreabilidade de dados (obrigatório).
• Familiaridade com modelagem Data Vault será considerada uma vantagem significativa.
• Entre 4 a 5 anos de experiência relevante em Engenharia de Dados, preferencialmente em ambientes financeiros ou similares.
• Fluência em inglês é essencial; conhecimento de português será um diferencial valorizado.
• Disponibilidade para um regime híbrido de trabalho, com pelo menos 2 dias por semana requerendo presença física no escritório.
• Localização: Lisboa, Portugal.

Diferenciais:

• Experiência com as capacidades de Inteligência Artificial e Machine Learning do Databricks será considerada uma vantagem, embora não constitua um requisito essencial.
• Habilidade em trabalhar em equipas multifuncionais e em ambientes ágeis, adaptando-se rapidamente a novas tecnologias e desafios.
• Certificações em Databricks, Azure ou outras plataformas relevantes são um plus.

Informações importantes:

Tipo de contrato: full-time
Localização: Lisboa, Portugal
Modalidade: Híbrido – pelo menos 2 vezes por semana no escritório
Idioma(s) necessário(s): Inglês obrigatório; Português será considerado um diferencial
Nível: Não especificado

Candidatura: Ver a vaga e candidatar-me na YellowIpe