{"id":4710995,"url":"https://alion.io/job/lcg-consulting-data-engineer-azuredatabricks","title":"Data Engineer - Azure/Databricks","company":{"id":2570545,"name":"LCG Consulting","domain":"lcg.consulting","url":"https://alion.io/company/lcg-consulting","size_band":null,"is_staffing_agency":false,"employer_type":"services","is_intermediary":false,"listed_via":null,"ats_vendor":"CATS","truth_index":null},"role":"Data Science","role_family":"Data Science","seniority":null,"employment_type":null,"work_mode":"on_site","remote_scope":null,"remote_scope_basis":null,"remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Lisbon, Portugal"],"countries":["PT"],"hiring_countries":[],"hiring_countries_total":0,"salary":null,"salary_estimate":null,"experience_years_min":null,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"Airflow","optional":false},{"name":"Apache Kafka","optional":false},{"name":"AWS","optional":false},{"name":"Azure","optional":false},{"name":"Azure Data Factory","optional":false},{"name":"Bicep","optional":false},{"name":"CI/CD","optional":false},{"name":"CloudFormation","optional":false},{"name":"Data Vault","optional":false},{"name":"Databricks","optional":false},{"name":"dbt","optional":false},{"name":"Delta Lake","optional":false},{"name":"Dimensional Modeling","optional":false},{"name":"Docker","optional":false},{"name":"Embeddings","optional":false},{"name":"ETL/ELT","optional":false},{"name":"FinOps","optional":false},{"name":"Flink","optional":false},{"name":"GCP","optional":false},{"name":"Git","optional":false},{"name":"Kubernetes","optional":false},{"name":"Machine Learning","optional":false},{"name":"Master Data Management","optional":false},{"name":"Microsoft Fabric","optional":false},{"name":"Python","optional":false},{"name":"RAG","optional":false},{"name":"Scala","optional":false},{"name":"Snowflake","optional":false},{"name":"Spark","optional":false},{"name":"SQL","optional":false},{"name":"Terraform","optional":false}],"status":"live","first_seen_at":"2026-11-20T18:55:28Z","employer_posted_date":"2026-11-20","last_verified_at":"2026-11-20T18:55:28Z","board_verified":true,"closed_at":null,"days_open":0,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":0},"description":"Shape the Future with LCG\nNa LCG acreditamos que a inovação acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizações de diferentes setores na sua transformação digital, criando impacto através de projetos desafiantes e equipas de excelência.\nMais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contínua, a partilha de conhecimento e a evolução profissional fazem parte do dia a dia. Aqui, terás a oportunidade de colaborar com equipas internacionais e multidisciplinares, trabalhar com tecnologias de ponta e desenvolver o teu potencial em projetos de elevada complexidade e impacto.\nNa LCG, o teu talento impulsiona a inovação e o teu crescimento acompanha a evolução da tecnologia.\nProcuramos um Data Engineer para integrar uma equipa responsável pelo desenvolvimento, implementação e evolução de plataformas de dados modernas, escaláveis e seguras, contribuindo para a transformação dos dados em ativos estratégicos para a organização e para a tomada de decisões baseada em informação.\nO que vais fazer?\nDesenhar, desenvolver e manter plataformas de dados escaláveis, seguras e resilientes em ambientes Cloud.\n\nConstruir e otimizar pipelines de dados batch e real-time, integrando informação proveniente de diferentes fontes e sistemas.\n\nImplementar arquiteturas modernas de dados, nomeadamente Data Lakes, Lakehouses e Data Warehouses.\n\nDesenvolver e manter processos ETL/ELT, assegurando a eficiência, escalabilidade e qualidade dos dados.\n\nIntegrar dados estruturados, semiestruturados e não estruturados, provenientes de bases de dados, APIs, plataformas de streaming e aplicações.\n\nDesenvolver modelos de dados e processos de transformação e enriquecimento, suportando necessidades analíticas, operacionais e de Inteligência Artificial.\n\nGarantir a qualidade, fiabilidade, rastreabilidade e segurança dos dados, implementando mecanismos de validação, monitorização e controlo.\n\nColaborar na implementação de soluções de Data Governance, assegurando o cumprimento de requisitos de segurança, privacidade e regulamentação.\n\nPreparar e otimizar datasets para iniciativas de Machine Learning, Advanced Analytics e Generative AI.\n\nContribuir para o desenvolvimento de soluções de IA, incluindo arquiteturas RAG, pipelines de embeddings e integração com Vector Databases.\n\nMonitorizar o desempenho, a disponibilidade e os custos das plataformas de dados, identificando oportunidades de otimização.\n\nImplementar práticas de DataOps, automação, testes, CI/CD e Infrastructure as Code.\n\nColaborar com equipas de arquitetura, Data Science, AI Engineering, Product Owners e outras áreas de negócio.\n\nContribuir para a evolução das arquiteturas, standards e boas práticas de engenharia de dados.\n\nO que precisas de saber?\nFormação superior em Engenharia Informática, Ciências da Computação, Sistemas de Informação ou área semelhante.\n\nExperiência sólida em Engenharia de Dados e desenvolvimento de pipelines de dados em larga escala.\n\nBons conhecimentos de SQL e técnicas de modelação de dados, nomeadamente Dimensional Modelling, Normalized Data Models ou Data Vault.\n\nExperiência de programação em Python e/ou Scala.\n\nExperiência na implementação de arquiteturas de processamento de dados batch e streaming.\n\nExperiência obrigatória com Microsoft Azure, sendo valorizados conhecimentos de AWS e Google Cloud Platform.\n\nExperiência obrigatória com Databricks.\n\nConhecimentos de tecnologias e serviços Cloud, nomeadamente Azure Data Factory, Azure Data Lake, Azure Synapse Analytics e/ou Microsoft Fabric.\n\nConhecimentos de frameworks e tecnologias de processamento e integração de dados, como Apache Spark, Kafka, Airflow, dbt, Delta Lake, Apache Flink ou tecnologias equivalentes.\n\nExperiência com bases de dados relacionais e/ou NoSQL, Data Warehouses, Lakehouses e soluções de Object Storage.\n\nConhecimentos de Git, CI/CD e práticas de desenvolvimento de software.\n\nFamiliaridade com Infrastructure as Code, nomeadamente Terraform, Bicep ou CloudFormation.\n\nConhecimentos de Docker, Kubernetes e princípios de testes automatizados aplicados a pipelines de dados.\n\nCapacidade de analisar problemas complexos e desenvolver soluções eficientes, escaláveis e sustentáveis.\n\nBoa capacidade de comunicação e colaboração com equipas técnicas e funcionais.\n\nBons conhecimentos de inglês.\n\nO que valorizamos?\nCertificações em Azure, Databricks ou Snowflake.\n\nExperiência em Data Governance, Data Catalogs, Metadata Management e Data Lineage.\n\nConhecimentos de frameworks de Data Quality e plataformas de Data Observability.\n\nFamiliaridade com conceitos de Master Data Management e arquiteturas Data Mesh.\n\nExperiência no suporte a plataformas de AI/ML e implementação de soluções de Inteligência Artificial.\n\nConhecimentos de FinOps e otimização de custos em ambientes Cloud.\n\nExperiência em mentoria de profissionais mais juniores e participação em comunidades técnicas.\n\nO que oferecemos?\nIntegração numa equipa dinâmica, internacional e multidisciplinar;\n\nParticipação em projetos de transformação tecnológica e desenvolvimento de plataformas de dados modernas;\n\nContacto com tecnologias avançadas de Cloud, Big Data, Data Engineering e Inteligência Artificial;\n\nOportunidade de trabalhar em iniciativas de arquitetura, automação e otimização de plataformas de dados;\n\nAmbiente de trabalho que promove a autonomia, a partilha de conhecimento e a colaboração;\n\nOportunidades de desenvolvimento profissional e aprendizagem contínua;\n\nPlano de benefícios flexíveis.\n\nLocalização: Lisboa\nModelo de trabalho: Híbrido","description_format":"text","description_chars":5560,"description_truncated":false,"requirements":{"experience_years_min":null,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"Portuguese","level":"C1 - Advanced","optional":false}]},"benefits":[],"hiring_locations":[],"hiring_excludes":[],"relocation_offered":false,"industries":["IT Consulting & Digital Transformation"],"lifecycle":[{"event":"open","at":"2026-11-20T18:55:28Z"}],"visa":[],"liveness":{"score":86,"band":"hot","label":"Hiring now","p_open":1,"p_active":0.86,"p_room":1,"age_days":0,"expected_fill_days":16,"reasons":["conf:1","win:early"],"computed_at":"2026-11-20T20:23:55Z"},"pay":null,"html_url":"https://alion.io/job/lcg-consulting-data-engineer-azuredatabricks","json_url":"https://alion.io/job/lcg-consulting-data-engineer-azuredatabricks.json","meta":{"generated_at":"2026-11-20T20:23:55Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":26369,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-11-21T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.1,"usd":0.01,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":2570545},"rest":"https://alion.io/mcp/rest/get_company?id=2570545"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Flcg-consulting-data-engineer-azuredatabricks"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"free","price":{"credits":0,"usd":0},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Flcg-consulting-data-engineer-azuredatabricks"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.1,"usd":0.01},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Flcg-consulting-data-engineer-azuredatabricks"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/lcg-consulting-data-engineer-azuredatabricks\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Flcg-consulting-data-engineer-azuredatabricks"}],"agent":{"mcp":"https://alion.io/mcp/jobs","mcp_open":"https://alion.io/mcp/open","next":[{"tool":"get_job","arguments":{"id":4710995}},{"tool":"search_jobs","arguments":{"company":"lcg.consulting","detail":"compact"}},{"tool":"match_people","arguments":{"job_id":4710995},"note":"people open to offers who fit this vacancy"}],"note":"The same data through MCP tools: https://alion.io/mcp/open needs no sign-in (compact searches, postings, people); https://alion.io/mcp with an Alion account has everything. Docs: https://alion.io/developers"}}