[Job-30766] Sr Data Engineer, Brazil
Ciandt
Sobre o desafio
Estamos em um momento estratégico de evolução da nossa plataforma de dados, conduzindo a migração e modernização de um ambiente legado baseado em Azure/Databricks para uma nova arquitetura em Google Cloud Platform (GCP).
Você fará parte da construção de uma fundação de dados moderna, baseada em Data Mesh, arquitetura Medalhão (Raw / Silver / Gold) e fortes práticas de governança, habilitando novas capacidades de Analytics, Inteligência Artificial e processamento de dados em larga escala.
Principais responsabilidades
Atuar na análise, refatoração e modernização de pipelines e notebooks legados em Spark/Databricks.
Desenvolver e manter pipelines ELT/ETL utilizando BigQuery, Dataform e SQL para construção das camadas Silver e Gold.
Implementar processos de ingestão batch e streaming com Dataflow (Apache Beam), Datastream e integração com plataformas de eventos como Kafka ou Event Hubs.
Trabalhar com persistência de dados em BigLake e tabelas Iceberg, garantindo escalabilidade e governança.
Automatizar provisionamento e deploys utilizando Terraform, Git e CI/CD (GitHub Actions).
Implementar práticas de qualidade de dados, catalogação, linhagem e compartilhamento seguro de dados utilizando ferramentas de governança do ecossistema GCP.
Colaborar com times multidisciplinares na definição de padrões de ingestão, processamento e arquitetura de dados.
Requisitos obrigatórios
Experiência sólida em SQL avançado, preferencialmente em Google BigQuery.
Vivência com Google Cloud Platform (GCP), especialmente BigQuery, Cloud Storage (GCS), Dataflow e Cloud Composer / Airflow.
Experiência com Python e Apache Spark para processamento de dados em ambientes distribuídos.
Conhecimento de Data Lakehouse, modelagem de dados, particionamento e formatos como Parquet, Avro e Iceberg.
Experiência com Git, versionamento de código e pipelines de CI/CD.
Capacidade de atuar em ambientes complexos, de alta volumetria e com múltiplos domínios de dados.
Diferenciais
Experiência com Dataform ou dbt para transformação e orquestração de dados.
Conhecimento em Terraform (Infraestrutura como Código).
Familiaridade com Kafka, Event Hubs e processamento de streaming.
Experiência prévia com Databricks e migração de workloads Spark.
Conhecimentos em governança e segurança de dados no GCP (Dataplex, IAM, VPC Service Controls).
O que você vai encontrar
Projetos de grande escala, com processamento de petabytes de dados e migração de milhares de objetos.
Uso de tecnologias modernas do ecossistema Google Cloud, incluindo BigLake, Analytics Hub e recursos de IA para enriquecimento de dados.
Ambiente altamente colaborativo, orientado a Data Mesh, com forte foco em engenharia de dados, automação, governança e inovação.
Oportunidade de participar ativamente da construção de uma plataforma de dados de próxima geração, com impacto direto nas iniciativas de Analytics e IA da organização.
Se você gosta de desafios técnicos complexos, arquitetura de dados moderna e ambientes cloud de alta escala, queremos conhecer você!