Data Engineer Spark/AWS/Iceberg
First seen by Alion on Sep 28, 2026.
Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l’évolution d’une plateforme Data alimentant des produits et services à forte volumétrie.
Au sein d’une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum.
Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.
Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance.
Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité.
Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité.
Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard.
Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes.
Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge.
Documenter les pipelines, modèles de données, procédures d’exploitation et choix techniques.
Participer aux pratiques de CI/CD et aux revues de code.
Apache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting
Profil recherchéFormation supérieure en informatique, Data ou ingénierie.
Première expérience en Data Engineering.
Bonne maîtrise de Spark et SQL.
Expérience en Python ou Scala appréciée.
Bonne connaissance des architectures Data sur AWS, notamment S3.
Connaissance d’Iceberg ou de technologies de tables/stockage analytiques similaires.
Sensibilité aux enjeux de qualité des données, résilience et observabilité.
Autonomie, curiosité, esprit d’équipe et intérêt pour les environnements techniques modernes.
Profil recherché
Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l’évolution d’une plateforme Data alimentant des produits et services à forte volumétrie.
Au sein d’une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum.
Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.
Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance.
Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité.
Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité.
Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard.
Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes.
Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge.
Documenter les pipelines, modèles de données, procédures d’exploitation et choix techniques.
Participer aux pratiques de CI/CD et aux revues de code.
Apache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting
Profil recherchéFormation supérieure en informatique, Data ou ingénierie.
Première expérience en Data Engineering.
Bonne maîtrise de Spark et SQL.
Expérience en Python ou Scala appréciée.
Bonne connaissance des architectures Data sur AWS, notamment S3.
Connaissance d’Iceberg ou de technologies de tables/stockage analytiques similaires.
Sensibilité aux enjeux de qualité des données, résilience et observabilité.
Autonomie, curiosité, esprit d’équipe et intérêt pour les environnements techniques modernes.