First seen by Alion on Nov 20, 2026.
Nous recherchons un Data Engineer pour renforcer une équipe Data sur la mise en place de flux d’ingestion au sein d’une plateforme Data basée sur Microsoft Azure Databricks. La mission consiste à intégrer des données issues d’une solution de souscription externe vers une architecture Data Lake de type Medaillon (Bronze / Silver / Gold), avec un fort enjeu de qualité, de traçabilité et de supervision des traitements.
Missions principales :Concevoir et développer les pipelines d’ingestion de données dans Azure Databricks.
Intégrer des données historiques au sein de la couche Bronze.
Mettre en place l’ingestion temps réel d’événements via API.
Contrôler la conformité et la structure des données reçues.
Implémenter des mécanismes de quarantaine pour les flux non conformes.
Réaliser la désérialisation et la transformation des données.
Développer les dispositifs de supervision et de télémétrie des traitements.
Assurer le comptage et le rapprochement des données émises et intégrées.
Gérer les problématiques de doublons et de rejouabilité des flux.
Mettre en œuvre les mécanismes de purge et de conservation des données.
Participer aux phases de recette et de validation.
Produire la documentation technique et d’exploitation.
Profil recherché
Expérience confirmée en Data Engineering.
Bonne maîtrise d’Azure Databricks et des architectures Data modernes.
Expérience significative sur des projets d’ingestion de données à forte volumétrie.
Solides compétences en Python et SQL.
Connaissance des problématiques de qualité, gouvernance et supervision de données.
Capacité à travailler de manière autonome tout en s’intégrant dans une équipe Data.
Bon relationnel et aptitude à documenter les réalisations.

