Data Engineer python AWS APACHE

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile :

o   Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes.
Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code.

o   Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Profil recherché

La mission :

·       Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.

·       Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l’évolutivité et à la gouvernance des données.

·       Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.

·       Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.

·       Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.

·       Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.

·       Documenter les pipelines, les modèles de données, les procédures d’exploitation et les décisions techniques.