LEAD DATA ORCHESTRATION ENGINEER | APACHE AIRFLOW & AWS

Pour un grand acteur de l'industrie automobile, nous recherchons un(e) Lead Data Orchestration Engineer Senior, expert(e) Apache Airflow et AWS MWAA, pour piloter l'optimisation et l'évolution d'une plateforme d'orchestration Data à grande échelle.

🎯 Objectif de la mission

Faire évoluer une plateforme d'orchestration Data critique afin d'améliorer sa scalabilité, sa résilience, son observabilité et ses coûts d'exploitation, tout en étudiant une éventuelle migration vers une architecture cible plus adaptée.

🚀 Vos missions

✔️ Auditer, optimiser et faire évoluer l'architecture Apache Airflow / AWS MWAA
✔️ Améliorer les performances et la scalabilité d'une plateforme de plus de 200 DAGs en production
✔️ Optimiser les mécanismes d'exécution : Scheduler, Executors, Pools, Triggers, Deferrable Operators
✔️ Faire évoluer les DAG Factories dynamiques et les mécanismes de génération automatisée des DAGs
✔️ Renforcer la résilience des flux : Retry Strategies, Dead Letter Queues, Circuit Breakers, isolation des traitements
✔️ Mettre en place une observabilité de bout en bout : monitoring, métriques, dashboards et alerting
✔️ Sécuriser les environnements : gestion des secrets, IAM et bonnes pratiques AWS
✔️ Étudier les alternatives à AWS MWAA : Airflow sur ECS/EKS, Astronomer, Dagster, Prefect
✔️ Définir une architecture cible et piloter une éventuelle migration d'orchestrateur
✔️ Optimiser les coûts d'exploitation et réduire les délais de résolution des incidents
✔️ Définir les standards techniques : Code Reviews, Design Patterns, conventions de développement
✔️ Accompagner les équipes Dev & Ops dans leur montée en compétences et leur autonomie

Profil recherché

🛠️ Compétences techniques recherchées

🔹 Apache Airflow – Expertise indispensable (5 ans minimum)
🔹 AWS MWAA / Google Cloud Composer – Expérience significative
🔹 Airflow Architecture & Performance Tuning
🔹 AWS : SQS, SNS, Secrets Manager, CloudWatch, IAM
🔹 Python avancé : Custom Operators, Sensors, Plugins
🔹 DAG Factories / Dynamic DAG Generation
🔹 Scalabilité / Résilience / Observabilité
🔹 ECS / EKS / Astronomer / Dagster / Prefect
🔹 Monitoring / Alerting / Incident Management
🔹 Terraform / Infrastructure as Code – Apprécié

👤 Profil recherché

🎓 5 ans d'expérience minimum sur Apache Airflow, avec une expérience significative sur une plateforme managée telle qu'AWS MWAA ou Google Cloud Composer.

💻 Expérience confirmée dans l'exploitation et l'optimisation de plateformes Airflow à grande échelle (200+ DAGs).

🏗️ Capacité à concevoir des architectures d'orchestration robustes, évolutives et économiquement optimisées.

🔄 Une expérience de migration entre orchestrateurs constitue un véritable atout.

🤝 Leadership technique, capacité à définir des standards et à accompagner des équipes Dev & Ops.

🎯 Autonomie, esprit d'analyse, force de proposition et capacité à piloter un programme d'amélioration technique.