Ingénieur Big Data - Dataops H/F

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇

🏠 100 % Télétravail Possible 🛠 Expérience de 5 ans minimum - 🌍 Anglais professionnel requis 

Envie de rejoindre un environnement technique exigeant, où les enjeux de performance, de scalabilité et de fiabilité sont au coeur des projets ? Cette opportunité est faite pour vous ! 🚀

Nous poursuivons notre développement et recherchons actuellement un.e Ingénieur Big Data / DataOps pour intervenir chez l'un de nos clients, acteur majeur du secteur des services.

Votre environnement :

Vous intégrerez une équipe en charge de plateformes Big Data à grande échelle, traitant des volumes de données pouvant atteindre plusieurs pétaoctets.

Dans un environnement de production critique, vous contribuerez au déploiement, à l'industrialisation et à l'optimisation des infrastructures data, avec un objectif : garantir leur disponibilité, leur performance et leur fiabilité.

Voici un aperçu de vos missions 🎯:

• Déployer et administrer les plateformes Big Data sous Cloudera CDP / CDH, en environnement OpenShift.
• Industrialiser et automatiser les pipelines de données avec Apache Airflow, Spark et les outils CI/CD.
• Assurer le maintien en conditions opérationnelles des plateformes : analyser et résoudre les incidents de production N2/N3.
• Optimiser les performances des systèmes distribués : gestion des flux Kafka, optimisation HDFS et amélioration de la scalabilité.
• Mettre en place la supervision et l'alerting avec Centreon et Prometheus afin de garantir la disponibilité des services et le respect des SLA.
• Accompagner les équipes métiers dans les migrations, l'intégration et l'exploitation des solutions Big Data.

Profil recherché

Les compétences que nous recherchons 🔎

• 5 ans d'expérience minimum sur un poste similaire en environnement Big Data / DataOps.
• Très bonne maîtrise des environnements Cloudera CDP / CDH, Hadoop, Spark et Kafka.
• Expérience confirmée dans l'orchestration de pipelines avec Apache Airflow.
• Bonne connaissance des environnements conteneurisés OpenShift et Docker.
• Maîtrise des outils DevOps : Jenkins, Ansible et CI/CD.
• Compétences en scripting et automatisation avec Python et/ou Bash.
• Solides connaissances des environnements Linux, de la supervision et des problématiques de production.
• Anglais obligatoire