Data Engineer Big Data (F/H)

Dans le cadre du renforcement d’un Chapitre Data au sein d’un grand acteur du secteur bancaire, nous recherchons un.e Data Engineer expérimenté.e pour rejoindre une squad métier et intervenir sur la conception, le développement, l’industrialisation et l’exploitation de solutions Data.

Votre rôle

Intégré.e à une équipe Agile, vous travaillerez en collaboration avec les PO, BA, développeurs et architectes sur l’ensemble du cycle de vie des solutions Data.

Vous serez notamment amené.e à :

Participer à la définition et à l’évolution de l’architecture Data ;

Analyser et affiner les besoins avec les PO et BA et les traduire en solutions techniques ;

Concevoir et développer des pipelines de collecte, ingestion, transformation et stockage ;

Développer des traitements Spark en batch et en streaming ;

Automatiser l’ingestion et orchestrer les flux de données ;

Intervenir dans des environnements Hadoop / Cloudera ;

Concevoir et exécuter les tests unitaires et automatisés ;

Industrialiser et déployer les développements sur les différents environnements ;

Assurer le bon fonctionnement des solutions en production et participer à la gestion des incidents ;

Mettre en place et optimiser le monitoring et l’observabilité ;

Contribuer à l’amélioration continue de la qualité du code et des pratiques de développement ;

Participer aux sujets de gouvernance, qualité, protection et traçabilité des données.

Profil recherché

Profil recherché

Vous disposez de 4 à 7 ans d’expérience en Data Engineering et avez déjà participé à la conception et à la mise en production de solutions Data dans un environnement Big Data industrialisé.

Compétences indispensables

Apache Spark, en batch et streaming ;

SQL et manipulation de volumes importants de données ;

Conception de pipelines Data et flux d’ingestion ;

Bases de données SQL : Hive, Teradata ou Phoenix ;

Environnements NoSQL : HBase, MongoDB ou équivalent ;

Industrialisation et CI/CD : Git, Jenkins, Artifactory, XL Release ;

Monitoring et observabilité : ELK Stack, Grafana.

Compétences fortement appréciées

Hadoop / Cloudera ;

xDI ;

RGPD, Data Lineage et catalogage des données ;

Connaissance du secteur bancaire.

Environnement technique

Spark, SQL, Hive, Teradata, Phoenix, HBase, MongoDB, Hadoop, Cloudera, Git, Jenkins, Artifactory, XL Release, ELK, Grafana

Qualités recherchées

Au-delà de l’expertise technique, vous êtes capable de comprendre les enjeux métier associés aux traitements Data.

Nous recherchons notamment :

Autonomie et prise de responsabilité sur les sujets ;

Esprit d’analyse et capacité à challenger les besoins ;

Bon relationnel avec des interlocuteurs techniques et fonctionnels ;

Pédagogie ;

Capacité d’adaptation dans un environnement Agile et complexe.