Expert Kafka / Confluent H/F

Le contexte

Dans le cadre de la construction et de l’industrialisation d’un socle d’échange de données d’entreprise reposant sur Apache Kafka et Confluent, nous recherchons un(e) Expert(e) Kafka / Confluent afin d’accompagner l’un de nos clients sur des enjeux d’architecture, d’intégration et de streaming de données.

Quelques éléments pour mieux comprendre l’environnement :

• Secteur d’activité : 🏦 Retraite complémentaire et protection sociale

• Organisation : Équipe projet de la DSI, en collaboration avec les équipes techniques et d’exploitation.

• Enjeux : Concevoir et mettre en œuvre une plateforme Kafka / Confluent, industrialiser les échanges de données et les connecteurs, garantir la sécurité, les performances et l’exploitabilité du socle, puis accompagner son extension à de nouveaux usages.

Ce que tu feras concrètement

Dans le cadre de cette mission, tu seras notamment amené(e) à :

➞ Concevoir, installer, configurer et administrer un cluster Kafka / Confluent, ainsi que les outils nécessaires à son administration et à son exploitation.

➞ Définir les standards et les bonnes pratiques de la plateforme, notamment en matière de sécurité, de gestion des habilitations et d’optimisation des performances.

➞ Installer, configurer et industrialiser les connecteurs Kafka nécessaires aux échanges de données, notamment avec PostgreSQL, HDFS, DataStage et Teradata.

➞ Automatiser les déploiements, la gestion des configurations, les déclarations de producteurs et de consommateurs ainsi que les opérations récurrentes à l’aide de scripts Shell et Python.

➞ Mettre en place la supervision, le monitoring, les tableaux de bord, les procédures d’exploitation et la documentation technique, puis contribuer à l’extension du socle à de nouveaux cas d’usage.

Ton environnement

Technologies : Apache Kafka, Confluent, Kafka Connect, Schema Registry, Debezium, PostgreSQL, Hadoop / HDFS, DataStage, Teradata.

Outils : Linux Red Hat, Kubernetes, Ansible, Shell, Python, JSON, Prometheus, Grafana.

Méthodologies : Industrialisation, automatisation des déploiements, supervision et exploitation de plateformes techniques.

Profil recherché

Le profil que nous recherchons

• Tu justifies d’au moins 5 ans d’expérience pertinente sur les technologies et composants Kafka attendus.

• Tu maîtrises l’architecture, l’installation, l’administration et l’industrialisation de plateformes Kafka / Confluent en environnement d’entreprise.

• Tu possèdes une expertise en Kafka Connect, Schema Registry, scripting Shell / Python et JSON, ainsi qu’en sécurisation et optimisation des performances.

• Tu maîtrises Linux, Kubernetes et Ansible. Une expérience de Strimzi, des connecteurs propriétaires, notamment DataStage, et de l’écosystème Data constitue un atout important.

• Tu es autonome, rigoureux(se), à l’aise dans la résolution d’incidents complexes et capable de documenter tes travaux, de conseiller les équipes et de transmettre tes connaissances.