Data engineer Databricks

Data Engineer Senior — Databricks

— Descriptif du poste

Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks.

Vous intervenez sur la conception et l’industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d’ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l’interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors.

— Parmi vos missions 🛠

• Concevoir et industrialiser les plateformes de données sur Databricks

  • Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake

  • Développer et optimiser les pipelines d’ingestion et de transformation en PySpark et en SQL

  • Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD

  • Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache

• Mettre en place la gouvernance et la qualité des données

  • Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage

  • Définir les règles de qualité, les tests et le monitoring des pipelines en production

  • Documenter les modèles de données et les contrats d’interface avec les systèmes amont et aval

• Cadrer les besoins avec les équipes métiers

  • Animer les ateliers de recueil de besoins et traduire les exigences en solutions data

  • Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy)

  • Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers

• Piloter la livraison et faire monter l’équipe en compétences

  • Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais

  • Encadrer les profils juniors en revue de code et en pair programming

  • Diffuser les bonnes pratiques d’engineering : versioning, tests, revue, documentation

— Modalités pratiques

• Lieu : Ile de France

• Type de contrat : CDI

• Date de démarrage : A définir

• Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)

Profil recherché

• Formation : bac +5 en école d’ingénieur, master 2 en informatique ou formation équivalente

• 3 à 5 ans d’expérience minimum en data engineering, dont une expérience significative sur Databricks en production

• Une première expérience d’encadrement technique de profils juniors et de relation directe avec des interlocuteurs métiers

• La certification Databricks (Data Engineer Associate ou Professional) est un plus

Niveau soft skills, on attendra de vous :

• Esprit analytique, rigueur et approche méthodique

• Aisance à l’oral : animation d’ateliers et vulgarisation des sujets techniques auprès du métier

• Autonomie et sens des responsabilités sur votre périmètre de livraison

Vous disposez également des hard skills suivantes :

• Maîtrise de Python (PySpark) et de SQL

• Databricks : Delta Lake, Unity Catalog, Workflows, Delta Live Tables

• Un cloud parmi Azure, AWS ou GCP et ses services de stockage et d’orchestration

• Modélisation de données et architectures en couches (medallion, data warehouse)

• Git, CI/CD et pratiques d’industrialisation (tests automatisés, infrastructure as code type Terraform)

• Des notions d’orchestration (Airflow) et de traitement temps réel (Structured Streaming, Kafka) sont appréciées