Data & Analytics Engineer

Notre client, acteur majeur du secteur de l’énergie, renforce son équipe Data afin d’accompagner la transformation et la modernisation de son écosystème de données.

Au sein d’une équipe d’expertise Data, vous interviendrez sur la conception, l’évolution et l’automatisation de chaînes de traitement de données, dans un contexte de migration progressive vers une nouvelle Data Platform.

L’objectif est notamment de reprendre des traitements existants, de migrer les flux historiques vers la plateforme cible et de développer de nouveaux besoins Data exprimés par les métiers.

 La mission nécessite une opérationnalité immédiate : vous serez amené(e) à reprendre des chaînes de traitement existantes et à intervenir directement sur des sujets métier en cours.

Missions :

• Concevoir et développer des pipelines d’ingestion et de transformation de données complexes et/ou volumineuses ;

• Construire les tables et modèles de données destinés aux utilisateurs de la Self-BI ;

• Développer principalement en SQL sur Snowflake et dbt ;

• Utiliser Python pour certains traitements spécifiques ;

• Mettre en place et maintenir l’orchestration des traitements avec Airflow ;

• Optimiser les traitements afin de garantir leur performance sur de très gros volumes de données ;

• Respecter les principes d’urbanisation et les standards de la Data Platform.

Les données traitées peuvent représenter des volumétries très importantes, jusqu’à plusieurs dizaines de milliards de lignes.

Modélisation et valorisation des données

Une partie importante de la mission consiste à accompagner la migration de traitements historiques vers la nouvelle Data Platform.

À ce titre, vous serez amené(e) à :

• Lire, comprendre et reprendre des flows Dataiku DSS existants ;

• Analyser les traitements historiques développés sur Oracle Exadata ;

• Participer à leur migration vers Snowflake / dbt ;

• Garantir la continuité et la cohérence fonctionnelle des traitements migrés ;

• Documenter les travaux de migration ;

• Identifier les éventuels écarts ou adaptations nécessaires.

La plateforme cible repose principalement sur Snowflake, dbt et Airflow, tandis que certains traitements historiques doivent encore être repris depuis Dataiku DSS et Oracle Exadata.
 

Profil recherché

Vous disposez d'une expérience significative en tant que Data Engineer, Analytics Engineer ou Data & Analytics Engineer.

Vous êtes capable d'être rapidement autonome sur une plateforme Data existante et d'intervenir aussi bien sur les problématiques de développement, modélisation, migration que d'exploitation des données.

Compétences techniques indispensables

Vous maîtrisez particulièrement :

• SQL avancé sur de très gros volumes de données ;

• Snowflake, notamment les bonnes pratiques et l’optimisation des performances et des coûts ;

• dbt : modélisation, tests et documentation ;

• Dataiku DSS : lecture, reprise et migration de flows existants ;

• Python ;

• Airflow pour l’orchestration des pipelines.

Une bonne maîtrise d’Oracle Exadata / PL-SQL est également attendue.

Vous connaissez les pratiques :

• Git ;

• CI/CD ;

• DataOps ;

Rejoignez nos équipes et ensemble donnons de la valeur à vos idées.