Data Engineer ( KLNWX)

À propos de Bestlab
Bestlab est un éditeur de logiciels spécialisé dans l’intelligence artificielle, la Data Science et le développement de solutions technologiques innovantes.

Nous concevons et développons des produits et des solutions fondés sur la donnée et l’IA, destinés à répondre à des enjeux variés. Nous accompagnons également les entreprises dans l’identification, l’analyse et la résolution de problématiques métier complexes grâce à des approches technologiques performantes et adaptées à leurs besoins.

Dans le cadre du renforcement de notre équipe R&D, composée de docteurs, de Data Scientists, de Data Engineers et de profils juniors, nous recherchons un(e) Data Engineer motivé(e) par les défis techniques, souhaitant évoluer dans un environnement stimulant, collaboratif et axé sur l’innovation.
Votre mission
En tant que Data Engineer, vous contribuerez à la conception, au développement et à l’optimisation des infrastructures et des pipelines de données indispensables à la réalisation de nos projets Data & IA. Vous veillerez à garantir la fiabilité, la qualité, la disponibilité et la performance des données, tout en facilitant leur exploitation par les équipes techniques et scientifiques.

À ce titre, vos principales responsabilités seront les suivantes :


Analyse des besoins : comprendre les exigences métier et techniques afin de concevoir des solutions Data adaptées aux objectifs des projets.

Conception et développement des pipelines : concevoir, développer et maintenir des pipelines de données robustes, fiables, évolutifs et performants.

Collecte et intégration des données : connecter et intégrer des données issues de sources hétérogènes.

Développement des processus ETL/ELT : mettre en œuvre les mécanismes d’extraction, de transformation et de chargement des données.

Préparation et valorisation des données : nettoyer, transformer, enrichir et structurer les données afin de les rendre exploitables.

Architecture et modélisation des données : concevoir et maintenir des architectures et des modèles de données répondant aux besoins des projets.

Automatisation des traitements : développer et orchestrer des processus automatisés pour assurer l’efficacité et la reproductibilité des flux de données.

Traitements batch et temps réel : mettre en place et optimiser des traitements adaptés aux différents besoins de traitement et de disponibilité des données.

Qualité et gouvernance des données : garantir la cohérence, la traçabilité, l’intégrité et la disponibilité des données tout au long de leur cycle de vie.

Gestion des infrastructures Data : contribuer à la conception, à l’évolution et à l’optimisation des bases de données et des Data Warehouses.

Supervision et monitoring : mettre en place des mécanismes de surveillance, de contrôle et de détection des anomalies au niveau des pipelines.

Optimisation des performances : améliorer l’efficacité des traitements et maîtriser les coûts liés aux infrastructures et aux opérations Data.

Collaboration avec les équipes : travailler en étroite collaboration avec les Data Scientists, les développeurs, les ingénieurs et les chercheurs afin de fournir des données fiables et adaptées aux besoins des projets Data & IA.

Industrialisation et déploiement : participer à la mise en production, à l’industrialisation et à l’amélioration continue des solutions Data.

Documentation technique : documenter les architectures, les pipelines, les processus et les choix technologiques afin de faciliter la maintenance et le partage des connaissances.

Veille technologique : suivre les évolutions des outils, des technologies et des architectures Data afin d’identifier de nouvelles opportunités d’innovation et d’amélioration.