Data Engineer (m/w/d)

Diese Position passt, wenn ...

Daten sind für dich nicht nur Nullen und Einsen, sondern die Grundlage für gute Entscheidungen?

Du findest Freude daran, aus chaotischen Legacy-Systemen saubere Datenstrukturen zu schaffen?

Du denkst in Pipelines, nicht in Skripten?

Fehlerbehandlung und Retry-Logik sind für dich selbstverständlich, nicht optional?

Du möchtest von erfahrenen Engineers lernen und gleichzeitig eigene Ideen umsetzen?

Dann bist du bei uns richtig!

Die Aufgaben

Als Data Engineer baust du die Datenpipelines auf, die unsere digitale Transformation ermöglichen. Du bist verantwortlich für den sauberen, zuverlässigen und skalierbaren Datenfluss zwischen hunderten ERP-Systemen und unserer modernen Datenarchitektur.

Data Pipeline Engineering: Du designst und implementierst robuste ETL/ELT-Pipelines, die Daten aus mehreren hundert ERP-Systemen zuverlässig extrahieren, transformieren und laden. Dabei setzt du auf moderne Orchestrierungs-Tools und sorgst dafür, dass auch bei komplexen Datenflüssen alles reibungslos läuft. Du baust Pipelines, die nicht nur funktionieren, sondern auch wartbar und erweiterbar sind.

Data Lake & Data Warehouse Architektur: Du baust unsere Data Lake Infrastruktur auf AWS von Grund auf mit auf. Dabei strukturierst du Daten sinnvoll, implementierst Data Governance Konzepte und sorgst dafür, dass Daten für Analytics und Business Intelligence optimal aufbereitet sind. Du verstehst den Unterschied zwischen Raw, Staging und Curated Data und setzt entsprechende Architekturen um.

Greenfield Projekt - Legacy System Integration: Du bist mittendrin in einem spannenden Greenfield-Projekt: Die Integration von mehreren hundert Legacy-ERP-Systemen. Das ist keine Standard-Integration - hier geht es um komplexe Datenstrukturen, unterschiedliche Formate und die Herausforderung, aus heterogenen Quellen ein konsistentes Datenmodell zu schaffen.

Workflow Orchestrierung & Reliability: Du implementierst resiliente Workflows für zeitkritische Datenverarbeitungen. Dabei setzt du auf moderne Orchestrierungs-Patterns und sorgst dafür, dass Pipelines auch bei Fehlern kontrolliert weiterlaufen oder wiederanlaufen. Du baust Monitoring und Alerting, damit Probleme erkannt werden, bevor sie zu echten Ausfällen führen.

Zusammenarbeit & Weiterentwicklung: Du arbeitest eng mit unserem Staff Engineer, den Product Ownern und dem ~10-köpfigen Dev-Team zusammen. Dabei lernst du von erfahrenen Kolleg:innen und bringst gleichzeitig deine eigenen Ideen ein. Du wächst mit den Herausforderungen und entwickelst dich kontinuierlich weiter.

Datenqualität & Dokumentation: Du implementierst Data Quality Checks und sorgst dafür, dass schlechte Daten gar nicht erst in unsere Systeme kommen. Du dokumentierst Datenflüsse und Transformationslogik, damit auch andere verstehen, was mit den Daten passiert.

Das Profil

Must-haves:

• Mindestens 3 Jahre Erfahrung als Data Engineer oder in vergleichbaren Rollen
• Praktische Erfahrung mit ETL/ELT-Pipelines und Data Lakes
• Gute Python-Kenntnisse für Datenverarbeitung und Pipeline-Entwicklung
• Erfahrung mit Cloud-Plattformen, idealerweise AWS (S3, Glue, Athena, RDS, etc.)
• Grundkenntnisse in Infrastructure as Code (Terraform oder CDK)
• Verständnis für Datenmodellierung und solide SQL-Kenntnisse
• Erfahrung mit Git und CI/CD

Nice-to-haves:

• Erfahrung mit Temporal oder ähnlichen Workflow-Orchestrierungs-Frameworks (Airflow, Prefect, Dagster)
• Kenntnisse in der Integration von Legacy-ERP-Systemen
• Erfahrung mit Streaming-Technologien (Kafka, Kinesis)
• Container-Kenntnisse (Docker, ECS)
• Monitoring mit Grafana
• Interesse an Healthcare oder E-Commerce
• AWS-Zertifizierungen

Warum wir?

Was wir bieten:

• Hybrid-Modell: 2 Tage pro Woche im Büro in Köln, 3 Tage flexibles Arbeiten von wo du möchtest
• Greenfield-Projekt: Du baust unsere moderne Datenarchitektur von Grund auf mit - kein Legacy-Code, den du erstmal verstehen musst
• Echte Herausforderung: Integration von mehreren hundert ERP-Systemen - komplex, aber auch extrem lehrreich
• Moderner Tech-Stack: AWS, Python, Terraform, moderne Data Engineering Tools
• Mentoring & Wachstum: Du arbeitest mit erfahrenen Engineers zusammen und entwickelst dich weiter
• Gestaltungsspielraum: Du bringst deine Ideen ein und prägst unsere Dateninfrastruktur mit
• Wachsendes Team: Du wirst Teil eines motivierten ~10-köpfigen Entwicklerteams
• Impact: Deine Pipelines sorgen dafür, dass Menschen einfacher an wichtige Hilfsmittel kommen