Data Engineer (m/w/d)

Konzeption, Weiterentwicklung und praktische Implementierung einer skalierbaren Data-Lakehouse- und Datenplattform-Architektur für sehr große, heterogene Datenmengen

Entwicklung einer langfristigen Daten- und Speicherstrategie unter Berücksichtigung von Performance, Skalierbarkeit, Datenlebenszyklus, Kosten, Verfügbarkeit und betrieblichen Anforderungen

Konzeption geeigneter Speicher- und Zugriffskonzepte für große Mengen an Bild-, Video-, Sensor-, Geo- sowie weiteren unstrukturierten und semi-strukturierten Daten, einschließlich Metadaten, Partitionierung, Indexierung, Kompression und Archivierung

Aufbau und Betrieb robuster Batch- und Streaming-Pipelines für die Aufnahme, Verarbeitung, Transformation und Bereitstellung von Daten aus heterogenen Quellen

Mitgestaltung und Implementierung eines semantischen Datenmodells bzw. einer Ontologie, mit der Datenobjekte, Entitäten, Beziehungen und Kontext systemübergreifend beschrieben und verknüpft werden können

Schaffung einer belastbaren Datenbasis für Machine Learning, KI-basierte Anwendungen und autonome Systeme, einschließlich nachvollziehbarer Datenherkunft sowie reproduzierbarer Trainings- und Validierungsdatensätze

Sicherstellung von Data Lineage, Datenversionierung, Datenqualität, Schema-Management und geeigneten Governance- und Zugriffskonzepten über den gesamten Datenlebenszyklus

Entwicklung und Betrieb der Datenplattform in großen, verteilten Kubernetes-basierten Infrastrukturen sowie Integration in Infrastructure-as-Code- und CI/CD-/DevSecOps-Prozesse

Analyse und Optimierung von Datenlayouts, Datenlokalität, Compute-Nähe und Datenbewegungen für datenintensive Anwendungen

Bewertung geeigneter Open-Source- und kommerzieller Technologien sowie Umsetzung von Proofs of Concept bis hin zu produktionsreifen, skalierbaren Lösungen

Enge Zusammenarbeit mit AI/ML-, Software-, Plattform- und Cyber-Security-Teams bei Architekturentscheidungen, Schnittstellen, Datenprodukten und operativer Umsetzung