CTO Platforms - Senior Data Engineer – Graph Databases & Knowledge Graphs

Poszukujemy doświadczonego Senior Data Engineera, który dołączy do projektu związanego z budową i rozwojem zaawansowanej platformy zarządzania wiedzą (Enterprise Knowledge Platform) w międzynarodowym środowisku bankowym.

To stanowisko o mocno technicznym charakterze (hands-on), skierowane do osób, które lubią projektować architekturę danych, tworzyć wydajne pipeline’y oraz pracować z grafowymi bazami danych, knowledge graphs i złożonymi modelami danych.

Rola nie wymaga doświadczenia w zarządzaniu zespołem - najważniejsze są kompetencje techniczne, samodzielność i umiejętność rozwiązywania złożonych problemów inżynierskich.

Zakres obowiązków

• Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych obejmujących ingestowanie, transformację, wzbogacanie i przetwarzanie danych ustrukturyzowanych oraz nieustrukturyzowanych.

• Projektowanie i optymalizacja modeli danych z wykorzystaniem relacyjnych, grafowych oraz NoSQL baz danych.

• Praca z grafowymi bazami danych i knowledge graphs, w tym modelowanie encji, relacji oraz projektowanie wydajnych mechanizmów ładowania i odpytywania danych.

• Tworzenie reużywalnych komponentów do przetwarzania danych oraz integracji z różnymi źródłami danych i API.

• Implementacja mechanizmów zapewniających jakość danych, walidację, data lineage oraz provenance.

• Zapewnienie niezawodności i skalowalności pipeline’ów, w tym obsługa przetwarzania przyrostowego, błędów, ponawiania operacji i mechanizmów odzyskiwania danych.

• Współpraca z architektami, inżynierami i zespołami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.

• Udział w automatyzacji testów, procesach CI/CD, monitorowaniu oraz ciągłym doskonaleniu rozwiązań Data Engineering.

Nasze wymagania

• Kilkuletnie doświadczenie komercyjne na stanowisku Data Engineer / Senior Data Engineer lub podobnym.

• Bardzo dobra znajomość Pythona i SQL.

• Praktyczne doświadczenie z grafowymi bazami danych i/lub knowledge graphs (np. Neo4j, Amazon Neptune, JanusGraph lub podobne technologie).

• Doświadczenie w projektowaniu i rozwijaniu produkcyjnych pipeline’ów ETL/ELT.

• Dobra znajomość modelowania danych w relacyjnych oraz NoSQL bazach danych.

• Doświadczenie w pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi.

• Znajomość zagadnień związanych z jakością danych, data lineage, ewolucją schematów oraz niezawodnością przetwarzania danych.

• Doświadczenie w pracy ze środowiskami chmurowymi, narzędziami do orkiestracji danych oraz procesami CI/CD.

• Umiejętność samodzielnego rozwiązywania złożonych problemów technicznych.

• Dobre umiejętności komunikacyjne i nastawienie na współpracę.

Mile widziane

• Doświadczenie z ontologiami, RDF, SPARQL lub technologiami semantycznymi.

• Znajomość języków zapytań grafowych, takich jak Cypher lub Gremlin.

• Doświadczenie w budowaniu platform zarządzania wiedzą lub rozwiązań do zarządzania metadanymi.

• Doświadczenie w sektorze bankowym, finansowym lub innych środowiskach regulowanych.

Dlaczego warto dołączyć?

• Możliwość pracy przy rozwoju zaawansowanej platformy Enterprise Knowledge Platform w międzynarodowym środowisku bankowym.

• Udział w ambitnym projekcie wykorzystującym technologie grafowe, nowoczesne architektury danych oraz rozwiązania do zarządzania wiedzą.

• Rola skoncentrowana na pracy technicznej i rozwiązywaniu złożonych wyzwań inżynierskich, bez konieczności zarządzania zespołem.

• Współpraca z doświadczonymi inżynierami i architektami.

• Realny wpływ na projektowanie i rozwój skalowalnych, reużywalnych rozwiązań wykorzystywanych w różnych obszarach organizacji.