Data Platform Developer
O projekcie
Dla naszego klienta, firmy z sektora bankowego realizującej nowoczesne projekty z obszaru Data & Technology, poszukujemy doświadczonego Data Platform Developera, który dołączy do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven. Szukamy osoby, która dobrze czuje się w świecie Apache Kafka i Java, ma doświadczenie w budowaniu mikroserwisów oraz rozumie zagadnienia związane z integracją danych, DevOps, monitoringiem i środowiskami produkcyjnymi.
Twój zakres odpowiedzialności
projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka,
tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka,
praca z Kafka Streams oraz kSQL,
projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema,
konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink,
integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami,
implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów,
rozwój warstwy API GraphQL udostępniającej dane z MongoDB,
automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams,
wdrażanie rozwiązań związanych z monitoringiem i obserwowalnością - Prometheus, Grafana, OpenTelemetry,
diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych,
optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji,
współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile,
dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem.
Czego oczekujemy?
Must-have
Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.
Apache Kafka - znajomość brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji.
Biegła znajomość Kafka Streams i kSQL.
Kafka Connect - doświadczenie w konfiguracji i rozwoju konektorów, zarówno gotowych, jak i własnych.
Wymagania
Java i Spring - bardzo dobra znajomość frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data.
MongoDB - doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań.
GraphQL - doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i resolverów.
Apache Iceberg - podstawowa znajomość formatu tabel oraz zarządzania metadanymi.
Java i Python - praktyczna znajomość języków.
Monitoring i observability - Prometheus, Grafana, OpenTelemetry.
Bezpieczeństwo - znajomość TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie.
Agile - doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.