Data Platform Developer

O projekcie

Dla naszego klienta, firmy z sektora bankowego realizującej nowoczesne projekty z obszaru Data & Technology, poszukujemy doświadczonego Data Platform Developera, który dołączy do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven. Szukamy osoby, która dobrze czuje się w świecie Apache Kafka i Java, ma doświadczenie w budowaniu mikroserwisów oraz rozumie zagadnienia związane z integracją danych, DevOps, monitoringiem i środowiskami produkcyjnymi.

Twój zakres odpowiedzialności

• projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka,

• tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka,

• praca z Kafka Streams oraz kSQL,

• projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema,

• konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink,

• integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami,

• implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów,

• rozwój warstwy API GraphQL udostępniającej dane z MongoDB,

• automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams,

• wdrażanie rozwiązań związanych z monitoringiem i obserwowalnością - Prometheus, Grafana, OpenTelemetry,

• diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych,

• optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji,

• współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile,

• dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem.

Czego oczekujemy?

Must-have

• Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.

• Apache Kafka - znajomość brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji.

• Biegła znajomość Kafka Streams i kSQL.

• Kafka Connect - doświadczenie w konfiguracji i rozwoju konektorów, zarówno gotowych, jak i własnych.

Wymagania

• Java i Spring - bardzo dobra znajomość frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data.

• MongoDB - doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań.

• GraphQL - doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i resolverów.

• Apache Iceberg - podstawowa znajomość formatu tabel oraz zarządzania metadanymi.

• Java i Python - praktyczna znajomość języków.

• Monitoring i observability - Prometheus, Grafana, OpenTelemetry.

• Bezpieczeństwo - znajomość TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie.

• Agile - doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.