Data Platform Developer-Analyst

Do zespołu Data Platform poszukujemy programisty-analityka, który nie tylko będzie budował nowoczesne rozwiązania oparte na Apache Kafka, Kafka Connect, Spring Boot, MongoDB, GraphQL i Apache Iceberg, ale także będzie odpowiedzialny za analizę wymagań biznesowych oraz mapowanie danych pomiędzy systemami źródłowymi, platformą streamingową i bazą ODS opartą o MongoDB i usługi graphQL. Idealny kandydat potrafi rozmawiać z interesariuszami, przekształcać ich potrzeby w techniczne specyfikacje oraz implementować je.

Zakres obowiązków 

• Spotkania z analitykami i zespołami IT w celu zrozumienia procesów

• Analiza wymagań i projektowanie

• Mapowanie danych

• Implementacja usług

• Integracja danych (Kafka Connect) biznesowych i danych.

• Tworzenie dokumentacji funkcyjnej (use-case, user-story) oraz technicznej (diagramy danych, mapowanie pól).

• Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).

• Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.

• Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).

• Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.

• Konfiguracja i rozwój konektorów Kafka Connect.

• Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.

Monitoring & observability

• Wsparcie operacyjne

• Współpraca i mentoring

• Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK)oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.

• Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.

• Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.

• Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami,

• DevOpsami, analitykami i testerami.

• Dzielenie się wiedzą – warsztaty, dokumentacja, code-review.

Wymagania techniczne 

Minimum 4  lata doświadczenia w środowiskach produkcyjnych;

• Apache Kafka

• znajomość brokerów, topic-ów, partycjonowania, schematów, replikacji.

• Biegła znajomość Kafka Streams, kSQL.

• Kafka Connect Konfiguracja i rozwój konektorów (gotowe i własne).

• Kategoria

• Spring Boot

• Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).

• MongoDB 

• Projektowanie schematów dokumentowych, indeksowanie, optymalizacja zapytań.

• GraphQL 

• Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów, resolvers.

• Apache Iceberg

• Podstawowa znajomość formatu tabel i zarządzania metadanymi

• Języki / Scripting

• Java

• Monitoring 

• \Prometheus + Grafana, OpenTelemetry.

• Bezpieczeństwo 

• TLS, SASL, ACL, szyfrowanie danych w spoczynku i tranzycie.

• Metodyki Agile

• Praca w Scrum/Kanban, doświadczenie w Jira/Confluence.

Tech stack

• GraphQL
• MongoDB
• Spring Boot
• Kafka Streams
• kSQL
• Apache Kafka
• Apache Iceberg
• Java