Programista-Analityk Data Platform | Kafka

Do długoterminowego projektu Data Platform poszukujemy osoby łączącej kompetencje programistyczne i analityczne. Rola obejmuje zarówno tworzenie nowoczesnych rozwiązań opartych na Apache Kafka, Spring Boot, MongoDB, GraphQL i Apache Iceberg, jak również analizę wymagań, modelowanie danych oraz współpracę z interesariuszami i zespołami IT.Celem jest rozwój platformy streamingowej oraz rozwiązań wspierających sprawny przepływ i udostępnianie danych pomiędzy systemami źródłowymi, platformą streamingową i warstwą ODS.

Zakres projektu

- Analiza potrzeb biznesowych i technicznych we współpracy z analitykami oraz zespołami IT.
- Przekładanie wymagań na specyfikacje funkcjonalne i techniczne oraz konkretne rozwiązania.
- Projektowanie przepływów i modeli danych pomiędzy systemami źródłowymi, Apache Kafka oraz warstwą ODS.
- Tworzenie dokumentacji, w tym use case'ów, user stories, diagramów danych oraz mapowania pól.
- Projektowanie topików Kafka, w tym zasad nazewnictwa, partycjonowania i schematów Avro.
- Projektowanie struktur danych w MongoDB, modeli GraphQL oraz tabel Apache Iceberg.
- Rozwijanie mikroserwisów w Java / Spring Boot, obejmujących m.in. producentów, konsumentów i przetwarzanie strumieniowe.
- Budowa oraz rozwój warstwy GraphQL udostępniającej dane z MongoDB.
- Konfiguracja i rozwój integracji z wykorzystaniem Kafka Connect.
- Tworzenie własnych Single Message Transforms (SMT) oraz konwerterów danych.
- Implementacja mechanizmów monitoringu i observability z wykorzystaniem Prometheus, Grafana, OpenTelemetry, Vector, ELK oraz Dynatrace.
- Analiza i rozwiązywanie problemów związanych z replikacją, opóźnieniami oraz jakością i spójnością danych.
- Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
- Udział w code review, warsztatach technicznych i dzieleniu się wiedzą.
- Współpraca z Data Engineerami, DevOpsami, analitykami oraz testerami w środowisku Agile.
- Udział w spotkaniach projektowych raz w miesiącu we Wrocławiu.

Wymagdania

- Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
- Bardzo dobra znajomość Apache Kafka, w szczególności brokerów, topiców, partycjonowania, replikacji i schematów.
- Biegłość w Kafka Streams oraz kSQL.
- Doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno z wykorzystaniem gotowych konektorów, jak i własnych rozszerzeń.
- Bardzo dobra znajomość Javy oraz Spring / Spring Boot, mile widziane doświadczenie z Spring Cloud, Spring Security i Spring Data.
- Doświadczenie w projektowaniu oraz optymalizacji baz MongoDB, w tym schematów dokumentowych, indeksów i zapytań.
- Znajomość GraphQL – projektowanie schematów i implementacja resolverów.
- Podstawowa znajomość Apache Iceberg, w szczególności struktury tabel i zarządzania metadanymi.
- Znajomość Java i Python.
- Doświadczenie z narzędziami observability, w szczególności Prometheus, Grafana i OpenTelemetry.
- Znajomość mechanizmów bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL oraz szyfrowanie danych w tranzycie i spoczynku.
- Znajomość Scrum lub Kanban oraz narzędzi takich jak Jira i Confluence.
- Umiejętność swobodnego poruszania się pomiędzy obszarem analizy, projektowania rozwiązania i jego implementacji.
- Komunikatywność i umiejętność współpracy z osobami o profilu biznesowym oraz technicznym

Tech stack

• Apache Kafka
• Java
• Spring