Senior Data Platform Engineer (Kafka)

Poszukujemy doświadczonego Senior Data Platform Engineer (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.

Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych na Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.

Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.

Twój zakres obowiązków

• projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka,

• budowa i rozwój mikroserwisów w Java oraz Spring Boot,

• implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL,

• projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),

• definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),

• integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych,

• implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów,

• rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych,

• automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych na Kafka Streams,

• wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska,

• diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych,

• optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji,

• współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi,

• udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.

Nasze wymagania

• minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych,

• minimum 5 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych,

• bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji,

• praktyczne doświadczenie z Kafka Streams oraz kSQL,

• doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów,

• bardzo dobra znajomość Java oraz Spring Boot,

• doświadczenie w projektowaniu i budowie mikroserwisów,

• znajomość schematów danych Avro, Protobuf oraz JSON Schema,

• doświadczenie w pracy z MongoDB,

• praktyczna znajomość Prometheus, Grafana oraz zagadnień związanych z observability,

• znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych,

• doświadczenie w pracy w metodykach Agile (Scrum/Kanban).

Mile widziane

• doświadczenie z GraphQL,

• znajomość Apache Iceberg,

• znajomość OpenTelemetry,

• praktyczna znajomość Python,

• doświadczenie w środowiskach chmurowych,

• doświadczenie w automatyzacji procesów DevOps i CI/CD.

Tech stack

• Apache Kafka
• Kafka
• Kafka Streams
• kSQL
• Java
• Spring Boot
• ProtoBuf
• Avro
• JSON Schema
• JSON