Data Platform Developer

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Zakres współpracy:

- Projektowanie i rozwój rozwiązań event-driven z wykorzystaniem Apache Kafka, Kafka Connect, Kafka Streams i kSQL.
- Tworzenie mikroserwisów backendowych w Java / Spring Boot obsługujących zdarzenia Kafka.
- Projektowanie i wersjonowanie schematów danych (Avro, Protobuf, JSON Schema).
- Rozwój konektorów Kafka Connect do MongoDB, S3, Apache Iceberg oraz innych systemów.
- Budowa API GraphQL z wykorzystaniem Quarkus/GraalVM i MongoDB.
- Automatyzacja konfiguracji topików, konektorów Kafka Connect, streamów kSQL i aplikacji Kafka Streams.
- Implementacja monitoringu, logowania i distributed tracing z wykorzystaniem Prometheus, Grafana, OpenTelemetry, ELK, Vector, Dynatrace.
- Diagnostyka problemów związanych z replikacją, opóźnieniami i przetwarzaniem zdarzeń oraz optymalizacja konfiguracji Kafki.
- Współpraca w środowisku Scrum/Kanban z Data Engineerami, DevOpsami i analitykami.
- Dokumentowanie rozwiązań i dzielenie się wiedzą w zespole.

Wymagania:

- Minimum 3 lata doświadczenia komercyjnego w środowiskach produkcyjnych.
- Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów i mechanizmów replikacji.
- Praktyczna znajomość Kafka Streams, kSQL oraz Kafka Connect, w tym konfiguracji i rozwoju konektorów.
- Bardzo dobra znajomość Java i Spring (Spring Boot, Cloud, Security, Data).
- Doświadczenie w pracy z MongoDB, projektowaniu schematów dokumentowych, indeksowaniu i optymalizacji zapytań.
- Doświadczenie w tworzeniu serwisów GraphQL.
- Podstawowa znajomość Apache Iceberg.
- Znajomość Python.
- Doświadczenie z Prometheus, Grafana i OpenTelemetry.
- Znajomość mechanizmów bezpieczeństwa: TLS, SASL, ACL, szyfrowanie danych.
- Doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.

Dodatkowe informacje:
- Forma współpracy: B2B
- Lokalizacja: zdalnie / Wrocław (przewidziane są spotkania projektowe raz w miesiącu w biurze)

Tech stack

• Apache Kafka
• Kafka Streams
• Kafka Connect
• Java
• Spring
• MongoDB