Data Platform Engineer (Apache Druid) [M/F]

Zakres obowiązków

• Rozwój i utrzymanie procesów ingestii danych w Apache Druid oraz tworzenie dedykowanych rozszerzeń (extensions).
• Projektowanie, budowanie i utrzymanie pipeline’ów danych opartych na Apache Kafka.
• Rozwój rozwiązań do przetwarzania danych strumieniowych z wykorzystaniem Apache Flink lub podobnych technologii.
• Implementacja mechanizmów preagregacji i wzbogacania danych (data enrichment).
• Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali.
• Projektowanie i wdrażanie mechanizmów wzbogacania metadanych (metadata enrichment) w różnych systemach danych.
• Integracja i utrzymanie mechanizmów kontroli dostępu RBAC w ramach platformy danych.
• Praca z usługami AWS, w szczególności S3, Aurora i IAM.
• Współpraca z zespołami odpowiedzialnymi za rozwój platform danych i architektury lakehouse.

Wymagania

• Min. 5-letnie doświadczenie na podobnym stanowisku,
• Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń.
• Doświadczenie w budowaniu i utrzymywaniu pipeline’ów danych opartych na Apache Kafka.
• Znajomość Apache Flink lub innych technologii przetwarzania strumieniowego.
• Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i tuningu wydajności baz danych.
• Doświadczenie w implementacji mechanizmów metadata enrichment w platformach danych.
• Praktyczne doświadczenie w integracji i utrzymaniu rozwiązań RBAC w środowiskach obejmujących wiele baz i źródeł danych.
• Doświadczenie w pracy z AWS, szczególnie S3, Aurora i IAM.
• Umiejętność rozwiązywania złożonych problemów związanych z inżynierią danych i skalowalnością platform.
• Umiejętność analitycznego myślenia i efektywnej współpracy zespołowej.

Tech stack

• SQL
• Druid
• Flink
• AWS