Platform Data Engineer

Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy osoby na stanowisko Platform Data Engineer.

Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.

TWOJA ROLA:

• Projektowanie rozwój oraz utrzymanie wydajnych pipeline'ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS.

• Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych.

• Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions.

• Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker.

• Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich.

• Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym.

• Zapewnienie jakości danych poprzez walidację, monitoring i observability.

CZEGO OCZEKUJEMY OD CIEBIE?

• Minimum 4 letnie doświadczenie komercyjne w roli Data Engineer lub podobnej.

• Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL.

• Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych.

• Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.

• Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.

• Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.

• Znajomość AWS Glue, w tym tworzenia i utrzymania Glue Jobs oraz zarządzania danymi w Glue Catalog.

Mile widziane:

• Doświadczenie z Terraform w zakresie automatyzacji i zarządzania infrastrukturą jako kodem (IaC).

• Doświadczenie w pracy z chmurą Azure oraz narzędziem Azure DevOps.

• znajomość narzędzi oraz rozwiązań AI/ML.

OFERUJEMY:

• Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis.

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem.

• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.

• 5000 PLN za polecenie znajomych do naszych projektów.

• Dostęp do najnowszych technologii i narzędzi pracy.

• Możliwość pracy 100% zdalnej.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami.

12876/RJ