Data Engineer

Wspólnie z naszym Partnerem,jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jakoData Engineer.

Projekt dotyczy budowy i rozwoju warstwy danych w Microsoft Fabric, integrującej dane z wielu źródeł i przygotowującej wersjonowane, audytowalne zestawy danych na potrzeby modeli ryzyka w sektorze ubezpieczeniowym.

ZAKRES USŁUG:

• Opracowanie i wdrożenie pipeline'ów danych w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric, wraz z ich bieżącym rozwojem zgodnie z ustaleniami projektowymi.

• Wdrożenie mechanizmu wersjonowania zestawów danych oraz rejestracji metadanych przebiegu procesów, w tym źródeł i wersji danych.

• Opracowanie reguł transformacji oraz zapewnienie zgodności rozwiązania z wymaganiami bezpieczeństwa i prywatności danych.

• Transformacja i przygotowanie danych wsadowych wraz z implementacją reguł kontroli jakości oraz raportowania błędów.

• Integracja źródeł plikowych i bazodanowych, w tym onboarding danych, walidacja techniczna i standaryzacja formatów.

• Zarządzanie kodem w repozytorium Git, z wykorzystaniem code review oraz procesów CI/CD do wdrażania zmian.

• Optymalizacja procesów pod kątem wydajności, stabilności oraz kosztów działania środowiska Azure.

WYMAGANE KOMPETENCJE:

• Minimum 3 letnie doświadczenie komercyjne w roli Data Engineera przy realizacji projektów produkcyjnych.

• Doświadczenie w pracy z platformami chmurowymi do przetwarzania danych, w szczególności Microsoft Fabric, Azure Synapse lub Databricks.

• Znajomość warstwowej architektury danych (medalionowej lub podobnej), formatów Delta Lake/Parquet oraz Azure Data Lake Storage.

• Bardzo dobra znajomość Python (PySpark) oraz SQL, umożliwiająca efektywną pracę z dużymi zbiorami danych.

• Doświadczenie w integracji danych z różnych źródeł, w tym plików Excel od użytkowników biznesowych.

Mile widziane:

• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych.

• Doświadczenie w wykorzystaniu CI/CD w projektach data engineering.

• Certyfikat DP-600 lub DP-700.

• Znajomość języka R.

OFERUJEMY:

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) - w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.

• Otwartość na okazjonalne spotkania koordynacyjne w Warszawie, ustalane w zależności od potrzeb projektu (orientacyjnie 1x w tygodniu).

• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.

• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.

• 5 000 PLN za polecenie znajomych do naszych projektów.

• Elastyczną formę współpracy B2B.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.

13360/RJ