Data Engineer (Azure)

Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer.

Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych.

ZAKRES USŁUG:

• Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.

• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.

• Zaprojektowane i wdrożone modele danych zgodne z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.

• Rozwiązania do walidacji danych, wykrywania anomalii i monitorowania jakości danych, dostarczone wraz z mechanizmami raportowania.

• Dokumentacja modeli danych, potoków przetwarzania oraz decyzji architektonicznych, przygotowana zgodnie ze standardami projektu.

• Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym.

• Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.

WYMAGANE KOMPETENCJE:

• Minimum 4 lata doświadczenia w realizacji projektów jako Data Engineer.

• Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.

• Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure DevOps.

• Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.

• Doświadczenie w budowie i optymalizacji procesów ETL/ELT.

• Praktyczna znajomość Python, Spark, PySpark orazSQL.

Mile widziane:

• Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.

• Znajomość modelowania danych w oparciu o Data Vault 2.0.

• Znajomość Terraform, Docker oraz Kubernetes.

• Doświadczenie z DBT (Data Build Tool).

OFERUJEMY:

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) - w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.

• Gotowość do spotkań koordynacyjnych w Warszawie (centrum miasta) - częstotliwość i termin do uzgodnienia; miejsce i czas świadczenia usług do uzgodnienia.

• Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej.

• Współpraca realizowana w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.

• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.

• Realizacja usług na rzecz Partnera w obszarze Data Engineering, Data Platform oraz DevOps.

• 5 000 PLN za polecenie znajomych do naszych projektów.

• Elastyczna forma współpracy B2B.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

12988/NS