Data Engineer (GCP)

Wspólnie z naszym Partnerem, klientem z sektora bankowego, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Senior Data Engineer (GCP).

Projekt realizowany jest w ramach strategicznego programu transformacji „data-driven bank" i obejmuje budowę platformy danych klasy data lakehouse na Google Cloud Platform (GCP), integrującej obszary raportowania, analityki oraz zarządzania danymi w modelu hub & spoke.

ZAKRES USŁUG:

• Opracowanie standardów Data Governance, w tym rozwiązań z zakresu Dataplex oraz data lineage.

• Zoptymalizowana wydajność zapytań oraz koszty przetwarzania danych w BigQuery.

• Zaprojektowane i wdrożone procesy CI/CD z wykorzystaniem GitHub Actions.

• Zbudowana i utrzymana infrastruktura jako kod przy wykorzystaniu Terraform.

• Zbudowane, rozwinięte i utrzymane pipeline'y danych w Apache Airflow.

• Rozwinięte warstwy Gold i Platinum platformy lakehouse w BigQuery.

• Wdrożony model bezpieczeństwa danych w oparciu o IAM.

WYMAGANE KOMPETENCJE:

• Minimum 5 lat doświadczenia w Data Engineeringu, w tym min. 2 lata praktycznego doświadczenia z Google Cloud Platform.

• Znajomość architektury data lakehouse, w tym medallion architecture oraz technologii Delta Lake lub Apache Iceberg.

• Bardzo dobra znajomość Pythona oraz PySpark na poziomie produkcyjnym oraz doświadczenie w pracy z BigQuery.

• Bardzo dobra, praktyczna znajomość Apache Airflow w zakresie budowy i utrzymania pipeline'ów danych.

• Umiejętność pracy z dużymi wolumenami danych oraz optymalizacji wydajności przetwarzania.

• Doświadczenie w budowie procesów CI/CD, w szczególności z wykorzystaniem GitHub Actions.

• Praktyczna znajomość Infrastructure as Code oraz Terraform.

• Język angielski na poziomie komunikatywnym.

• Wykształcenie wyższe o profilu technicznym.

Mile widziane:

• Doświadczenie w projektowaniu modeli dostępu i bezpieczeństwa z wykorzystaniem IAM.

• Doświadczenie w projektach realizowanych dla sektora bankowego lub finansowego.

• Znajomość zagadnień FinOps i optymalizacji kosztów środowisk chmurowych.

• Znajomość Dataplex, katalogowania danych, metadanych oraz data lineage.

• Doświadczenie w obszarze Data Governance.

OFERUJEMY:

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) - w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.

• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.

• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.

• Otwartość na okazjonalne spotkania projektowe w Warszawie (orientacyjnie 2x w tygodniu).

• 5 000 PLN za polecenie znajomych do naszych projektów.

• Elastyczną formę współpracy B2B.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.

13317/NS