Senior Data Databricks Engineer

Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.

Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.

Obecnie dla naszego klienta poszukujemy osoby na stanowisko: Senior Data Databricks Engineer.

Zakres obowiązków:

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów przy projekcie skupionym na budowie i optymalizacji nowoczesnych platform danych w Azure oraz Databricks.

• Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów danych oraz przetwarzanie dużych wolumenów danych dla rozwiązań analitycznych, krytycznych dla biznesu.

• Rozwój i utrzymanie potoków danych w Azure Data Factory (ADF) oraz zadań w Databricks Jobs.

• Tworzenie i integracja rozwiązań w języku Python z wykorzystaniem programowania obiektowego oraz wzorców projektowych (Factory, pipeline).

• Praca z technologiami PySpark, Delta Lake, Spark SQL oraz Azure Data Lake Storage Gen2.

• Integracja z bazami PostgreSQL oraz przetwarzanie danych szeregów czasowych (dane GPS i parametryczne).

• Stosowanie wzorców Slowly Changing Dimensions (SCD) oraz technologii CDC (Change Data Capture) i ładowania przyrostowego.

• Optymalizacja wydajności Spark w oparciu o wymogi SLA oraz konfiguracja Adaptive Query Execution (AQE).

• Realizacja wzorców migracji z SSIS do nowoczesnej architektury chmurowej.

• Wykorzystywanie narzędzia GitHub Copilot w codziennym procesie deweloperskim.

Oczekujemy:

• Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym minimum 2 lata praktycznego doświadczenia z Databricks oraz Delta Lake w środowiskach produkcyjnych.

• Minimum 2 lata doświadczenia w tworzeniu i utrzymaniu pipeline'ów Azure Data Factory (ADF).

• Bardzo dobrej znajomości PySpark, Delta Lake, Spark SQL oraz Databricks Jobs.

• Doświadczenia w budowaniu skalowalnych i wysokowydajnych rozwiązań danych na platformie Azure.

• Głębokiego zrozumienia modelowania danych, procesów ETL/ELT oraz zasad nowoczesnej architektury danych.

• Mile widziane doświadczenie w pracy w zespołach Agile/Scrum oraz znajomość praktyk CI/CD dla platform danych.

• Mile widziana znajomość chmurowych rozwiązań danych, narzędzi do automatyzacji oraz silne umiejętności komunikacyjne i współpraca z interesariuszami.

• Znajomość języka angielskiego na poziomie B2 lub C1 - umożliwiająca swobodną komunikację w międzynarodowym środowisku.

• Gotowość do pracy w modelu hybrydowym (wymagana obecność w biurze klienta 2 dni w tygodniu we Wrocławiu).

• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

Oferujemy:

• Długofalowa współpraca z wynagrodzeniem w przedziale 130 - 150 PLN netto/godz. + VAT.

• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.

• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).

• Współpraca w modelu hybrydowym w wymiarze 2 dni w tygodniu z biura we Wrocławiu.

• Benefity - prywatna opieka medyczna, karta Multisport.

• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.