Databricks Data Engineer

Poznaj Onwelo

Onwelo jest partnerem technologicznym, który dostarcza kompleksowe usługi, od strategii i architektury, przez wdrożenia, po utrzymanie, w obszarach transformacji cyfrowej, danych i automatyzacji. Nasz zespół liczy ponad 400 specjalistów z silnymi kompetencjami seniorskim, a na koncie mamy 300+ zrealizowanych projektów dla dużych organizacji w Polsce, Europie i USA. Działamy z kilku polskich miast oraz z biur w Niemczech, Szwajcarii i USA, łącząc lokalną obecność z globalnym zasięgiem.

O projekcie

Do naszego zespołu poszukujemy Databricks Data Engineera, który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle. Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure, w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks.

Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych.

Twoje zadania

• Projektowanie, rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL)
• Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP), wykorzystywanego w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych
• Uczestniczenie w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure
• Migracja i refaktoryzacja procesów przetwarzania danych do architektury data lake / lakehouse
• Optymalizowanie wydajności przetwarzania danych oraz kosztów rozwiązań chmurowych
• Współpracowanie z zespołami klienta i Onwelo przy realizacji projektów data-driven
• Dbane o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną

Kogo szukamy

• Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark
• Swobodna praca z PySpark oraz SQL
• Zaawansowana znajomość języka Python, w tym projektowanie modułowego i reużywalnego kodu (OOP), obsługa wyjątków, logging, konfiguracja środowisk, pisanie testów i dbałość o jakość kodu
• Praca zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna
• Znajomość zagadnień związanych z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych
• Umiejętność współpracy w środowisku projektowym i komunikacji w języku angielskim

Co oferujemy

• Elastyczne godziny oraz możliwość pracy zdalnej

• 80% menedżerów i koordynatorów awansuje wewnętrznie

• Udział w ciekawych projektach dla globalnych klientów

• 90% kadry zarządzającej ma wykształcenie techniczne

• Dostęp do szkoleń wewnętrznych i ścieżek rozwojowych

• Udział w wydarzeniach zespołowych, firmowych spotkaniach i Town Hallach

• Wsparcie w budowaniu profesjonalnego wizerunku (personal branding)

• Dostęp do ubezpieczenia na życie oraz prywatnej opieki medycznej dla siebie i rodziny

• Karta MultiSport, która wspiera dbałość o zdrowie i kondycję