Azure Data Databricks Engineer

Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Azure Data Databricks Engineer.

Zakres obowiązków:

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z sektora finansowego i zarządzania ryzykiem.

• Projektowanie, budowanie i utrzymywanie data pipeline'ów z wykorzystaniem Pythona, PySpark i SQL.

• Rozwijanie i operowanie rozwiązaniami danych na platformie Databricks Lakehouse.

• Tworzenie i zarządzanie workflowami przy użyciu Apache Airflow.

• Implementacja procesów CI/CD z wykorzystaniem Azure DevOps i Azure Pipelines.

• Praca z Git w oparciu o pull requesty i feature-branch workflows.

• Automatyzacja i monitoring zadań przetwarzania danych (m.in. Databricks Lakeflow Jobs).

• Pakowanie, wdrażanie i zarządzanie rozwiązaniami za pomocą Databricks Asset Bundles.

• Zapewnianie jakości danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).

• Korzystanie ze skonteneryzowanych środowisk deweloperskich (Devcontainers, rozszerzenia VS Code).

• Ścisła współpraca z zespołami inżynieryjnymi, analitycznymi i biznesowymi w celu dostarczania niezawodnych i efektywnych rozwiązań danych.

Oczekujemy:

• Minimum 8 lat doświadczenia zawodowego w obszarze inżynierii danych lub pokrewnym.

• Zaawansowanej znajomości Pythona, w tym PySpark, pytest, pre-commit oraz menedżera pakietów uv.

• Praktycznego doświadczenia z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).

• Bardzo dobrej znajomości SQL.

• Doświadczenia w pracy z Apache Airflow.

• Praktycznej znajomości Azure DevOps i Azure Pipelines.

• Doświadczenia z platformą chmurową Microsoft Azure.

• Biegłej obsługi Git (pull requesty, feature branch to main branch workflows).

• Ugruntowanej wiedzy z zakresu nowoczesnych praktyk data engineeringu i DevOps.

• Mile widziane: doświadczenie we współpracy z instytucjami finansowymi.

• Mile widziane: znajomość metodyk Agile (Scrum, Kanban).

• Mile widziane: doświadczenie z wielkoskalowymi platformami danych i architekturami cloud-native.

• Mile widziane: doświadczenie w monitoringu i wsparciu operacyjnym data pipeline'ów.

• Gotowości do pracy w modelu hybrydowym (1 dzień w tygodniu w biurze klienta w Warszawie lub w Poznaniu lub we Wrocławiu) z elastycznością w ustaleniu harmonogramu.

• Znajomości języka angielskiego na poziomie B2 lub C1 - umożliwiającej swobodną komunikację w międzynarodowym środowisku.

• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

Oferujemy:

• Długofalowa współpraca z wynagrodzeniem w przedziale 130-160 PLN netto/godz. + VAT.

• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.

• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).

• Współpraca w modelu hybrydowym w wymiarze 1 dnia w tygodniu z biura w Warszawie lub w Poznaniu lub we Wrocławiu.

• Benefity - prywatna opieka medyczna, karta Multisport.

• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.