Azure Data Engineer with Databricks

Poszukujemy doświadczonej osoby na stanowisko Azure Data Engineer with Databricks, która dołączy do długoterminowego projektu realizowanego dla klienta z branży Life Sciences.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure, ze szczególnym uwzględnieniem Databricks, Azure Data Factory oraz nowoczesnych architektur Data Lakehouse.

Stawka: 110-130 PLN/h
Lokalizacja: 100% praca zdalna + 1 wizyta miesięcznie w biurze w Warszawie
Długość projektu: Długoterminowy

Zakres obowiązków

• Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania dużych zbiorów danych, zarówno strukturalnych, jak i niestrukturalnych.

• Projektowanie, budowa i utrzymanie wydajnych potoków danych integrujących informacje z różnych źródeł, w tym baz danych, API oraz platform strumieniowych.

• Rozwój rozwiązań opartych na Azure Databricks i Azure Data Factory.

• Współpraca z zespołami Data Engineering, Data Science, architektami chmurowymi oraz innymi interesariuszami w celu dostarczania kompleksowych rozwiązań danych.

• Udział w kluczowych etapach realizacji projektu, we współpracy z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami oraz Product Ownerami.

• Dokumentowanie rozwiązań technicznych oraz uwzględnianie wydajności, skalowalności i kosztów w podejmowanych decyzjach architektonicznych.

• Wspieranie procesów CI/CD i wdrażanie dobrych praktyk DevOps w obszarze przetwarzania danych.

Wymagania

• Doświadczenie w Azure Data Engineering, pracy z Databricks i Azure Data Factory.

• Bardzo dobra znajomość SQL, PySpark, Python oraz ETL/ELT.

• Znajomość modelowania danych (3NF, Star/Snowflake).

• Praktyczna znajomość Databricks: Unity Catalog, MLflow, Jobs i Pipelines.

• Znajomość architektury Data Lakehouse, Medallion oraz integracji API.

• Doświadczenie w CI/CD i DevOps (Git, Azure DevOps).

• Znajomość integracji z narzędziami analitycznymi, np. Power BI.

• Dobre umiejętności komunikacyjne i doświadczenie we współpracy z klientem oraz zespołami interdyscyplinarnymi.

• Mile widziane: znajomość AWS lub GCP.

Jeśli masz doświadczenie w Azure Data Engineering i Databricks oraz szukasz długoterminowego projektu, zapraszamy do aplikowania!

Tech stack

• Azure
• Databricks
• DataFactory
• PySpark
• SQL
• Python
• CI/CD