Senior Data Engineer

Kim jest H2B Group?

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?

Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią. 

Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków. 

Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom. 

Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Senior Data Engineer (Branża Travel & Cruise)

Informacje podstawowe

• Rola: Senior Data Engineer

• Branża klienta: Turystyka morska i rejsy wycieczkowe - skala globalna, zarządzanie rozbudowaną flotą i dużymi wolumenami danych.

• Stawka: 100 – 140 PLN/h netto B2B

• Start: ASAP

• Długość kontraktu: Długoterminowy (Long-term)

• Lokalizacja: Zdalnie (Global)

• Język: Język angielski na poziomie minimum B2+ / C1 (praca w środowisku międzynarodowym)

Profil projektu i cele

Projekt realizowany dla globalnego lidera branży wycieczkowej, operującego flotą statków na całym świecie. Rola polega na projektowaniu, rozbudowie i optymalizacji skalowalnej platformy danych opartej o chmurę Azure, ze szczególnym naciskiem na architekturę Lakehouse oraz ekosystem Databricks. Inżynier będzie wspierał procesy operacyjne floty, logistykę, finanse, analitykę zarządczą oraz inicjatywy AI/ML.

Kluczowe obowiązki

• Projektowanie platformy Azure Lakehouse: Rozwój i utrzymanie skalowalnych rozwiązań danych w środowiskach Azure Databricks, Azure Synapse Analytics i Data Lake.

• Potoki ETL/ELT: Implementacja wydajnych potoków przetwarzania danych (batch oraz streaming) z wielu domen biznesowych przy użyciu Pythona, SQL i Apache Spark.

• Modernizacja i migracje platformowe: Wdrażanie i standaryzacja Unity Catalog, podnoszenie wersji komponentów platformy oraz wsparcie transformacji w stronę architektury Data Lakehouse.

• Databricks Workflows i DLT: Budowa i utrzymanie przepływów orkiestracji Databricks Workflows, Delta Live Tables (DLT) oraz frameworków sterowanych metadanymi (metadata-driven).

• Niezawodność i jakość danych: Zapewnienie poprawności, spójności i bezpieczeństwa danych, optymalizacja struktur magazynowania oraz rozwiązywanie incydentów produkcyjnych (root cause analysis).

• Optymalizacja wydajności i kosztów (FinOps): Optymalizacja zużycia zasobów obliczeniowych Spark, optymalizacja zapytań SQL i zarządzanie kosztami infrastruktury chmurowej.

• Automatyzacja i CI/CD: Współtworzenie potoków CI/CD w Azure DevOps, automatyzacja infrastruktury (IaC), monitorowanie i logowanie metryk systemowych.

• Współpraca i mentoring: Ścisła współpraca z architektami danych, analitykami i zespołami biznesowymi; promowanie dobrych praktyk inżynierii oprogramowania w zespole danych.

Wymagania techniczne

• Bardzo dobra znajomość Apache Spark oraz architektury Lakehouse.

• Zaawansowana biegłość w językach Python i SQL.

• Doświadczenie z chmurą Microsoft Azure: Azure Databricks, Azure Data Factory (ADF), Azure Data Lake Storage (ADLS Gen2).

• Praktyczne doświadczenie z Delta Live Tables (DLT) oraz Unity Catalog.

• Znajomość Azure Synapse Analytics lub Azure Data Explorer.

• Praktyka w budowie i utrzymaniu procesów CI/CD (Azure DevOps, Git).

• Doświadczenie z automatyzacją infrastruktury, monitorowaniem i audytem logów.

• Podstawowa znajomość warstwy raportowej (Power BI) pod kątem udostępniania i konsumpcji modeli danych.

Tech stack

• Apache Spark
• Azure Lakehouse
• ETL/ELT
• Python
• SQL
• DLT
• Unity Catalog