Spark Data Lakehouse Developer

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

Aktualnie poszukujemy profilu na stanowisko: Spark Data Lakehouse Developer

Responsibilities

• Minimum 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie w pracy z bazą MongoDB (odczyt/zapis danych, modelowanie dokumentowe, indeksowanie).
• Praktyczna znajomość architektury Data Lakehouse, w tym zarządzanie tabelami wersjonowanymi z wykorzystaniem Apache Iceberg (lub gotowość do szybkiej migracji kompetencji z Delta Lake / Hudi).
• Biegłość w języku Python oraz SQL.
• Sprawne poruszanie się w środowisku CI/CD (automatyzacja z wykorzystaniem Jenkins) oraz biegła obsługa narzędzi wspierających (Jira, Confluence).
• Znajomość narzędzi do monitoringu, metryk i logów (Prometheus, Grafana).

Requirements

• Forma współpracy: Kontrakt B2B (bezpośrednio z IT LeasingTeam).
• Budżet: do 160 PLN/h netto + VAT.
• Tryb pracy: Zdalnie (wymagana obecność w biurze we Wrocławiu 1 dzień w miesiącu).
• Wymiar pracy: Full-time. Projekt o charakterze długofalowym (long-term).
• Dostępność: Mile widziany start ASAP (akceptujemy standardowe okresy wypowiedzenia).
• Sektor: Bankowość / Sektor Finansowy.
• Projekt i Twoja Rola:
  • Dołączysz do zespołu Data Platform u naszego klienta, stabilnej instytucji z sektora finansowego. Będziesz kluczową osobą odpowiedzialną za projektowanie i implementację rozwiązań rekoncyliacji danych w warstwie ODS (MongoDB) oraz budowę i skalowanie nowoczesnego środowiska Data Lakehouse. To rola, w której zaawansowany development w ekosystemie Spark i zarządzanie potężnymi wolumenami łączy się z dbałością o najwyższą jakość danych.
• Proces rekrutacji: Szybki i konkretny - krótki screening z naszym zespołem, a następnie docelowa, merytoryczna rozmowa techniczna z managerami po stronie klienta.
• Do Twoich głównych obowiązków na tym stanowisku należeć będzie:
  • Projektowanie i implementacja procesów (Spark-SQL / PySpark) do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.
  • Kompleksowa budowa, wersjonowanie i utrzymanie warstw danych w architekturze Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem technologii takich jak Apache Iceberg, Delta Lake lub Hudi.
  • Integracja środowiska Spark z MongoDB z użyciem dedykowanego konektora (optymalizacja odczytów i zapisów, schema inference, partitioning).
  • Wdrażanie reguł Data Quality, wykrywanie duplikatów, braków i anomalii oraz generowanie alertów jakościowych.
  • Tuning wydajnościowy procesów Spark (m.in. caching, broadcast joins, Adaptive Query Execution) oraz optymalizacja kosztowa zapytań analitycznych.
  • Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz rozwój i konfiguracja monitoringu aplikacji (Prometheus, Grafana).
  • Praca w metodyce Agile (Scrum/Kanban) oraz pełnienie roli mentora dla Data Engineerów i analityków

Benefits

• Długofalową współpracę B2B z IT LeasingTeam przy zaawansowanym technologicznie projekcie w branży finansowej.
• Dostęp do pakietu benefitów: karta Multisport, prywatna opieka medyczna.
• Możliwość pracy z nowoczesnym, niezwykle pożądanym na rynku stosem technologicznym wokół ekosystemu Data Lakehouse.
• Przejrzysty kontakt z rekruterem ITLT, dzięki czemu zawsze wiesz, na jakim etapie procesu jesteś - gramy w otwarte karty na każdym kroku rekrutacji.

Agencja zatrudnienia - nr certyfikatu 14181