Spark / Data Lakehouse Developer (k/m/x)

Poszukujemy Spark / Data Lakehouse Developera do rozwoju procesów przetwarzania danych w architekturze Data Lakehouse.

O projekcie

Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości.

Warunki współpracy

• kontrakt B2B

• praca zdalna

• język pracy: polski + angielski

Twój zakres obowiązków

• Projektowanie i implementacja procesów w Spark SQL / PySpark

• Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi

• Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii

• Integracja Apache Spark z MongoDB

• Budowa i rozwój warstw Data Lakehouse

• Optymalizacja wydajności procesów Spark

• Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych

Wymagania

• Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames

• Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse

• Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark

• Umiejętność programowania w Pythonie w kontekście przetwarzania danych

• Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins

• Znajomość narzędzi monitoringu Prometheus i Grafana w kontekście diagnozowania procesów danych

• Doświadczenie w pracy w metodyce Scrum

Mile widziane

• Znajomość MongoDB Spark Connector

• Doświadczenie w przetwarzaniu strumieniowym (Structured Streaming)

• Znajomość Delta Lake

• Znajomość Apache Hudi

• Doświadczenie w pracy w metodyce Kanban

• Znajomość Jira

• Znajomość Confluence

Co oferujemy

• prywatna opieka medyczna

• dofinansowanie zajęć sportowych

• wsparcie formalne od dokumentów po onboarding

Jak wygląda proces

1. Rozmowa z rekruterem

2. Rozmowa techniczna

3. Rozmowa z klientem

B2B Network łączy specjalistów IT z projektami, które do nich pasują. To Ty wybierasz projekt, my zapewniamy stabilne warunki i wsparcie.

Tech stack

• Apache Spark
• Spark SQL
• DataFrames
• Apache Iceberg
• MongoDB
• Python
• Jenkins
• Prometheus
• Grafana