Spark / Data Lakehouse Developer

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Dla naszego Klienta poszukujemy doświadczonego Spark / Data Lakehouse Developera do projektu związanego z budową i rozwojem rozwiązań Data Lakehouse oraz rekonsyliacją danych w warstwie ODS.

Zakres współpracy
- Projektowanie i implementacja procesów rekonsyliacji danych z wykorzystaniem Spark-SQL / PySpark.
- Porównywanie danych z MongoDB z systemami źródłowymi oraz budowanie reguł jakości danych.
- Integracja Spark z MongoDB i optymalizacja procesów odczytu/zapisu.
- Budowa i rozwój warstw Raw/Bronze/Silver/Gold w architekturze Data Lakehouse.
- Praca z Apache Iceberg oraz wersjonowaniem i migracją danych.
- Optymalizacja wydajności i kosztów przetwarzania danych w Spark.
- Konfiguracja monitoringu i observability procesów danych.
- Automatyzacja deploymentów Spark oraz wsparcie procesów CI/CD.
- Diagnozowanie problemów z danymi i utrzymanie dokumentacji technicznej.
- Współpraca z zespołami Data Engineering, Business Analysis, QA i DevOps oraz udział w code review i warsztatach.

Wymagania

- Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowisku produkcyjnym.
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.
- Doświadczenie z MongoDB oraz MongoDB Spark Connector.
- Praktyczna znajomość Apache Iceberg.
- Znajomość Python i Spark SQL.
- Doświadczenie z Jenkins i procesami CI/CD dla aplikacji Spark.
- Znajomość Prometheus i Grafana.
- Doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira/Confluence.

Warunki współpracy
- Forma współpracy: B2B
- Lokalizacja: Wrocław / zdalnie (przewidziane są spotkania projektowe w biurze raz w miesiącu).

Tech stack

• Apache Spark
• PySpark
• Spark SQL
• DataFrames
• MongoDB
• Python