Data Engineer (Spark)

Zakres obowiązków

• Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
• Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
• Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
• Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
• Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
• Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
• Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana.
• Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes.
• Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu.
• Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
• Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile.
• Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.

Wymagania

• Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
• Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
• Bardzo dobra znajomość języka Python i SQL.
• Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
• Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
• Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
• Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

• Doświadczenie w pracy z Delta Lake lub Apache Hudi.
• Znajomość Kubernetes, Dockera i Spark Operator.
• Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
• Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
• Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.

Tech stack

• Big Data
• PySpark
• Spark SQL
• MongoDB
• Spark
• Apache
• Python
• SQL
• CI/CD
• Jenkins
• Prometheus
• Grafana
• Scrum
• Kanban
• Jira
• Confluence
• Kubernetes
• Docker
• Dynatrace
• SLA