2,299,313open jobs
145,909companies
270,197added this week
Browse all
Salary
$75k – $82k per year
Location
In office (Poland)
Employment
Contractor

First seen by Alion on Nov 16, 2026.

Overview
Company
Impact
Profile match
Upvanta is a Polish technology company that combines software development services with recruitment, supplying engineers and delivery teams to clients in Poland and western Europe. It works on custom application development, cloud and infrastructure engineering, data platforms and quality assurance, staffing those projects both from its own bench and through placements sourced for the client directly. The company is based in Warsaw, advertises a continuous board of technology vacancies under its own name, and works across financial services, retail and industrial accounts.
Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).Dołącz do projektu!Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!

Zakres obowiązków

  • Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
  • Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
  • Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
  • Generowanie raportów i alertów dotyczących niezgodności danych.
  • Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  • Implementacja procesów odczytu i zapisu danych.
  • Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads.
  • Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold.
  • Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi.
  • Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge).
  • Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania.
  • Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution.
  • Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse.
  • Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana.
  • Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace.
  • Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań.
  • Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator.
  • Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami.
  • Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
  • Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps.
  • Udział w pracach prowadzonych w metodykach Scrum/Kanban.
  • Prowadzenie code review oraz warsztatów technicznych.

Wymagania

Must-have:
  • Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe.
  • Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
  • Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  • Znajomość modelowania dokumentowego oraz indeksowania w MongoDB.
  • Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
  • Praktyczna znajomość języka Python.
  • Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
  • Znajomość narzędzi Prometheus i Grafana.
  • Doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
  • Znajomość Jira i Confluence.
Mile widziane
  • Doświadczenie z Delta Lake lub Apache Hudi.
  • Znajomość Docker i Kubernetes oraz Spark Operator.
  • Praktyczna znajomość OpenTelemetry lub Dynatrace.
  • Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming.
  • Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.

Tech stack

  • Apache Spark
  • Spark SQL
  • PySpark
  • MongoDB
  • Spark
  • Apache
  • Python
  • CI/CD
  • Jenkins
  • Prometheus
  • Grafana
  • Agile
  • Scrum
  • Kanban
  • Jira
  • Confluence
  • Docker
  • Kubernetes
  • Dynatrace
Free account
Stop reading job ads. Get the ones that fit.
One free account turns this page into a shortlist built around your stack, your level and your pay.
Match on every job. Stack, seniority, pay and location, scored against your profile.
2,299,313 open roles. Read straight off company career pages, refreshed every day.
Unlimited applications. Every one you send is tracked in one place, on-site or on a company board.
3 tailored CVs a month. Rewritten for the exact job you are applying to. Included free.
Create a free account Continue with Google
Free forever. No card. Under a minute.

Your match

How well do you fit this role?
Two answers are enough for a real match. No account needed.
Check my fit
Answers stay in this browser until you create an account.

Recommended for you based on this role

Data Science
Similar stack
Same company
Poland
$72k – $96k per year · Remote (Poland) · Contractor · Kraków · Wrocław · Warsaw · Gdańsk · Katowice
Python
SQL
Python
Boto3
AI/ML
Polars
MLFlow
XGBoost
Scikit-learn
Anomaly Detection
Machine Learning
DevOps
AWS
Amazon S3
Apply
up to $76k per year (net) · Hybrid · Full-Time · 4+ years exp · Gdańsk · Warsaw
Python
SQL
Databases
Snowflake
AI/ML
dbt
DevOps
CI/CD
Git
Apply
$63k – $80k per year · Hybrid · Gdańsk
Python
SQL
Scala
Databases
Snowflake
Apache Kafka
AI/ML
Copilot
Spark
Airflow
DevOps
CI/CD
Jenkins
Git
Kubernetes
Analytics
ETL/ELT
Informatica
Talend
DataStage
Dimensional Modeling
Apply
$60k – $78k per year · Hybrid · Full-Time · Kraków
Scala
AI/ML
Spark
Airflow
DevOps
Amazon S3
Apply
Hybrid · Warsaw
SQL
Databases
PostgreSQL
Amazon Redshift
Apply
$120k – $150k per year · In office · 3+ years exp · Bachelor's Degree · Bronx
SQL
SAS
Apply
In office · Denmark
Python
SQL
Analytics
Power BI
Apply
In office · 2+ years exp · Bachelor's Degree · Bangkok
Python
SQL
AI/ML
Prompt Engineering
Management
n8n
Apply
In office · 1+ year exp · Bachelor's Degree · Singapore
SQL
Analytics
Microsoft Excel
Apply
In office · 3+ years exp · Bachelor's Degree · Singapore
Python
SQL
Apply
Snowflake Engineer 14 days ago
Hybrid · Contractor · Warsaw · Kraków · Poznań · Gdańsk · Wrocław
Databases
Snowflake
Analytics
ETL/ELT
Apply
$66k – $75k per year · In office · Contractor · Poland
SQL
Databases
Apache Kafka
DevOps
GCP
Apply
Data Engineer (Spark) 25 days ago
$75k per year · In office · Contractor · Poland
Python
SQL
Python
pySpark
Databases
Apache Iceberg
Delta Lake
Apache Hudi
AI/ML
Spark
DevOps
OpenTelemetry
Dynatrace
Prometheus
CI/CD
Jenkins
Kubernetes
Grafana
SLI/SLO/SLA
Management
Confluence
Jira
Agile
Scrum
Kanban
Apply
≈ $50k – $89k per year (Estimated) · Hybrid · Contractor · Wrocław
Python
SQL
Python
pySpark
Databases
Apache Iceberg
AI/ML
Spark
DevOps
Prometheus
CI/CD
Jenkins
Kubernetes
Grafana
Management
Confluence
Jira
Scrum
Kanban
Apply
$72k – $87k per year · In office · Contractor · Poland
DevOps
GitHub Actions
Azure
CI/CD
Bicep
Apply
Remote (Poland) · 8+ years exp · Bachelor's Degree · Poland
Python
SQL
Python
Flask
FastAPI
Databases
PostgreSQL
Milvus
pgvector
FAISS
ElasticSearch
OpenSearch
AI/ML
LangGraph
LangChain
LoRA
Model Context Protocol
vLLM
MLFlow
Fine-tuning
Embeddings
Quantization
Scikit-learn
Function Calling
AI Agents
DeepEval
LangSmith
PEFT
QLoRA
Ragas
Kubeflow
TensorFlow
Pandas
NumPy
PyTorch
CrewAI
LLM
RAG
Google ADK
Reranking
Anomaly Detection
Triton
LLMOps
SFT
OpenAI Agents SDK
A2A
Structured Outputs
Context Engineering
Machine Learning
DevOps
OpenShift
OpenTelemetry
AWS
Kubernetes
Platform Engineering
Management
Confluence
Jira
Agile
Apply
In office · Poland
Design
SolidWorks
Apply
In office · Full-Time · Warsaw
Java
SQL
AI/ML
Spark
DevOps
CI/CD
Management
Agile
Scrum
Apply
Apply
Apply
See all jobs
This is one of many
2,299,313 more open roles from verified company boards, updated every day.