Salary
$75k – $82k per year
Location
In office (Poland)
Employment
Contractor
First seen by Alion on Nov 16, 2026.
Overview
Company
Impact
Profile match
Upvanta is a Polish technology company that combines software development services with recruitment, supplying engineers and delivery teams to clients in Poland and western Europe. It works on custom application development, cloud and infrastructure engineering, data platforms and quality assurance, staffing those projects both from its own bench and through placements sourced for the client directly. The company is based in Warsaw, advertises a continuous board of technology vacancies under its own name, and works across financial services, retail and industrial accounts.
Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).Dołącz do projektu!Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!
Zakres obowiązków
- Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
- Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
- Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
- Generowanie raportów i alertów dotyczących niezgodności danych.
- Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
- Implementacja procesów odczytu i zapisu danych.
- Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads.
- Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold.
- Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi.
- Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge).
- Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania.
- Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution.
- Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse.
- Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana.
- Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace.
- Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań.
- Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator.
- Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami.
- Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
- Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps.
- Udział w pracach prowadzonych w metodykach Scrum/Kanban.
- Prowadzenie code review oraz warsztatów technicznych.
Wymagania
Must-have:- Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe.
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
- Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
- Znajomość modelowania dokumentowego oraz indeksowania w MongoDB.
- Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
- Praktyczna znajomość języka Python.
- Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
- Znajomość narzędzi Prometheus i Grafana.
- Doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
- Znajomość Jira i Confluence.
- Doświadczenie z Delta Lake lub Apache Hudi.
- Znajomość Docker i Kubernetes oraz Spark Operator.
- Praktyczna znajomość OpenTelemetry lub Dynatrace.
- Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming.
- Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.
Tech stack
- Apache Spark
- Spark SQL
- PySpark
- MongoDB
- Spark
- Apache
- Python
- CI/CD
- Jenkins
- Prometheus
- Grafana
- Agile
- Scrum
- Kanban
- Jira
- Confluence
- Docker
- Kubernetes
- Dynatrace
Free account
Stop reading job ads. Get the ones that fit.
One free account turns this page into a shortlist built around your stack, your level and your pay.
Match on every job. Stack, seniority, pay and location, scored against your profile.
2,299,313 open roles. Read straight off company career pages, refreshed every day.
Unlimited applications. Every one you send is tracked in one place, on-site or on a company board.
3 tailored CVs a month. Rewritten for the exact job you are applying to. Included free.
Free forever. No card. Under a minute.
Your match
How well do you fit this role?
Two answers are enough for a real match. No account needed.
Check my fit
Answers stay in this browser until you create an account.
Recommended for you based on this role
Data Science
Similar stack
Same company
Poland
Data Scientist (Python / Machine Learning / AWS)
3 hours ago
$72k – $96k per year · Remote (Poland) · Contractor · Kraków · Wrocław · Warsaw · Gdańsk · Katowice
Python
SQL
Python
Boto3
AI/ML
Polars
MLFlow
XGBoost
Scikit-learn
Anomaly Detection
Machine Learning
DevOps
AWS
Amazon S3
Apply
up to $76k per year (net) · Hybrid · Full-Time · 4+ years exp · Gdańsk · Warsaw
Python
SQL
Databases
Snowflake
AI/ML
dbt
DevOps
CI/CD
Git
Apply
NOI-PL - Senior Data Engineer MDP TP#46386
6 hours ago
$63k – $80k per year · Hybrid · Gdańsk
Python
SQL
Scala
Databases
Snowflake
Apache Kafka
AI/ML
Copilot
Spark
Airflow
DevOps
CI/CD
Jenkins
Git
Kubernetes
Analytics
ETL/ELT
Informatica
Talend
DataStage
Dimensional Modeling
Apply
Data Engineer (Stores/Customer Order)
4 hours ago
$60k – $78k per year · Hybrid · Full-Time · Kraków
Scala
AI/ML
Spark
Airflow
DevOps
Amazon S3
Apply
Junior Database Administrator (DBA)
4 days ago
Hybrid · Warsaw
SQL
Databases
PostgreSQL
Amazon Redshift
Apply
Actuary Associate Level l
2 hours ago
$120k – $150k per year · In office · 3+ years exp · Bachelor's Degree · Bronx
SQL
SAS
Apply
Apply
In office · 2+ years exp · Bachelor's Degree · Bangkok
Python
SQL
AI/ML
Prompt Engineering
Management
n8n
Apply
In office · 1+ year exp · Bachelor's Degree · Singapore
SQL
Analytics
Microsoft Excel
Apply
In office · 3+ years exp · Bachelor's Degree · Singapore
Python
SQL
Apply
Snowflake Engineer
14 days ago
Hybrid · Contractor · Warsaw · Kraków · Poznań · Gdańsk · Wrocław
Databases
Snowflake
Analytics
ETL/ELT
Apply
Data Engineer (Kafka / Confluent Cloud)
17 days ago
$66k – $75k per year · In office · Contractor · Poland
SQL
Databases
Apache Kafka
DevOps
GCP
Apply
Data Engineer (Spark)
25 days ago
$75k per year · In office · Contractor · Poland
Python
SQL
Python
pySpark
Databases
Apache Iceberg
Delta Lake
Apache Hudi
AI/ML
Spark
DevOps
OpenTelemetry
Dynatrace
Prometheus
CI/CD
Jenkins
Kubernetes
Grafana
SLI/SLO/SLA
Management
Confluence
Jira
Agile
Scrum
Kanban
Apply
Spark / Data Lakehouse Developer
26 days ago
≈ $50k – $89k per year (Estimated) · Hybrid · Contractor · Wrocław
Python
SQL
Python
pySpark
Databases
Apache Iceberg
AI/ML
Spark
DevOps
Prometheus
CI/CD
Jenkins
Kubernetes
Grafana
Management
Confluence
Jira
Scrum
Kanban
Apply
Senior DevOps Engineer (Azure & Bicep)
3 hours ago
$72k – $87k per year · In office · Contractor · Poland
DevOps
GitHub Actions
Azure
CI/CD
Bicep
Apply
Senior Data Scientist - Poland
3 days ago
Remote (Poland) · 8+ years exp · Bachelor's Degree · Poland
Python
SQL
Python
Flask
FastAPI
Databases
PostgreSQL
Milvus
pgvector
FAISS
ElasticSearch
OpenSearch
AI/ML
LangGraph
LangChain
LoRA
Model Context Protocol
vLLM
MLFlow
Fine-tuning
Embeddings
Quantization
Scikit-learn
Function Calling
AI Agents
DeepEval
LangSmith
PEFT
QLoRA
Ragas
Kubeflow
TensorFlow
Pandas
NumPy
PyTorch
CrewAI
LLM
RAG
Google ADK
Reranking
Anomaly Detection
Triton
LLMOps
SFT
OpenAI Agents SDK
A2A
Structured Outputs
Context Engineering
Machine Learning
DevOps
OpenShift
OpenTelemetry
AWS
Kubernetes
Platform Engineering
Management
Confluence
Jira
Agile
Apply
Apply
Senior Java (Spark) Developer
1 day ago
In office · Full-Time · Warsaw
Java
SQL
AI/ML
Spark
DevOps
CI/CD
Management
Agile
Scrum
Apply
$14k per year · In office · Contractor · Poland
DevOps
Windows
Apply
Apply
This is one of many
2,299,313 more open roles from verified company boards, updated every day.

