Senior Data Platform Engineer (Databricks)

Stawka: 175-210 PLN/h (B2B)

Tryb pracy: 100% zdalnie z Polski

Branża: lotnicza

Język: angielski B2/C1

O projekcie:

Dołączysz do międzynarodowego projektu w sektorze lotniczym, gdzie budowany jest system do monitorowania i analizy pracy silników lotniczych.

System zbiera dane telemetryczne z pracy silników, przetwarza je w czasie rzeczywistym i wspiera podejmowanie decyzji poprzez analizy trendów i wizualizacje.

Obecnie rozwijana jest platforma typu agentic data processing, gdzie modele ML i komponenty analityczne działają jako współpracujący „agenci" podejmujący decyzje w oparciu o dane.

Twoja rola:

Będziesz uczestniczyć w projektowaniu architektury całego rozwiązania opartego o Databricks - od danych, przez ML, po warstwę operacyjną.

Co będziesz robić:

• Projektować architekturę end-to-end w oparciu o Databricks (Lakehouse + ML)

• Budować pipeline'y danych w czasie rzeczywistym (Structured Streaming, Delta Lake)

• Zarządzać cyklem życia modeli (MLflow, monitoring, retraining, A/B testy)

• Tworzyć rozwiązania low-latency do serwowania modeli (auto-scaling, routing)

• Wdrażać governance i bezpieczeństwo danych (Unity Catalog, compliance)

• Optymalizować wydajność i koszty (autoscaling, monitoring, spot usage)

• Definiować procesy wdrożeniowe (blue-green, alerting, runbooki)

• Współpracować z zespołami engineering / MLOps / product

• Wspierać tworzenie dashboardów i workflowów human-in-the-loop

• Koordynować wdrożenie rozwiązania (etapy, ryzyka, metryki sukcesu)

Technologie w projekcie:

• Chmura: Azure Databricks (rekomendowane) lub AWS Databricks z natywną integracją tożsamości (Azure AD / AWS IAM).

• Platforma Databricks: Runtime ML, Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake, Feature Store, AutoML, Databricks Workflows, Databricks SQL.

• Przetwarzanie danych: Structured Streaming do pipeline'ów czasu rzeczywistego oraz Delta Lake do przechowywania danych w modelu ACID, z funkcją time travel i wysoką niezawodnością.

• Języki i API: Python z natywnymi bibliotekami Databricks, REST API Databricks oraz SDK.

• Frontend: Dashboard oparty o React, zintegrowany z Databricks SQL do monitoringu oraz obsługi procesów typu human-in-the-loop.

• Bezpieczeństwo i zgodność: Szyfrowanie danych w trakcie przesyłu i w spoczynku, zarządzanie danymi klasy enterprise z wykorzystaniem Unity Catalog oraz zgodność ze standardami SOC 2 i GDPR.

• Monitoring i operacje: Natywne narzędzia monitoringu Databricks, własne alerty, dashboardy wydajności oraz frameworki do testów A/B.

• Deployment i MLOps: Endpointy modeli z autoskalowaniem, MLflow Model Registry, zautomatyzowane pipeline'y do ponownego trenowania modeli oraz wdrożenia typu blue-green.

Wymagania:

• Doświadczenie z architekturą w środowisku Databricks Lakehouse

• Znajomość: Delta Lake, MLflow, Unity Catalog, Model Serving, Feature Store

• Praktyka w budowie systemów real-time / low-latency (ML serving)

• Mocne kompetencje w MLOps (monitoring, wersjonowanie, retraining)

• Doświadczenie z chmurą (Azure lub AWS) i bezpieczeństwem danych

• Bardzo dobra znajomość Pythona

• Umiejętność pracy z API i budowy rozwiązań end-to-end

• Doświadczenie w optymalizacji kosztów i wydajności systemów

• Praca przy dużych systemach produkcyjnych (enterprise scale)

Mile widziane:

• Doświadczenie z telemetry / time-series / danymi przemysłowymi

• Znajomość Mosaic AI i podejścia agentowego

• Certyfikaty Databricks

Proces rekrutacyjny:

• Rozmowa HR + weryfikacja angielskiego

• Rozmowa techniczna

• Decyzja

Co oferujemy:

• Atrakcyjne wynagrodzenie

• Możliwość współpracy 100% zdalnie z Polski

• Projekt dla międzynarodowego klienta (sektor lotniczy)

• Praca przy zaawansowanych systemach AI/ML i danych czasu rzeczywistego

• Duży wpływ na architekturę i decyzje technologiczne

• Nowoczesny stack (Databricks, MLflow, Delta Lake, Mosaic AI)

• Współpraca z międzynarodowym zespołem

• Rozwój w obszarze Data/ML/Architektury