Senior Data Engineer

Alterdata.io, jako firma usługowa zajmująca się danymi szuka kontraktora do współpracy w roli Senior Data Engineer.

W tej roli będziesz odpowiadać za inżynieryjną realizację projektów z obszaru migracji platform danych do chmury, budowy nowoczesnych hurtowni danych (DWH) oraz projektowania i optymalizacji potoków integracyjnych (ETL/ELT). Będziesz ściśle współpracować z naszymi Tech Leaderami oraz Data Analystami, tworząc skalowalną, wydajną i stabilną infrastrukturę danych (m.in. w oparciu o GCP, AWS, Azure, Snowflake, dbt), która stanowi fundament dla systemów BI oraz rozwiązań sztucznej inteligencji (AI/ML).

Gotowość do świadczenia usług przy użyciu własnego sprzętu komputerowego i narzędzi podstawowych. Zapewniamy dostęp do licencji projektowych klienta.

• Model współpracy: B2B Kontrakt (Współpraca w pełni zdalna)
• Zapotrzebowanie projektowe: Oferujemy gwarantowaną pulę zamówień na usługi do ok. 140-180 godzin miesięcznie.

• Możliwość świadczenia usług z dowolnego miejsca (współpraca w pełni zdalna).
• Partnerską i otwartą kulturę współpracy opartą na zaufaniu i dużej autonomii decyzyjnej.
• Udział w zróżnicowanych technologicznie projektach (w tym międzynarodowych) z obszaru Cloud & Data.
• Wymianę wiedzy z doświadczonymi ekspertami (architektami, inżynierami) oraz partnerskie wsparcie merytoryczne na każdym etapie projektu.

Zakres obowiązków

• Projektowanie i rozwój zaawansowanej architektury danych w oparciu o platformy chmurowe (m.in. GCP, Azure, Snowflake) zgodnie z najlepszymi praktykami rynkowymi.
• Projektowanie i wdrażanie wysoce skalowalnych, wydajnych oraz bezpiecznych procesów ETL/ELT z wykorzystaniem natywnych usług chmurowych (GCP, Azure).
• Nadzór nad stabilnością i wydajnością potoków danych (data pipelines) w środowiskach GCP (BigQuery, Pub/Sub, Composer) oraz Azure, ze szczególnym uwzględnieniem optymalizacji wydajnościowej oraz kosztowej (FinOps).
• Tworzenie czystego, modułowego i łatwego w utrzymaniu kodu w językach Python oraz SQL, z zachowaniem najwyższych standardów bezpieczeństwa, testowalności i CI/CD.
• Projektowanie i standaryzacja generycznych mechanizmów integracji danych z różnorodnych źródeł (API, strumienie w czasie rzeczywistym, bazy danych).
• Partnerska współpraca z architektami chmurowymi, analitykami oraz biznesem w celu przekładania wymagań funkcjonalnych klienta na optymalną architekturę techniczną platformy danych.
• Dbanie o jakość techniczną poprzez realizację code review, wsparcie merytoryczne dla mniej doświadczonych kontraktorów oraz promowanie standardów inżynierii danych.
• Projektowanie i nadzór nad dokumentacją architektoniczną oraz aktywny współudział w doskonaleniu zwinnych procesów dostarczania (delivery) w organizacji.

Wymagania

• Doświadczenie komercyjne na stanowisku Data Engineer.
• Biegłość w Pythonie.
• Biegłość w SQL – tworzenie zapytań, optymalizacja, praca z bazami danych (np. PostgreSQL, BigQuery).
• Praktyczne doświadczenie w projektowaniu, implementacji i optymalizacji złożonych procesów ETL/ELT.
• Doświadczenie w integracji danych z wielu źródeł (np. stream, relacyjne bazy danych, pliki, API, etc.)
• Praktyczne doświadczenie w pracy z platformami chmurowymi: Google Cloud Platform lub Azure.
• Rozumienie zagadnień: Data Warehousing, Data Lakes, Data Lakehouse.
• Doświadczenie we wdrażaniu rozwiązań serverless, w oparciu o konteneryzację usług (wykorzystanie Docker).
• Znajomość systemu kontroli wersji Git oraz doświadczenie w pracy z platformami do zarządzania kodem (np. GitHub, GitLab, Bitbucket).
• Samodzielność, proaktywność oraz umiejętność rozwiązywania złożonych problemów technicznych.
• Dobra organizacja pracy, umiejętność pracy w zespole oraz efektywnej komunikacji.
• Znajomość języka angielskiego na poziomie minimum C1.
• Umiejętność interpretacji celów biznesowych i przekładania ich na logiczne i spójne zadania technologiczne, z uwzględnieniem kontekstu technicznego projektu.
• Doświadczenie w prowadzeniu projektów.
• Doświadczenie w roli lidera technicznego lub koordynatora mniejszych zespołów programistycznych.

• Znajomość narzędzi CI/CD (np. Jenkins, GitHub Actions, GitLab CI).
• Doświadczenie z Terraform lub innymi narzędziami Infrastructure as Code.
• Znajomość narzędzi do przetwarzania danych w czasie rzeczywistym, takich jak Apache Kafka, Apache Spark, Google Dataflow.
• Doświadczenie w pracy z narzędziami typu DBT, Dataform.
• Znajomość zagadnień integracji, przechowywania, przetwarzania i wyszukiwania danych w środowiskach, np. Spark, Snowpark, AWS Data Migration Services, Azure DataFactory, Google DataFlow.
• Doświadczenie w pracy z platformami BigQuery, Snowflake.
• Doświadczenie w wykorzystywaniu narzędzi AI w pracy z kodem, np. Cursor, Claude Code.

Tech stack

• Python
• SQL
• ETL
• Git
• API
• GCP
• CI/CD
• Terraform
• DBT
• Snowflake
• BigQuery
• Azure
• Airflow
• Spark