Data Engineer Mid

Projekt greenfield w sektorze medycznym - budujesz pipeline'y ETL/ELT zasilające hurtownię danych od zera.

O projekcie

Dołączysz do zespołu Devapo realizującego projekt typu greenfield: zaprojektowanie i wdrożenie od podstaw kompleksowej Platformy Business Intelligence dla organizacji z sektora medycznego. Będziesz mieć realny wpływ na kształt rozwiązania - od architektury przepływów danych po finalne dashboardy.

• hurtownia danych PostgreSQL 16 w architekturze Medallion (Raw / Silver / Gold) z podziałem domenowym w duchu Data Mesh (domeny: kliniczna, finansowa, HR, marketingowa, operacyjna),

• orkiestracja procesów w Apache Airflow, transformacje w dbt, kontrola jakości danych w Great Expectations,

• integracja kilkunastu systemów źródłowych (HIS, call center, CRM, HR, obieg dokumentów, platformy reklamowe Google / Facebook / LinkedIn) przez REST API, SOAP, pliki i konektory bazodanowe,

• warstwa raportowa w Microsoft Power BI Service z On-premises Data Gateway, RLS/OLS i SSO przez Microsoft Entra ID,

• całość on-premises w kontenerach Docker, wersjonowanie w Git, monitoring Prometheus + Grafana,

• wysokie standardy bezpieczeństwa: dane medyczne, pełna zgodność z RODO i NIS-2.

Zakres zadań

• budowa procesów ETL/ELT zasilających hurtownię danych (full load i incremental load, watermarki, CDC),

• implementacja konektorów do systemów źródłowych: REST API (OAuth 2.0 / JWT), SOAP, pliki (CSV/XLSX/XML/JSON, SFTP), połączenia bazodanowe,

• tworzenie i utrzymanie DAG-ów w Apache Airflow (harmonogramy, sensory, retry, alarmowanie),

• budowa modeli transformacji w dbt (warstwy Raw → Silver → Gold) wraz z testami,

• implementacja reguł jakości danych w Great Expectations (kompletność, integralność, reguły biznesowe, detekcja zmian schematów),

• praca w środowisku on-premises: Docker, Git, CI/CD, monitoring Prometheus + Grafana.

Wymagania

• minimum 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym,

• praktyczna znajomość:

  • SQL,

  • Python,

  • Apache Airflow,

  • dbt,

  • PostgreSQL,

  • modelowania danych,

  • projektowania i budowy procesów ETL/ELT,

  • integracji z wykorzystaniem REST API,

  • Git,

  • CI/CD,

  • Docker.

Dodatkowym atutem będzie znajomość

• Apache Hop lub innego narzędzia wizualnego projektowania pipeline'ów ETL (np. Pentaho DI, Talend, NiFi),

• Great Expectations lub innego frameworka kontroli jakości danych,

• Kong API Gateway,

• mechanizmów uwierzytelniania OAuth 2.0 / JWT w integracjach API,

• architektury Medallion i koncepcji Data Mesh,

• Prometheus / Grafana.

Mile widziane

• doświadczenie z Power BI,

• doświadczenie z danymi wrażliwymi lub w sektorze ochrony zdrowia (RODO).

Oferujemy

Obowiązki

Wymagania