Data Engineer

Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.

Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.

Dla jednego z naszych klientów z branży finansowej poszukujemy osoby na stanowisko Data Engineer. Specjalista/tka dołączy do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych oraz rozwiązania oparte na danych dla klientów z sektora Usług Finansowych i Bankowości Inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych (data pipelines) wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.

Lokalizacja: praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)

Zakres obowiązków:

• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.

• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.

• Implementacja procesów pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, strumienie komunikatów/zdarzeń).

• Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych (end-to-end).

• Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.

• Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.

• Zapewnienie zgodności z zasadami zarządzania danymi (data governance), bezpieczeństwa oraz standardami regulacyjnymi.

Wymagania:

• Min.3-7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.

• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.

• Silne doświadczenie w zakresie: integracji danych, transformacji danych, modelowania danych.

• Doświadczenie w pracy z platformami danych działającymi w chmurze.

• Doświadczenie/Znajomość:

  • Programowanie i przetwarzanie danych: Python, SQL, PySpark,

  • Platformy danych: Databricks (Delta Lake, DLT),

  • Coud data lakes / architektury lakehouse,

  • Chmura: Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważne usługi chmurowe,

  • Modelowanie danych: Architektura Medallion, Modele wymiarowe (dimensional models), Data Vault (mile widziane),

  • Integracja: REST API, Przetwarzanie wsadowe (batch ingestion), Przetwarzanie strumieniowe (streaming ingestion),

  • DevOps i narzędzia: Git, Pipeline'y CI/CD, Azure DevOps lub podobne narzędzi,

  • Bardzo dobra znajomość: jakości danych, optymalizacji wydajności, skalowalności rozwiązań.