Data Engineer (Databricks / PySpark / AML)

Stawka: do 155 pln/h + VAT, B2B

Lokalizacja: zdalnie

Branża: bankowość

Szukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark, integrujących dane z wielu źródeł oraz rozwój procesów ETL.

Zakres obowiązków

• Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark.

• Projektowanie, rozwój i optymalizacja procesów ETL.

• Integracja danych z różnych źródeł (API, bazy danych, pliki, batch).

• Migracja istniejących procesów ETL do nowej architektury danych.

• Transformacja, czyszczenie i mapowanie danych.

• Tworzenie oraz optymalizacja zapytań SQL.

• Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.

Must have

• Bardzo dobra znajomość Databricks.

• Bardzo dobra znajomość PySpark.

• Zaawansowana znajomość Python.

• Zaawansowana znajomość SQL / PL/SQL.

• Doświadczenie w projektowaniu i rozwijaniu procesów ETL.

• Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch).

Mile widziane

• Doświadczenie w projektach związanych z AML lub Data Warehouse.

• Znajomość architektury nowoczesnych platform danych.

Kompetencje

• Umiejętność analitycznego myślenia i rozwiązywania problemów.

• Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.

• Dobra organizacja pracy i komunikacja.

• Umiejętność pracy zespołowej.

Informacje o projekcie

• Projekt: rozwój i migracja warstwy danych AML.

• Lokalizacja: zdalnie