Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Nexio Management to około 550 konsultantów, którzy od ponad 20 lat tworzą zaawansowane rozwiązania IT dla firm w Polsce i za granicą. Jesteśmy zespołem ekspertów, którzy realnie angażują się w projekty swoich klientów.

Specjalizujemy się w budowie, rozwoju i utrzymaniu systemów i aplikacji, oraz doradztwie IT. Wierzymy, że najlepsze rozwiązania powstają wtedy, gdy jest przestrzeń na eksperymentowanie - dlatego mamy własne R&D Center na czele z NexioBot naszym mobilnym robotem asystującym, wykorzystującym sztuczną inteligencję do komunikacji.

Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Responsibilities

• Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
• Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
• Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.
• Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
• Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Requirements

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Benefits

• Min. 4+ lat doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
• Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
• Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
• Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
• Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
• Dobry angielski (min. B2 do codziennej komunikacji w projekcie).
• Mile widziane: Doświadczenie w domenie bankowej lub finansowej.