Mid Data Engineer (AWS)

Opis projektu:

• Rozwijamy platformę Data Lake/Lakehouse w AWS opartą o skalowalne przetwarzanie danych.

• Budujemy framework przetwarzania danych oraz wysokowydajne pipeline'y ETL/ELT.

• Stosujemy architekturę medalionową, wykorzystując formaty Apache Iceberg i Parquet.

• Rozwijamy produkt z naciskiem na wydajność, niezawodność i jakoś danych.

• Standaryzujemy Data Governance i automatyzujemy wszystko, co generuje koszty operacyjne.

Twoje zadania:

• Projektowanie i rozwój pipeline'ów w Python, PySpark i MWAA (Airflow).

• Implementacja rozwiązań w oparciu o S3, Glue, EMR, Athena, Lambda, MSK (Kafka) i Kinesis Data Streams.

• Optymalizacja przetwarzania, storage'u i kosztów platformy AWS Data Lake.

• Rozwój infrastruktury z wykorzystaniem Terraform, GitHub i Jenkins.

• Implementacja mechanizmów Data Quality / Data Governance oraz współpraca przy budowie produktu.

• Debugowanie pipeline'ów, zanim zrobi to rachunek z AWS.

Wymagania:

• Kilka lat doświadczenia w inżynierii danych.

• Bardzo dobra znajomość: Python, PySpark oraz procesów ETL/ELT.

• Praktyczne doświadczenie z Data Lake/Lakehouse, Apache Iceberg, Parquet i architekturą medalionową (lub inną nomenklaturą, ważne jest rozumienie całego procesu przetwarzania danych od źródła do konsumenta)

• Dobra znajomość usług AWS: S3, Glue, EMR, Athena, MWAA (Airflow), Lambda, MSK (Kafka), Kinesis Data Streams.

• Doświadczenie z Terraform, GitHub oraz Jenkins.

• Świadomość, że źle zaprojektowany pipeline najpierw niszczy wydajność, a potem budżet.

Mile widziane:

• Doświadczenie z Data Governance, Data Quality, Great Expectations (GX) i DataHub.

• Umiejętność współpracy z zespołami analitycznymi przy rozwoju produktów data.

• Dobra znajomość języka angielskiego.

• Przekonanie, że najlepszą optymalizacją kosztów jest pipeline, którego nie trzeba uruchamiać kilka razy ;-)