Azure DataBricks Engineer

O projekcie

Dla klienta z USA poszukujemy Azure DataBricks Engineerów. Prace dotyczą migracji, zbierania danych i optymalizacji rozwiązań opartych na Databricks.

Klient posiada stałe zapotrzebowanie na specjalistów. Projekty są przeważnie krótkoterminowe, z dużym prawdopodobieństwem przedłużeń; dzięki stałości zapotrzebowania może proponować nowe tematy po zakończeniu projektu.

Klient realizuje projekty głównie dla branży medycznej i finansowej, ale nie zamyka się na inne branże. Współpracowaliśmy już przy platformach do analizy danych z urządzeń medycznych, migracjach danych z platform takich jak JDE Job Master File i Yellowbrick oraz platformach usprawniających analizę krytycznych danych finansowych.

Projekty przede wszystkim dla firm z USA, ale zwykle wymagają niewielkiej zakładki godzinowej (np. do godziny 18:00).

Codzienne zadania

• Projektowanie, wdrażanie i utrzymanie skalowalnych Data Lakehouse w Databricks i Delta Lake według Bronze/Silver/Gold
• Tworzenie i optymalizacja pipeline’ów ETL/ELT w PySpark i DLT, dla przetwarzania batchowego oraz strumieniowego
• Udział w migracjach, np. YellowBrick → Databricks
• Refaktoryzacja logiki SSIS i Boomi do rozwiązań Spark/Python
• Wdrażanie governance i bezpieczeństwa: Unity Catalog, RBAC oraz Terraform
• Monitoring, tuning wydajności i automatyzacja pod SLA, w tym czterogodzinne okno odświeżania danych
• Współpraca z Data Scientistami, Data Engineerami i Architektami
• Udział w doborze narzędzi oraz integracjach ze Smartsheet i SailPoint

Wymagania

• 8+ lat doświadczenia jako Data Engineer lub w rolach pokrewnych, w tym w projektach transformacyjnych i migracyjnych
• Minimum 3-4 lata doświadczenia z Databricks i Apache Spark: klastry, workspaces, bezpieczeństwo, migracje, ETL, integracje, PySpark i optymalizacja zapytań
• Bardzo dobra znajomość Pythona
• Delta Lake oraz Unity Catalog lub podobne rozwiązania governance
• Delta Live Tables lub podobne narzędzia
• Doświadczenie w Azure, np. Data Factory, Synapse, Logic Apps i Data Lake, i/lub AWS, np. Redshift, Athena i Glue
• SQL: projektowanie schematów, optymalizacja zapytań i implementacja logiki biznesowej
• Samodzielność i inicjatywa
• Angielski umożliwiający swobodną komunikację w zespole

Mile widziane

• YellowBrick, SSIS, Boomi lub inne systemy legacy
• Terraform albo Pulumi
• DBT, SSIS, TimeXtender lub podobne narzędzia ETL/ELT

Jak wygląda proces

• Screening po stronie CRODU (ok. 20 minut).
• Rozmowa techniczna oraz rozmowa z zespołem klienta.
• Decyzja i start współpracy.