Azure Data Engineer

Opis firmy

Naszą misją jako firmy świadczącej usługi IT jest dostarczanie najlepszych rozwiązań naszym klientom na całym świecie. Osiągamy to poprzez analizowanie potrzeb naszych klientów i dopasowywanie ich do umiejętności i aspiracji naszych pracowników. Dlatego jedną z naszych głównych motywacji jest zapewnienie każdemu Pracownikowi i Konsultantowi satysfakcjonującego doświadczenia. Dołączenie do nas oznacza bycie częścią społeczności o różnorodnych osobowościach. Rozpocznij swoją przygodę z act digital!

Opis projektu

Poszukujemy Data Engineera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania danych w środowisku Azure.

Zadania

• Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania danych ustrukturyzowanych oraz nieustrukturyzowanych.

• Tworzenie i utrzymywanie pipeline’ów danych integrujących informacje z baz danych, API oraz platform przetwarzania strumieniowego.

• Rozwój procesów ETL/ELT z wykorzystaniem Azure Data Factory i Databricks.

• Współpraca z inżynierami danych, specjalistami Data Science oraz architektami chmurowymi.

• Współpraca z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami i Product Ownerami na kluczowych etapach projektu.

• Wdrażanie dobrych praktyk CI/CD i DevOps w procesach przetwarzania danych.

• Integracja platformy danych z narzędziami analitycznymi, takimi jak Power BI.

Wymagania

• Praktyczne doświadczenie w rozwiązaniach opartych na architekturze Data Lake.

• Doświadczenie w przetwarzaniu i przepływie danych z wykorzystaniem Databricks oraz Azure Data Factory.

• Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure.

• Biegła znajomość SQL i PySpark.

• Umiejętność modelowania danych oraz projektowania procesów ETL/ELT.

• Doświadczenie w programowaniu w Pythonie lub podobnym języku skryptowym, wykorzystywanym do transformacji danych, orkiestracji i automatyzacji.

• Praktyczna wiedza z zakresu zaawansowanych funkcjonalności Databricks, w tym Unity Catalog, MLflow, Jobs i Pipelines.

• Rozumienie architektury danych w chmurze, w szczególności Data Lakehouse, Medallion Architecture, integracji API i architektury event-driven.

• Doświadczenie w stosowaniu CI/CD i DevOps, w tym Git oraz Azure DevOps.

• Umiejętność współpracy w zespołach interdyscyplinarnych.

• Język angielski na poziomie minimum B2.

Mile widziane

• Doświadczenie w pracy z chmurami AWS lub GCP.

• Praktyka w integracji platform danych z narzędziami analitycznymi, np. Power BI.

Dodatkowe informacje

• Kontrakt: B2B

• Stawka: do 140 PLN/h net + vat

Oferujemy

• Dostęp do lokalnych i międzynarodowych projektów - Klienci z Francji, Niemiec, Portugalii, Wielkiej Brytanii i krajów Beneluksu.

• Wsparcie w rozwoju zawodowym - szkolenia, certyfikaty techniczne, udział w konferencjach, lektoraty języków obcych i szkolenia miękkie dofinansowane do 2 000zł.

• Elastyczność - sam wybierasz formę współpracy: umowa o pracę lub umowa business-to-business.

• Premia za polecanie Kandydatów do 6 000zł.

• W pełni opłacona karta Medicover.

• Karta Multisport.

• Regularne imprezy integracyjne i upominki.

• Program Mobilny.

• Długoterminową współpracę.

Tech stack

• Azure
• SQL
• PySpark
• Python
• ETL
• Databricks
• Git
• AWS
• GCP
• Power BI