Data Engineer (Azure)

Wspólnie z naszym Partnerem, liderem branży ubezpieczeniowej i reasekuracyjnej, poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer. Projekt koncentruje się na obszarze Data Intake: pozyskiwaniu danych z różnych źródeł oraz automatyzacji i niezawodności pipeline'ów w środowisku Azure i Databricks.

💡 ZAKRES USŁUG:

• Nadawanie kierunku technicznego i rozwijanie dobrych praktyk inżynierskich we współpracy z innymi specjalistami w projekcie.

• Transformowanie i przygotowywanie danych do dalszego wykorzystania przez kolejne warstwy systemu.

• Scheduling i monitoring pipeline'ów z zapewnieniem właściwej obsługi błędów i logowania.

• Budowanie i utrzymywanie pipeline'ów do pozyskiwania danych z różnych źródeł.

• Dbanie o jakość danych (data quality) na każdym etapie procesu intake.

• Automatyzowanie procesów data intake w środowisku chmurowym.

🔍 WYMAGANE KOMPETENCJE:

• Udokumentowane doświadczenie w data ingestion i projektowaniu niezawodnych pipeline'ów.

• Znajomość ekosystemu Azure w obszarze przetwarzania i przechowywania danych.

• Praktyczna znajomość Python w kontekście budowy pipeline'ów danych.

• Doświadczenie z platformą Databricks w środowisku produkcyjnym.

• Biegła znajomość języka polskiego i angielskiego.

Mile widziane:

• Znajomość PySpark i doświadczenie w przetwarzaniu danych na dużą skalę.

• Umiejętność porządkowania sposobu pracy i wdrażania standardów technicznych w projekcie.

• Doświadczenie na poziomie seniorskim pozwalające na samodzielne nadawanie kierunku technicznego.

✨ OFERUJEMY:

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.

• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.

• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.

• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych.

• 5 000 PLN za polecenie znajomych do naszych projektów.

• Elastyczna forma współpracy B2B.

• Realizacja usług 100% zdalnie.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

13673/DK

Tech stack

• data ingestion
• Databricks
• Azure
• Python