Data Platform Engineer (Azure & Databricks)

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne rozwiązania technologiczne wspierające zarządzanie, przetwarzanie i wykorzystanie danych.

Projekt koncentruje się na rozwoju oraz utrzymaniu platformy danych opartej na usługach Microsoft Azure. Zakres współpracy obejmuje projektowanie infrastruktury chmurowej, automatyzację jej konfiguracji oraz zapewnienie bezpieczeństwa, stabilności i skalowalności środowiska danych.

Do realizacji projektu poszukujemy osoby do współpracy w roli Data Platform Engineer (Azure & Databricks), która posiada doświadczenie w budowaniu platform danych oraz automatyzacji infrastruktury w środowisku Azure.

Tryb Współpracy: 100% zdalnie

Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością

CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?

• Projektowaniem, rozwojem i utrzymywaniem infrastruktury chmurowej wspierającej platformę danych
• Tworzeniem i automatyzacją konfiguracji środowisk wykorzystywanych do przechowywania oraz przetwarzania danych
• Rozwijaniem architektury umożliwiającej efektywne zarządzanie dużymi zbiorami danych
• Konfigurowaniem i optymalizowaniem usług odpowiedzialnych za integrację, przetwarzanie oraz udostępnianie danych
• Projektowaniem mechanizmów zapewniających bezpieczną komunikację pomiędzy komponentami platformy
• Zarządzaniem dostępem do zasobów oraz wdrażaniem zasad bezpieczeństwa infrastruktury chmurowej
• Rozwijaniem mechanizmów monitorowania dostępności, wydajności i stabilności środowiska
• Automatyzacją procesów wdrażania zmian infrastrukturalnych oraz utrzymywaniem spójności konfiguracji
• Identyfikowaniem problemów technicznych i optymalizowaniem wykorzystania zasobów chmurowych
• Współpracą z zespołami Data Engineering i Cloud Engineering przy rozwoju platformy danych
• Przygotowywaniem dokumentacji technicznej oraz współtworzeniem standardów zarządzania infrastrukturą

CZEGO OD CIEBIE OCZEKUJEMY?

Must have:

• Minimum 4 lata komercyjnego doświadczenia w obszarze Data Platform Engineering, Cloud Engineering lub pokrewnym
• Bardzo dobra znajomość Microsoft Azure oraz doświadczenie w projektowaniu i utrzymywaniu infrastruktury chmurowej
• Praktyczne doświadczenie z Azure Databricks oraz konfiguracją środowisk do przetwarzania danych
• Doświadczenie z Terraform i zarządzaniem infrastrukturą w podejściu Infrastructure as Code
• Bardzo dobra znajomość Azure Data Lake oraz architektury przechowywania danych w chmurze
• Praktyczne doświadczenie z Azure Data Factory i integracją usług wykorzystywanych w procesach przetwarzania danych
• Znajomość Azure Networking, w tym konfiguracji sieci, komunikacji pomiędzy usługami oraz zasad bezpiecznej łączności
• Doświadczenie w obszarze Azure Identity, zarządzania tożsamością, uprawnieniami i dostępem do zasobów
• Znajomość mechanizmów Azure Security oraz dobrych praktyk zabezpieczania infrastruktury i danych
• Doświadczenie z Azure Monitoring, w tym monitorowaniem zasobów, analizą logów i konfiguracją alertów
• Umiejętność automatyzacji konfiguracji oraz wdrażania zmian w środowiskach chmurowych
• Dobre rozumienie architektury platform danych oraz zależności pomiędzy jej komponentami
• Umiejętność diagnozowania problemów związanych z wydajnością, dostępnością i bezpieczeństwem infrastruktury
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym

Nice to have:

• Doświadczenie z Azure DevOps lub GitHub Actions
• Znajomość procesów CI/CD dla infrastruktury i platform danych
• Doświadczenie z Azure Key Vault oraz Private Endpoints
• Znajomość Microsoft Entra ID i zarządzania dostępem w rozbudowanych środowiskach chmurowych
• Doświadczenie w optymalizacji kosztów infrastruktury Azure
• Znajomość Python lub SQL
• Doświadczenie w projektowaniu architektury Lakehouse

DLACZEGO WARTO?

• Udział w projekcie obejmującym rozwój nowoczesnej platformy danych opartej na Azure i Databricks
• Projektowanie oraz automatyzacja infrastruktury wspierającej procesy przetwarzania danych
• Złożone zagadnienia związane z bezpieczeństwem, komunikacją sieciową i zarządzaniem dostępem do zasobów
• Udział w kształtowaniu standardów infrastrukturalnych oraz sposobu zarządzania środowiskami chmurowymi
• Projekt łączący kompetencje z obszaru Data Platform Engineering, Cloud Infrastructure i Infrastructure as Code

Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.