Lead Data Engineer / Architect (Databricks)
Kim jest H2B Group?
Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.
Dlaczego warto z nami współpracować?
Elastyczność - Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią.
Przejrzystość - Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków.
Szybkość działania - Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom.
Możliwość rozwoju - Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.
Do projektu naszego klienta poszukujemy Lead Data Engineer / Architect (Databricks)!
Zakres obowiązków
Audyt i Naprawa (Recovery): Szybka ocena istniejącego kodu Databricks/ADF i identyfikacja luk względem kontraktu (SoW).
Weryfikacja Architektury: Walidacja i ewentualna korekta modelu Medallion (Bronze/Silver/Gold) oraz konfiguracji Unity Catalog.
Hands-on Engineering: Portowanie widoków z SQL Server do Databricks SQL, budowa potoków ADF i modelowanie warstwy Gold.
Wdrożenie CI/CD: Konfiguracja i nadzór nad automatyzacją wdrożeń (Dev/Test/Prod) przez Azure DevOps.
Testowanie i Rekonsyliacja: Stworzenie frameworku sprawdzającego poprawność danych między źródłami SQL Server a Lakehousem.
Wsparcie Lidera Projektu: Udział w spotkaniach z klientem jako główny autorytet techniczny i raportowanie postępów.
Wymagania (Must-have)
Databricks Expert: Minimum kilka wdrożeń produkcyjnych (Delta Lake, Databricks SQL, Unity Catalog).
Azure Data Factory: Biegłość w budowie potoków, obsługa Self-Hosted IR oraz wzorców CDC.
Deep SQL & Python: Bardzo silna znajomość T-SQL (analiza legacy) oraz Pythona pod kątem inżynierii danych.
Data Modelling: Doświadczenie w projektowaniu schematów gwiazdy (Star Schema) i struktur Fact/Dimension.
Azure Infrastructure: Znajomość ADLS Gen2 oraz podstaw sieciowych (Private Endpoints, VNets).
Senior Delivery: Umiejętność samodzielnego planowania pracy i podejmowania decyzji pod presją czasu.
Mile widziane (Nice to have)
Microsoft Purview: Znajomość narzędzi do data governance i lineage.
Databricks Lakeflow: Doświadczenie z nowymi funkcjonalnościami orkiestracji.
Power BI: Orientacja w tym, jak model danych w Lakehousie wpływa na finalne raporty i ich wydajność.
Doświadczenie Konsultingowe: Umiejętność sprawnego komunikowania ryzyk i zmian architektury interesariuszom biznesowym.