Lead Data Architect
O projekcie
Realizujemy długoterminowy projekt dla klienta z branży ubezpieczeniowej w Wielkiej Brytanii.
Projekt obejmuje rozwój i modernizację całego ekosystemu cyfrowego - od gateway'ów integracyjnych, przez portale webowe i aplikacje mobilne, aż po nowoczesną platformę danych.
Obszar Data składa się z kilku zespołów pracujących z różnymi technologiami, m.in. Snowflake, ClickHouse oraz Microsoft SQL Server. Klient aktywnie rozwija swoje rozwiązania chmurowe i modernizuje istniejącą architekturę danych.
Szukamy osoby, która pomoże uporządkować i rozwinąć architekturę przepływu danych - nie tylko zaprojektować rozwiązania na papierze, ale również wesprzeć ich realną implementację.
To rola dla osoby, która łączy bardzo dobrą znajomość SQL Server internals, doświadczenie w CDC (Change Data Capture) oraz kompetencje architektoniczne.
O roli
Poszukujemy Principal Data Replication Architecta, który będzie odpowiedzialny za projektowanie strategii replikacji danych oraz architektury przepływu danych w dużym środowisku enterprise.
Szukamy osoby, która:
rozumie wewnętrzne mechanizmy działania SQL Server,
potrafi projektować rozwiązania replikacyjne na poziomie platformy,
zna ograniczenia i możliwości różnych podejść CDC,
potrafi podejmować decyzje architektoniczne oraz komunikować je interesariuszom.
Zakres obowiązków
Projektowanie architektury replikacji danych wykorzystującej:
SQL Server Native CDC,
log-based capture,
Change Tracking,
batch, streaming oraz hybrydowe modele przesyłania danych.
Projektowanie strategii:
incremental data movement,
ciągłości LSN,
retencji CDC,
odzyskiwania danych,
failover oraz failback.
Analiza i optymalizacja działania SQL Server, w szczególności:
transaction log,
VLF management,
log backup chain,
log reuse waits,
AlwaysOn Availability Groups,
CDC capture oraz cleanup jobs.
Projektowanie docelowej architektury przepływu danych oraz ocena różnych podejść:
SQL Server Native CDC,
Qlik Replicate,
Debezium,
HVR,
inne rozwiązania CDC.
Definiowanie strategii zapewniających:
spójność danych,
możliwość ponownego przetwarzania,
mechanizmy reconciliation,
obsługę zmian schematu danych.
Współpraca z zespołami DBA oraz Data:
definiowanie standardów replikacji,
poprawa niezawodności platformy,
wsparcie techniczne i mentoring.
Przygotowywanie dokumentacji architektonicznej oraz prezentowanie rozwiązań technicznych stakeholderom.
Wymagania:
Doświadczenie eksperckie z Microsoft SQL Server.
Bardzo dobra znajomość:
transaction log internals,
LSN progression,
log truncation,
CDC capture i cleanup mechanisms,
wpływu AlwaysOn Availability Groups na CDC.
Praktyczne doświadczenie produkcyjne z:
SQL Server Native CDC,
projektowaniem incremental loads,
obsługą dużych wolumenów danych,
monitorowaniem opóźnień replikacji.
Doświadczenie w projektowaniu architektury danych end-to-end.
Umiejętność:
tworzenia diagramów architektonicznych,
dokumentowania rozwiązań,
analizy kompromisów technologicznych.
Bardzo dobra znajomość języka angielskiego - codzienna współpraca z klientem z Wielkiej Brytanii.
Mile widziane
Doświadczenie z:
Qlik Replicate,
Debezium,
Kafka CDC,
Oracle GoldenGate,
HVR,
Fivetran.
Znajomość:
Snowflake,
procesów ingestowania danych,
Data Quality Frameworks,
Infrastructure as Code,
rozwiązań chmurowych.
Technologie
Microsoft SQL Server
SQL Server CDC
AlwaysOn Availability Groups
Snowflake
ClickHouse
Qlik Replicate / narzędzia CDC
Cloud Data Platforms
Oferujemy
100% pracę zdalną.
Długoterminowy projekt - pierwsza umowa na 6 miesięcy z możliwością kontynuacji nawet do 2 lat.
Stabilną współpracę przy dużym projekcie dla klienta z Wielkiej Brytanii.
Realny wpływ na architekturę i rozwój platformy danych.
Pracę z zespołami Data, DBA oraz architektami.
Start projektu ASAP (możliwość rozpoczęcia w ciągu ok. 1-1,5 miesiąca).
Forma współpracy: B2B
Model pracy: 100% remote
Język projektu: angielski
Start: ASAP