Staff Data Engineer - High-Performance Data Systems

Dla naszego klienta poszukujemy kandydatów na stanowisko:

Staff Data Engineer - High-Performance Data Systems

Projekt: Budowa architektury danych oraz infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Rola łączy ownership skalowalnych systemów danych, wysokowydajnego przetwarzania analitycznego oraz tworzenia silnika obliczeniowego.

Stack technologiczny: Apache Spark, PostgreSQL, SQL, Apache DataFusion, Apache Arrow, Rust

Model współpracy: Kontrakt B2B - praca zdalna.

Zakres obowiązków:

• Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów, strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.

• Definiowanie architektury przetwarzania danych - balansowanie między przetwarzaniem wsadowym a w czasie rzeczywistym, zapewnienie niskich opóźnień (low latency) oraz poziomej skalowalności.

• Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych (wydajność zapytań, indeksowanie, optymalizacja pamięci masowej).

• Budowa i rozwój silnika obliczeniowego (w tym niestandardowe wykonywanie zapytań i reużywalne transformacje).

• Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.

• Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich oraz systemami AI/ML (w tym pliki CSV/Parquet).

• Ustanawianie standardów w zakresie poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.

Oczekujemy:

• Solidnego doświadczenia w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.

• Doskonałej znajomości SQL oraz PostgreSQL (w tym planowanie zapytań, optymalizacja, indeksowanie, spójność transakcji).

• Głębokiego zrozumienia architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.

• Praktycznej i zaawansowanej znajomości Apache Spark.

• Doświadczenia w projektowaniu systemów pod duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.

• Biegłości w korzystaniu z asystentów AI do kodowania (AI coding agents) oraz zdolności do dostarczania najwyższej jakości kodu produkcyjnego.

• Gotowości do podejmowania kluczowych decyzji architektonicznych przy jednoczesnym aktywnym pisaniu kodu (rola hands-on).

• Rygorystycznego podejścia do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.

• Znajomości języka Rust (szczególnie w odniesieniu do pojęć tj. współbieżność, programowanie asynchroniczne, zarządzanie pamięcią, optymalizacja wydajności).

Mile widziana znajomość:

• Apache DataFusion, Apache Arrow,

• ClickHouse (lub innych silników kolumnowych/OLAP),

• architektury HTAP/Lakehouse,

• chmur (AWS/GCP/Azure),

• systemów obliczeń finansowych.

Oferujemy:

• Umowę B2B i elastyczną formę współpracy.

• Udział w prestiżowym projekcie tworzonym od podstaw, bez konieczności utrzymywania i naprawiania tzw. legacy code.

• Dużą autonomię i decyzyjność - Twój głos będzie miał kluczowy wpływ na ostateczny kształt architektury i technologii.

• Gwarancję stabilności (niezależne i pewne źródła finansowania), co pozwala na komfortowe skupienie się na innowacjach.