Senior Data Engineer

Opis stanowiska

Dołącz do zespołu rozwijającego enterprise’ową platformę danych dla rynku finansowego, wspierającą analitykę.

Poszukujemy Senior Data Engineera odpowiedzialnego za projektowanie, rozwój i utrzymanie wysokowydajnych rozwiązań przetwarzających duże wolumeny danych w trybie near real-time.

Platforma obsługuje miliony komunikatów dziennie, zapewniając odświeżanie danych nawet co 1 sekundę. Obejmuje także archiwizację z 2-letnią retencją, integrację z systemami komunikacyjnymi, w tym RabbitMQ, oraz wymagania dotyczące wysokiej dostępności, wydajności i skalowalności.

Wymagania

• Kilka doświadczenia z PostgreSQL i bardzo dobra znajomość SQL.

• Praktyczna znajomość PL/pgSQL, w tym procedur, funkcji i triggerów.

• Doświadczenie w relacyjnym modelowaniu danych, normalizacji i denormalizacji.

• Praktyka w pracy z dużymi wolumenami danych oraz systemami wysokiej dostępności.

• Doświadczenie w optymalizacji zapytań SQL, procesów ETL i wydajności baz danych.

• Umiejętność analizy planów wykonania, strojenia indeksów i monitorowania PostgreSQL.

• Znajomość systemu Linux.

• Wykształcenie wyższe techniczne lub ścisłe.

• Język angielski na poziomie minimum B2.

Kluczowe obszary techniczne

1. PostgreSQL i modelowanie danych
   Znajomość architektury PostgreSQL, partycjonowania tabel oraz indeksów.

2. PL/pgSQL
   Tworzenie procedur, funkcji i triggerów oraz implementacja logiki biznesowej w warstwie bazodanowej.

3. Performance tuning i monitoring
   Analiza planów wykonania, optymalizacja SQL, strojenie indeksów

4. ETL i near real-time processing
   Projektowanie i optymalizacja procesów ETL dla wielu milionów komunikatów dziennie, z odświeżaniem danych co sekundę

5. Data architecture i integracje
   Projektowanie wysokodostępnych, skalowalnych rozwiązań oraz integracja z systemami komunikacyjnymi, w szczególności RabbitMQ.

Mile widziane

• Python — automatyzacja i przetwarzanie danych.

• Kafka lub RabbitMQ — przetwarzanie komunikatów i strumieni danych.

• Apache Airflow — orkiestracja procesów danych; Spark lub Beam.

• Doświadczenie z CI/CD.

• Doświadczenie w sektorze bankowym, finansowym etc.

• Znajomość technologii Big Data.

• Znajomość GCP, Rust, BigQuery, narzędzi OCR

Co zyskujesz dołączając do Bluesoft: 

👨‍💻 Współpracę w zespole interdyscyplinarnych ekspertów – entuzjastów technologii, ceniących bezpośredniość i partnerskie relacje;
📈 Długoterminowe zaangażowanie projektowe w firmie, która nieprzerwanie od ponad 20 lat rozwija się na rynku IT;
🚀 Udział w różnorodnych projektach IT realizowanych dla rozpoznawalnych klientów – liderów w swoich branżach;
🥇 Dostęp do najnowszych technologii i środowisko oparte na najwyższych standardach inżynieryjnych;
⌚️ Elastyczne warunki realizacji usług – hybrydowo lub w pełni zdalnie, dopasowane indywidualnie do charakteru współpracy (każdy zespół ustala to samodzielnie);
☁ Ekosystem wymiany wiedzy i rozwoju: szkolenia wewnętrzne, gildie tematyczne, szkolenia i certyfikacje Cloud w ramach partnerstw technologicznych z czterema dostawcami chmury;
📣 Dostęp do nauki języka angielskiego lub niemieckiego online oraz grupowe zajęcia językowe;
🏋️‍♂️ Możliwość przystąpienia do Multisport i prywatnej opieki medycznej na preferencyjnych warunkach wynegocjowanych przez Bluesoft;
⛵️ Morskie przygody – rejsy po Morzu Karaibskim, Śródziemnym i Północnym z dofinansowaniem ze strony Bluesoft.

Tech stack

• PostgreSQL
• Airflow
• Python
• Kafka
• SQL
• Apache Spark
• Apache Beam
• BigQuery