Data Engineer Senior

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Lokalizacja: praca hybrydowa - minimum 1 dzień w tygodniu w biurze w Warszawie

Forma współpracy: B2B

Stawka: do 165,60 zł/h netto

Planowany okres współpracy: powyżej 12 miesięcy

Zakres obowiązków:

• Projektowanie, rozwój oraz utrzymanie procesów integracji danych w środowisku GCP oraz on-premise

• Budowa i optymalizacja wysokowydajnych rozwiązań do przetwarzania danych

• Tworzenie oraz rozwój rozwiązań ETL/ELT

• Wystawianie usług REST API

• Współpraca przy przetwarzaniu i udostępnianiu danych w środowiskach o wysokich wymaganiach wydajnościowych

• Docelowo przejęcie odpowiedzialności za wybrany obszar przetwarzania danych

Wymagania:

• Co najmniej 5-letnie doświadczenie jako Data Engineer GCP w obszarze procesów integracji danych na GCP

• Bardzo dobra znajomość baz danych GCP:

  • GCP BigQuery

  • GCP BigTable

  • Scylla Cloud

    (projektowanie, budowa i tuning baz danych)

• Dobra znajomość narzędzi ETL Flow na GCP:

  • Apache Airflow

  • GCP DataFlow

  • GCP DataProc

• Doświadczenie w pracy z kolejkami:

  • Kafka

  • GCP Pub/Sub

• Co najmniej 4-letnie doświadczenie jako ETL Developer w obszarze procesów integracji danych on-premise

• Biegła znajomość narzędzi ETL:

  • Informatica PowerCenter

  • Apache NiFi

• Ekspercka znajomość relacyjnych baz danych:

  • Oracle

  • PostgreSQL

  • ScyllaDB

    (projektowanie, budowa i tuning baz danych)

• Bardzo dobra znajomość narzędzia harmonogramującego AutomateNow firmy Infinity Data

• Umiejętność wystawiania usług REST API

• Co najmniej3-letnie doświadczenie programistyczne

• Bardzo dobra znajomość:

  • Python (w obszarze integracji i analizy danych)

  • PySpark

• Znajomość języka Rust do tworzenia narzędzi i frameworków wspierających wydajne ładowanie danych

• Gotowość do przejęcia odpowiedzialności za wybrany obszar przetwarzania oraz udostępniania danych w środowisku o wysokich wymaganiach wydajnościowych

Dodatkowo:

• Podstawowa wiedza z zakresu programowania mikroserwisów w językuJava

• Zaawansowana znajomość systemu Linux

• Doświadczenie w pracy z dużymi wolumenami danych (~100 TB)

• Umiejętność analitycznego myślenia i szybkiego przyswajania wiedzy

• Samodzielność i kreatywność w rozwiązywaniu problemów

• Terminowość i rzetelność w realizacji projektów

• Mile widziana znajomość narzędzi pomocniczych:

  • Git

  • Grafana

  • Apache JMeter

Ta rola nie jest dla Ciebie, ale masz znajomego, który by się sprawdził? Poleć go i zgarnij nawet 5000 zł.

Referral Program: Talent from your network