Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Responsibilities

Kompetencje wymagane do realizacji usług:

• minimum 5 lat doświadczenia na podobnym stanowisku,
• doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych,
• dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych,
• praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań,
• doświadczenie w programowaniu w Pythonie i/lub Rust,
• znajomość przetwarzania danych zarówno w trybie batch, jak i streaming,
• znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub,
• znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL,
• znajomość systemu Linux,
• mile widziane: znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow. dświadczenie z Kubernetes, Docker oraz procesami CI/CD, znajomość Informatica PowerCenter lub innych narzędzi klasy ETL, znajomość AutomateNOW, znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation.

Requirements

Zakres współpracy obejmuje:

• projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming,
• tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake,
• integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików, interfejsów API,
• projektowanie logicznych i fizycznych modeli danych,
• przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych,
• tworzenie i optymalizację zapytań SQL w relacyjnych oraz kolumnowych bazach danych,
• programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust,
• budowę przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub,
• optymalizację wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP,
• wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania,
• przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania,
• przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych,
• lokalizacja projektu: Warszawa,
• tryb realizacji usług: hybrydowy, obecność w biurze raz w tygodniu w Warszawie,
• budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia i zakresu świadczonych usług.

Benefits

Co oferujemy w ramach współpracy?

• możliwość świadczenia usług wróżnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
• zaangażowanie w dodatkoweinicjatywy presealsowe oraz eksperckie,
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.