Google Cloud Data Engineer

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest dla nas bardzo ważna. Chcemy tworzyć środowisko, w którym każdy może rozwijać swoje kompetencje, zdobywać nowe doświadczenia i realizować ambitne projekty.

Dla naszego Klienta poszukujemy osoby na stanowisko:

Google Cloud Data Engineer

Forma współpracy: B2B

Tryb pracy: 100% zdalnie

Start: ASAP

Zaangażowanie: Full-time

Projekt: długoterminowy projekt

Zakres obowiązków:

• • Projektowanie, rozwój i utrzymywanie skalowalnych pipeline'ów danych w środowisku Google Cloud Platform.
  • Budowanie i rozwój procesów ETL/ELT z wykorzystaniem Python oraz SQL.
  • Praca z BigQuery, w tym rozwiązaniami związanymi z przetwarzaniem danych w czasie rzeczywistym.
  • Projektowanie i implementacja rozwiązań do przetwarzania danych w modelu streaming oraz event-driven.
  • Budowanie pipeline'ów z wykorzystaniem Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent oraz Eventarc.
  • Praca z usługami GCP, takimi jak Cloud Storage, Cloud Run, Cloud Workflows oraz Cloud Composer.
  • Projektowanie i utrzymywanie procesów orkiestracji z wykorzystaniem Apache Airflow / Cloud Composer.
  • Rozwijanie procesów transformacji danych przy użyciu dbt oraz Dataform.
  • Monitorowanie wydajności, jakości i niezawodności pipeline'ów danych oraz identyfikowanie obszarów do optymalizacji.
  • Współpraca z zespołami Data Engineering, Analytics oraz innymi zespołami technicznymi przy projektowaniu i wdrażaniu rozwiązań danych.
  • Dbanie o skalowalność, bezpieczeństwo i niezawodność rozwiązań działających w środowisku produkcyjnym.

Wymagania:

• • Minimum 3 lata komercyjnego doświadczenia jako Data Engineer oraz praktyczne doświadczenie z Google Cloud Platform.
  • Bardzo dobra znajomość Python oraz SQL.
  • Praktyczne doświadczenie z BigQuery oraz innymi usługami GCP.
  • Doświadczenie z Cloud Storage, Cloud Run, Cloud Workflows oraz Cloud Composer / Apache Airflow.
  • Znajomość rozwiązań do przetwarzania danych w czasie rzeczywistym i architektur event-driven.
  • Praktyczne doświadczenie z co najmniej częścią technologii: Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent, Eventarc.
  • Doświadczenie w budowaniu i utrzymywaniu skalowalnych pipeline'ów danych, również dla dużych wolumenów danych i wysokiej liczby zdarzeń.
  • Znajomość narzędzi do transformacji i orkiestracji danych, w szczególności dbt, Dataform oraz Apache Airflow.
  • Umiejętność pracy z produkcyjnymi środowiskami danych oraz rozwiązywania problemów związanych z wydajnością i niezawodnością pipeline'ów.
  • Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku.

Mile widziane:

• • Doświadczenie z systemami przetwarzającymi 1 000+ zdarzeń na sekundę.
  • Doświadczenie w projektowaniu architektur real-time / near-real-time data processing.
  • Znajomość Terraform lub innych narzędzi Infrastructure as Code.
  • Doświadczenie z konteneryzacją, Docker oraz CI/CD.
  • Znajomość zagadnień związanych z data governance, data quality oraz data security.

Oferujemy:

• • Długoterminową współpracę z możliwością przedłużenia projektu.
  • Pracę w 100% zdalną.
  • Możliwość pracy przy nowoczesnym projekcie Data Engineering na Google Cloud Platform.
  • Pracę z technologiami takimi jak BigQuery, Pub/Sub, Dataflow, Cloud Run, Composer, Airflow, dbt oraz Dataform.
  • Możliwość rozwijania kompetencji w obszarze cloud, streaming oraz event-driven data processing.
  • Wsparcie zespołu ITELENCE na każdym etapie współpracy.