Data Engineer (K/M/N)
O projekcie
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Twój zakres obowiązków
Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
Projektowanie i rozwój procesów przetwarzania danych.
Implementacja i optymalizacja procesów ETL/ELT.
Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
Rozwój rozwiązań opartych o BigQuery.
Współpraca z zespołami projektowymi oraz technicznymi.
Monitorowanie i utrzymanie procesów przetwarzania danych.
Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Nasze wymagania
Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
Bardzo dobre umiejętności komunikacyjne i organizacyjne.
Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
Doświadczenie z BigQuery.
Doświadczenie z Cloud Storage.
Doświadczenie z Cloud Dataflow (Apache Beam).
Doświadczenie z Cloud Composer (Apache Airflow).
Znajomość Datastream.
Znajomość Dataplex.
Doświadczenie z Pub/Sub.
Doświadczenie z Dataform.
Bardzo dobra znajomość Python.
Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
Znajomość MySQL.
Znajomość PostgreSQL.
Znajomość MS SQL Server.
Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
Znajomość procesów ETL/ELT.
Znajomość zagadnień Data Governance.
Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
Znajomość zagadnień wersjonowania danych.
Praktyczna znajomość Git.
Znajomość procesów CI/CD.
Doświadczenie z Cloud Monitoring oraz Cloud Logging.