Data Engineer (GCP)

Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów. 

Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne. 

Dla jednego z naszych klientów z branży bankowej poszukujemy Data Engineer.

Zakres świadczonej usługi

• projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;

• migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP;

• projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz
  z mechanizmami kontroli jakości, ponawiania i obsługi błędów;

• projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych;

• analizę danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP;

• tworzenie, analizę i strojenie zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych;

• analizę istniejących procesów Informatica PowerCenter i migrację do rozwiązań docelowych
  w GCP;

• implementację logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania;

• wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;

• przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;

• przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej;

• diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych
  z przetwarzaniem i jakością danych;

• tworzenie i aktualizację dokumentacji technicznej oraz pracę z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.

Oczekiwane rezultaty realizowanych usług

• działające, przetestowane i udokumentowane pipeline’y oraz procesy przetwarzania danych
  w GCP, zgodne z wymaganiami funkcjonalnymi i technicznymi;

• poprawnie zmigrowane lub przebudowane procesy i struktury danych z Oracle/on-premise do GCP, z zachowaniem kompletności, spójności i jakości danych;

• zoptymalizowane struktury BigQuery i zapytania SQL spełniające uzgodnione wymagania
  w zakresie wydajności, skalowalności i racjonalnego wykorzystania zasobów;

• poprawnie działające mechanizmy wymiany danych wykorzystujące Cloud Storage i Pub/Sub, odpowiednio do architektury rozwiązania;

• przygotowane elementy niezbędne do ich migracji w kontekście zastąpienia WorkFlowów Informatica PowerCenter;

• przygotowanie kompletnej dokumentacji nowego rozwiązania

• przygotowane i wykonane testy oraz udokumentowane wyniki weryfikacji rozwiązania;

• komplet kodu, konfiguracji, instrukcji wdrożenia i dokumentacji technicznej utrzymywany
  w repozytorium i objęty obowiązującym procesem CI/CD;

• zdiagnozowane i usunięte błędy dotyczące wdrożonych komponentów wraz z analizą przyczyn, jeśli jest wymagana.

Wymagane doświadczenie

• Odpowiadającym poziomowi Middle Data Engineer. Oczekiwane jest komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych, przy czym dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.

• Wykonawca usługi powinien posiadać praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych. Wymagane jest również doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, jednak technologia ta nie stanowi głównego obszaru roli.

Benefity:

• Długofalowa współpraca

• Pakiet benefitów – Multisport, prywatna opieka medyczna, ubezpieczenie na życie

• Budżet szkoleniowy

• Bezpłatne lekcje angielskiego

• Indywidualne wsparcie ze strony dedykowanego opiekuna firmy

Tech stack

• SQL
• Google Cloud Platform