Senior Data Engineer (k/m)

Dla naszego Klienta z branży bankowej poszukujemy Starszego Inżyniera Danych / Starszej Inżynierki Danych do zespołu odpowiedzialnego za zasilanie hurtowni danych, środowiska Big Data, platformy Google Cloudoraz systemów kampanijnych. Zespół buduje rozwiązania, które przetwarzają duże wolumeny danych zarówno wsadowo, jak i niemal w czasie rzeczywistym.

To rola dla osoby z solidnymi podstawami inżynierii danych, która ceni niezawodne rozwiązania i chce rozwijać się w obszarze chmury, streamingu i platform marketingowych.

Współpraca odbywa się w trybie hybrydowym - 1-2 dni w tygodniu z biura w Warszawie (siedziba klienta)

Zatrudnienie ramach grupy kapitałowej - przez spółkę Exorigo-Upos

Zakres obowiązków:

• projektowanie, budowa i rozwijanie pipeline’ówETL/ELT działających w trybie batchoraz streaming, w szczególności na potrzeby systemów kampanijnych

• tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej

• integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych

• budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafki lub Pub/Sub

• projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartówtematycznych i zbiorów dla procesów analitycznych i kampanijnych

• pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych

• implementacja procesów przetwarzania i ładowania danych w Pythoniei/lub Ruście

• dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych

• optymalizacja wydajności oraz kosztów przetwarzania w GCP

• wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania

• przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania

• przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań

• tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps

Wymagania:

• minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ówdanych

• bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych

• praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanieoraz optymalizacja wydajności i kosztów

• doświadczenie programistyczne w Pythonie i/lub Ruście

• znajomość przetwarzania danych w trybie batchi streaming

• znajomość architektury event-drivenoraz technologii takich jak Kafka lub Pub/Sub

• doświadczenie w projektowaniu logicznych i fizycznych modeli danych

• znajomość relacyjnych baz danych, np. Oracle lubPostgreSQL

• swobodna praca w systemie Linux, w tym samodzielne diagnozowanie problemów

• umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne

• nacisk na jakość, niezawodność i łatwość utrzymania tworzonych rozwiązań

• Znajomość języka polskiego na poziomie C1

Mile widziane:

• doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, CloudStorage

• znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam/ Dataflow

• praca z Kubernetes, Dockeremi procesami CI/CD

• znajomość InformaticaPowerCenterlub innych narzędzi ETL

• udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym

• znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation

• doświadczenie w testach jakości danych, monitoringu pipeline’ówi data observability

• wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacjii przetwarzania danych wrażliwych

• znajomość AutomateNOW

Oferujemy:

• Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001)
• Niekorporacyjną atmosferę i płaską strukturę organizacyjną
• Możliwość ciągłego rozwoju poprzez:
  • wykorzystywanie różnorodnych technologii w projektach dla renomowanych klientów
  • współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą
  • dofinansowanie do szkoleń i certyfikatów
• Program Poleceń
• Kulturę organizacyjną opartą na wartościach:
  • działamy z dobrą intencją
  • dzielimy się wiedzą
  • bierzemy odpowiedzialność
  • stale się doskonalimy
  • ludzie są dla nas najważniejsi
  • działamy, znając cel i sens naszej pracy
  • komunikujemy się szczerze i profesjonalnie
• Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacja im. Joanny Radziwiłł "Opiekuńcze Skrzydła" oraz udział w świątecznej akcji „Gwiazdorzymy”
• Różnorodne i inkluzywne środowisko - w naszej firmie współpracują przedstawiciele czterech pokoleń
• Równe szanse rozwoju - 50% stanowisk menedżerskich i liderskich zajmują kobiety