Data Engineer

Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.

Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.

Dla jednego z naszych klientów z branży technologicznej poszukujemy osoby na stanowisko Data Engineer.

Lokalizacja: praca hybrydowa z Warszawy (2 razy na tydzień praca z biura)

Zakres obowiązków:

• Tworzenie gotowego do wdrożenia kodu (production-ready).

• Efektywne wykorzystywanie zasobów GPU i CPU oraz rozumienie wymagań wydajnościowych dla obciążeń związanych z ML.

• Projektowanie, automatyzacja i orkiestracja procesów DevOps/MLOps w środowisku chmurowym.

• Tworzenie wielokrotnego użytku narzędzi i frameworków do monitorowania, optymalizacji oraz utrzymania rozwiązań opartych na ML.

• Projektowanie i implementacja procesów inżynierii danych (ETL).

• Analiza problemów biznesowych oraz współpraca z zespołem w celu zapewnienia skalowalności, ciągłości działania i odpowiedniego czasu realizacji.

• Prowadzenie wewnętrznych warsztatów i zewnętrznych spotkań branżowych, udział w konferencjach oraz wystąpieniach publicznych.

• Stałe rozwijanie kompetencji poprzez śledzenie najnowszych trendów w obszarze AI/ML i technologii pokrewnych oraz podnoszenie kwalifikacji w tych dziedzinach.

Wymagania:

• Wykształcenie wyższe (licencjackie lub magisterskie) z zakresu informatyki, badań operacyjnych, matematyki, informatyki stosowanej lub pokrewnej dziedziny oraz min.3-4 lata odpowiedniego doświadczenia zawodowego.

• Doświadczenie w pracy z dużymi zbiorami danych pochodzącymi z różnych źródeł.

• Bardzo dobra znajomość programowania (preferowany Python).

• Doświadczenie z konteneryzacją (Docker) oraz orkiestracją kontenerów przy użyciu Kubernetes.

• Doświadczenie w tworzeniu aplikacji chmurowych (preferowane platformy Google Cloud Platform oraz Microsoft Azure).

• Umiejętność skutecznego rozwiązywania problemów, debugowania, diagnozowania błędów oraz projektowania i wdrażania rozwiązań dla złożonych problemów technicznych.

• Doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL oraz pipeline'ów danych z wykorzystaniem narzędzi do orkiestracji, takich jak Apache Airflow, Kubeflow lub podobnych.

• Znajomość praktyk DevOps, w tym CI/CD oraz przepływów pracy opartych na Git.

• Swoboda pracy w środowisku Unix/Linux.

• Praktyczne doświadczenie w projektowaniu, tworzeniu i utrzymaniu interfejsów REST API.

• Znajomość koncepcji uczenia maszynowego (Machine Learning) i głębokiego uczenia (Deep Learning) oraz doświadczenie we wdrażaniu i monitorowaniu modeli.

Mile widziane

• Znajomość platform takich jak Keras, TensorFlow i/lub PyTorch.

• Dogłębna znajomość najważniejszych algorytmów uczenia maszynowego.

• Znajomość terminologii oraz procesów biznesowych w branży naftowo-gazowej (Oil & Gas).

• Doświadczenie z technologiami IoT oraz Edge Computing.

• Uznane wkłady w projekty open source.

• Znajomość narzędzi do inżynierii danych, takich jak Flink, Spark, Kafka i podobnych.

• Doświadczenie z technologiami Big Data (Spark, Hadoop, Storm, Hive, Pig) oraz bazami danych NoSQL będzie dodatkowym atutem.