Senior Data Engineer – Databricks / Snowflake / PySpark

Everything is possible with the right people

In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.

Do naszego zespołu poszukujemy doświadczonego Data Engineera, który dobrze odnajduje się w nowoczesnych środowiskach danych i ma praktyczne doświadczenie z Databricks lub Snowflake oraz PySpark.

Szukamy osób, które chcą pracować przy rozwiązaniach związanych z przetwarzaniem dużych zbiorów danych, budową pipeline’ów oraz rozwojem platform danych w środowiskach chmurowych.

Responsibilities

Oczekujemy:

• minimum kilku lat doświadczenia komercyjnego w obszarze Data Engineering,
• praktycznego doświadczenia z Databricks lub Snowflake,
• bardzo dobrej znajomości PySpark / Apache Spark,
• dobrej znajomości Python i SQL,
• doświadczenia w projektowaniu i rozwijaniu pipeline’ów ETL / ELT,
• znajomości przynajmniej jednej platformy chmurowej: AWS, Azure lub GCP,
• swobodnej komunikacji w języku angielskim,
• samodzielności i doświadczenia w pracy w środowisku międzynarodowym.

Mile widziane:

• doświadczenie z Delta Lake / Lakehouse / Medallion Architecture,
• znajomość dbt,
• doświadczenie z Apache Airflow,
• Spark Structured Streaming / Kafka,
• doświadczenie z CI/CD, Dockerem lub Terraformem,
• doświadczenie przy projektach realizowanych dla klientów z USA,
• certyfikaty Databricks, Snowflake lub cloudowe.

Requirements

Zakres roli:

• projektowanie, rozwój i utrzymanie pipeline’ów danych,
• przetwarzanie oraz transformacja dużych zbiorów danych,
• praca z wykorzystaniem PySpark / Apache Spark,
• rozwój rozwiązań opartych o Databricks i/lub Snowflake,
• tworzenie i optymalizacja procesów ETL / ELT,
• praca z Pythonem i SQL,
• współpraca przy budowie środowisk typu Data Lake / Data Warehouse / Lakehouse,
• dbanie o jakość, wydajność i niezawodność procesów danych,
• współpraca z międzynarodowymi zespołami projektowymi i klientami.

Benefits

Proponujemy:

• współpracę przy międzynarodowych projektach Data Engineering,
• możliwość pracy z nowoczesnym stackiem danych,
• projekty realizowane m.in. dla klientów z USA,
• współpracę B2B,
• możliwość długofalowej współpracy i udziału w kolejnych projektach.