Data Engineer (Regular Expressions)

W IT LeasingTeam łączymy najwyższej klasy ekspertów z prestiżowymi projektami technologicznymi. Obecnie poszukujemyInżyniera Danych ze ścisłą specjalizacją w Regular Expressions, który dołączy do nowo budowanego zespołu wspierającego jednego z globalnych liderów branży telekomunikacyjnej.

Szukamy osoby, dla której zaawansowana analiza wzorców tekstowych i optymalizacja wyrażeń regularnych to absolutny priorytet. Jeśli świetnie odnajdujesz się w budowaniu wysokowydajnych reguł ekstrakcji, rozumiesz mechanikę silników Regex (np. PCRE ) i nie przeraża Cię praca z wolumenem przekraczającym milion rekordów na sekundę - to rola właśnie dla Ciebie. Dołączysz do 7-osobowego zespołu specjalistów, tworząc od podstaw logikę przetwarzania logów w potężnym ekosystemieBig Data, gdzie wymogiem krytycznym jest zachowanie latencji poniżej 5 sekund.

Responsibilities

• Ekspertyza techniczna (Must-have): Głębokie, udokumentowane doświadczenie komercyjne w tworzeniu i optymalizowaniu Regular Expressions. Jeśli nie posiadasz klasycznego doświadczenia w Data Engineeringu, ale wywodzisz się np. ze środowisk NLP / lingwistyki komputerowej, analizy bezpieczeństwa czy administracji i jesteś mistrzem Regexów - aplikuj, porozmawiamy o możliwościach.
• Znajomość języków obcych: Biegła znajomość języka angielskiego w mowie i piśmie na poziomie min. B2+ (praca w środowisku w pełni międzynarodowym).
• Fundamenty analityczne: Umiejętność pisania skryptów wspierających (np. Python, Java ) przydatna w testowaniu i automatyzacji rozwiązań.
• Kierunek rozwoju: Silne zainteresowanie obszarem Big Data i chęć nauki/rozwoju w nowoczesnych architekturach danych.
• Mile widziany stos technologiczny: Spark, Scala, Hadoop, Airflow, Kafka, ElasticSearch (Open Distro).

Requirements

• Tryb pracy: W pełni zdalny.
• Forma współpracy: Kontrakt B2B z IT LeasingTeam
• Budżet: 130-160 PLN/h netto + VAT (z możliwością negocjacji w górę, jeśli posiadasz doświadczenie z technologiami z sekcji "Mile widziane").
• Czas trwania: Współpraca długofalowa.
• Sektor: Telekomunikacja / Big Data.
• Zespół: ~7 osób.
• Zakres zadań:
  • Projektowanie i optymalizacja Regex: Tworzenie od podstaw i utrzymywanie wysoce wydajnych wyrażeń regularnych dla nowych tematów logów telekomunikacyjnych. Świadome zarządzanie optymalizacją (np. stosowanie grup nieprzechwytujących i eliminacja zbędnych nawiasów ) w celu radykalnej poprawy wydajności.
  • Przetwarzanie strumieniowe: Implementacja wzorców do procesów Spark Structure Streaming, które czytają dane bezpośrednio z Apache Kafka z prędkością ok. 1 000 000 rekordów na sekundę.
  • Transformacja danych: Wzbogacanie, kategoryzacja oraz filtracja wyekstrahowanych informacji z surowych logów, a następnie zasilanie nimi bazy Elasticsearch.
  • Skalowanie operacji: Projektowanie reguł w sposób umożliwiający utrzymanie wysokiej czytelności dla procesów Code Review, przy jednoczesnym spełnianiu rygorystycznych wymogów wydajnościowych (latencja < 5s przy rosnącej skali obciążeń)

Benefits

• Unikalną skalę projektu: Praca w globalnej infrastrukturze IT, gdzie Twoje autorskie wyrażenia regularne będą na żywo przetwarzać setki milionów rekordów na godzinę.
• Nowoczesne środowisko: Realny wpływ na architekturę strumieniowego przesyłu danych i okazję do pracy w otoczeniu topowych narzędzi Big Data.
• Stabilność: Długofalowy kontrakt z gwarancją rozwoju w zespole wybitnych ekspertów technicznych.
• Kompleksowość: Stała opieka Rekrutera po stronie ITLT, z regularnym aktualizowaniem procesu rekrutacyjnego, żeby było szybko i sprawnie.

Agencja zatrudnienia - nr certyfikatu 14181