Lead Data Scientist / AI & Data Engineering Lead

O projekcie

Dołączysz do greenfieldowego projektu AI-powered data enrichment w branży filmowej i mediowej. Klient buduje produkt wykorzystujący metadane generowane przez AI, aby ułatwiać użytkownikom odkrywanie treści filmowych. Będziesz odpowiadać za techniczny kierunek rozwiązania i aktywnie uczestniczyć w implementacji infrastruktury do przetwarzania, wzbogacania i przechowywania danych pochodzących z istniejących zbiorów oraz procesów opartych na LLM-ach.

Codzienne zadania

• Projektowanie architektury rozwiązania dla greenfieldowego projektu AI data enrichment
• Techniczne prowadzenie zespołu przy jednoczesnym aktywnym udziale w implementacji
• Tworzenie rozwiązań do ekstrakcji, generowania i wzbogacania danych z wykorzystaniem LLM-ów
• Budowanie pipeline’ów ETL/ELT dla danych strukturalnych i niestrukturalnych
• Integracja API LLM oraz implementacja structured outputs i batch inference
• Projektowanie modeli danych, schematów przechowywania i integracji z relacyjnymi bazami danych
• Wdrażanie walidacji, deduplikacji, monitoringu i mechanizmów zapewniających niezawodność pipeline’ów
• Współpraca z Data Scientistami i developerami aplikacji
• Dobór technologii i dokumentowanie decyzji architektonicznych

Wymagania

• Praktyczne doświadczenie w Data Science, AI Engineering i Data Engineering oraz w technicznym prowadzeniu projektów
• Bardzo dobra znajomość Pythona, Pandas, NumPy i SQL
• Doświadczenie w tworzeniu rozwiązań do ekstrakcji, generowania lub wzbogacania danych z użyciem LLM-ów
• Doświadczenie z API i frameworkami LLM, takimi jak OpenAI, Anthropic, LangChain lub LlamaIndex
• Znajomość prompt engineeringu, structured outputs, batch inference i ewaluacji LLM-ów
• Doświadczenie w projektowaniu pipeline’ów ETL/ELT dla danych strukturalnych i niestrukturalnych
• Znajomość modelowania danych, relacyjnych baz danych i integracji danych
• Doświadczenie z jakością danych, walidacją, deduplikacją i niezawodnością pipeline’ów
• Umiejętność projektowania architektury i podejmowania pragmatycznych decyzji technologicznych w projektach greenfield
• Doświadczenie w koordynowaniu zespołów technicznych przy jednoczesnym aktywnym udziale w implementacji
• Bardzo dobra komunikacja, samodzielność i ownership

Mile widziane

• Doświadczenie z Airflow, Prefect lub Dagster
• Znajomość AWS, GCP lub Azure
• Doświadczenie z treściami medialnymi, metadanymi filmowymi, przetwarzaniem tekstu albo analizą napisów