AI Data Engineer

Мрія — державна освітня екосистема для учнів та учениць, батьків чи опікунів і вчителів, що надихає вчитися та допомагає знайти себе в сучасному світі. Це ініціатива Президента України, яку реалізують Мінцифри та МОН за підтримки Програми EGAP, що виконується Фондом Східна Європа коштом Швейцарії.

Шукаємо Data Engineer в AI-команду Мрії. Ви будуватимете й масштабуватимете пайплайни даних, на яких працюють наші AI-сервіси: від оцінювання якості згенерованих тестів до моделювання рівня знань учнів та учениць. Це роль на стику інфраструктури, даних і ML.

Наша команда шукає фахівця чи фахівчиню, яка:

Має від 3 років досвіду в Data Engineering

Впевнено володіє Python і SQL, вміє оптимізувати запити й читати плани виконання

Будувала й оптимізувала пайплайни на оркестраторах (Airflow, Dagster, Prefect або аналогах)

Має практичний досвід роботи з Kubernetes: розгортання сервісів, Helm-чарти, налаштування ресурсів і масштабування

Розуміє архітектури зберігання даних: data lake, warehouse, lakehouse, medallion, а також підходи до моделювання даних

Має досвід масштабування баз даних під великі обсяги: партиціювання, індексація, реплікація, вибір між OLTP- та OLAP-рішеннями

Працювала з хмарними платформами, переважно Google Cloud (BigQuery, GCS);

Вміє налаштовувати контроль якості даних: перевірки, валідацію схем, data contracts

Готова чи готовий глибоко занурюватися в предметну область і реалізовувати доменні метрики та складні обчислення;

Має вищу освіту.

Буде перевагою:

Досвід роботи зі Spark/PySpark і розподіленою обробкою даних

Досвід інтеграції ML-моделей у пайплайни: батч-інференс, LLM-інференс (vLLM тощо), а також розуміння принципів роботи моделей, їхніх обмежень і вартості;

Знання табличних форматів Delta Lake або Apache Iceberg

Досвід роботи з dbt

Досвід роботи з векторними та графовими базами даних (Qdrant, Neo4j)

Навички роботи з Terraform і CI/CD (GitLab CI)

Практичне знання інструментів observability: Prometheus, Grafana, а також LLM-телеметрії (Arize Phoenix)

Досвід роботи з власною (on-prem) інфраструктурою

Знання статистики та досвід роботи з освітніми даними.

Чим ви будете займатися:

Проєктувати й будувати пайплайни даних для AI-сервісів Мрії: від сирих даних до готових датасетів і метрик

Розвивати пайплайн офлайн-оцінювання якості згенерованих тестів: розрахунок метрик, тріаж, доставку результатів у продукт

Інтегрувати ML-моделі та LLM-інференс у пайплайни обробки даних

Проєктувати зберігання даних з урахуванням зростання системи до тисяч шкіл і мільйонів користувачів

Узгоджувати стандарти даних із різними командами.

Що ми пропонуємо:

Повну зайнятість у проєкті, важливому для майбутнього освіти в Україні

Роботу в офісі протягом перших двох місяців (є укриття); далі — можливий гібридний формат

Змогу долучитися до команди професіоналів, які змінюють освітню систему України

Участь у створенні продукту, що впливає на майбутнє покоління

Можливість бронювання.

Умови роботи в команді Мрії:

Повна зайнятість.

Перші два місяці — робота в офісі в Києві (є укриття), надалі — гібридний формат.

Офіційне працевлаштування.

Бронювання за наявності актуальних військово-облікових документів (ВОД).

Робота над важливим для України проєктом.

Етапи найму: Співбесіда з HR —> технічна співбесіда.
Якщо ця вакансія не для вас, але ви знаєте відповідну людину, порекомендуйте її, будь ласка 💙