Middle QA Engineer (ML / AI Data)

Привіт, давай знайомитись! Ми компанія robota.ua - онлайн-платформа з пошуку роботи в Україні. Ми є частиною європейського холдингу Grupa Pracuj Ltd і партнером міжнародної мережі The Network. Щодня ми допомагаємо тисячам людей знайти роботу, а компаніям знайти співробітників якомога швидше та комфортніше!
Ми шукаємо Middle ML / AI QA Engineer, який посилить нашу команду та візьме на себе контроль якості AI/ML-сервісів, рекомендаційних систем, векторного пошуку та пайплайнів обробки даних. Якщо ти вмієш дивитися на якість глибше за класичний UI - розумієш метрики моделей, пишеш складний SQL і використовуєш сучасні AI-інструменти для оптимізації тестування — ми будемо раді поспілкуватися!
Основні обов’язки:
Тестування ML-моделей та AI-фіч: оцінка якості роботи моделей (рекомендації, векторний пошук, генерація контенту), валідація бізнес-метрик, пошук зміщень (bias), аномалій та хибних спрацьовувань.
Валідація даних та ETL-процесів: аналіз і тестування логіки великих пайплайнів, скриптів трансформації даних; перевірка цілісності, коректності агрегацій та порівняння наборів даних.
Тестування інтеграцій та API: функціональне та інтеграційне тестування REST API та GraphQL.
AI-Assisted тестування та автоматизація: використання GenAI-інструментів (Claude, Gemini тощо) та Python для швидкої генерації тест-кейсів, скриптів валідації та автоматизації рутинних перевірок.
Тестова документація та процеси: створення матриць покриття, тест процедур, чеклістів для складних сценаріїв, репортинг дефектів у Jira та взаємодія в Confluence.
Крос-командна взаємодія: тісна співпраця з Data Engineers, Data Scientists/ML-розробниками та продуктовими командами для швидкого вирішення знайдених проблем.
Основні вимоги:
Досвід: від 2+ років у ролі QA Engineer з фокусом на тестування AI-моделей, бекенду, даних та сервісів машинного навчання.
Розуміння ML/AI концепцій:
Розуміння базових метрик якості моделей (Precision, Recall, F1-score тощо).
Розуміння специфіки тестування нетермінованих систем, оцінки якості контенту, патернів помилок і зміщень.
Робота з даними та SQL:
Впевнене володіння SQL: вміння писати складні аналітичні запити (JOINs, агрегації, віконні функції) для звірки великих масивів даних.
Практичний досвід роботи з DWH/СУБД (Google BigQuery та/або MS SQL Server).
Тестування API:
Впевнене тестування REST API та GraphQL (формування складних запитів/мутацій, валідація схеми та відповідей).
Python & AI-тулінг:
Базові навички Python для обробки даних (скрипти перевірки, обробка JSON/CSV).
Практичний досвід використання LLM/GenAI (Claude, Gemini, ChatGPT) як асистента для генерації перевірок і написання скриптів.
Базові інженерні практики:
Робота з Git.
Робота з таск-трекерами та документацією (Jira / Confluence).
Навички тестування
Знання та використання технік тест дизайну.
Уважність до деталей та вміння знаходити дефекти.
Розуміння життєвого циклу розробки ПЗ (SDLC) та методологій тестування.
Вміння провести нефункціональні види тестування (performance, UIUX, compatibility)
Буде плюсом:
Досвід тестування векторних баз даних / векторного пошуку або RAG-систем.
Досвід роботи з чергами повідомлень або інструментами оркестрації пайплайнів (Airflow тощо).
Знання Elasticsearch.
На тебе чекають:
Можливість прямо впливати на ринок працевлаштування країни;
Робота з командою висококваліфікованих технологічних лідерів;
Десятки тисяч(!) компаній, для який потрібно створювати цінність. Кількість активних користувачів рахується мільйонами;
Відсутність необхідності оформлювати офіційний лікарняний лист на перші три дні захворювання, якщо ти відчуваєш, що скоро будеш на 100% готовий приступити до роботи;
Медичне страхування;
Графік роботи - віддалений. Головне досягати найкращих результатів.
Корпоративи та тімбілдінги - ми дужеее любимо проводити час разом :)
Вже уявляєш себе в нашій великій команді? Тоді відправляй своє резюме і приходь знайомитися :)