AQA Engineer (Java + ML/LLM, Middle+/Senior)
Ищем опытного QA-автоматизатора на Java, который умеет не просто писать автотесты, а тестировать алгоритмы на базе LLM: генерацию вопросов, ответов и кратких пересказов, участвовать в оценке качества модели, настройке фактчекинга и улучшении промптов.
Что будет в работе
-
Тестирование алгоритмов на базе LLM для генерации вопросов, ответов и кратких пересказов.
-
Разработка автотестов на Java по имеющимся тестовым спецификациям в рамках фреймворка.
-
Анализ неисправностей, рефакторинг и улучшение существующих автотестов.
-
Помощь в настройке инструментов исполнения автотестов на сервере (Jenkins, Selenoid).
-
Работа по улучшению и оптимизации тестового фреймворка.
-
Участие в развитии виртуального ассистента и сценариев свободного диалога с пользователем.
-
Настройка фактчекинга, фильтрации и оценки качества ответов модели.
-
Сравнение результатов, подготовленных моделью, с редакционными версиями материалов.
-
Тестирование промптов, гипотез и подходов к улучшению качества ответов.
Что важно
-
Коммерческий опыт автоматизированного тестирования на Java от 3 лет, уровень Middle+ / Senior.
-
Java: базовый синтаксис, типы данных, управляющие конструкции, принципы ООП - уверенное владение.
-
Опыт работы со стеком: JUnit 5, Selenium / Selenide, Allure, Maven.
-
Умение работать с системами контроля версий - Git, GitLab.
-
Умение строить локаторы по XPath и CSS, знание и понимание паттерна Page Object.
-
Опыт тестирования веб-приложений, UI-автотесты, интеграция с CI/CD.
-
Понимание принципов работы ML-моделей, интерес к тестированию LLM и NLP-задач.
-
Умение анализировать неисправности, рефакторить код и улучшать качество автотестов.
-
Умение работать автономно, брать задачу целиком и доводить до результата.
Будет плюсом
-
Практический опыт работы с Jenkins и Selenoid.
-
Опыт тестирования API (REST Assured, OkHttp) и микросервисов
-
Участие в развитии виртуального ассистента, чат-ботов, сценариев свободного диалога
-
Настройка фактчекинга, фильтрации и оценки качества ответов модели, сравнение с редакционными версиями
-
Тестирование промптов, гипотез и подходов к улучшению качества ответов LLM
-
Понимание метрик качества LLM: hallucination detection, factual consistency, prompt injection, bias/fairness.
-
Опыт работы с Docker, Kubernetes, базовое понимание инфраструктуры и деплоя.
-
Английский язык для работы с зарубежной документацией, командами и стейкхолдерами.
Английский
-
Для проектов без английского язык не требуется.
-
Для европейских и американских проектов нужен английский от B2+.
Процесс
-
Короткое общение с рекрутером.
-
Техническое интервью / TechCertify-скрининг.
-
Передача на подходящие проекты клиентам.
Если вам близок инженерный подход к автоматизации, нравится не просто «покрывать кейсы», а тестировать сложные ML-системы и влиять на качество модели - будем рады пообщаться.