QA Engineer (AI Platform)

Мы создаем корпоративную платформу GenAI для разработки и эксплуатации AI-ассистентов и AI-агентов, интегрированных с CRM и внутренними ИТ-системами страхового брокера.

Платформа позволяет создавать AI-решения, работающие с корпоративными базами знаний, документами, LLM-моделями и внешними сервисами. Команда разрабатывает как саму AI-платформу, так и прикладные AI-сервисы для автоматизации бизнес-процессов.

Первый этап отбора на эту вакансию - общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача - уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

• Функциональное тестирование frontend, backend и AI-платформы;
• Подготовка тест-планов, тест-кейсов и чек-листов;
• Тестирование REST API и интеграций с внутренними ИТ-системами;
• Тестирование AI-ассистентов, агентских сценариев и работы с документами;
• Проверка качества ответов LLM, RAG и MCP, Tool Calling;
• Ручная и автоматизированная оценка качества AI с использованием LLM-as-a-Judge;
• Регрессионное, интеграционное и приемо-сдаточное тестирование;
• Анализ логов, метрик и трассировок (LangFuse, Grafana, Prometheus);
• Воспроизведение и локализация дефектов, взаимодействие с разработчиками при их устранении;
• Участие в развитии процессов тестирования AI-платформы и повышении качества релизов.

Требования

• Опыт работы QA Engineer от 3 лет, ручное тестирование, аналитика в проектах связанных с GenAI и LLM;
• Опыт тестирования backend и frontend приложений;
• Опыт тестирования REST API и интеграций;
• Опыт написания тест-кейсов, чек-листов и тест-планов;
• Опыт работы с SQL, аналитика данных Python базовый уровень;
• Опыт работы с LLM приложениями, агентами, платформами конструкторами на базе LLM +RAG;
• Понимание процессов CI/CD и опыт участия в приемке релизов;
• Опыт работы с Grafana, Prometheus или LangFuse.

Условия

• Гибридный формат работы (современный офис в Москве, м. Кутузовская);
• Льготные ипотечные условия кредитования;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• ДМС с первого дня и скидки на страхование для близких;
• Корпоративная пенсионная программа;
• Детский отдых и подарки за счет Компании;
• Обучение за счет Компании: онлайн курсы, неограниченный доступ к библиотеке и обучение на базе Корпоративного университета, тренинги, митапы и возможность получить новую квалификацию.