Инженер по тестированию LLM-приложений

Привет! Давай знакомиться :)

Перфоманс Лаб - эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим более пятнадцати лет и очень любим свое дело!

Всегда находимся в поиске эффективных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки.

Формат работы: удаленно (Москва, Московская область)

Чем предстоит заниматься:

- разрабатывать и поддерживать методологию тестирования LLM-приложений;

- тестировать качество ответов моделей, в том числе с использованием подхода LLM-as-a-Judge;

- проверять сценарии работы AI-агентов и выявлять ошибки в их поведении;

- разрабатывать, поддерживать и запускать автотесты;

- проводить функциональное, интеграционное и регрессионное тестирование веб- и API-сервисов;

- тестировать REST API и web-вызовы, анализировать HTTP-запросы и ответы;

- проводить нагрузочное и производительное тестирование;

- работать с TLS/SSL-сертификатами, цепочками доверия и защищённым взаимодействием сервисов.

Кого мы ищем:

- практический опыт тестирования LLM-приложений или AI-агентов;

- понимание подходов к оценке качества ответов LLM и опыт применения LLM-as-a-Judge будет большим преимуществом;

- опыт API-тестирования: REST, HTTP, анализ запросов и ответов;

- опыт разработки и поддержки автотестов;

- опыт функционального, интеграционного и регрессионного тестирования;

- понимание принципов нагрузочного и производительного тестирования;

- понимание TLS/SSL и принципов защищённого взаимодействия сервисов;

- язык программирования для автоматизации - любой.

Что мы предлагаем:

- Белая зарплата, трудоустройство по ТК РФ, 31 день оплачиваемого отпуска в год;

- ИПР - Индивидуальный план развития для каждого сотрудника;

- Добровольный ДМС (50% оплата от компании);

- Корпоративные внутренние курсы: автоматизация тестирования на Java, нагрузочное тестирование;

- Частичная компенсация пройденных курсов на различных платформах;

- Добровольная международная сертификация ISTQB с компенсацией от компании;

- Корпоративные занятия английским языком;

- Оборудование от компании;

- Реферальная программа "Приведи друга";

- Дружный коллектив, лояльное руководство :)

Ждем твоего отклика!