Confirmed on the employer's own hiring board on Nov 22, 2026. First seen by Alion on Nov 19, 2026. Yandex scores B on the Alion truth index.
AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и выводы. Ждём, что вы имеете опыт в ML, понимаете устройство моделей и метрики их качества.
AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и обоснованные выводы
Какие задачи вас ждут
Качество генеративных моделей - Yandex R&D
Предстоит оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM, анализировать данные и координировать процесс разметки.
Качество поиска - Поиск с Алисой AI
Вы будете оценивать, насколько хорошо работают ранжирование, быстрые ответы, ответы Алисы и другие AI-сценарии.
Пользовательские и транзакционные сценарии - Независимый Ecom
Нужно будет исследовать работу агентов Алисы, качество органического ранжирования и путь пользователя в еком-сценариях.
Чат и Моя Память Алисы - Алиса и Умные устройства
Предстоит исследовать, как люди взаимодействуют с AI, и оценивать качество этих сценариев.
Другое
Также у нас есть много других задач в разных командах.
Почему здесь интересно:
- Проверяем AI на сложных сценариях
- Разрабатываем собственные бенчмарки: проверяем логику моделей, знание фактов, этичность, понимание контекста и реакцию на провокации
- Используем AI в собственной работе
- Внедряем LLM-агентов в аналитику: с их помощью ищем и быстрее обрабатываем данные, оптимизируем скрипты и находим инсайты на дашбордах
- Видим эффект исследований в продукте
- Ведём полный цикл анализа: выясняем, что ценно для пользователей, а после изменений измеряем их эффект. Связываем исследовательский вопрос с тем, как развивается продукт
Мы ждем, что вы
- Уверенно владеете Python и SQL или YQL, умеете самостоятельно работать с большими объёмами данных
- Знаете теорию вероятностей, математическую статистику и методы проверки гипотез, умеете проектировать и интерпретировать A/B-тесты и офлайн-эксперименты
- Занимались машинным обучением, понимаете устройство ML-моделей и метрики их качества
- Умеете формализовать исследовательский вопрос, обосновать выбор метрик, проверить их валидность и объяснить аномалии
- Самостоятельно проводили исследования полного цикла и готовили обоснованные выводы
Будет плюсом, если вы
- Работали с LLM, оценкой качества генерации или другими AI-системами
- Работали с большими объёмами событийных данных и текстовых логов
- Работали с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик
- Проектировали офлайн-метрики, бенчмарки или системы оценки качества моделей и продуктов
- Автоматизировали аналитические процессы, разрабатывали и поддерживали собственные инструменты или пайплайны
Как выберем команду:
Обсудим ваш опыт и интересы, проведём технические секции и встречи с подходящими командами. После успешного прохождения этапов обсудим предложение о работе.

