QA Engineer (AI-агенты) + Python

Привет!

Мы компания Techno Diasoft - аккредитованная IT компания, созданная в 2008 году.

Специализируемся на разработке высоконагруженных FinTech проектах, создании умных устройств, голосовых ассистентов, а также разработке инновационных решений в области биометрии и искусственного интеллекта. Флагманским продуктом компании является автоматизированная банковская система xBank.

Мы постоянно растем: присоединяются новые таланты, появляются инновационные проекты, и нас выбирают ведущие банки, финансовые компании и инновационные предприятия. В настоящее время в компании работает более 300 сотрудников.

О проекте и задачах:

Сейчас мы в поиске тестировщика, который присоединится к одному из наших актуальных проектов.

Стек: PostgreSQL, Apache Kafka, OpenShift/DropApp, Qdrant, LangChain/LangGraph, Grafana, Prometheus, OpenTracing/OpenTelemetry, Python, Postman/Insomnia, Fiddler/Charles Proxy, Zephyr Scale

Задачи:

• Интеграционное тестирование: REST/gRPC, Kafka (очереди, статусы, повторная обработка), валидация данных между сервисами и базой данных.
• Регресс и релиз: участие в подготовке к релизу, проведение функционального и регрессионного тестирования продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции).
• Покрытие сценариев тестами: разработка и поддержка наборов тестовых сценариев, включая наборы для оценки качества ответов моделей (evaluation datasets, golden sets)
• Валидация LLM-ответов и пайплайнов: проверка релевантности, галлюцинаций, заземлённости (grounding) и согласованности ответов, соответствие формату (structured output / JSON schema)
• Безопасность и соответствие: проверка на утечки чувствительной информации, валидация входных данных, контроль уязвимостей в зависимостях, соответствие внутренним политикам.
• Работа с промптами: тестирование промптов на устойчивость к вариациям формулировок, adversarial-запросы, проверка поведения при «краевых» и «токсичных» запросах.
• Тестирование агентных сценариев: проверка логики Human-in-the-loop, обработки таймаутов и повторных попыток.

Дополнительно:

• Проверка качества данных и RAG: валидация корпуса, метрик поиска (точность, полнота), проверка сценариев «нет релевантных документов», «шумные документы», «неоднозначные запросы».

От кандидата мы ожидаем:

• Опыт в тестировании веб-сервисов (frontend + backend) от 2-3 лет (manual + auto).

• Уверенное тестирование API (REST/gRPC), WebSocket, очередей, микросервисной архитектуры.

• Понимание SDLC, STLC и практик CI/CD, умение встраивать качество в производственный процесс.

• Понимание клиент-серверной и микросервисной архитектуры, а также retry, eventual consistency, идемпотентности и асинхронных процессов.

• Уверенное владение SQL, опыт написания запросов и валидации данных в базе данных (PostgreSQL или аналогами).

• Работа с системами трассировки и мониторинга (OpenTracing/OpenTelemetry, Grafana, Prometheus), понимание логов и алертов.

• Умение самостоятельно работать в условиях высокой неопределённости.

• Умение наладить эффективную коммуникацию и взаимодействие с коллегами.

• Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, работа с системными промптами.

• Умение проектировать тестовые сценарии под неопределённость и вариативность ответов LLM.

• Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации

• Опыт работы с таск-трекерами (Jira или аналогами)

Дополнительно:

• Понимание принципов работы LLM и агентных систем: Tool-use, мультиагентные сценарии (Plan-and-Execute, Reflection, Handoff), RAG.

• Понимание базовых метрик качества LLM: точность, полнота, F1, BLEU/ROUGE (или альтернативные метрики), умение интерпретировать результаты.

Опциональные требования:

• Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.
• Опыт тестирования RAG-систем: оценка качества поиска, подбор метрик, работа с эмбеддингами.
• Практический опыт валидации LLM-ответов: ручная разметка, сравнение моделей, A/B-сравнение.
• Понимание MCP-протокола и MCP-сервера, тестирование агентных инструментов.
• Опыт работы с Kubernetes, Docker, Helm, CI/CD (GitLab CI, Jenkins).
• Навыки автоматизации тестирования на Python с применением AI-инструментов.