Senior QA Engineer
Кто мы?
EVO AI - IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
Чем предстоит заниматься
-
Разрабатывать и поддерживать QA-стратегию и процессы тестирования продукта.
-
Тестировать как классическую веб-часть продукта - Flask API, Next.js UI, так и AI-функциональность.
-
Развивать автоматизацию тестирования:
-
Python + pytest на backend;
-
testcontainers для интеграционных тестов;
-
Vitest / Jest + React Testing Library на frontend;
-
Playwright / Cypress для E2E.
-
-
Проводить API-тестирование REST API и проверять соответствие OpenAPI-контрактам.
-
Работать с unit / integration / E2E тестами, фикстурами, параметризацией и моками.
-
Тестировать распределенные сценарии: Celery, Redis, асинхронные процессы, очереди, eventual consistency.
-
Проверять работу с PostgreSQL, миграциями Alembic и корректностью tenant-scoping.
-
Настраивать и поддерживать quality gates в CI/CD: coverage, type-check, линтеры, автоматический прогон тестов и E2E.
-
Тестировать AI-функциональность: LLM-агентов, RAG-пайплайны, промпты, tools и интеграции с LLM-провайдерами.
-
Участвовать в создании eval-наборов и регрессионных тестов для AI-агентов, оценивать качество ответов и RAG-ретривала.
-
Находить узкие места в текущем тестировании и предлагать способы сделать процесс надежнее и быстрее.
-
Взаимодействовать с разработчиками и продуктовой командой на всех этапах разработки - от постановки задачи до релиза.
-
Участвовать в code review тестов и помогать повышать качество разработки.
Что мы ожидаем
-
5+ лет опыта в QA / тестировании для Senior уровня.
-
Опыт построения или развития автоматизированного тестирования.
-
Уверенный Python и практический опыт с pytest.
-
Опыт работы с фикстурами, параметризацией, моками и интеграционными тестами.
-
Опыт тестирования backend на Flask / FastAPI / Django или аналогичном стеке.
-
Опыт автоматизации frontend с Playwright / Cypress и Vitest / Jest + React Testing Library.
-
Хорошее понимание API-тестирования, REST и OpenAPI.
-
Опыт работы с PostgreSQL и понимание принципов работы миграций.
-
Понимание CI/CD, Docker и GitHub Actions.
-
Понимание принципов тестирования распределенных и асинхронных систем.
-
Умение самостоятельно разбираться в продукте, находить риски и предлагать решения.
-
Понимание того, как балансировать качество, риски и скорость разработки.
Будет большим плюсом
-
Опыт тестирования LLM-приложений, AI-агентов или ML-продуктов.
-
Практический опыт с RAG и оценкой качества AI-систем.
-
Опыт работы с Langfuse, Opik, Weave или аналогичными инструментами для eval и observability.
-
Опыт с vector DB: pgvector, Qdrant, Weaviate, Pinecone и др.
-
Опыт нагрузочного, security или chaos-тестирования.
-
Опыт работы с Celery / Redis и другими очередями.
-
Опыт работы в продуктовой команде и участия в формировании QA-процессов с нуля.
Условия
-
Удаленный формат работы.
-
Рабочий график: 09:00-18:00 по МСК.
-
Работа над собственным AI-продуктом, который активно развивается.
-
Сильная техническая команда и возможность влиять на процессы и качество продукта.
-
Возможность профессионального роста в направлении QA Automation и тестирования AI-систем.
В сопроводительном письме расскажите, пожалуйста:
-
о вашем опыте автоматизации тестирования;
-
какие инструменты и технологии используете;
-
был ли у вас опыт работы с AI / ML / LLM-продуктами.