Senior / Lead QA Engineer
О продукте
EvoAI - это веб-SaaS-платформа для разработки LLM-приложений. С её помощью команды собирают и выкатывают в прод корпоративных AI-агентов, подключают их к Telegram и другим каналам и оркеструют поверх собственных данных.
Команда на этапе активного роста - мы перестраиваем техническую команду под масштабирование. Нам нужен senior-инженер и лид, который хочет ownership, а не детальные ТЗ; думает системно; готов влиять на архитектуру, процессы и качество; хочет строить платформу, а не «закрывать таски».
Роль
Ты - владелец качества продукта.
Отвечаешь за QA-стратегию и качество релизов платформы, на которой работают корпоративные клиенты. Это не только функциональное тестирование UI - это качество недетерминированной AI-системы: агентов, RAG-пайплайнов, интеграций с LLM-провайдерами и vector-базами.
Зоны ответственности:
-
QA-стратегия продукта - и для классической веб-части (Flask API, Next.js UI), и для LLM-специфичной (eval агентов и RAG, prompt-регрессии).
-
Ownership процессов тестирования - TDD (red → green → refactor), AAA-структура, разделение unit / integration / E2E.
-
Quality gates для релизов - coverage-пороги, type-check (ruff / tsc), линты, прогон Playwright, проверка миграций Alembic.
-
Развитие автоматизации - pytest + testcontainers на бэке; Vitest + React Testing Library + Playwright на фронте; нагрузочное и chaos-тестирование Celery-воркеров и vector-БД; security-тесты (SSRF-прокси, multi-tenant изоляция, секреты).
-
Eval-инфраструктура для AI-агентов - автоматизация качества ответов через Langfuse / Opik / Weave, регресс-наборы по промптам и тулзам, метрики качества RAG-ретривала.
-
Управление небольшой QA командой - управление фокусом команды и распределение задач.
-
Менторинг QA и разработки - code review тестов, прокачивание команды в pytest / Vitest.
Ожидания от кандидата:
-
5+ лет опыта в QA.
-
Опыт построения QA-процессов с нуля или их масштабирования.
-
Понимание SDLC и CI/CD (GitHub Actions, Docker Compose в пайплайнах, параллельный прогон тестов).
-
Уверенный Python: pytest, фикстуры, параметризация, моки, testcontainers; опыт тестирования Flask / SQLAlchemy / Celery.
-
Автоматизация фронта: Vitest или Jest + RTL, Playwright или Cypress на E2E.
-
Тестирование API: REST / contract-first (OpenAPI), типобезопасные контракты.
-
Понимание распределённых систем: очереди (Celery / Redis), async-флоу, eventual consistency, мультиарендность.
-
PostgreSQL: миграции (Alembic), tenant-scoping, тестирование на реальной БД, а не на моках.
-
Умение аргументировать качество с точки зрения бизнеса (риск регрессии vs. скорость релиза).
-
Самостоятельность и проактивный ownership: умение брать зону ответственности целиком и доводить до результата без детальных ТЗ.
Будет плюсом:
- Опыт тестирования LLM-приложений или AI-агентов.
- Опыт с vector-БД (pgvector, Qdrant, Weaviate, Pinecone и т. п.) и тестированием качества RAG-ретривала.
Условия:
-
Удаленный формат работы с 09:00 до 18:00 по мск;
-
Сильная команда, в которой есть возможность для реализации творческих идей и профессионального роста.