QA Automation Engineer — AI Testing (TypeScript / WebSocket / Playwright)

Про продукт
Pitch Avatar — SaaS-платформа з інтерактивними AI-аватарами, презентаціями та мультимедійним контентом для онбордингу, корпоративного навчання, підтримки клієнтів і продажів. Користувачі налаштовують аватарів, додають власні джерела знань, спілкуються текстом і голосом та отримують аналітику взаємодії.
Для нас важлива якість усього сценарію: від створення проєкту й підготовки контенту до відповіді аватара та коректного збереження результатів.
Про роль
Шукаємо QA Automation Engineer рівня Middle / Middle+, який розвиватиме автоматизацію та перевірки якості AI-функцій. Ви працюватимете в QA-команді з QA Lead, manual і general/automation QA, використовуючи наявний фреймворк Playwright + TypeScript.
Основний обсяг перевірок виконується через WebSocket: надсилання повідомлень, отримання асинхронних подій і перевірка результату взаємодії з аватаром. Playwright використовується для UI та наскрізних сценаріїв, REST API — для підготовки даних і суміжних перевірок.
Важливі обидва напрями: тестування AI у продукті та практичне використання AI-інструментів для аналізу вимог, написання тестів і розбору дефектів. Очікуємо, що ви можете пояснити й перевірити результат, отриманий за допомогою AI.
Що потрібно робити
— Розробляти й підтримувати автотести WebSocket-сценаріїв на TypeScript: надсилання повідомлень, перевірка очікуваних подій, їх вмісту та завершення сценарію.
— Підтримувати UI та E2E автотести на Playwright; використовувати REST API для підготовки тестових даних і перевірки суміжної логіки.
— Разом із QA Lead визначати пріоритетні перевірки чат-аватара, бази знань, мультимовності, персональних посилань, Enrollments і результатів сесій.
— Створювати набори контрольних запитів та діалогів із чіткими критеріями оцінювання AI-відповідей: відповідність джерелам, дотримання інструкцій, збереження контексту й коректна поведінка за відсутності інформації.
— Перевіряти регресії після змін промптів, моделей, джерел знань і продуктової логіки.
— Тестувати асинхронні процеси, WebSocket-події, loading/error states, тайм-аути та відновлення після помилок; перевіряти текстові й голосові сценарії.
— Проводити exploratory та негативне тестування нових функцій, зокрема доступів, ролей і взаємодії між модулями.
— Підтримувати запуск тестів у CI, працювати з тестовими даними, усувати нестабільні тести та перевірки, які можуть пропустити реальний дефект.
— Готувати зрозумілі баг-репорти та результати перевірок із логами, traces й іншими доказами; співпрацювати з розробниками та продуктовою командою.
Необхідний досвід
— Від 2 років у QA вебпродуктів та практичний досвід написання автоматизованих тестів.
— Практичне володіння Playwright і JavaScript/TypeScript: ви самостійно читаєте, змінюєте та налагоджуєте код тестів.
— Практичний досвід автоматизації WebSocket-сценаріїв: робота з повідомленнями й асинхронними подіями, очікування результату, перевірка тайм-аутів та помилок.
— Розуміння HTTP, JSON, клієнт-серверної взаємодії та базове володіння REST API для допоміжних перевірок і роботи з тестовими даними.
— Уміння проєктувати позитивні, негативні та граничні перевірки з конкретним очікуваним результатом.
— Практичний досвід перевірки LLM-функцій або чатботів у робочому чи власному проєкті. Можете показати, як визначали якість відповіді, виявляли вигадані факти та працювали з варіативністю результатів.
— Досвід використання AI-інструментів у QA-роботі та критичного перегляду згенерованих тестів і коду.
— Git, базовий SQL, браузерні DevTools; уміння аналізувати мережеві запити, логи та причини падіння тестів.
— Досвід роботи з CI-прогонами та діагностикою асинхронних тестів за логами повідомлень і подій.
— Англійська від B1: читання технічної документації та письмова робоча комунікація.
Буде перевагою
— Досвід тестування відповідей на основі бази знань / RAG, мультимовних діалогів і стійкості до спроб змінити інструкції аватара.
— Автоматизовані оцінки якості AI-відповідей (evals), порівняння версій моделі або промпту, контрольні датасети.
— Тестування speech-to-text, text-to-speech, WebRTC та аудіо/відеосценаріїв.
— Перевірка часу відповіді, навантаження та відмов зовнішніх сервісів; досвід k6 або аналогів.
— GitLab CI, Docker, Python для додаткових тестових інструментів.
Ми пропонуємо
— Роботу над продуктом на стику SaaS, AI та мультимедіа.
— Повністю віддалену роботу.
— Офіційний договір з австрійською компанією.
— 25 оплачуваних робочих днів відпустки та оплачувані лікарняні.
— Можливість впливати на автоматизацію та підхід до оцінювання AI-функцій.
— Співпрацю з QA Lead і командою тестування, самостійність у межах своєї зони відповідальності.