Long applicationsign-up on hh.ru
QA Engineer / LLM Evaluation
Apply now
Similar jobs
Salary
≈ $16k – $45k per year (Estimated)
Location
In office (Moscow)
Seniority
Junior · 2+ years exp
Confirmed on the employer's own hiring board on Nov 1, 2026. First seen by Alion on Oct 27, 2026. Sber scores A on the Alion truth index.
Overview
Company
Impact
Profile match
Sber is Russia's largest bank and the centre of one of the country's biggest technology ecosystems, tracing its origins to savings institutions established in 1841. It serves over a hundred million retail customers and several million businesses through branch, mobile and web channels, and holds a dominant share of the national deposit, lending and payment markets. Over the past decade the group has built out an ecosystem well beyond banking, spanning e-commerce, food delivery, streaming media, cloud infrastructure, devices and the GigaChat family of large language models developed by its own AI research teams.
Backed by Sber500
В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента.
Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов.
Обязанности
- проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA
- тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов
- автоматизировать API- и UI-тесты
- проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок
- создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования
- формировать бенчмарки и метрики качества LLM-компонентов
- проверять воспроизводимость результатов и анализировать причины деградации качества
- участвовать в разборе дефектов и контролировать их исправление.
- Формировать quality gates для выпуска релизов
- организовывать валидацию результатов совместно с финансовыми экспертами.
Требования
- опыт в роли QA от 2х лет
- понимание основных видов и методик тестирования
- опыт тестирования REST API
- базовые знания Python и готовность развиваться в автоматизации
- базовый SQL
- умение работать с логами и локализовывать источник ошибки
- понимание клиент-серверной и микросервисной архитектуры
- внимательность к деталям и способность системно описывать дефекты
- опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом
- глубокая финансовая экспертиза не обязательна - необходимую предметную часть поможет освоить команда.
Условия
- комфортный современный офис рядом с м. Ленинский проспект
- гибридный формат работы
- ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования)
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте (для вакансий уровня Junior)
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
Free account
Stop reading job ads. Get the ones that fit.
One free account turns this page into a shortlist built around your stack, your level and your pay.
Match on every job. Stack, seniority, pay and location, scored against your profile.
2,051,696 open roles. Read straight off company career pages, refreshed every day.
Unlimited applications. Every one you send is tracked in one place, on-site or on a company board.
3 tailored CVs a month. Rewritten for the exact job you are applying to. Included free.
Free forever. No card. Under a minute.
Your match
How well do you fit this role?
Two answers are enough for a real match. No account needed.
Check my fit
Answers stay in this browser until you create an account.
Recommended for you based on this role
AI/ML
Similar stack
Same company
Moscow
LLM инженер (RUTUBE TECH)
26 days ago
Remote (EAEU) · Full-Time · Moscow
Python
Python
FastAPI
Databases
Milvus
Qdrant
Apache Kafka
AI/ML
NLP
TensorRT
LLM
RAG
Mixture of Experts
Triton
Apply
AI Engineering Team Lead
1 day ago
≈ $57k – $117k per year (Estimated) · Hybrid · Full-Time · 3+ years exp · Moscow
Python
TypeScript
Python
FastAPI
Asyncio
Databases
PostgreSQL
Redis
AI/ML
LangGraph
LangChain
Claude
Qwen
DeepSeek
Model Context Protocol
vLLM
Embeddings
Function Calling
AI Agents
VLM
SGLang
Langfuse
LiteLLM
GigaChat
Gemini
LLM
RAG
Whisper
Mixture of Experts
Reranking
OpenAI
OpenAI Agents SDK
AWS Strands Agents
OCR
Human-in-the-Loop
Structured Outputs
DevOps
OpenTelemetry
Git
Docker
Apply
≈ $39k – $76k per year (Estimated) · Hybrid · Full-Time · 5+ years exp · Bachelor's Degree · Moscow
Python
JavaScript
TypeScript
SQL
Python
FastAPI
Asyncio
Databases
PostgreSQL
Redis
Qdrant
AI/ML
Copilot
Cursor
LangGraph
LangChain
Claude Code
Model Context Protocol
Embeddings
AI Agents
Langfuse
Semantic Kernel
GigaChat
CrewAI
LLM
RAG
Reranking
Hybrid Search
OpenAI Codex
AWS Strands Agents
A2A
Human-in-the-Loop
Frontend
Zustand
Tailwind CSS
React.js
Radix UI
Storybook
shadcn/ui
DevOps
Rest API
Docker Compose
Helm
OpenTelemetry
Prometheus
WebSockets
CI/CD
Git
Docker
Kubernetes
Amazon S3
Apply
≈ $31k – $64k per year (Estimated) · Remote (EAEU) · 1+ year exp · Moscow
Python
PHP
TypeScript
PHP
Bitrix
AI/ML
Model Context Protocol
Function Calling
AI Agents
LLM
RAG
DevOps
Rest API
Git
Docker
GitLab
Management
Confluence
Jira
QA
Playwright
Apply
Senior AI Engineer
2 hours ago
$95k – $209k per year · Remote (United States) · Full-Time · 4+ years exp
Python
Go
TypeScript
Python
FastAPI
Pydantic
Databases
MySQL
PostgreSQL
Databricks
DuckDB
AI/ML
Claude
Claude Code
DSPy
MLFlow
Fine-tuning
AI Agents
OpenAI SDK
Promptfoo
LLM
RAG
OpenAI
Anthropic
LLMOps
OpenAI Codex
DevOps
GCP
Azure
CI/CD
AWS
Docker
Self-Healing
Apply
Remote (Greece) · Part-Time · Athens
Python
JavaScript
SQL
Python
Django
Databases
PostgreSQL
DevOps
Rest API
GCP
DigitalOcean
Heroku
Azure
AWS
Apply
Системный администратор Linux
4 days ago
≈ $11k – $27k per year (Estimated) · In office · Kursk
Python
Java
Bash
Databases
PostgreSQL
Redis
MinIO
ElasticSearch
DevOps
Ansible
Zabbix
Debian
GitLab CI
CI/CD
Docker
Kubernetes
Ubuntu
Nginx
TeamCity
Amazon S3
Linux
Astra Linux
DNS
Apply
ADAS - C++ Dev Trailer Assist-1
4 days ago
≈ $20k – $44k per year (Estimated) · In office · Full-Time · 3+ years exp · Bengaluru
Python
C++
DevOps
CI/CD
Git
Bazel
Linux
Apply
Системный аналитик
2 days ago
≈ $23k – $43k per year (Estimated) · Hybrid · 3+ years exp · Moscow
SQL
DevOps
Rest API
SOAP
Management
UML
BPMN
Apply
≈ $84k – $193k per year (Estimated) · In office · TS/SCI · Freelance · Columbia
Python
DevOps
Rest API
gRPC
Ansible
BGP
OSPF
MPLS
Apply
≈ $29k – $56k per year (Estimated) · In office · Moscow
Python
SQL
Databases
PostgreSQL
AI/ML
LangGraph
LangChain
Model Context Protocol
Scikit-learn
SciPy
AI Agents
Pandas
NumPy
LLM
RAG
DevOps
Rest API
Prometheus
Git
Docker
Grafana
Linux
Cybersecurity
PKI
Analytics
ETL/ELT
Management
n8n
Agile
Apply
≈ $20k – $52k per year (Estimated) · In office · Moscow
Python
AI/ML
AI Agents
LLM
SFT
DevOps
Linux
Apply
≈ $29k – $56k per year (Estimated) · In office · 3+ years exp · Moscow
Python
Python
FastAPI
AI/ML
MLFlow
Fine-tuning
Prompt Engineering
AI Agents
Mistral
Kubeflow
TensorFlow
PyTorch
LLM
RAG
Apply
Senior Researcher
4 days ago
≈ $29k – $56k per year (Estimated) · In office · 3+ years exp · Moscow
Python
AI/ML
Hadoop
Spark
RLHF
LLM
DPO
GRPO
FSDP
Apply
ML Engineer (Центр робототехники)
4 days ago
≈ $19k – $49k per year (Estimated) · In office · 3+ years exp · Moscow
Python
SQL
AI/ML
Weights & Biases
MLFlow
AI Agents
VLM
GigaChat
NumPy
Anomaly Detection
Vision-Language-Action
Embodied AI
Robotics
Imitation Learning
Apply
Data Scientist / ML Engineer
1 day ago
≈ $25k – $71k per year (Estimated) · Hybrid · Full-Time · 2+ years exp · Moscow
Python
SQL
Databases
ClickHouse
AI/ML
Hadoop
CatBoost
Airflow
MLFlow
XGBoost
DevOps
Git
Docker
Analytics
ETL/ELT
Apply
≈ $26k – $55k per year (Estimated) · Hybrid · Full-Time · Moscow
Apply
≈ $20k – $38k per year (Estimated) · In office · Full-Time · Moscow
1C
Management
Диадок
Apply
≈ $28k – $68k per year (Estimated) · In office · Full-Time · 3+ years exp · Bachelor's Degree · Moscow
PHP
1C
PHP
Bitrix
Management
Диадок
Apply
$9.9k – $26k per year (net) · In office · Full-Time · Moscow
Apply
This is one of many
2,051,696 more open roles from verified company boards, updated every day.