{"id":2028771,"url":"https://alion.io/job/sber-qa-engineer-llm-evaluation","title":"QA Engineer / LLM Evaluation","company":{"id":67,"name":"Sber","domain":"sber.ru","url":"https://alion.io/company/sber","size_band":"5000+","is_staffing_agency":false,"employer_type":"direct","is_intermediary":false,"listed_via":null,"ats_vendor":"HeadHunter","truth_index":{"grade":"A","score":99,"open_postings":195,"ghost_share":0.041,"stale_share":0,"repost_share":0.221,"time_to_fill_p50_days":7,"computed_at":"2026-10-10T05:45:15Z"}},"role":"AI/ML","role_family":"AI/ML","seniority":"junior","employment_type":null,"work_mode":"on_site","remote_scope":null,"remote_scope_basis":null,"remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Moscow, Russia"],"countries":["RU"],"hiring_countries":[],"hiring_countries_total":0,"salary":null,"salary_estimate":{"min_usd":19000,"max_usd":49000,"period":"year","method":"role_seniority_country_cell","sample_n":16},"experience_years_min":2,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"CI/CD","optional":false},{"name":"Docker","optional":false},{"name":"LLM","optional":false},{"name":"Pytest","optional":false},{"name":"Python","optional":false},{"name":"Rest API","optional":false},{"name":"SQL","optional":false}],"status":"live","first_seen_at":"2026-10-07T13:28:11Z","employer_posted_date":"2026-10-07","last_verified_at":"2026-10-10T02:34:05Z","board_verified":true,"closed_at":null,"days_open":3,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":3},"description":"В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента.\n Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов.\nОбязанности\n проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA\n тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов\n автоматизировать API- и UI-тесты\n проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок\n создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования\n формировать бенчмарки и метрики качества LLM-компонентов\n проверять воспроизводимость результатов и анализировать причины деградации качества\n участвовать в разборе дефектов и контролировать их исправление.\n Формировать quality gates для выпуска релизов\n организовывать валидацию результатов совместно с финансовыми экспертами.\n Требования\n опыт в роли QA от 2х лет\n понимание основных видов и методик тестирования\n опыт тестирования REST API\n базовые знания Python и готовность развиваться в автоматизации\n базовый SQL\n умение работать с логами и локализовывать источник ошибки\n понимание клиент-серверной и микросервисной архитектуры\n внимательность к деталям и способность системно описывать дефекты\n опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом\n глубокая финансовая экспертиза не обязательна - необходимую предметную часть поможет освоить команда.\n Условия\n комфортный современный офис рядом с м. Ленинский проспект\n гибридный формат работы\n ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования)\n корпоративный спортзал и зоны отдыха\n более 400 образовательных программ СберУниверситета для профессионального и карьерного развития\n программа адаптации и помощь руководителя на старте (для вакансий уровня Junior)\n расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа\n гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ\n подписка Прайм с возможностью совместного использования на трёх близких\n вознаграждение за рекомендацию друзей в команду Сбера.","description_format":"text","description_chars":2354,"description_truncated":false,"requirements":{"experience_years_min":2,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"Russian","level":"Advanced (C1)","optional":false}]},"benefits":[],"hiring_locations":[],"hiring_excludes":[],"relocation_offered":false,"industries":["LLM & Generative AI","Cloud Platforms (IaaS & PaaS)","Wealth Management & Financial Advisors","Investment Banking & M&A Advisory"],"lifecycle":[{"event":"open","at":"2026-10-07T13:33:53Z"}],"visa":[],"liveness":{"score":66,"band":"ok","label":"Likely open","p_open":1,"p_active":0.736,"p_room":0.9,"age_days":2,"expected_fill_days":7,"reasons":["conf:3","velocity","win:mid","comp:junior,brand"],"computed_at":"2026-10-10T05:45:15Z"},"pay":null,"html_url":"https://alion.io/job/sber-qa-engineer-llm-evaluation","json_url":"https://alion.io/job/sber-qa-engineer-llm-evaluation.json","meta":{"generated_at":"2026-10-11T01:51:32Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler","counted_by":"address","units_charged":1,"used_today":2744,"day_limit":5000,"remaining_today":2256,"minute_limit":60,"resets_at":"2026-10-12T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.02,"usd":0.002,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":67},"rest":"https://alion.io/mcp/rest/get_company?id=67"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Fsber-qa-engineer-llm-evaluation"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"live","price":{"credits":1,"usd":0.1},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Fsber-qa-engineer-llm-evaluation"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.02,"usd":0.002},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Fsber-qa-engineer-llm-evaluation"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/sber-qa-engineer-llm-evaluation\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Fsber-qa-engineer-llm-evaluation"}]}