{"id":2541851,"url":"https://alion.io/job/headhunter-aillm-engineer-v-genai-evaluation","title":"AI/LLM Engineer в GenAI Evaluation","company":{"id":61857,"name":"HeadHunter","domain":"hh.ru","url":"https://alion.io/company/headhunter","size_band":"501-1000","is_staffing_agency":false,"employer_type":"direct","is_intermediary":true,"listed_via":null,"ats_vendor":"HeadHunter","truth_index":{"grade":"D","score":48,"open_postings":11,"ghost_share":0.727,"stale_share":0,"repost_share":0.909,"time_to_fill_p50_days":8,"computed_at":"2026-10-15T05:46:00Z"}},"role":"AI/ML","role_family":"AI/ML","seniority":null,"employment_type":"full_time","work_mode":"remote","remote_scope":"stated_regions","remote_scope_basis":"board_field","remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Moscow, Russia"],"countries":["RU"],"hiring_countries":["RU","BY","KZ","KG","AM"],"hiring_countries_total":5,"salary":null,"salary_estimate":null,"experience_years_min":null,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"AI Agents","optional":false},{"name":"Asyncio","optional":false},{"name":"Context Engineering","optional":false},{"name":"DeepEval","optional":false},{"name":"FAISS","optional":false},{"name":"FastAPI","optional":false},{"name":"Function Calling","optional":false},{"name":"LangChain","optional":false},{"name":"Langfuse","optional":false},{"name":"LangGraph","optional":false},{"name":"LangSmith","optional":false},{"name":"LLM","optional":false},{"name":"Machine Learning","optional":false},{"name":"Milvus","optional":false},{"name":"MLFlow","optional":false},{"name":"pgvector","optional":false},{"name":"Python","optional":false},{"name":"Qdrant","optional":false},{"name":"RAG","optional":false},{"name":"Structured Outputs","optional":false},{"name":"Java","optional":true},{"name":"PostgreSQL","optional":true}],"status":"live","first_seen_at":"2026-10-14T11:40:03Z","employer_posted_date":"2026-10-14","last_verified_at":"2026-10-15T21:33:16Z","board_verified":true,"closed_at":null,"days_open":1,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":1},"description":"Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого AI/LLM инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей.\n Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах - через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт - мы будем рады видеть вас в нашей команде.\n Чем предстоит заниматься:\n Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода;\n\n Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений - от QA запросов к LLM до сложных агентов с отдельным окружением;\n\n Разрабатывать внутренние бенчмарки по hr домену для оценки OSS LLM;\n\n Проектировать метрики качества, разрабатывать валидационные пайплайны;\n\n Настраивать observability для поддержания качества работы GenAI решений в проде;\n\n Организовывать человеческую разметку и разрабатывать LLM-as-Judge;\n\n Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI;\n\n Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений.\n\n Требования:\n Уверенное владение Python, и опыт разработки production-ready ML/GenAI-сервисов;\n\n Опыт построения и внедрения систем оценки качества ML / GenAI-решений: offline-метрики, regression testing, human evaluation, A/B или онлайн-валидация;\n\n Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость, сравнение моделей);\n\n Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.);\n\n Понимание особенностей оценки LLM- и agent-based систем в сравнении с классической разработкой и классическим ML;\n\n Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG, Agent workflows), понимание нюансов и трейдофов;\n\n Готовность быть драйвером внедрения best practices внутри компании;\n\n Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering);\n\n Опыт создания web-сервисов (FastAPI, asyncio), дизайна чистых и функциональных API и интеграции с бэкенд-сервисами;\n\n Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG-решений и не только;\n\n Будет плюсом:\n Знание Java;\n\n Понимание современных архитектур и методов обучения языковых моделей;\n\n Опыт обучения и инференса open-source LLM-моделей.\n\n Условия:\n Возможность выбора места работы: удаленно или из офиса;\n\n Гибкий график рабочего дня;\n\n Оформление в соответствии с ТК РФ, «Белая» заработная плата, выплачиваемая точно в срок;\n\n Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно);\n\n Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях;","description_format":"text","description_chars":3314,"description_truncated":false,"requirements":{"experience_years_min":null,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"Russian","level":"Advanced (C1)","optional":false}]},"benefits":[],"hiring_locations":[{"name":"Russia","iso":"RU","kind":"country"},{"name":"Belarus","iso":"BY","kind":"region"},{"name":"Kazakhstan","iso":"KZ","kind":"region"},{"name":"Kyrgyzstan","iso":"KG","kind":"region"},{"name":"Armenia","iso":"AM","kind":"region"}],"hiring_excludes":[],"relocation_offered":false,"industries":["Job Boards & Aggregators","Recruiting Software & ATS"],"lifecycle":[{"event":"open","at":"2026-10-14T15:49:05Z"}],"visa":[],"liveness":{"score":63,"band":"ok","label":"Likely open","p_open":1,"p_active":0.632,"p_room":1,"age_days":0,"expected_fill_days":8,"reasons":["conf:9","stale_co","velocity","win:early"],"computed_at":"2026-10-15T05:46:00Z"},"pay":null,"html_url":"https://alion.io/job/headhunter-aillm-engineer-v-genai-evaluation","json_url":"https://alion.io/job/headhunter-aillm-engineer-v-genai-evaluation.json","meta":{"generated_at":"2026-10-16T00:42:21Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":1334,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-10-17T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.02,"usd":0.002,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":61857},"rest":"https://alion.io/mcp/rest/get_company?id=61857"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Fheadhunter-aillm-engineer-v-genai-evaluation"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"live","price":{"credits":1,"usd":0.1},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Fheadhunter-aillm-engineer-v-genai-evaluation"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.02,"usd":0.002},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Fheadhunter-aillm-engineer-v-genai-evaluation"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/headhunter-aillm-engineer-v-genai-evaluation\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Fheadhunter-aillm-engineer-v-genai-evaluation"}]}