{"id":2541850,"url":"https://alion.io/job/headhunter-mlops-inference-engineer","title":"MlOps inference engineer","company":{"id":61857,"name":"HeadHunter","domain":"hh.ru","url":"https://alion.io/company/headhunter","size_band":"501-1000","is_staffing_agency":false,"employer_type":"direct","is_intermediary":true,"listed_via":null,"ats_vendor":"HeadHunter","truth_index":{"grade":"D","score":42,"open_postings":11,"ghost_share":0.818,"stale_share":0,"repost_share":0.909,"time_to_fill_p50_days":8,"computed_at":"2026-10-16T05:45:00Z"}},"role":"AI/ML","role_family":"AI/ML","seniority":null,"employment_type":"full_time","work_mode":"remote","remote_scope":"stated_regions","remote_scope_basis":"board_field","remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Moscow, Russia"],"countries":["RU"],"hiring_countries":["RU","BY","KZ","KG","AM"],"hiring_countries_total":5,"salary":null,"salary_estimate":null,"experience_years_min":null,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"BERT","optional":false},{"name":"CI/CD","optional":false},{"name":"InfiniBand","optional":false},{"name":"KServe","optional":false},{"name":"Kubeflow","optional":false},{"name":"Kubernetes","optional":false},{"name":"Linux","optional":false},{"name":"LLM","optional":false},{"name":"NCCL","optional":false},{"name":"Python","optional":false},{"name":"Quantization","optional":false},{"name":"Ray","optional":false},{"name":"SGLang","optional":false},{"name":"Speculative Decoding","optional":false},{"name":"TensorRT","optional":false},{"name":"TensorRT-LLM","optional":false},{"name":"Triton","optional":false},{"name":"Triton Inference Server","optional":false},{"name":"vLLM","optional":false},{"name":"CUDA","optional":true},{"name":"CUDA Toolkit","optional":true},{"name":"cuDNN","optional":true},{"name":"FAISS","optional":true},{"name":"Milvus","optional":true},{"name":"pgvector","optional":true},{"name":"PostgreSQL","optional":true},{"name":"Qdrant","optional":true},{"name":"RAG","optional":true}],"status":"live","first_seen_at":"2026-10-14T12:21:58Z","employer_posted_date":"2026-10-14","last_verified_at":"2026-10-15T21:33:16Z","board_verified":true,"closed_at":null,"days_open":2,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":2},"description":"Мы строим платформу LLM-инференса, обслуживающую как внутренние, так и продакшен-сервисы. Наша миссия - обеспечить стабильный, масштабируемый и экономичный сервинг больших языковых моделей. Мы ищем инженера, который поможет в развитии инфраструктуры, оптимизацию latency и throughput, а также внедрение передовых подходов к распределенному LLM-инференсу.\n Обязанности:\n Разработка и оптимизация инфраструктуры инференса LLM-моделей.\n\n Performance-tunning llm моделей, поиск точек деградации или кейсов оптимизации на основе реальных логов\n\n Помощь в capacity-планировании командам-заказчикам\n\n Обеспечивать масштабируемость и надежность LLM-serving инфраструктуры, выбор инструментов для инференса (sglang, vLLM, TensorRT-LLM).\n\n Разрабатывать и внедрять механизмы оптимизации стоимости и производительности GPU-нагрузок\n Ключевые знания и навыки:\n Глубокая экспертиза в архитектуре и инференсе больших языковых моделей.\n Понимание устройства моделей (трансформеры, BERT, LLM и т.д.)\n Опыт построения высокопроизводительных LLM-сервисов с использованием vLLM, TensorRT-LLM/FasterTransformer/Triton Inference Server/etc.\n Знание методов оптимизации и ускорения LLM-инференса: quantization (FP16, INT8, FP8), FlashAttention, paged attention, speculative decoding.\n Понимание нюансов распределенных систем и GPU-коммуникации (NCCL, MPI, RDMA, InfiniBand).\n Опыт в управлении кластером для LLM-нагрузок (Kubernetes, Ray, KServe, Kubeflow) в облаке или на своем железе.\n Уверенное владение Python\n Знание инструментов профилирования GPU (nvidia-smi, Nsight, TensorRT Profiler).\n Опыт участия в архитектурном дизайне крупных AI-платформ\n Продвинутые навыки работы в Linux, CI/CD и системах оркестрации моделей.\n Будет преимуществом:\n Опыт построения LLM-сервисов с потоковой генерацией токенов (streaming inference).\n Знание особенностей служебных компонентов LLM-пайплайна: токенизаторы, KV-кэш, контекстное окно.\n Понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores) для глубокой оптимизации производительности.\n Участие в проектах по оптимизации инфраструктуры для LLM-инференса на уровне платформы (multi-tenant LLM serving, dynamic batching).\n Понимание принципов векторных баз данных (Milvus/Qdrant/FAISS/pgvector) для RAG-решений и не только.\n Что предлагаем мы:\n Возможность выбора формата работы: гибрид, удаленно или из офиса\n Гибкий график\n Корпоративный ДМС со стоматологией c первого месяца работы\n Активная корпоративная жизнь: регулярно проводим неформальные оффлайн-встречи, возможность командировок из других городов\n Хороший тренажерный зал в офисе и душ при нем, а также занятия йогой, настольный теннис и кикер\n Кофе в кофемашинах, чай, печенье, фрукты на кухне\n Электронная корпоративная библиотека\n Молодой, профессиональный и дружный коллектив\n Возможность профессионального развития, обучения за счет компании, участия в конференциях\n Достойный уровень заработной платы\n Совместную постановку целей и индивидуальный план развития","description_format":"text","description_chars":2959,"description_truncated":false,"requirements":{"experience_years_min":null,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"Russian","level":"Advanced (C1)","optional":false}]},"benefits":[],"hiring_locations":[{"name":"Russia","iso":"RU","kind":"country"},{"name":"Belarus","iso":"BY","kind":"region"},{"name":"Kazakhstan","iso":"KZ","kind":"region"},{"name":"Kyrgyzstan","iso":"KG","kind":"region"},{"name":"Armenia","iso":"AM","kind":"region"}],"hiring_excludes":[],"relocation_offered":false,"industries":["Job Boards & Aggregators","Recruiting Software & ATS"],"lifecycle":[{"event":"open","at":"2026-10-14T15:49:05Z"}],"visa":[],"liveness":{"score":63,"band":"ok","label":"Likely open","p_open":1,"p_active":0.632,"p_room":1,"age_days":1,"expected_fill_days":8,"reasons":["conf:8","stale_co","velocity","win:early"],"computed_at":"2026-10-16T05:45:00Z"},"pay":null,"html_url":"https://alion.io/job/headhunter-mlops-inference-engineer","json_url":"https://alion.io/job/headhunter-mlops-inference-engineer.json","meta":{"generated_at":"2026-10-16T16:45:01Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":1270,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-10-17T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.02,"usd":0.002,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":61857},"rest":"https://alion.io/mcp/rest/get_company?id=61857"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Fheadhunter-mlops-inference-engineer"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"live","price":{"credits":1,"usd":0.1},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Fheadhunter-mlops-inference-engineer"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.02,"usd":0.002},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Fheadhunter-mlops-inference-engineer"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/headhunter-mlops-inference-engineer\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Fheadhunter-mlops-inference-engineer"}]}