{"id":1461086,"url":"https://alion.io/job/sber-middle-devops-inzhener-llm-modeli","title":"Middle devops инженер (LLM модели)","company":{"id":67,"name":"Sber","domain":"sber.ru","url":"https://alion.io/company/sber","size_band":"5000+","is_staffing_agency":false,"employer_type":"direct","is_intermediary":false,"listed_via":null,"ats_vendor":"HeadHunter","truth_index":{"grade":"A","score":100,"open_postings":175,"ghost_share":0.057,"stale_share":0,"repost_share":0.131,"time_to_fill_p50_days":7,"computed_at":"2026-10-01T05:45:00Z"}},"role":"AI/ML","role_family":"AI/ML","seniority":"middle","employment_type":null,"work_mode":"hybrid","remote_scope":null,"remote_scope_basis":null,"remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Moscow, Russia"],"countries":["RU"],"hiring_countries":[],"hiring_countries_total":0,"salary":null,"salary_estimate":{"min_usd":28000,"max_usd":60000,"period":"year","method":"role_seniority_country_cell","sample_n":15},"experience_years_min":2,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"Bash","optional":false},{"name":"Chainlit","optional":false},{"name":"CI/CD","optional":false},{"name":"Envoy","optional":false},{"name":"FastAPI","optional":false},{"name":"Flask","optional":false},{"name":"Groovy","optional":false},{"name":"HAProxy","optional":false},{"name":"Istio","optional":false},{"name":"Jenkins","optional":false},{"name":"Kubernetes","optional":false},{"name":"Linux","optional":false},{"name":"llama.cpp","optional":false},{"name":"LLM","optional":false},{"name":"Nginx","optional":false},{"name":"Python","optional":false},{"name":"Service Mesh","optional":false},{"name":"SFT","optional":false},{"name":"SGLang","optional":false},{"name":"Streamlit","optional":false},{"name":"vLLM","optional":false},{"name":"AI Agents","optional":true},{"name":"CUDA","optional":true},{"name":"CUDA Toolkit","optional":true},{"name":"cuDNN","optional":true},{"name":"FAISS","optional":true},{"name":"InfiniBand","optional":true},{"name":"KV Cache","optional":true},{"name":"NCCL","optional":true},{"name":"OpenSearch","optional":true},{"name":"pgvector","optional":true},{"name":"PostgreSQL","optional":true},{"name":"Qdrant","optional":true},{"name":"RAG","optional":true}],"status":"live","first_seen_at":"2026-09-29T12:17:30Z","employer_posted_date":"2026-09-29","last_verified_at":"2026-10-01T05:10:44Z","board_verified":true,"closed_at":null,"days_open":2,"trust":{"level":"ok","repost_count":null,"flags":[],"days_open":2},"description":"Мы - команда высококлассных инженеров, которые строят платформу для инференса и SFT opensource LLM. Используем продвинутые cutting edge движки для инференса, много экспериментируем и боремся за каждую дополнительную единицу в Token thoughput. Cейчас мы разрабатываем и оптимизируем инфраструктуру инференса LLM-моделей.\nВам предстоит:\n разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности внутренних приложений и сервисов\n обеспечивать масштабируемость и надежность LLM-serving инфраструктуры; выбирать и настраивать инструменты для инференса (sglang, vLLM, llama.cpp)\n разрабатывать механизмы разграничения доступов к API-сервисам моделей\n строить систему observability и мониторинга LLM-инференс\n собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit и т.д.).\n Мы ожидаем:\n опыт в роли devops от 2 лет\n уверенные знания Linux: сеть, storage, роли/пользователи, менеджмент процессов.\n владение Kubernetes (Istio Service Mesh)\n опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM)\n опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks\n владение языками: Bash, Python, Groovy (Jenkins scripted)\n продвинутые навыки в CI/CD и оркестрации моделей.\n Будет плюсом:\n опыт с AI-агентами\n понимание распределенных систем и GPU-коммуникации (NCCL, MPI, RDMA, InfiniBand)\n знание служебных компонентов LLM-пайплайна: токенизаторы, KV-cache, контекстное окно\n понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores)\n Опыт работы с векторными БД (Opensearch, Qdrant, FAISS, pgvector) для RAG и других задач.\n Мы предлагаем:\n гибридный формат работы (2-3 дня в офисе)\n годовой бонус и ежегодный пересмотр\n расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи\n корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях\n офис на Кутузовской с зонами отдыха и спортзалом\n льготную ипотеку в Сбере, корпоративную пенсионную программу, подписку СберПрайм с возможностью совместного использования на трёх близких, скидки от партнеров и сервисов группы компаний.","description_format":"text","description_chars":2216,"description_truncated":false,"requirements":{"experience_years_min":2,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[{"language":"Russian","level":"Advanced (C1)","optional":false}]},"benefits":[],"hiring_locations":[{"name":"Russia","iso":"RU","kind":"country"}],"hiring_excludes":[],"relocation_offered":false,"industries":["LLM & Generative AI","Cloud Platforms (IaaS & PaaS)","Wealth Management & Financial Advisors","Investment Banking & M&A Advisory"],"lifecycle":[{"event":"open","at":"2026-09-29T12:23:36Z"}],"liveness":{"score":87,"band":"hot","label":"Hiring now","p_open":1,"p_active":0.875,"p_room":1,"age_days":1,"expected_fill_days":7,"reasons":["conf:0","velocity","win:early","comp:brand"],"computed_at":"2026-10-01T05:45:00Z"},"pay":null,"html_url":"https://alion.io/job/sber-middle-devops-inzhener-llm-modeli","json_url":"https://alion.io/job/sber-middle-devops-inzhener-llm-modeli.json","meta":{"generated_at":"2026-10-01T19:08:42Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","usage":{"tier":"crawler","counted_by":"address","units_charged":1,"used_today":1602,"day_limit":5000,"remaining_today":3398,"minute_limit":60,"resets_at":"2026-10-02T00:00:00Z"}}}