Rtfm

Готуємось до запуску self-hosted LLM, і на етапі тестування загальна ідея така, що будемо слати запити від клієнтів одночасно і до "дефолтної production моделі" типу GPT-5.6 - і до моделі на нашому власному сервері. А після отримання відповідей - будемо в

Є у нас сервер, на якому будемо запускати self-hosted LLM. Довго вибирали на чому саме запускати моделі - vLLM, SGLang, або llama.cpp, і врешті-решт зупинились саме на llama.cpp - принаймні на даний момент. В пості NixOS: знайомство, установка пакетів та

Є сервер з Ubuntu, на якому запущений один з наших сервісів. Сам сервіс ще в стадії Proof of Concept, тому в Kubernetes не переносимо - але ганяти трафік plain-text, тим більш коли це запити до AI Agents з реквестами та відповідями - ідея так собі. Тому є

Виникла на днях цікава ситуація з LiteLLM, коли з одного боку метрики показують, що було багато помилок "від провайдера", а з іншого - в трейсах і алертах помилка була тільки один раз. Довелось трохи покопатись і розібратись з деякими нюансами того, як Li

З'явився у нас новий інстанс, hardware server, на якому будуть наші self-hosted LLM. На сервері буде NixOS - вибір не мій, але система цікава, давно про неї чув - і зараз є чудова нагода з нею познайомитись. Що треба зробити особисто мені - це поки що тіл

OpenRouter на днях анонсував 50% знижки на OpenAI, і вирішили спробувати його. Переключення будемо робити на LiteLLM, на яку вже йдуть запити від всіх наших сервісів - тому переключення буде доволі простим. До OpenRouter в LiteLLM налаштуємо fallbacks нап

В продовження попереднього посту Valkey: запуск в Kubernetes - Helm, monitoring, ACL - там підняли Valkey/Redis, тепер треба додати MongoDB. Робиться для нашого нового сервісу, який ще в експерементальній/PoC фазі, але скоріш за все піде в продакшен, тому

Запускаємо новий сервіс для проекту, і цьому сервісу треба підняти Redis та MongoDB. Сама "технічна задача" виглядає приблизно так: Redis: task queue + some other stuff (e.g. we stream the agent response from LLM to Redis, and if the user is connected on

Це друга частина матеріалу про моніторинг LiteLLM - у попередній ми розібрали загальну інтеграцію з VictoriaStack, а також подивилися, які метрики й трейси отримуємо від LiteLLM (див. LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack). Тепер

Третя частина по запуску LiteLLM - AI Gateway або LLM Proxy, і нарешті добираємось до моніторингу. В першій частині знайомились з LiteLLM в цілому (див. LiteLLM: AI Gateway для LLM - overview можливостей), в другій - запустили в Kubernetes і підключили Vi