Overview
News
Technologies
Salaries
Products
People
Growth
Financials
Overview
Practical guides on FreeBSD, Linux, DevOps, AWS, Kubernetes, monitoring and networking. Real cases from production with step-by-step solutions.
News
LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
Готуємось до запуску self-hosted LLM, і на етапі тестування загальна ідея така, що будемо слати запити від клієнтів одночасно і до "дефолтної production моделі" типу GPT-5.6 - і до моделі на нашому власному сервері. А після отримання відповідей - будемо в
Read more
Report
llama.cpp: метрики та моніторинг з VictoriaMetrics
Є у нас сервер, на якому будемо запускати self-hosted LLM. Довго вибирали на чому саме запускати моделі - vLLM, SGLang, або llama.cpp, і врешті-решт зупинились саме на llama.cpp - принаймні на даний момент. В пості NixOS: знайомство, установка пакетів та
Read more
Report
Ubuntu: установка NGINX та TLS-сертифікат з Let's Encrypt та AWS Route53
Є сервер з Ubuntu, на якому запущений один з наших сервісів. Сам сервіс ще в стадії Proof of Concept, тому в Kubernetes не переносимо - але ганяти трафік plain-text, тим більш коли це запити до AI Agents з реквестами та відповідями - ідея так собі. Тому є
Read more
Report
LiteLLM: метрики, traces та дебаг exception_class="ValueError"
Виникла на днях цікава ситуація з LiteLLM, коли з одного боку метрики показують, що було багато помилок "від провайдера", а з іншого - в трейсах і алертах помилка була тільки один раз. Довелось трохи покопатись і розібратись з деякими нюансами того, як Li
Read more
Report
NixOS: знайомство, установка пакетів та конфігурація системи
З'явився у нас новий інстанс, hardware server, на якому будуть наші self-hosted LLM. На сервері буде NixOS - вибір не мій, але система цікава, давно про неї чув - і зараз є чудова нагода з нею познайомитись. Що треба зробити особисто мені - це поки що тіл
Read more
Report
Pro access
Upgrade to see all 39 mentions
Upgrade to a paid plan to read every media mention of this company - funding news, awards, product launches and press releases from all the outlets writing about it.
Every media mention and press release
Funding news, awards and product launches
Fresh coverage from every outlet writing about the company
Upgrade now
Cancel anytime. Secure checkout. Instant activation.