NextByte Tech замерила пропускную способность трёх инференс-движков на dual RTX 4090 при 1–32 одновременных запросах. SGLang при 32 клиентах выдаёт 461.5 tok/s, а Ollama при той же нагрузке падает с OOM. Пропускная способность. На Qwen 2.5 Coder 32B при 32 конкурентных клиентах SGLang выбивает 461.5 tok/s, vLLM — 412.8 tok/s. Ollama не держит эту нагрузку и валится. Разрыв с одиночным клиентом — в 7–8 раз. При 1 клиенте Ollama ещё конкурентен: 44.2 tok/s, но уже при 8 клиентах показывает 52.1 tok/s против 318 tok/s у SGLang. TTFT. RadixAttention в SGLang сокращает время до первого токена на тёплых запросах с 440 до 38 мс — в 11.6 раз. vLLM с prefix caching разгоняется с 480 до 92 мс (5.2x). Ollama с холодного prefill на 620 мс еле-еле выходит на 410 мс (1.5x). Для agentic-систем с длинным system prompt это зазор между отзывчивостью и раздражением. Когда Ollama ок. Для персональных задач без очередей — сойдёт. Для серверов с десятками пользователей — PagedAttention в vLLM и RadixAttention в SGLang не оставляют шансов. Автор провёл замеры единолично, без независимой верификации. Результаты справедливы только для RTX 4090. Что это значит: выбирайте SGLang для high-throughput серверов с длинными контекстами, vLLM — для сбалансированного варианта, Ollama — для локальной разработки.