vLLM выкатил версию 0.28.0: 584 коммита, 270 участников, критические изменения для владельцев одной GPU. Главное: • max_num_batched_tokens увеличен с 8192 до 16384 — удваивает потребление памяти активаций • bitsandbytes вынесен во внешний плагин — из коробки больше не работает • нужен флаг --max-num-batched-tokens 8192, иначе GPU 16–24 ГБ получит OOM • Transformers обновлён до 5.15.0 • добавлена CPU MLA-поддержка для DeepSeek-V2/V3 Автор замерил ~60% улучшение TTFT и ~17 GiB экономии VRAM на Kimi-K3 — но это на уровне ядра, не end-to-end. К моделям 7B на одной карте эти цифры не относятся. Что это значит: если у вас GPU на 16–24 ГБ, после обновления будет больно. Чините конфиг перед апгрейдом, иначе потеряете доступ к новым фичам вроде экономии памяти при шардинге.