Авторы на основе собственных тестов описали переход индустрии на гибридные архитектуры с линейными слоями Mamba-3 или DeltaNet и блоками полного внимания. Схема простая: 75% слоёв — линейные, 25% — обычный attention. Что получилось у конкретных моделей: • Qwen3-Next — ~10x ускорения на 256 тыс. токенов против предыдущего поколения • Nemotron 3 — 3x рост пропускной способности при 1 млн токенов • Kimi Linear — 75% сокращение расхода памяти под KV-кэш • Nemotron 3 Nano — буфер на 220 тыс. токенов занимает 6,4 ГБ вместо 68 ГБ Инструментарий vLLM и SGLang для гибридных архитектур требует ручной настройки планировщика памяти и пересборки под свежие драйверы CUDA, а 4-битное квантование применимо хуже: чувствительные матрицы приходится держать в FP8, что увеличивает файл весов на 15–20%. Что это значит: при запросах свыше 16–32 тыс. токенов или десятках одновременных сессий один серверный узел заменяет несколько стоек — экономия и по железу, и по скорости.