AI RADAR

Понимать важнее,
чем успевать всё.

Выберите новость в ленте. Здесь будет удобно читать.

body{height:auto!important;overflow:auto!important}#app{display:none!important}.ssr-article{max-width:70ch;margin:0 auto;padding:32px 20px;font:18px/1.65 system-ui}.ssr-article p,.ssr-article li,.ssr-article blockquote{white-space:pre-line}AI Radar — лента

🧠 GLM-5.3-Flash разогнали на одной GPU

Автор сам оптимизировал запуск GLM-5.3-Flash размером 181,3 GiB на одной GPU RTX PRO 6000 Blackwell и показал скорость до 16,50 токена в секунду.

Что ускорили. Кеш 66 самых используемых экспертов каждого слоя поднял генерацию с 13,53 до 16,50 токена в секунду. Группировка экспертов при чтении длинных промптов ускорила этот процесс примерно с 614 до 1 750 токенов в секунду. Вместе изменения дали около 1,5-кратного ускорения генерации и 2,9-кратного ускорения чтения промпта.

Почему помогло. 74% выборов экспертов приходится на 35% самых горячих экспертов каждого слоя. Загрузка блоками по 64 и небольшой Triton-ядро помогли поднять скорость широких чтений до 52,1 GB/s, а после расширения чтения блоками задействовать 92% пропускной способности PCIe.

Что это даёт. Модель больше памяти GPU можно запускать с практически неизменным выводом, если выгрузить 125 GiB экспертов в оперативную память. Для сравнения: Qwen3.8-Flash-Next размером 78,5 GiB на том же компьютере выдаёт 173 токена в секунду.

Тесты шли на одной машине с одной контрольной точкой и предрелизной сборкой vLLM с локальными патчами; на vLLM 0.30.0 и новее конфигурацию не проверяли.

Что это значит: большую модель можно запустить на одной 96 GiB GPU, но потребуются поддержка GLM-5.3-Flash, локальный патч и достаточно оперативной памяти.

Оригинальная публикация в Telegram

Понимать важнее,
чем успевать всё.

Поиск по архиву

О проекте

Понимать важнее,чем успевать всё.

Понимать важнее,
чем успевать всё.