133 ГБ MoE-модель поехала на 8 ГБ VRAM — 11 токенов/с через стриминг экспертов с NVMe. Разработчик helgard-orlm написал движок на PyTorch + Triton с нуля и пустил её в Open WebUI как обычную чат-модель. Как это работает. 63 ГБ экспертов лежат на диске, в VRAM живёт только 6.13 ГБ (DeltaNet в FP8). На каждый токен модель грузит 10 из 512 экспертов через 48 слоёв — каждый эксперт весит 2.70 MiB в NVFP4. Антропик (Claude) помогал с движком и ядрами, OpenAI (Codex) — с ускорением CUDA-graph, NVIDIA опубликовала Qwen3.8-Flash-Next. Все замеры авторские — независимого бенчмарка нет. Неясно, насколько метод масштабируется на другие модели и более медленные NVMe. Что это значит: 133 ГБ MoE перестаёт быть привилегией дата-центра — при наличии быстрого NVMe потребительская RTX 5060 справляется. Для кого это актуально — вопрос открытый: 11 токенов/с хватает для чтения, но медленнее классических локальных движков на моделях, целиком умещающихся в память.