Пользователь Reddit запустил 76-ГБ модель на RTX 5070 SFF с 12 ГБ VRAM — и выжал 15 tokens/s при квантовании IQ3_XXS (3 бита на параметр). Главное: • 15 tokens/s — 1K контекст • 14 tokens/s — 20K контекст • 11.3 tokens/s — 90–100K контекст • 128K — максимум контекста, где замеряли • 76-ГБ модель: 47 ГБ в память, 29 ГБ на SSD • RTX 5070 SFF, 12 ГБ VRAM RTX 5070 SFF ещё не выпущен: результаты серийных карт могут отличаться. Качество «на уровне Q6-Q8» — субъективная оценка автора без бенчмарков. Замеры одним пользователем, без контролируемой методологии. Что это значит: крупная языковая модель впервые работает на потребительском GPU ценой ~$550 — порог для локального запуска больших моделей снижается.