Раньше для запуска text-to-image моделей нужно было 20-30 ГБ видеопамяти и танцы с компиляцией CUDA. Теперь всё иначе. Hugging Face запилили Nunchaku с W4A4-квантованием прямо в Diffusers. W4A4 — это когда и веса, и активации хранятся в 4 битах. Раньше требовалась отдельная библиотека и локальная компиляция, теперь один вызов from_pretrained() — и поехали. Фишка в том, что это ускоряет сам denoising loop, а не только место на GPU. Значит, потянет и на обычной игровой видеокарте. Подробности: какие именно GPU поддерживаются и конкретные цифры latency — авторы постеснялись. Что это значит: стабильные диффузионные модели становятся ближе к обычным пользователям, а не только к тем, у кого A100 в стойке.