Полный bf16-чеклист 125B MoE-модели впервые запустили на одной бытовой видеокарте: ~6 ГБ пикового потребления на RTX 4090 (24 ГБ VRAM). Автор протестировал это на AirLLM — собственной библиотеке, которая стримит слои в GPU иначе, чем стандартные решения. Как это работает. Модель весит 360 ГБ на диске, из них 102 ГБ приходится на таблицу n-gram embedding. AirLLM не грузит её в видеопамять, а подключает через mmap — она лежит в оперативной памяти (64 ГБ) и подкачивается на лету. Веса слоёв тоже загружаются по одному: активных параметров на токен — всего ~6B, остальное подгружается с диска при каждом слое. При первом запуске AirLLM раскладывает чекин послойно и одновременно хранит оригинал — нужно несколько сотен гигабайт свободного места. Скорость генерации (tokens/sec) автор не приводил. Что это значит: 125B-модель без квантизации умещается в GPU от 8 ГБ — это делает полноценный локальный запуск и даже fine-tuning реальным без облака и API.