AI Radar — лента🔥 Однобитная LLM Bonsai: дистилляция, а не квантизация — и это меняет всё
Исследователь разобрал однобитную модель Bonsai от PrismML и выяснил: веса получены не послойной квантизацией, а дистилляцией от модели-учителя.
При перплексии 16,53 против 12,32 у полноточной Qwen3-1.7B она занимает ~4 ГБ вместо ~54 ГБ. Автор воспроизвёл метод на одной видеокарте и доказал: однобитные модели можно учить, а не только квантовать.
Что внутри. Bonsai дальше от оригинальных весов Qwen, чем результат наивного округления (косинусное сходство 0,41–0,58 против 71–79% у округления), но работает. В самых малых весах инвертировано до 48% знаков, в самых крупных — лишь 5,6%. Сжатие матриц блоков — 14,2×, но общий размер сократился лишь в 3,2× (от 1137 до 356 МБ) из-за таблицы словаря в 16 битах. Скорость генерации осталась на уровне 37,2 токена/с: упаковка битов не реализована, матрицы разворачиваются в bfloat16 при выводе.
Как повторили. На Qwen3-0.6B автор обучил однобитного студента дистилляцией на выходе учителя — 300 млн токенов, ~15 часов на одной видеокарте. Совпадение первого токена с учителем — 70%, при уверенности учителя — до 96,4%. Финальная перплексия студента — 27,85 против 25,02 у самого учителя.
Автор проверял метод на модели 0,6B — результат для полноразмерной 1,7B не подтверждён. Для сжатия всей 1,7B до качества Bonsai потребуются на порядки большие ресурсы, чем эксперименты на ноутбуке.
Что это значит: однобитные LLM — не удел квантования, а отдельный класс моделей, которые можно учить заново. Bonsai доказывает, что принципиально иной путь сжатия работает.
Оригинальная публикация в Telegram