AI Radar — лентаTernary Bonsai 2: 27B-модель в 6 ГБ на домашнем GPU
Команда из Caltech выкатила Ternary Bonsai 2 27B: 27 миллиардов параметров ужались до 5.9 ГБ ценой всего 1.8% потери качества.
Веса хранятся в ternary {−1, 0, +1}, применяется blockwise Hadamard rotation — метод из Caltech, проект поддержан Khosla Ventures, Google и Samsung.
Что внутри. Основа — Qwen3.8 27B, заменили предыдущую Qwen3.6. Все матрицы весов проходят через ternary-квантизацию: embeddings, attention, MLP, LM head. Архитектура MoE обеспечивает 1.76 бита на вес (группировка g128 даёт ~1.72). Скорость на NVIDIA RTX 5090 — 143 токена в секунду, на Apple M5 Max — 46.8 токенов в секунду. Контекст до 262К токенов, энергоэффективность на 40% лучше, чем у 8B-модели в полной точности.
Что это значит: 27B-модель больше не требует серверного железа — она влезет в потребительский GPU или ноутбук. При этом сжатие настолько аккуратное, что low-bit quantization выглядит как полноценная стратегия деплоя, а не временное решение.
Все бенчмарки и скорости — самосвидетельствование команды. Независимой оценки нет. Vision tower (0.92 ГБ) остаётся в FP16, так что мультимодальная версия потребует больше памяти.
Оригинальная публикация в Telegram