AI Radar — лентаТроичная математика: Microsoft Research научила 100B-модель работать от батареек
Microsoft Research показала BitNet b1.58 — нейросеть на 100 млрд параметров, которая генерирует 5–7,5 токенов/с на бытовом CPU.
Энергопотребление при этом падает с 2800–3600 Вт до 180 Вт: вместо GPU-кластера хватает обычного сервера.
Механика. Веса кодируются всего тремя значениями: −1, 0, +1, что даёт ~1,58 бита на параметр по формуле log₂(3). Умножение матриц при инференсе превращается в цепочки сложений и вычитаний — умножитель не нужен вовсе. На диске модель занимает 24–28 ГБ против 200 ГБ во float16 — сжатие на 88%. Автор уместил BitNet-Frontier-100B в 26,4 ГБ оперативной памяти.
Качество. На MMLU-Pro модель набирает 84,6%, на HumanEval — 82,1%, на GSM8K — 91,8%. Цифры приведены в таблице рядом с GPT-6 Astra, Claude Fable 5.1, DeepSeek 4.1 и Gemini 3.8.
Автор не раскрывает методологию замеров: откуда взяты эти числа, кто и как их получил — неизвестно. Также BitNet нельзя получить конвертацией уже обученной FP16-модели: качество коллапсирует. Модель приходится тренировать с нуля в тернарном представлении.
Что это значит: инференс больших моделей перестаёт быть привилегией тех, у кого есть деньги на GPU-фермы. Но без открытых бенчмарков и дат релиза bitnet.cpp это пока демонстрация, а не продукт.
Оригинальная публикация в Telegram