AI Radar — лента🔬 816 млрд параметров теперь на столе: Meta и Apple показали локальный фронтир
Meta выкатила Muse Spark Open, а Apple тут же подсуетилась с гайдом: как запустить 816B-модель на Mac Studio M5 Ultra. Почти триллион параметров — теперь не облако, а десктоп.
Что внутри. MoE-архитектура: 256 экспертов, но за проход работают только 8 — 42B активных параметров из 816B. Контекст — 1 млн токенов. В квантовке NVFP4 умещается в 493 GB, нативный BF16 требует 1.6 TB.
Железо и цены. Четыре M5 Ultra по 512 GB unified memory каждый выдают 36.7 tok/s. Time to first token: 4.8 сек при 8K контексте, 40.6 сек при 65K. Стоимость всей сборки — $38 000. Для сравнения: RTX 5090 даёт 32 GB, DGX Spark — 128 GB. У Apple такого объёма в настольном формате просто нет.
Когда окупается. Порог окупаемости против облака — 370K токенов в день (11M в месяц). При текущих ценах Together AI это эквивалент $555/мес на API. Одна машина M5 Ultra 256GB с DeepSeek 4.1 Flash выдаёт 3200 tok/s — для мелких задач хватит и этого.
Apple замеряла Muse Spark Open в NVFP4 против Qwen в нативном BF16 — это подыгрывает Meta. Облако на H200 всё равно быстрее в 5–10 раз.
Что это значит: Apple с 512 GB unified memory наращивает аппаратный барьер, который NVIDIA и AMD не могут закрыть в настольном сегменте. Для медицины, юриспруденции и обороны — это первое реальное предложение локального фронтира без утечек в облако.
Оригинальная публикация в Telegram