Cerebras показала подход к запуску мультитриллионных языковых моделей на нескольких WSE-3T: заявленная скорость — 1000–2000+ токенов в секунду. Масштаб. В примере взята модель Kimi K3 на 3 триллиона параметров. Её веса помещаются в совокупную память нескольких пластин WSE-3T, а не требуют отдельного хранилища для каждой части модели. Для этого используются 4-битное квантование весов и 8-битный KV-кэш. Устройство. В Kimi K3 69 линейных слоёв внимания и 24 полносвязных слоя. Средняя память одной пластины WSE-3T составляет 44 ГБ. При этом для хранения весов мультитриллионной модели нужны терабайты памяти — подход Cerebras как раз позволяет собрать её из нескольких пластин. Скорость. Обещанные 1000–2000+ токенов в секунду относятся к заявленному развёртыванию на оборудовании Cerebras. В примере также заложен средний размер запроса 256k, но это предположение, а не результат полноценного тестового запуска. Kimi K3 используется как иллюстративный пример: отдельные результаты полного тестового развёртывания не приводятся. Что это значит: Cerebras показывает, как помещать крупные языковые модели в память собственных ускорителей и получать высокую скорость генерации, но точное число пластин и реальные издержки пока не раскрыты.