AI RADAR

Понимать важнее,
чем успевать всё.

Выберите новость в ленте. Здесь будет удобно читать.

body{height:auto!important;overflow:auto!important}#app{display:none!important}.ssr-article{max-width:70ch;margin:0 auto;padding:32px 20px;font:18px/1.65 system-ui}.ssr-article p,.ssr-article li,.ssr-article blockquote{white-space:pre-line}AI Radar — лента

💧 Mistral выпустила Large 4: миллион токенов контекста и MoE за копейки

Mistral AI выкатила Mistral Large 4 (Le Chonk) — MoE с 1,05 трлн параметров, но при каждом запросе работают только 49 млрд. Контекст — миллион токенов, нативный ввод картинок.

API уже доступен, открытые веса — в конце октября.

Архитектура. Смешанная экспертная система: триллион «весов» в хранилище, но задействуется малая часть. Это позволяет держать огромную ёмкость модели и при этом экономить на инференсе. Плюс мультимодальность из коробки.

Масштаб. На обучение ушло 3800 GPU NVIDIA Grace Blackwell. Контекстное окно в миллион токенов — можно скормить хоть целый репозиторий за раз, хоть стопку юридических документов.

Mistral не показала ни одного бенчмарка: MMLU, HumanEval, MATH — пусто. Без сравнений непонятно, где эта модель стоит относительно конкурентов.

Что это значит: MoE-архитектура с триллионом параметров, которая при инференсе просит ресурсы как модель в десятки раз меньше. Если бенчмарки подтянутся — получится мощный и дешёвый рабочий инструмент.

Оригинальная публикация в Telegram

Понимать важнее,
чем успевать всё.

Поиск по архиву

О проекте

Понимать важнее,чем успевать всё.

Понимать важнее,
чем успевать всё.