StepFun опубликовала на Hugging Face и ModelScope Step 5 Preview — sparse MoE с открытыми весами. Всего 600B параметров, но на каждый токен активируются только 27B. Длина контекста — 1M токенов. Что внутри. Архитектура sparse MoE: за раз задействуется малая часть «экспертов», остальные простаивают. Это позволяет держать огромное число параметров без безумия по памяти. Модель заточена под агентные сценарии и работу с длинными цепочками рассуждений — там, где нужен длинный контекст. Что с качеством. Ни бенчмарков, ни сравнений с Llama и Qwen — ничего. Название Preview говорит само за себя: это не финальный релиз. Также неизвестна лицензия — а без неё непонятно, можно ли использовать модель коммерчески. Что это значит: sparse MoE с окном в миллион токенов и открытыми весами — редкое сочетание. Разработчики смогут экспериментировать с длинным контекстом без привязки к закрытым API, но пока без данных о том, насколько хорошо это всё работает.