AI Radar — лента🧠 Stanford выпустила модель, которая выбирает действие за микросекунды — без генерации текста
Stanford Hazy Research опубликовала CLM-8B: вместо генерации текста она сравнивает вектор текущего состояния с векторами кандидатных действий и берёт лучшее.
При ~1000 возможных действий задержка падает в 13 раз, в zero-shot тестах — в 9 раз при том же качестве. Модель — 8B параметров, веса открыты.
Механика. CLM вычисляет вектор состояния f(s) и вектор действия g(aᵢ) через отдельные энкодеры, затем выбирает действие через argmax скалярного произведения f(s)·g(aᵢ). Обучается контрастивной функцией потерь InfoNCE — заточена под то, чтобы правильные пары состояние-действие были «ближе» в пространстве эмбеддингов, чем неправильные.
Главный трюк. Векторы действий можно рассчитать один раз и закэшировать. Если набор действий фиксированный — команды терминала, инструменты агента — накладные расходы на выбор падают драматически.
Заявленные 13x и 9x — от команды CLM, а не из независимого бенчмарка. Преимущество также резко падает, когда каждое действие уникально и не повторяется: кэшировать нечего.
Что это значит: для задач с повторяющимся набором инструментов или команд — автоматизация, агенты, CI — можно получить заметное ускорение без потери качества. Но насколько это воспроизводится на отдельных замерах и как работает с динамическим набором действий, пока открытый вопрос.
Оригинальная публикация в Telegram