AI Radar — лентаLLM научилась сама решать, когда забыть лишнее
Исследователи из Johns Hopkins предложили метод сжатия контекста в длинных рассуждениях LLM: прирост качества до 18.1% на математике и 5–9% на агентном поиске, снижение затрат на 30–70%.
Механизм. SELFCOMPACT — это не порог токенов, а два компонента: инструмент суммаризации, который вызывает сама модель, и легковесная рубрика, определяющая, когда сжимать. Рубрика решает, решена ли подзадача или траектория сошлась — тогда сжимаем. Если агент ещё в процессе или застрял — не трогаем.
Масштаб. Семь моделей на шести бенчмарках. На математике прирост до 18.1% к базовой модели без суммаризации, на агентном поиске — 5–9%. При этом стоимость на вопрос падает на 30–70%.
Главное. Метод не требует дообучения: сжатие становится способностью скаффолда, а не самого LLM. Любая модель с Chain-of-Thought получает эту функцию.
Неизвестно, как подход работает на задачах, требующих длительного удержания контекста без сброса: тестировали только на математике и агентном поиске.
Что это значит: длинные агенты становятся экономически целесообразными — снижение стоимости на 30–70% при сохранении качества снимает главный барьер для их массового применения.
Оригинальная публикация в Telegram