AI Radar — лента🧠 Модель научилась сама чистить свой контекст. Результат — точнее и дешевле
Meta, MIT и Вашингтонский университет представили Context Language Models: модель редактирует свой контекст как файл — переписывает старые сообщения, удаляет лишнее, сохраняет важное.
На BrowseComp-Plus прибавка 11,4% точности и 21,5% сокращение вычислений. Qwen3.5-9B после обучения с подкреплением поднялась с 28,8% до 42,5% на той же задаче.
Как это устроено. Вместо внешних механизмов — компрессии, извлечения или offloading — модель получает встроенную способность формировать стратегии управления контекстом. Она учится этому через in-context learning и может переносить выученные приёмы на новые задачи. На ContextBench прирост достигает 35,9 п.п.
Риски. Если модель удалит что-то важное — назад не вернуть. Редактируемый контекст открывает новые векторы атак: prompt injection, сохранение самогенерируемых инструкций между сессиями. Кроме того, результаты замерены на специфических бенчмарках — в production результат может отличаться.
Что это значит: модель научилась сама решать, что держать в голове. Прирост точности при сокращении вычислений — но с новыми рисками, которые ещё предстоит закрыть.
Оригинальная публикация в Telegram