AI Radar — лентаGoogle нашла способ, как заставить AI-агентов учиться, а не заучивать ответы
Google Research показала метод RRSI: он не даёт AI-агентам зазубривать тестовые задачи при самосовершенствовании. Без него агенты набирают +14.1 балла на знакомых задачах, но ноль — на новых.
С RRSI прирост сохраняется: 14.1 на обучающих и 4.7 на невиденных бенчмарках.
В чём фокус. RRSI ограничивает размер редактирований бюджетом, который сужается со временем. Кандидаты с жёстко заданными именами задач или решениями отбрасываются. Параллельно метод Nvidia SoL-Pi сократил потребление токенов на 49%, но не решал проблему переноса.
Цифры переноса. Harness, оптимизированный на Gemini 3.5 Flash, без изменений поднял точность Gemini 3.1 Flash Lite с 11.2 до 14.6. Для сравнения: Opus 4.6 с вручную созданным harness показывал 97.1% в знакомой среде и 0% в незнакомой. RRSI — единственный из протестированных методов, который не деградирует ниже базового уровня на новых задачах.
Цена вопроса. RRSI сократил потребление токенов на 30% по сравнению с нерегуляризованной версией. Тестирование шло на восьми бенчмарках: кодинг, офисные задачи, инженерный дизайн.
Исследование охватывает только harnesses вокруг замороженных моделей; случаи с изменением весов не рассматривались.
Что это значит: появился воспроизводимый способ научить агентов обобщать, а не мухлевать на тестах. Это делает перенос harness между моделями массовым сценарием — оптимизируешь на мощной, работает на слабой.
Оригинальная публикация в Telegram