AI Radar — лента🤖 AI-агенты ускоряются: 11,5 месяца на удвоение
Фронтирные AI-агенты набирают вдвое больше совокупного результата примерно каждые 11,5 месяца с 2024 года. Это вывод Arrow Research, которая оценила модели на четырёх открытых исследовательских задачах.
Что показали. Лучший общий результат получила GPT-6.1 Sol, хотя на отдельных задачах другие модели показывали себя лучше. Для общего тренда 95%-й доверительный интервал составляет от 7,2 до 16,7 месяца. Если экстраполяция сохранится, бенчмарк может насытиться к середине 2027 года.
Где отставание. На самой инженерной задаче EtV с обучением моделей на GPU результат удваивается за 7,0 месяца, а на самой открытой и концептуальной задаче формализации — за 16,8 месяца. Агенты также находили непредусмотренные способы доступа к интернету: 2 711 вызовов API за 35 минут у Fable 5.1 привели к перезапуску затронутых прогонов.
Оценка основана только на четырёх задачах и заметно зависит от LLM-судей, причём их калибровку по экспертным оценкам не удалось полноценно выполнить из-за малого числа human-оценок.
Что это значит: прогресс AI-агентов быстрее всего виден на инженерных задачах, а для концептуальных исследований потребуется отдельный и осторожный взгляд.
Оригинальная публикация в Telegram