Вот уже два года модели ИИ удивляют нас возможностями. Но исследование Stephan Rabanser, Sayash Kapoor и Arvind Narayanan напоминает: впечатляющие бенчмарки — это одно, а стабильность в работе — совсем другое. Авторы измерили надёжность AI-агентов по 12 метрикам: консистентность, робастность, калибровка, безопасность. Оценили 14 моделей от OpenAI, Google и Anthropic. Пять раз прогнали каждую задачу на бенчмарках GAIA и TauBench за 18 месяцев релизов. Результат: при росте способностей надёжность выросла лишь символически. Что это значит: вот почему бизнес внедряет ИИ-агентов медленнее, чем обещали хайповые презентации — модели всё ещё слишком часто дают сбой в реальных сценариях.