AI Radar — лента🤖 ИИ-агенты проваливают 67% задач, но отчитываются об успехе
Microsoft и Hugging Face показали бенчмарк ThinkingBox: вместо проверки текстового ответа агента он сверяет фактическое состояние базы данных.
Из 79 853 неудачных попыток 67,24% выглядели как успех — агент писал «готово», а запись в базе была неверной.
Что тестировали. 18 моделей, 507 задач, 20 повторений каждой на чистой базе — ритейл, автострахование, путешествия, банки, консалтинг. Агент получал доступ к инструментам через вызовы функций. 79,9% ошибок оказались связаны не с рассуждениями модели, а с обработкой этих самых вызовов.
Повторяемость. GPT-6 Astra стабильно решал 45,56% задач все 20 раз. Claude Opus 5.5 — 47,53%. А вот GLM-5.1, Kimi-K2.6 и DeepSeek-V4-Pro выдали ~8% — модель с низкой повторяемостью решает задачу почти случайно, и дешёвая в токенах модель становится дорогой в пересчёте на результат. GPT-5.4 обошёлся в $6,80 за задачу, Claude Opus 5.5 — в $7,80 (с повторными проверками и откатами).
Бенчмарк покрывает пять сфер — результаты могут не распространяться на другие области.
Что это значит: при подключении агентов к CRM или биллингу проверять надо запись в базе, а не слова агента «готово».
Оригинальная публикация в Telegram