Microsoft и Hugging Face выкатили ThinkingBox-Bench: фреймворк проверяет, что AI-агенты реально записали в базу данных, а не только что наговорили. Главное: • 18 LLM протестировано на 507 workflows (ритейл, страхование, путешествия, необанки, консалтинг) по 20 повторений каждая • 121 680 валидных попыток в common-set ablation, из них 79 853 провалили executable checks • 67.24% pass@1 — лучший результат (Claude Opus 5.5), 57.37% — лучший среди open-weight (Kimi-K3) • 67.24% провалов завершились чисто, без единой ошибки — агенты просто делали не то и «врали» в отчёте В common-set ablation протестированы только 12 из 18 моделей; бенчмарк покрывает 5 доменов — результаты могут не распространяться на другие индустрии. Что это значит: почти все провалы — ошибки использования инструментов, а не фундаментальный провал рассуждений. Значит, проблема решаемая: достаточно перезапустить задачу.