Amazon выкатила SOP-Bench — бенчмарк, который оценивает AI-агентов не по отдельным задачам, а на всём пути от начала до конца реальной бизнес-процедуры. Раньше агенты тестировали на изолированных микро-задачах, которые лишь имитируют реальность. Теперь, если верить Amazon, можно мерить способность агента доводить дело до конца в условиях, приближённых к настоящей работе. Никаких метрик, состава процедур или результатов тестирования в блоге нет. Неясно, какие домены охвачены и насколько широк набор. Что это значит: Корпорациям, которые внедряют AI-агентов, нужен способ понять, что они реально умеют, а не красивые цифры на синтетических тестах. SOP-Bench обещает такую возможность — но проверим, когда появятся детали.