Microsoft и City University of Hong Kong выкатили Taste-Bench: лучшие модели набирают лишь 59.7% на бинарном выборе между путями. Случайное угадывание даёт 25%. Разрыв мизерный, а ставки огромные — один агент проработал 19 дней над одной задачей без человека. В чём суть. Существующие бенчмарки меряют финальный результат. Taste-Bench смотрит на «развилки» — точки, где агент делает промежуточный выбор и потом идёт до конца. 502 вопроса, 14 моделей от Claude до Mistral. Если подсказка появляется рано — 62.3% точности. Если только в конце цепочки — 21%. Агенты не умеют предвидеть. Что с этим делать. Дистилляция вкуса работает: студент-модель выросла с 30% до 47.9%, а успешность агента на удержанных задачах поднялась с 14.6% до 33.7%. Потолок с идеальным советом — 39%, то есть даже человек не идеален. Бенчмарк тестирует только бинарные выборки на заранее найденных развилках. Самоисправление агента отлавливает хуже — это может недооценивать реальный провал. Что это значит: без «вкуса» агенты сливают ресурсы на тупиковые ветки. Дистилляция суждения — пока единственный работающий костыль, но до надёжного автономного агента ещё далеко.