AI Radar — лента🤝 Дебаты теперь умеют просить помощь
Авторы предложили слой, который ловит сомнительный консенсус мультиагентных дебатов: в 81,9% ошибочных случаев он предлагал передать решение человеку, а точность на выбранных задачах MMLU-Pro достигла 90,0–96,8%.
Что внутри. Conformal Social Choice не запускает действие автоматически, если агенты просто согласились. Метод объединяет их вероятностные распределения, калибрует результат через split conformal prediction и отправляет человеку случаи с несколькими кандидатами. Для заранее заданного раунда гарантируется нижняя граница вероятности включения правильного ответа 1-alpha. Проверки шли на 8 доменах MMLU-Pro и 2 дополнительных наборах.
Результат. На задачах, где единственный кандидат появился до финального раунда, метод превзошёл остановку по консенсусу максимум на 22,1 процентного пункта. Но это не улучшение рассуждений, а результат отбора более простых случаев.
Простые пороги вероятности и энтропии перехватывали ошибки сопоставимо. Разница в гарантии покрытия для фиксированного раунда, а адаптивная остановка теоретически не покрыта.
Что это значит: слой помогает не доверять ошибочному консенсусу и вовремя звать человека, но пока проверен на небольшом наборе задач.
Оригинальная публикация в Telegram