AI Radar — лента🤖 Агенты должны сначала проверить, а потом действовать
Богдан Хордий представил разбор EpiSEM-Bench — работы с идентификатором 2610.31650 на arXiv. Автор сам предложил двухэтапный протокол: сначала спланировать действие, затем выполнить его.
Что изменилось. Вместо того чтобы доверять успешному ответу внешнего инструмента, агент должен проверить обязательные параметры безопасности. Если нужных сведений нет, их предлагается восстановить целевыми запросами. При нарушении инвариантов действие блокируется.
Как это устроено. В примере реализации используются конкретные условия environment, has_write_lock и backup_verified. То есть агент не просто получает разрешение от инструмента, а отдельно проверяет, что среда безопасна, запись действительно защищена, а резервная копия подтверждена.
Зачем это. Без такой проверки агент с неполными ответами инструментов может выполнить разрушительную операцию над защищённым ресурсом. Явная проверка позволяет остановиться до действия, если доказательства разрешения отсутствуют или инварианты нарушены.
В материале нет численных результатов тестов, списка проверявшихся моделей и размера выборки. Эффективность решения на реальных системах также не показана.
Что это значит: для агентных систем нужен не только успешный вызов инструмента, но и отдельный обязательный этап проверки безопасности.
Оригинальная публикация в Telegram