AI Radar — лента🤖 ИИ-агенты получат «внутренний голос» — быстрее LLM-судьи в 10 раз
VIDRAFT опубликовал метод ZTC, который оценивает надёжность действий ИИ-агента по внутреннему состоянию модели без генерации токенов.
Вместо отдельного LLM-судьи система читает распределения вероятностей, геометрию эмбеддингов и паттерны внимания. По качеству классификации AUC 0.7289, по скорости — 0.06 с против 0.59 с у эталона. Разница в качестве — 0.6%, выигрыш по времени — ≈10x.
Как это работает. ZTC не вызывает вторую модель, а анализирует то, что осталось от первого инференса: logits по всему словарю, изменения в векторном пространстве и активность attention-голов. На этих сигналах обучается бинарный классификатор — и выдаёт оценку уверенности, не сгенерировав ни одного токена.
Зачем это нужно. Для high-frequency агентов двойной инференс — двойной счёт. ZTC убирает вызов внешнего судьи целиком: вместо двух моделей работает одна, вычисления сокращаются вдвое. Метод работает в закрытой сети без обращения к внешним API — это делает его применимым в банковском секторе, здравоохранении, оборонке.
ZTC несовместим с закрытыми API: ему нужен доступ к внутренностям модели, а не только к сгенерированному тексту. Кроме того, метод не объясняет, почему отклонил действие, — только выдаёт число.
Что это значит: Если вы разворачиваете ИИ-агентов в чувствительной среде и считаете миллисекунды — ZTC решает обе проблемы сразу. Если нужен аудит и объяснения — LLM-судья пока вне конкуренции.
Оригинальная публикация в Telegram