AI Radar — лента🛡️ OnTrack: автономного агента научились останавливать за миллисекунды до провала
Разработчик представил OnTrack — систему мониторинга агентов в реальном времени на основе потокового оптимального транспорта. Задержка составляет всего ~1 мс на шаг против 200–500 мс у стандартных safeguard-агентов.
Как это работает. Система строит граф зависимостей между шагами агента и вычисляет OT-расстояние — метрику, которая отличает безопасное переупорядочение от опасного отклонения. Обновление графа — <0,5 мс, само вычисление — <1 мс для графов до 100 узлов. Общие накладные расходы укладываются в 1–2 мс на шаг.
Результаты. На SWE-bench система набрала +0,057 AUROC в ранжировании провальных траекторий после восьми шагов. При политике раннего прерывания удалось сэкономить ~18% вычислений на провальных запусках. Точность самой политики — 83%: пять из шести прерванных запусков действительно шли к провалу. Пороги задаются вручную (0,2 для консервативной политики, 0,5 — для пермиссивной).
Все замеры на SWE-bench: в продакшене, где среды меняются чаще, референсные траектории быстро устаревают, и выигрыш может быть скромнее. При холодном старте, когда референсов нет, система ловит только циклы и зависания.
Что это значит: высокочастотные сценарии — торговые агенты, IT-триаж — впервые получают мониторинг, который не тормозит исполнение и окупается даже с учётом потерь на ложные прерывания.
Оригинальная публикация в Telegram