AI Radar — лента🔧 AKV урезает расходы агентов на KV-кэш
Исследователи Университета Цинхуа и CUHK открыли исходный код AKV. Система снижает стоимость агентских сценариев в среднем на 27,7%, а результат растёт на 1,7 пункта.
Что внутри. AKV управляет KV-кэшем LLM-агентов поверх SGLang: записи можно удалять и перемещать, не меняя текстовую историю и не пересчитывая сохранённые состояния. На GPT-OSS-120B в SWE-bench Verified стоимость одной задачи снизилась с 20,0 до 9,7 цента, а результат вырос с 40,0 до 43,2.
Задержка и нагрузка. При конкурентности 16 P95-задержка упала с 229,90 до 30,63 секунды. Время полного внимания на шаг декодирования сократилось с 7 082 до 2 849 мс. Это важно для длинных агентских сессий, где чтения KV-кэша занимали 82,4% расходов API.
Агент может управлять кэшем сам. Если дать GPT-OSS-120B инструмент управления кэшем, результат на подмножестве из 100 задач вырос с 52,1 до 61,0. Но на minimax-M2.7 такая схема увеличила стоимость с 5,4 до 5,9 цента.
Пока AKV поддерживает только текстовые модели Qwen, GPT-OSS и minimax-M2; эффективность на других моделях неизвестна.
Что это значит: управление кэшем становится отдельным слоем оптимизации для агентов, где можно одновременно снижать цену и ускорять выполнение.
Оригинальная публикация в Telegram