AI Radar — лента🔥 Headroom ужимает контекст агентов на 60–95% — и экономит $0.90 на запрос
Разработчик выкатил Headroom — слой сжатия, который засовывает в LLM только нужное: реальный пример ужал промпт агента с 55 957 до 24 340 токенов без изменения ответа.
Как это работает. Headroom перехватывает контекст до отправки в модель — инструментальные выводы, логи, RAG-фрагменты и файлы. Пользовательский запрос и ответ модели не трогает. Три режима: Library (50–200ms задержки), Proxy (100–300ms) и MCP Server (150–400ms). Моделька — kompress-v2-base, обученная на сжатии.
Что обещают. До 60–95% сокращения токенов на JSON-heavy сценариях, 20% на coding-агентах. При сжатии 50k→20k токенов экономия $0.90 за запрос по ценам GPT-4. Для длинных контекстов это 2–20x выигрыш по стоимости.
Цена. Дополнительные 100–400ms задержки. Для SLA-sensitive сценариев это может перечеркнуть всю экономию.
Headroom — это авторский проект: сам написал, сам выложил. Независимой верификации заявленных цифр нет. Нет сравнения с LLMLingua,ranks и прочими конкурентами. Неизвестно, как сжатие работает на неанглийских языках и на контекстах больше 200k токенов.
Что это значит: идея здравая, цифры красивые, но без независимого замера — это пока маркетинговый прототип, а не инфраструктурный стандарт.
Оригинальная публикация в Telegram