Идея в том, чтобы не тащить весь KV-кэш через attention. Запрос сначала оценивает центроиды в векторном пространстве, открывает только нужные region'ы и считает attention только над {sinks + recent window + selected regions}. Ключевое — модель остаётся frozen. Никакого retraining. Результат: на Qwen3.5-2B при 32k контексте — до 31x меньше KV reads, на Qwen3-4B — 3.7–6.4x. При этом retrieve target задачи проходят и с mapped routing, и с full attention, а window-only и random-routing не справляются. Ложка дёгтя: на нормальных контекстах routing overhead делает метод медленнее optimized dense attention в wall-clock time. Пока тестировали только на retrieval, без реальных бенчмарков. Что это значит: dense модели могут получить эффективный sparse attention без переобучения — вопрос в том, когда это окупится на реальных задачах.