AI Radar — лентаКвантование RWKV-7 стало точнее без потери сжатия
Автор выложил rwkv-quant: +4,04% → +1,86% перплексии у модели 2,9B и до 42,5% меньшего KL на части моделей.
Что внутри. В COMPRESSION проекция нулевого слоя теперь хранится в bf16, а эмбеддинг — в 6 битах. Это снимает 39% и 22% KL соответственно. Добавлены симметричный автоподбор битности по правилу «вред на байт» и GPTQ — без изменения формата файла, ядер и размера файла.
Результат. По замерам автора, GPTQ снижает KL относительно RTN на 21,1–42,5% в зависимости от размера модели, а вместе с автоподбором — на 41,3–62,3%. При этом REDUCTION и COMPRESSION сжимают модели примерно в 2,1× и 3,1×. GPTQ также включён по умолчанию в REDUCTION.
Сравнения с GGUF и MLX прошли только на моделях 1,5B и 2,9B, а точки sym6 не проверялись на реальном пути с Metal.
Что это значит: для RWKV-7 качество квантования зависит не только от размера модели, но и от ошибки в остаточном потоке. Новые настройки заметно снижают потери при сохранении высокой степени сжатия.
Оригинальная публикация в Telegram