Пользователь расковырял формат движка Axera AX8850 NPU — теперь GGUF-модели запускаются напрямую, без компиляции. Qwen3-0.6B выдаёт 24.5 t/s на карте M5Stack LLM-8850 — это 1.5× быстрее vendor runtime. Главное: • Int8-веса хранятся в двух nibble-плоскостях — раскладка расшифрована для всех 7 матриц на слой • GGUF деквантизируется, реквантизируется под шкалы движка, меняются только затронутые байты • Batched-prefill (716 t/s) заработал после исправления привязки выходных буферов 96% совпадение токенов с CPU-референсом — не 100%, потеря точности при квантизации есть. Метод привязан к AX8850, тестировался только на Qwen3-0.6B. Что это значит: проблема была не в железе, а в софте — исправление буферов открывает путь к запуску GGUF на NPU без vendor-компиляции. Llama.cpp получает plug-and-play доступ к ещё одному ускорителю.