Miquavant выложил Runner — инструмент, который обучает LoRA прямо на квантованных GGUF-файлах. Без PyTorch, без FP16-копии модели. Главное: • Обучение идёт на точных весах, которые потом работают в инференсе • Адаптер сливается в standalone GGUF без промежуточной конвертации • Хватит 200 шагов и ранга 8 в примере от автора • Runner самодостаточен — не нужны Python-окружение, transformers или PyTorch При слиянии адаптера в 4-битный GGUF Runner отказывается делать это без принудительного флага: адаптер «исчезает» в квантованной массе. Точность обучения на 4-bit базе против QLoRA на NF4 и скорость на CPU против GPU не замерены. Что это значит: можно дообучать модель прямо на квантованном файле — не занимать место FP16-копией и не тащить Python-стек. Один бинарник, один GGUF, адаптер отдельно или внутри.