Niko1221 выложил Strata: 125B модель от Alibaba заработала на одной RTX 4090 (24 ГБ) со скоростью 100 T/s. Как это устроено. Strata использует оптимизацию памяти и, вероятно, квантизацию, чтобы ужать 125 млрд параметров в объём, который тянет одна потребительская видеокарта. Обычно для такого размера нужен сервер с несколькими GPU или облачный API с оплатой за токен — $0.0001–$0.0002 за штуку. Здесь ничего этого нет. Что это значит: инди-разработчик или исследователь может теперь запустить 125B-модель дома на RTX 4090 без per-token платы и без латентности облака. Скорость 100 токенов в секунду — достаточно для интерактивных сценариев.