Авторы выпустили Strata — инструмент, который впервые запускает модель 125B параметров на одной видеокарте с 12 ГБ VRAM. Раньше для такого класса моделей нужны были A100 или H100, теперь — игровой ПК за тысячу долларов. Что внутри. Strata комбинирует offloading весов на RAM с продвинутым кэшированием слоёв в VRAM. Замеры на RTX 5070: 94 tok/s при Q2_0-квантовании и 79 tok/s при IQ2_XS. Чтение промпта 32K контекста идёт на 2650 tok/s — это быстрее любого читателя раз в 200–500. Как подключить. OpenAI/Anthropic-совместимый API локально: одна строчка смены base_url — и все существующие клиенты, агент-фреймворки, RAG-пайплайны работают без изменений. Ловушка в том, что 2-битное квантование бьёт по качеству: на задачах с длинным контекстом и сложным рассуждением модель теряет заметно больше, чем на простых запросах. Насколько именно — авторы не приводят бенчмарков. Что это значит: хостить 100B-модели стало делом одного ПК, а не кластера — приватный деплой теперь доступен для небольших команд с ограниченным бюджетом.