AI Radar — лента🧪 Qwen3.8-Flash-Next на Strix Halo: скорость и пределы
Автор статьи развернул Qwen3.8-Flash-Next через HALOGEN на AMD Strix Halo: 94,5–98,1 ток/с на запись и 1 965–2 048 ток/с на чтение. При четырёх параллельных запросах суммарная пропускная способность выросла на 27%.
Что внутри. Это локальный OpenAI-совместимый API на Fedora 43 Server: четыре параллельные сессии, авторизация по ключу и внешний доступ через порт 9091. В модели 125 млрд параметров, но на один токен активируется около 6 млрд.
Параллельность. В сумме HALOGEN выдаёт около 76 ток/с, распределяя их на четыре потока по 11–19 ток/с. Это хорошо для нескольких клиентов, но не ускоряет единичный запрос: при пакетной обработке задержка первого токена растёт в 2–5 раз.
Контекст. Родной контекст модели — 262 144 токена, с YaRN он расширяется до 1 048 576. Для миллионного контекста рекомендуют 96 GiB памяти. Основные веса занимают около 110 GiB, а вместе с запасом на служебные файлы и обновления нужно 120–140 ГБ диска.
Рассуждение. При контексте 128k и выключенном рассуждении первый токен появился за 66 секунд. С включённым рассуждением скорость записи падала до 2,6 ток/с.
HALOGEN не универсальная замена llama.cpp или vLLM: он рассчитан на узкую архитектуру Strix Halo и конкретный набор моделей.
Что это значит: крупная MoE-модель работает локально без дискретной GPU, но миллионный контекст требует памяти и осторожности с параллельными запросами.
Оригинальная публикация в Telegram