AI Radar — лентаNemotron 3.5 Bolt E4B собрала голосовой ассистент на CPU
Автор теста проверил NVIDIA Nemotron 3.5 Bolt E4B без GPU: модель выбирала инструменты, заполняла аргументы и участвовала в полном офлайн-голосовом цикле на 8-ядерной Xeon VM.
Результаты. В 20 запросах × 3 запуска без размышления модель получила 60 / 60 правильных решений по вызову инструментов или отказу от него. Аргументы она заполнила точно в 57 / 60 случаях — 95%. С включённым размышлением результат составил 20 / 20, но один запрос обрабатывался примерно в 5 раз дольше.
Скорость. Без размышления медианное время от запроса до ответа — 2,1–3,6 с, с размышлением — 13,1 с. Полный голосовой цикл занимал 4,08 с с Whisper base.en и 4,58 с с small.en. Локальному ассистенту понадобилось около 4,7 ГБ RAM.
Практический вывод. Для голосового ассистента на CPU разумнее отключить размышление и вычислять относительные даты в коде: так модель отвечает быстрее и не ошибается в датах.
Проверка инструментов была smoke-тестом, а не полноценным BFCL: параллельные и последовательные вызовы не тестировались, а речевой вход был синтетическим и чистым.
Что это значит: Nemotron 3.5 Bolt E4B показывает, что полноценный локальный голосовой цикл можно собрать без GPU — но для коротких ответов и ограниченного набора действий.
Оригинальная публикация в Telegram