AI Radar — лентаLiquid AI открыла модели для маршрутизации тикетов — 600M работает на CPU за ~200 мс
Liquid AI опубликовала на Hugging Face две открытые модели принятия решений: d1-3B (3,12 млрд параметров, оценка 48,57 на Decision Index) и d1-omni-600M (350 млн параметров, оценка 15,95).
Ключевое — модель не генерирует текст, а за один проход возвращает калиброванные вероятности для типов вопросов. 0 выходных токенов.
Как это работает. YongBo Yu, AI-инженер из Торонто, взял 600M и проверил на 12 тикетах: team=billing и team=refund угаданы в 12 из 12. Медианная латентность на CPU Xeon — 208 мс, диапазон 160–471 мс при трёх вопросах. На мусорном запросе «asdf asdf test test» модель выдала confidence 0,907 — высокое, но ответ неверный, потому что нет catch-all опции. На фишинговом тикете confidence 0,477 — пограничная зона, где автор рекомендует подключать человека.
Цена вопроса. 3B требует ~12 ГБ памяти на CPU float32 — вполне рабочая конфигурация для любого сервера. 600M влезает в любое железо и при пакетной обработке тянет ~13 тикетов в секунду. Пропускной способности хватит на тысячи обращений в минуту без GPU и без платного API.
Что это значит: LLM для рутинной маршрутизации тикетов можно заменить специализированной моделью на CPU — быстрее, дешевле и с честным confidence score для эскалации.
12 тикетов — это smoke test, не статистика. Перед продакшеном автор советует разметить хотя бы 100 реальных обращений. Catch-all опция сдвигает границы решений — часть реальных тикетов уходит в other.
Оригинальная публикация в Telegram