AI Radar — лента🤖 CRM получили ИИ-решения, которые работают быстрее в 200 раз
TypeSafe выкатила Jev — модель, которая решает задачи маршрутизации и фильтрации за 70–500 мс без генерации текста. Выигрывает до 200 раз в скорости и до 400 раз в стоимости у флагманских LLM.
Как это работает. Вместо посимвольной генерации текста Jev параллельно вычисляет вероятности заданных категорий и возвращает готовую структуру данных. Например, при распределении входящего обращения модель мгновенно выдаёт: возврат — 97%, техподдержка — 2%, спам — 1%. Никакого ожидания ответа, никакого лишнего текста.
Зачем это нужно. Маршрутизация обращений, фильтрация ботов, выбор следующего шага агента — всё это фоновые задачи, которые сейчас решают тяжёлыми языковыми моделями с генерацией текста. Стоимость и скорость Jev позволяют встраивать такие решения в высоконагруженные процессы на уровне миллионов запросов.
Бенчмарки и сравнения — заслуга самой TypeSafe. Архитектура модели, обучающие данные и точные условия замеров не раскрыты: неизвестно, какие именно флагманские LLM сравнивали и на каком железе.
Что это значит: встраиваемый ИИ для операционных задач становится массовым — и по цене, и по скорости.
Оригинальная публикация в Telegram