AI Radar — лентаНовая ИИ-модель не пишет текст — и это делает её в 200 раз быстрее
TypeSafe AI выкатила Jev: модель не генерирует текст, а выдаёт готовые вероятности по заданным вариантам. 70–500 мс на запрос вместо 3–329 с у привычных LLM.
Скорость — до 200x, цена — $0,042 за млн токенов на входе, выход бесплатен.
Как это работает. Авторегрессивные модели (GPT, Claude, Llama) выдают токен за токеном — каждый ждёт предыдущий. Jev вычисляет все вероятности одним проходом: ни декодера, ни текста, только калиброванные оценки для вопросов «что выбрать», «насколько» и «да/нет». Контекст — 32k токенов, влезает в большинство задач.
Зачем это нужно. Авторы оценивают, что 40–70% вызовов LLM в типичных пайплайнах — это по сути маршрутизация или классификация: «какой ответ подходит», а не генерация. Doom-демо на $7 в час и ~10 решений в секунду показывает, что модель тянет даже игровую логику в реальном времени.
Подвох. Модель закрытая, без весов и без публичных бенчмарков — все замеры от самой TypeSafe. Основатель Diogo Almeida работал над instruction-following в ChatGPT, но архитектура и методика обучения не раскрыты. Заявления о 193x быстрее и 444x дешевле на своём сайте компания сама и оценила.
Что это значит: подход радикально меняет экономику высокочастотных задач — если заменить текстогенерацию на выбор из вариантов, счёт за API падает в сотни раз. Для маршрутизации, скоринга и игровой логики это уже другой порядок возможностей.
Оригинальная публикация в Telegram