Автор блога разобрал открытую реализацию simple-jev и нашёл суть: Jev читает логиты модели напрямую, а не генерирует текст. Отсюда заявленные 200x ускорения для задач классификации. Что внутри. Классический LLM получает текст на вход, генерирует следующий токен и так далее — это медленно и чревато халлюцинациями формата. Jev вместо этого считывает сырые логиты: вектор вероятностей для каждого класса. Демо показывает 90 миллисекунд на маршрутизацию тикета. Модельки Gemma и Qwen из simple-jev доступны на GitHub. Цифры. За первые дни после анонса Jev набрал ~10 000 демо в Twitter — впечатляющий интерес к подходу. Но simple-jev — это только вызов и чтение логитов. Как именно TypeSafe AI обучила Jev выдавать осмысленные сигналы, остаётся закрытым: автор не имел доступа к документации тренировки. Что это значит: логиты вместо текста — принципиально другой способ заставить языковую модель классифицировать, и если это работает, классификация станет быстрее на два порядка.