AI Radar — лента421M энкодер обошёл 1.5B LLM в браузерном агенте
Vishal Mysore выкатил гибридного агента layaAgent, где крошечный энкодер обрабатывает рутину, а человек или маленький LLM страхуют на сложных шагах.
421M-параметровый Laya решает задачи с 32% успехом, а 1.5B-м Qwen2.5-1.5B — только с 10%.
Как это устроено. Автор разделил агента на два контура: энкодер ModernBERT-large берёт routine-шаги на себя, а на пороге 0.65 включается fallback — человек или Qwen. Энкодер работает за медианные 5.2 секунды против 18.4 с у Qwen, занимает 278 МБ в int4 WebGPU и выдаёт 90% точности на автономно принятых решениях. Когда в цепочке появляется человек, успешность подскакивает до 94%.
Главный вывод. Маленький энкодер справляется с routine-решениями лучше и быстрее крупного LLM. Это опровергает интуицию о том, что нужен один большой LLM на каждый шаг. Автор добавил Qwen как fallback — и получил 21% вместо 32%: fallback оказался хуже основного решения и только портил результат.
Набор данных — 107 синтетических целей: это smoke test, а не полноценный бенчмарк. Как Laya покажет себя на реальных задачах и других устройствах — открытый вопрос.
Что это значит: архитектура с быстрым энкодером и умным routing способна заменить монолитный LLM-агент — при условии, что fallback действительно лучше основного решения.
Оригинальная публикация в Telegram