AI RADAR

Понимать важнее,
чем успевать всё.

Выберите новость в ленте. Здесь будет удобно читать.

body{height:auto!important;overflow:auto!important}#app{display:none!important}.ssr-article{max-width:70ch;margin:0 auto;padding:32px 20px;font:18px/1.65 system-ui}.ssr-article p,.ssr-article li,.ssr-article blockquote{white-space:pre-line}AI Radar — лента

🧪 ScaleDown CDM быстрее и дешевле, но не везде

Автор независимо протестировал ScaleDown CDM: точность классификации достигла 97,3% против 90,7% у локальной Qwen3 1.7B.

Классификация. На наборе CLINC150 из 300 примеров ScaleDown Decisions получила 97,3%, а ScaleDown /classify — 96,7%. На 110 тикетах поддержки результаты составили 92,7% и 90,9% против 62,7% у Qwen3 1.7B. Задержка ScaleDown Decisions — 162 мс на медиане, а /classify с отключённым reasoning — 134 мс.

Извлечение. ScaleDown Extract получила 89,5% точности по полям на 50 квитанциях и 90,0% на 30 вакансиях. JSON и цитаты оказались корректными в 100% случаев. Суммы из квитанций извлекались полностью, против 78% у локальной модели. Медианная задержка составила 1,43 секунды для квитанций и 0,60 секунды для вакансий.

Суммаризация. На шести встречах QMSum ScaleDown не выдумала ни одного факта, а локальная модель — два. Ответ занимал 0,65 секунды на медиане против 24,3 секунды. Ускорение относительно Qwen3 1.7B составило 1,8x для классификации, 2,5–4,6x для извлечения и около 37x для суммаризации примерно на 6 тыс. токенов.

Цена. Публичная ставка — $0,05 за миллион входных токенов при бесплатной выдаче результата. Расчётная стоимость 1 000 вызовов составила $0,024 для классификации, $0,069 для извлечения и $0,317 для суммаризации. По расчётам автора, ScaleDown дешевле перечисленных flagship-моделей в 45–200 раз.

Заявленные 200x по скорости и 467x по дешевизне подтвердить не удалось. Кроме того, стрессовый документ на 369 тыс. токенов был принят, но итоговая суммаризация охватила только одну из двух серий встреч.

Что это значит: для классификации и извлечения модели выглядят сильнее локального Qwen3, но суммаризацию длинных документов пока стоит проверять отдельно.

Оригинальная публикация в Telegram

Понимать важнее,
чем успевать всё.

Поиск по архиву

О проекте

Понимать важнее,чем успевать всё.

Понимать важнее,
чем успевать всё.