AI Radar — лента🤖 На 1200 реальных задачах замерили ИИ-агентов: кто и за сколько
VibePilot опубликовала лидерборд ИИ-агентов на реальных офисных задачах: на 1 198 задачах за три месяца сбои составили 1,8%.
Что тестировали. Шесть моделей — Alice AI LLM, YandexGPT 5 Pro, DeepSeek V4, DeepSeek V3.2, Qwen3-235B, GigaChat 2 Max — гоняли на генерации документов, таблиц и лендингов. Конвейер жёсткий, без свободного цикла.
Цифры. DeepSeek V3.2 через прямой API — 0,13 ₽ за задачу. YandexGPT 5 Pro в облаке Яндекса — 4,43 ₽. Разброс — в 35 раз. Алиса обогнала Qwen3-235B на «Смете на ремонт 60 м²» за 19 секунд против 1 мин 27 сек, а GigaChat 2 Max на «Коммерческом предложении» — за 45 секунд против 3 мин 48 сек.
Вывод. Жёсткий конвейер действительно решает главную проблему ИИ-агентов: 1,8% сбоев против 12–37% в свободных агентских циклах.
Но бенчмарк ранжирует только по скорости. GigaChat выиграл забег с личными финансами за 28 секунд, Алиса — за 41, а файл Алисы содержательнее: добавлены лимиты и график. Быстрый — не значит хороший.
Что это значит: для заказчиков из госсектора и банков, где зарубежные API нельзя, — теперь хотя бы есть что замерить. Но один забег по скорости и выборки от 18 до 331 задачи — слабая база для окончательных выводов.
Оригинальная публикация в Telegram