AI Radar — лентаBVC сэкономил 11,3% токенов на генерации патчей — но только для DeepSeek
Автор IDE Xynapse сравнил четыре режима генерации патчей на 60 задачах SWE-bench.
BVC с условной критикой сэкономил 11,3% токенов против полного совета из четырёх ролей, но результат резко отличается по моделям: на DeepSeek экономия 22,2%, на Qwen — лишь 2,1%.
Что тестировали. Полный совет (архитектор, разработчик, рецензент, тестировщик — 10 вызовов на задачу) против BVC с условным вторым кругом: 6 или 10 вызовов в зависимости от наличия разногласий в структурированных ответах. Суммарно 480 запусков на DeepSeek и Qwen.
Почему такая разница. DeepSeek прошёл коротким маршрутом в 53% задач, Qwen — лишь в 5%. Статистически BVC сопоставим с одним планом (p = 0,625), то есть от усложнения агентского обсуждения выигрыш мизерный. Зато выявился баг: из 57 «длинных» запусков на Qwen 54 вызваны повреждёнными ответами (пустой JSON, нехватка полей) — система приняла их за конфликт агентов.
Автор тестировал планирование перед одним патчем: агент не мог итеративно дорабатывать исправление по подсказкам тестов.
Что это значит: BVC реально экономит токены, но только если модель корректно генерирует структурированные ответы — иначе условная остановка не срабатывает.
Оригинальная публикация в Telegram