AI Radar — лента🏔️ Как правильно мерить coding-агентов — и почему 71% это ложь
ByteIO при поддержке MonkeyCode выложил на dev.to протокол заморозки holdout-выборки перед замером coding-агентов. Без этого любой опубликованный процент — fitted number, а не измерение.
В чём фокус. Промпт правится по задачам из тестового набора — и результат соответственно растёт. ByteIO приводит пример: система показывала 58%, стала 71% «на этой неделе». Оба числа подогнаны, просто в разное время. Протокол предлагает разделить задачи на tune- и holdout-папки, заморозить вторую до финального замера и зафиксировать ID задач, тесты, метрики и конфиг агента.
Цифры из примера. Скрипт по умолчанию берёт 40% holdout — но сам автор предупреждает: при 12 задачах это «всё ещё игрушка». В одном из отчётов holdout pass rate составил 0.429 (3 из 7 attempted), exclusion rate — 0.125 (1 из 8 scheduled). Минимум для осмысленного holdout — 12 задач.
Что не ловит. Протокол не даёт доверительных интервалов и не оценивает человеческое время. Он также не обнаруживает контаминацию из pretraining, если скрытые тесты взяты из публичного kata. Flaky-тесты продолжат искажать результаты.
ByteIO сам написал протокол, который рекламирует, — это указано в дисклеймере. MonkeyCode указан как спонсор.
Что это значит: если видишь замер coding-агента без замороженного holdout — это маркетинговый материал, а не метрика.
Оригинальная публикация в Telegram