AI Radar — лента🧩 Goodfire разложила параметры модели на функциональные части
Goodfire представила VPD: метод раскладывает параметры языковой модели на интерпретируемые подкомпоненты. На 67M-параметричной модели разложены 24 матрицы и 38 912 компонентов.
Что внутри. Из 38 912 подкомпонентов около 10 000 оказались активными. На одну позицию последовательности в среднем приходится 205, или 2,1% активных подкомпонентов. В первом слое внимания вычисления распределены между несколькими головами.
Проверка. VPD использует состязательно выбранные абляции, а не только случайные. Без Delta-компонента удалось восстановить около 82% предобучающих вычислений, при стохастических абляциях — около 27%. Другие способы дали 8%–27%; потери разложенной модели составили 2,72–3,02 против 2,71 у исходной.
Что умеет. Метод масштабируется до полной языковой модели, строит графы атрибуции и позволяет вручную менять отдельные функции. Для сравнения, замена одного слоя GPT-4 SAE с 16 млн латентов через Top-k SAE восстановила только 10% предобучающих вычислений.
Главный предел: основные количественные результаты получены на одной 67M-параметрической четырёхслойной модели-декодере. Перенос на крупные модели пока не проверен.
Что это значит: VPD даёт способ находить функциональные части модели прямо в пространстве её параметров и связывать их с поведением. Но пока это сильный результат на маленькой модели, а не универсальный ответ для больших языковых моделей.
Оригинальная публикация в Telegram