AI Radar — лента🧠 Исследование перевернуло идею о «спутанных» нейронах: теперь 90% из них читаемы
Ник Каммарата из Goodfire опубликовал эссе, где утверждает: 90% нейронов Qwen-32B выполняют ровно одну функцию, а не несколько, как считалось. Ещё в 2023 году, работая в OpenAI, он находил читаемыми лишь ~2%.
Разрыв — на порядки.
Что изменилось. Вместо статичного анализа активаций он применил агентный подход: модель итеративно тестировала нейроны, стимулируя их и наблюдая за результатом. Многие примеры, которые считались «спутанными» — Polysemanticity, — оказались ошибкой интерпретации. Каммарата утверждает: можно изучать нейроны напрямую, без «разворачивающей» модели.
Почему это важно. Если результат держится, интерпретируемость становится проще, а значит, и alignment — тоже. Потенциально снижаются оценки экзистенциального риска.
Всего Qwen-32B. Как это масштабируется на модели в триллионы параметров — неизвестно. Рецензия не пройдена, репликаций нет. Нил Нанда говорит, что его «cruxes» результат не меняет: он всё ещё ждёт representational superposition и хранимые факты в слабых активациях. Лео Гао настаивает: объяснения нужно мерить через KL-дивергенцию симуляции нейрона, а не декларируемой читаемостью.
Что это значит: шанс, что мозг ИИ проще, чем казался — но пока это одна статья, один размер модели и много вопросов без ответов.
Оригинальная публикация в Telegram