Появилось утверждение о том, что модели искусственного интеллекта гораздо проще понять, чем полагали исследователи, что привлекло значительное внимание в области безопасности ИИ. Однако академики из Южной Африки предупреждают, что эти выводы пока не прошли проверку и не рецензированы.
Ник Каммарата, исследователь стартапа Goodfire, который ранее работал в OpenAI, выдвигает эту гипотезу в своем документе, названном «неформальным исследовательским эссе и рабочей гипотезой». Он утверждает, что «каноническое свидетельство полисемантичности и суперпозиции, которое убедило большую часть научного сообщества, включая меня, в произвольном упаковке концепций в сетях, было неверно истолковано».
Он пояснил изданию MIT Technology Review: «Мы смотрели на это неправильно». Стивен Бойкей Сидли, приглашенный профессор Университета Родса, считает, что природа «черного ящика» ИИ, которую не могут расшифровать даже его создатели, лежит в основе многих опасений относительно него.
Сидли отметил, что «это вызывало беспокойство, потому что если вы не можете понять, как думает ИИ, то как вы можете предотвратить его совершение плохих поступков, например, побуждение кого-либо к самоубийству? Это суть того, что называется согласованием ИИ». Он добавил, что «статья Каммараты предполагает, что внутри нейронной сети ИИ нет такой сложности — мы просто смотрели на нее через неверную призму. Его частичные и (пока) непроверенные результаты многообещающи, поскольку они дают надежду на то, что мы сможем сделать ИИ нашим подчиненным инструментом, а не неуправляемым и непокорным ребенком, каким он является сейчас».
Кошки, автомобили и буква V
В эссе рассматривается известный пример в области интерпретируемости — дисциплине, целью которой является выяснение процессов, происходящих внутри моделей ИИ. В модели распознавания изображений Google Inception v1 от 2014 года нейрон 4e:55, активирующийся при обнаружении определенной черты, реагировал как на кошек, так и на автомобили.
В работе «Zoom in» от 2020 года, которую Каммарата соавторствовал в рамках проекта под руководством Криса Олаха, ныне руководителя исследований по интерпретируемости в Anthropic, этот нейрон считался хрестоматийным примером смешивания несвязанных концепций. Однако Каммарата теперь утверждает, что связывает их общая форма буквы V: заостренный профиль кошки и передняя часть автомобиля, увиденная под углом. Этот же нейрон срабатывает и на угол настольного бильярда, и на нос скоростного поезда, в то время как круглые формы вызывают обратную реакцию.
Обновление эссе от 30 октября подчеркивает, что нейрон по-прежнему распознает кошек и автомобили, при этом общая особенностью выступает форма V. Каммарата сообщил изданию MIT Technology Review, что ему потребовалось всего пять секунд, чтобы изучить модель, над которой он работал «вероятно, тысячи часов».
Он полагает, что если большинство нейронов выполняют одну основную функцию, исследователи смогут анализировать модели, не прибегая к предварительному обучению второй модели для их расшифровки. Предварительные проверки модели Qwen3-32B от Alibaba показывают, что примерно 90% «полярностей нейронов» — положительных и отрицательных концов активности нейрона — имеют одну основную задачу; около 7% выполняют две связанные задачи, а 2–4% еще не изучены, хотя эти цифры зависят от пороговых значений. При этом проект, который он начал в OpenAI в 2023 году, обнаружил, что лишь около 1,7% нейронов можно интерпретировать «по нашей самой щедрой оценке».
Еще не прошла рецензирование
Профессор Бенджамин Розман, основатель Института разума Университета Витс, который был включен в список 100 самых влиятельных людей в сфере ИИ журнала Time в 2025 году, назвал это «интересным и потенциально очень обнадеживающим развитием для безопасности ИИ». Тем не менее, он подчеркнул: «исследование еще не прошло рецензирование, и слишком рано делать сильные выводы о том, что это означает для безопасности ИИ».
Другие высказывают больший скептицизм. Нил Нанда из Google DeepMind написал в X, что «это интересная работа, но я не думаю, что это значимое обновление общей картины интерпретируемости». Джейкоб Хилтон из Центра исследований согласованности добавил: «Для полного понимания нам нужно выйти за рамки нейронов и объяснить, как они соединяются, образуя цепи».
Розман заключил, что «даже если мы станем намного лучше понимать, как работают эти системы, это не обязательно означает, что мы знаем, как заставить их вести себя безопасно».
