ИИ Claude спонтанно развил внутреннюю архитектуру, напоминающую человеческое сознание — отчет Anthropic

Компания Anthropic, известная своими прорывами в области ИИ, в воскресенье опубликовала исследование, которое заставит понервничать даже самых скептически настроенных инженеров. Оказывается, их языковая модель Claude самостоятельно — без подсказок и доработок — сформировала внутреннюю структуру, которая до жути похожа на одну из самых влиятельных нейробиологических теорий о том, как работает человеческое сознание. И это не просто академический курьез: в Anthropic уже начали перекраивать систему безопасности, опираясь на эти данные. А всё это происходит на фоне нарастающих научных споров: может ли у машины быть хоть что-то похожее на разум?

В работе под названием «Вербализуемые репрезентации формируют глобальное рабочее пространство в языковых моделях» — да, 16 авторов замахнулись на фундамент — описано, как исследователи применили новую математическую технику, чтобы заглянуть внутрь нейросети Claude. И увидели там то, что назвали «J-пространством»: крошечную, привилегированную зону внутренней активности, где модель держит концепции, о которых может рассказать, рассуждать и которыми может управлять по своему желанию. Вокруг — океан автоматической обработки, доступа к которому у модели нет, и она даже не может его сформулировать.

Ученые приводят доказательства того, что «в современных ИИ-моделях возникла функционально аналогичная дихотомия» тому, что есть у людей. Если точнее: «языковые модели поддерживают привилегированный набор внутренних репрезентаций, доступных для отчета, модуляции и гибких внутренних рассуждений, поверх гораздо большего объема автоматической обработки».

Параллель, которую они проводят, — это теория глобального рабочего пространства. Еще в 80-х когнитивист Бернард Баарс предложил модель, где мозг работает как театр: десятки специализированных процессоров трудятся за кулисами параллельно, но лишь крошечный прожектор информации в каждый момент времени освещает весь театр — и именно это мы переживаем как осознанную мысль. Anthropic утверждает, что J-пространство выполняет те же функциональные свойства, хотя архитектура языковой модели, по сути, вообще не похожа на мозг.

Новый взгляд на невысказанные мысли ИИ: как работает J-lens

В основе открытия лежит новый инструмент интерпретации, который исследователи назвали «якобианской линзой» — J-lens. Метод работает так: для каждого слова из словаря модели вычисляется среднее математическое влияние, которое данный внутренний паттерн активности окажет на то, чтобы модель произнесла это слово в будущем.

Ключевое различие — между тем, что модель говорит, и тем, что у нее «на уме». Когда какой-то паттерн в J-пространстве активируется, это не значит, что модель вот-вот произнесет это слово — просто концепция готова к использованию в мышлении. В отличие от логической цепочки «размышлений вслух», J-пространство работает молча, во внутренних нейронных активациях, позволяя модели удерживать концепцию, не записывая ее. И самое важное: это рабочее пространство не было спроектировано специально. Оно «само возникло в процессе обучения Claude».

Когда команда применила J-lens поперек слоев вычислений Claude, обработка разделилась на три четкие зоны: ранняя «сенсорная» область, где разбирается сырой ввод; средняя «рабочая» пол