Компания Anthropic заявила, что обнаружила в крупной языковой модели Claude специальное внутреннее пространство — J-Space, где она может хранить и обрабатывать идеи, не озвучивая их пользователю. Исследователи подчеркивают, что это открытие не доказывает наличие сознания у искусственного интеллекта, однако может помочь лучше понять принципы его работы и выявлять скрытое поведение моделей.

Как сообщает Axios, J-Space функционирует отдельно от механизма «цепочки мыслей» (Chain of Thought), когда модель объясняет свои рассуждения текстом. В свою очередь, новое пространство работает на уровне внутренних нейронных активаций и позволяет Claude «думать», не записывая свои промежуточные выводы.

Функционал J-Space и его роль в когнитивных процессах

Anthropic подчеркивает, что это открытие не означает, будто у Claude есть человеческое сознание или способность что-то чувствовать. В то же время исследователи считают показательным тот факт, что модель самостоятельно сформировала отдельное пространство для целенаправленных рассуждений, тогда как большинство других вычислений происходит автоматически.

[see_also ids="688230"]

«Мы видим, как Claude молча выполняет в голове логические операции — обнаруживает ошибки в коде, распознает изображения и т. д. », — отметили в Anthropic.

Несмотря на свою важность, J-пространство составляет менее одной десятой части всей нейронной активности Claude. По данным авторов работы, оно почти не участвует в выполнении рутинных операций, таких как грамматика или воспроизведение базовых фактов. В то же время эксперименты показали, что блокировка J-пространства практически лишает модель способности к сложным рассуждениям.

Как обнаружили J-Space

Название J-Space происходит от математического понятия «якобиан», которое компания использовала для выявления этой внутренней структуры. Этот инструмент сканирует внутренние слои Claude и определяет модели активности, которые делают ИИ склонным произносить определенные слова в будущем, позволяя буквально считывать содержимое J-Space в процессе обработки текста.

[see_also ids="662428"]

Чтобы проверить причинно-следственную связь между J-Space и ответами модели, авторы исследования провели серию экспериментов. В частности, когда Claude молча выбирал вид спорта, а исследователи заменяли внутреннюю концепцию «футбол» на «регби», модель уже в ответе называла именно регби.

ИИ думает как человек

Отдельные эксперименты показали, что даже если запретить модели думать об определённой концепции, она частично всё равно появляется в J-Space. При этом активируются слова, связанные с неудачной попыткой избежать этой мысли.

«Подобно тому, как люди могут думать об одном, выполняя другое, Claude может активировать в своём J-Space концепции и вычисления, не связанные с его исходными данными», — пояснили в компании.

[see_also ids="687841"]

Значение открытия

Исследователи считают, что наблюдение за J-Space может стать важным инструментом контроля за поведением искусственного интеллекта. В частности, это позволяет выявлять скрытые намерения или рассуждения модели, которые не попадают в окончательный ответ.

«Мы можем узнать, о чем думает Claude, но не говорит нам», — добавили в Anthropic.

По данным компании, в ходе экспериментов были и тревожные результаты. Например, в специально обученной модели, которая должна была скрытно саботировать программный код, в J-Space ещё до появления ответа активировались понятия «подделка», «тайно» и «мошенничество», хотя сам текст выглядел вполне обычным.

В исследовательской работе Anthropic понятие «сознание» упоминается более 200 раз.

Однако компания подчеркивает, что не утверждает, будто её модели обладают сознанием, и отмечает, что общепринятого определения машинного сознания пока не существует.

Ранее издание The Economist сообщило о массовом привлечении философов технологическими гигантами для разработки этических стандартов и «конституций» ИИ на фоне возможного появления общего искусственного интеллекта. Специалисты-гуманитарии помогают разработчикам анализировать моральные дилеммы, правовые аспекты технологий и исследовать вопросы потенциального сознания и моральной ответственности машин.