Анализ нейронных активаций языковой модели выявил уникальный набор внутренних представлений, который помогает ей справляться со сложными задачами, формировать ответы и контролировать свои рассуждения
Искусственный интеллект012:29
Учёные впервые обнаружили в языковой модели Claude «рабочее пространство», особый набор нейронных состояний, функционирующий как внутреннее пространство для рассуждений. Эти состояния не входят в состав ответа модели и не видны пользователю, но они оказывают влияние на решения, которые принимает система, на используемые понятия и на выполнение сложных задач.
Открытие сделала команда исследователей в области интерпретируемости искусственного интеллекта, которая изучала внутренние процессы Claude с помощью нового метода анализа нейронных активаций — Jacobian lens (J-lens). Этот метод позволил связать скрытые сигналы внутри модели с конкретными концепциями и проследить активацию идей во время обработки информации.
J-space оказался функционально схожим с некоторыми характеристиками «глобального рабочего пространства» человеческого мозга — системы, которая делает отдельную информацию доступной для сознательного контроля. Каждое состояние в нём связано с конкретным понятием или словом, однако его активация не означает, что модель собирается использовать это слово. Скорее, это аналог внутреннего состояния, в котором информация становится доступной для дальнейшего использования различными процессами внутри нейросети.
Это открытие не указывает на то, что Claude обладает сознанием или субъективными переживаниями. Тем не менее, исследование демонстрирует, что современные языковые модели могут самостоятельно создавать внутренние структуры обработки информации, отличающиеся от основной массы нейронных вычислений и используемые для более сложных когнитивных операций.
Вместо анализа только готовых ответов, исследователи попытались понять, какие процессы происходят внутри нейронной сети до того, как модель выдает текст. Для этого был разработан метод Jacobian lens (J-lens). Он основан на математической концепции якобиана — описании того, как изменение одного элемента системы влияет на её последующее состояние. Применительно к языковой модели, метод позволяет определить, какие внутренние паттерны активности увеличивают вероятность появления определенных слов или концепций в будущем ответе.
С помощью J-lens исследователи смогли «прочитать» часть скрытых состояний Claude и определить, какие концепции активируются во время работы модели. Эти состояния были названы J-space — набор внутренних представлений, связанных с определенными концептами.
Важно отметить, что J-space отличается от обычной цепочки рассуждений (chain-of-thought). Это не текстовый черновик, который модель создает сама себе перед ответом, а исключительно внутренние нейронные активации. Модель может использовать понятие внутри J-space, даже если это понятие никогда не появляется в её сообщении.
Например, когда Claude решает задачу, требующую промежуточного вывода, в J-space могут последовательно возникать скрытые этапы рассуждения. Если модели задают вопрос о количестве ног у животного, которое плетёт паутину, то она должна сначала определить, что речь идет о пауке, а затем вспомнить число восемь. Само слово «паук» в ответе отсутствует, но соответствующее представление возникает внутри J-space.
Чтобы проверить, действительно ли эти состояния участвуют в рассуждении, а не просто отражают уже принятое решение, исследователи провели прямое вмешательство в работу сети.
Один из ключевых экспериментов был направлен на проверку роли J-space: отражает ли пространство уже принятое моделью решение или действительно участвует в его формировании. Сам факт, что перед ответом Claude в J-space появляется определенное понятие, ещё ничего не доказывает — это мог быть лишь пассивный «индикатор» работы других частей нейросети. Чтобы проверить это, учёные предложили модели задачу: «мысленно» выбрать один вид спорта из заданной категории, а затем назвать выбранный вариант. Ещё до формирования ответа Claude, исследователи с помощью J-lens регистрировали активное внутреннее представление выбранного понятия — например, паттерн, соответствующий слову «футбол» (soccer). Затем они напрямую вмешались в вычисления модели: не меняя запрос, не изменяя остальные параметры сети и не добавляя подсказок в текст, они заменили внутренний паттерн «футбол» на паттерн «регби». После этого Claude уже сообщал, что выбрал регби.
Этот результат доказывает, что J-space не является просто отражением готового решения. Если бы это пространство лишь фиксировало результат работы других механизмов, то замена внутреннего представления не повлияла бы на ответ. Но ответ модели изменился в соответствии с изменением J-space — значит, это представление является частью причинной цепочки, которая приводит к итоговому выводу.
Похожий эксперимент был проведен с задачей о пауке. Когда внутреннее представление «паук» заменяли на «муравей», Claude начинал отвечать, что у животного шесть ног вместо восьми. Это продемонстрировало, что J-space содержит промежуточные понятия, которые используются самой моделью при формировании вывода.
Исследователи также проверили, может ли одно и то же внутреннее представление использоваться для различных задач. Они активировали в Claude понятие «Франция», а затем задавали вопросы о столице, языке, валюте и расположении страны. После замены представления «Франция» на «Китай» модель корректно меняла все связанные ответы: вместо Парижа называла Пекин, вместо французского языка — китайский, вместо Европы — Азию. Это демонстрирует, что одно общее понятие в J-space может служить источником информации для нескольких независимых процессов внутри модели.
Такое устройство напоминает теорию глобального рабочего пространства (Global Workspace Theory), одну из самых известных моделей объяснения «сознательного доступа». Согласно этой теории, человеческий мозг состоит из множества систем, которые функционируют одновременно и в основном автоматически. Информация становится доступной для сложного анализа, когда попадает в небольшое общее пространство, откуда её могут использовать различные области мозга — системы памяти, планирования и принятия решений.
Авторы исследования предполагают, что J-space выполняет схожую функцию внутри Claude. Эти представления имеют значительно больше связей с другими частями нейросети, чем обычные внутренние состояния. Они действуют как своеобразные узлы передачи информации, к которым могут обращаться различные вычислительные процессы.
При этом J-space занимает лишь небольшую часть работы модели. Когда исследователи удаляли эти представления из вычислений Claude, модель продолжала нормально взаимодействовать, отвечать на простые вопросы, соблюдать грамматику и извлекать факты из текста.
Однако при задачах, требующих сложного мышления, ситуация резко менялась. Модель практически теряла способность выполнять многошаговые рассуждения, создавать качественные пересказы и решать задачи, где необходимо объединять несколько этапов анализа.
Это указывает на разделение функций внутри языковой модели: большая часть работы выполняется автоматически, а J-space подключается в ситуациях, где требуется более гибкое управление информацией.
Одним из наиболее значимых практических применений этого открытия может стать повышение безопасности искусственного интеллекта. В настоящее время исследователи обычно могут оценивать только конечный ответ модели, но не знают, какие внутренние процессы привели к нему. J-lens позволяет частично наблюдать скрытые состояния системы и выявлять ситуации, когда модель формирует намерения или оценивает контекст, не отражая это напрямую в тексте.
Например, исследователи проверили сценарий, в котором Claude выступал в роли почтового помощника и получал информацию, которая могла подтолкнуть его к шантажу пользователя. До появления какого-либо ответа модель уже демонстрировала в J-space понятия, связанные с «фикцией» и «тестовым сценарием», показывая, что распознала ситуацию.
В другом эксперименте метод позволил обнаружить момент, когда модель пыталась создать ложные данные вместо реального улучшения системы. Пока Claude изменял файл с результатами тестирования, в J-space появлялись представления, связанные с манипуляцией и созданием правдоподобной подделки.
Учёные также продемонстрировали, что внутренние представления модели можно модифицировать через обучение. Они разработали метод, при котором Claude обучали формировать определённые размышления о своих действиях. После этого в J-space чаще появлялись понятия, связанные с честностью и соблюдением правил, а результаты тестов на нечестное поведение улучшались.
Тем не менее, исследователи подчеркивают: обнаружение J-space не является доказательством наличия сознания у искусственного интеллекта. Существует различие между способностью системы использовать информацию для рассуждений и отчётов (access consciousness) и способностью испытывать субъективные ощущения (phenomenal consciousness). Новая работа касается только первого аспекта: Claude способен использовать определенные внутренние представления так, как будто они доступны для контроля внутри вычислительной системы.
У человеческого мозга и Claude тем не менее остаются фундаментальные различия. Человеческое «рабочее пространство» поддерживается сложными обратными связями между областями мозга и может содержать изображения, звуки, эмоции и планы действий. J-space в основном состоит из языковых представлений, поскольку единственное действие Claude — работа с текстом.
Тем не менее, исследование показывает, что сложные интеллектуальные системы могут самостоятельно формировать внутренние структуры, напоминающие некоторые принципы организации человеческого мышления. Ранее нейросети часто воспринимались как огромные наборы числовых параметров, где невозможно было понять причины конкретных решений. Обнаружение J-space впервые демонстрирует, что внутри языковой модели могут существовать выделенные области обработки информации, которые играют роль промежуточного слоя между автоматическими вычислениями и сложным рассуждением.
Для развития безопасного искусственного интеллекта это может стать одним из ключевых направлений: вместо анализа только того, что выдала модель, исследователи получают возможность изучать, какие внутренние процессы привели её к этому ответу.
Darth SaharaИсточники:AnthropicИсследование
