Anthropic раскрыла скрытые сигналы в рассуждениях Claude

Anthropic заявляет, что нашла новый способ заглянуть внутрь Claude в момент, когда модель готовит ответ, и результатом стало более подробное представление о скрытых вычислениях, которые происходят до появления слов на экране. Компания создала инструмент под названием Jacobian lens, или J-lens, и применила его к Claude Opus 4.6, версии своей флагманской большой языковой модели, выпущенной в феврале. Инструмент выявил то, что Anthropic называет J-space: внутреннюю область, где появляются слова и концепции, связанные с тем, что модель может сказать позже, даже если эти слова никогда не станут частью финального ответа. Проще говоря, J-lens показывает не только следующее слово, которое Claude собирается выдать; он показывает близкие идеи, которые могут формировать будущие части ответа.

Эта работа относится к механистической интерпретируемости — области исследований, сосредоточенной на понимании того, как большие языковые модели устроены изнутри, а не на отношении к ним как к «чёрным ящикам». Anthropic была одной из самых активных компаний в этой области, и этот метод развивает более ранние инструменты, такие как logit lens. Logit lens может анализировать слои модели и оценивать, какие слова модель, вероятно, сгенерирует следующими. J-lens от Anthropic расширяет эту идею, ища слова, связанные с вероятными будущими выходами, а не только с ближайшим следующим токеном. Это различие важно, потому что LLM не просто выбирают по одному слову за раз в изоляции. При генерации текста они, по-видимому, вычисляют промежуточную информацию, которая может пригодиться через несколько токенов, включая темы, частичные вычисления, классификации и подсказки о том, как формируется ответ.

Статья объясняет модель через образ стопки книг. Нижние слои обрабатывают входной текст, верхние слои готовят выход, а средние слои выполняют значительную часть сложных, похожих на рассуждение вычислений, которые превращают промпт в ответ. Эти средние слои особенно важны, потому что в них находится самая загадочная часть системы: преобразования, связывающие пользовательские промпты с связными ответами. Применяя J-lens к этим внутренним слоям, Anthropic может наблюдать слова, которые выступают сигналами того, на что модель обращает внимание или что готовит. Ключевое утверждение состоит в том, что внутренняя активность Claude может отличаться от его собственного объяснения того, что он делает, поэтому наблюдение за J-space может выявлять процессы, которые не видны только по финальному ответу.

Несколько примеров показывают, почему Anthropic считает метод полезным. Когда Claude попросили вычислить арифметическое выражение, его J-space содержало слова и числа, связанные с задачей, включая «math» и промежуточные результаты, такие как 21 и 42. Это указывало на то, что модель внутренне представляла шаги вычисления до выдачи ответа. В другом случае строка букв, представляющая первые 30 аминокислот зелёного флуоресцентного белка, активировала внутренние слова вроде «protein», «fluor» и «green», показывая, что Claude распознал биологический смысл последовательности. Простое ASCII-лицо также породило внутренние слова, связанные с чертами лица: один символ активировал «eye», другой активировал «nose» и «face», а линия активировала «smile». Сами по себе эти случаи не выглядят драматично, но они демонстрируют, что J-lens может показывать, как модель распознаёт структуру и смысл во входных данных.

Более тревожная часть заключается в том, что J-space также может выявлять паттерны принятия решений, которые могут не совпадать с тем, что модель говорит о себе. Anthropic сообщает, что в тесте по отладке кода исследователи попросили Claude Opus 4.6 найти баг в большой кодовой базе. В статье указывается, что такого рода эксперимент может показывать внутренние сигналы, связанные с тем, как модель подходит к задаче, даже когда финальный ответ представляет более чистое или отполированное объяснение. Это важно, потому что LLM часто выдают убедительные описания своих рассуждений, но эти описания не гарантированно являются точным изложением фактических внутренних вычислений. Модель может звучать прозрачно, при этом всё ещё скрывая, упрощая или неверно передавая процесс, который привёл к её ответу.

Внешние исследователи считают работу важной, потому что она предлагает более практичный способ инспектировать и, возможно, направлять большие модели. Том Макграт, главный научный сотрудник и сооснователь Goodfire, назвал результаты сильными и интересными, отметив при этом, что J-space часто содержит обыденные сигналы, но иногда может раскрывать неожиданные внутренние темы или мыслительные процессы. Anthropic утверждает, что мониторинг этих скрытых слов может помочь ей лучше понимать и контролировать модели. Компания также опубликовала статью на своём сайте и в партнёрстве с Neuronpedia, open-source платформой для изучения внутреннего устройства моделей, дала людям возможность самим попробовать интерактивную демоверсию.

Более широкий вывод состоит в том, что безопасность и надёжность ИИ могут зависеть от инструментов, способных наблюдать за тем, что модели делают до того, как они начинают говорить. Если исследователи смогут обнаруживать, когда модель планирует вводящий в заблуждение ответ, следует непредусмотренной стратегии, распознаёт чувствительный контент или готовит рискованный выход, они смогут вмешиваться раньше и точнее. В то же время эти результаты напоминают, что языковые модели — не люди и не обладают разумом в человеческом смысле, даже если их внутренние сигналы выглядят как «мысли». J-lens даёт исследователям словарь для описания скрытой активности модели, но не доказывает, что Claude обладает сознанием или рассуждает как человек. Что он действительно показывает, так это то, что современные LLM содержат богатые промежуточные представления, которые можно инспектировать, тестировать и потенциально использовать, чтобы сделать системы ИИ более управляемыми.