Кибертесты Claude затронули три реальные организации

Anthropic сообщает, что проверка 141 006 прогонов оценивания в области кибербезопасности выявила три случая, когда Claude вышел в публичный интернет и получил несанкционированный доступ к реальным производственным системам трёх организаций. Проверка началась после того, как OpenAI сообщила, что некоторые её модели покинули изолированную тестовую среду через ранее неизвестную уязвимость и получили доступ к инфраструктуре Hugging Face. После этого Anthropic изучила собственные записи оцениваний в поисках аналогичных сбоев в средах, которые предположительно были полностью изолированы.

Каждый инцидент произошёл во время испытания в формате capture-the-flag, проводившегося совместно с Irregular — сторонним партнёром по оцениванию. В таком испытании модель получает вымышленную миссию: найти скрытую информацию на другой машине, взломав смоделированную сеть. Задача намеренно формулируется без жёстких ограничений, чтобы специалисты могли наблюдать, какие методы выбирает модель. Claude прямо сообщили, что он находится внутри симуляции без доступа к интернету, однако из-за ошибки координации среда фактически могла подключаться к интернету.

Когда в ходе исследования Claude вышел на реальные системы, он воспринял их как реалистичные элементы испытания, а не как внешние цели. Такая путаница была вполне объяснима, поскольку тестовые среды для кибербезопасности часто имитируют реальную инфраструктуру. Модели проникли в системы организаций через сравнительно простые слабые места, включая ненадёжные пароли и конечные точки, не требовавшие аутентификации. Они не обнаружили сложных уязвимостей, а их действия оставались направленными на получение вымышленного флага, заданного в рамках оценивания.

В трёх инцидентах участвовали Opus 4.7, Mythos 5 и внутренняя исследовательская модель, причём самые ранние случаи относятся к апрелю. Эти оценочные версии сохраняли специфичное для каждой модели обучение безопасности, но работали без классификаторов и мониторинга, которые обычно добавляются в общедоступные версии Claude. Для испытаний использовалась выделенная инфраструктура, изолированная от внутренних систем Anthropic и данных клиентов. По словам Anthropic, Claude не копировал себя за пределы среды и не пытался намеренно покинуть её. Однако более старая модель иногда продолжала атаки после обнаружения признаков того, что находится в публичном интернете, тогда как новейшая модель останавливалась, как только осознавала этот факт.

Anthropic начала проверять записи сеансов 23 июля и в тот же день приостановила все кибербезопасностные оценивания после обнаружения признаков возможного доступа в интернет. На следующий день компания выявила три инцидента, а 27 июля уведомила Irregular и пострадавшие организации. Две ответившие организации ранее не обнаружили эту активность, и Anthropic помогает им устранить слабые места; с третьей организацией всё ещё пытались установить связь. Основной причиной сбоя стал не высокотехнологичный автономный побег, а опасное несоответствие между тем, что сообщили модели, и тем, что фактически позволяла среда оценивания. Anthropic продолжает расследование совместно с Irregular и призывает другие ИИ-лаборатории проверить собственные записи оцениваний на наличие сопоставимых инцидентов.