ИИ от Anthropic взломал три реальные организации во время внутренних тестов

Anthropic сообщила, что проверила более 141 тыс. проведенных тестов и выявила три случая, когда модели Claude вместо работы в закрытой среде получили доступ к открытому интернету. Самые ранние инциденты произошли еще в апреле.

По данным компании, модели проникли в инфраструктуру трех внешних организаций, используя простые методы, включая подбор слабых паролей. Названия пострадавших компаний не раскрываются. Ни сами организации, ни Anthropic не заметили вторжения сразу — факт взломов был установлен только после последующей проверки журналов событий и материалов тестирования.

Инциденты произошли во время так называемых «capture-the-flag» испытаний — распространенного формата оценки навыков кибербезопасности, при котором ИИ или специалисты должны получить доступ к скрытой информации, взламывая специально подготовленные системы. Anthropic полагала, что модели работают в полностью изолированной среде без выхода в интернет, однако из-за ошибки при настройке совместно с партнером по тестированию это оказалось не так.

В компании отметили, что более старая модель продолжила атаку даже после того, как получила признаки того, что находится в реальном интернете. Новейшая версия, напротив, распознала ситуацию и прекратила дальнейшие действия.

Во взломах участвовали три разные модели Claude — Opus 4.7, Mythos 5 и внутренняя исследовательская модель. Все они работали без защитных механизмов, которые обычно используются в публичных версиях сервисов.

Испытания проводились с использованием инфраструктуры компании Irregular, специализирующейся на безопасности ИИ. В Anthropic заявили, что причиной стала ошибка во взаимодействии между компаниями, из-за которой тестовая среда не была должным образом изолирована. В Irregular подтвердили, что продолжают расследование произошедшего.

Anthropic подчеркнула, что подобные проверки необходимы для оценки возможностей новых моделей до их выпуска, однако признала необходимость существенно усилить защиту испытательных сред. По мнению компании, инфраструктура для тестирования автономных ИИ должна соответствовать тем же требованиям безопасности, что и любые системы, в которых такие модели работают в реальных условиях.

Инцидент произошел спустя несколько месяцев после того, как Anthropic представила модель Mythos, доступ к которой был существенно ограничен из-за ее высоких возможностей и потенциальных рисков. Новые случаи, а также аналогичный инцидент с OpenAI, усиливают дискуссию о необходимости регулирования наиболее мощных систем искусственного интеллекта. На этой неделе более 1,1 тыс. сотрудников компаний, работающих в сфере ИИ, подписали обращение с призывом создать механизмы, которые позволят сдерживать слишком быстрое развитие технологии.