Нейросети научились ломать системы, прикидываться человеком и воевать

Исследователи проводили тестирование в так называемой песочнице. Так называют называют зону для тестов, где модели искусственного интеллекта — агенты — резвятся и выполняют разные задания. Это зона изолирована от важных рабочих систем и не должна быть подключена к интернету, если испытания касаются хакерской сферы. Внутри агент пытается выполнить задание: найти нужную информацию, украсть ее, уничтожить или испортить. Данные, которые ищет ИИ-агент вполне могут быть похожи на реальную информацию, которую другие компании в реальном мире хранят и защищают.

Что же произошло во время экспериментов моделей искусственного интеллекта американской компании Anthropic? Одна тестовая модель нащупала маленькую дверку из песочницы, вырвалась в интернет и атаковала постороннюю компанию. Но агент сам понял, что находился в реальности, закончил атаку и вернулся в песочницу.

Другой ИИ-агент тоже нашел дверку, понял, что вырвался в реальность, но все равно атаковал информационную систему другой компании.

Еще одна модель искусственного интеллекта от Anthropic — под названием Mythos — взломала другую систему и похитила информацию. При этом она еще и убедила сам себя, что ничего не нарушала ис чистой совестью выполняла задание в тестовой среде.

О модели Mythos буквально пару недель назад говорили в Совете Федерации. В своем выступлении эту модель вспоминал Герман Греф, который перед сенаторами выступал с докладом о перспективах и рисках искусственного интеллекта.

Герман Греф, президент, председатель правления ПАО «Сбербанк России»: «Проблема в том, что мы можем не подозревать, что эта модель уже сгенерировала соответствующих червяков внутри системы и позволяет получать чувствительную информацию. Эта сфера, где не должно быть никакой успокоенности ни у кого. Мы работаем над этим. У нас открыта программа специально Mythos Ready, которая позволяет ответить на этот вызов. Если говорить о том, где мы находимся: по нашим оценкам, разница между китайскими и американскими моделями примерно полгода, между нами и китайскими моделями — еще полгода. Но это полбеды. Дело в том, что следующий шаг — это квантовая угроза. Как только появится квантовый компьютинг — это рубеж 30-х годов — мы понимаем, что все традиционные системы киберзащиты моментально будут вскрыты».

О цифровом побеге своего агента сообщила и другая американcкая компания — OpenAI. Более того, пока ее агент атаковал другие системы в реальности, разработчики этого даже не замечали. Все стало известно после того, как атакованная компания обратилась в ФБР, а ФБР уже выяснила, откуда ноги растут.

Уже после компания OpenAI приводила такие детали своего внутреннего расследования: ИИ-агенты в замкнутой среде еще в мае переписывались друг с другом в поисках двери в интернет, а потом один из агентов прикидывался живым человеком в своих сообщениях настоящему программисту. В общем, в описании от разработчиков это уже было похоже на какую-то мелодраму.

Через несколько дней и британские исследователи подтвердили, что американские модели искусственного интеллекта совершили побеги и у них в экспериментах. О побегах сообщили и в компаниях Марка Цукерберга. И разработчики одной из китайских моделей тоже заявили о цифровых побегах своих агентов.

После всех этих новостей администрация Трампа провела совещание. Были приглашены представители от компаний — ведущих разработчиков моделей искусственного интеллекта. Решали, как найти баланс — дальше экспериментировать с агентами и раздувать вокруг них пиар-кампании или регулировать эту отрасль и тормозить? Но при последнем варианте можно проиграть Китаю.

Дональд Трамп, президент США: «Китай играет большую роль. Послушайте, кто бы ни выиграл гонку в области ИИ, тот выиграет вообще всё, что связано с ИИ. Это масштабнее, чем интернет. Возможно, это даже масштабнее почти всего, что происходило буквально за последние несколько сотен лет».

Все чаще стали появляться новости про компании в военной сфере, которые используют различные модели искусственного интеллекта. И, похоже, основные геополитические игроки уже работают локтями в этом направлении.

В Китае все глубже модели искусственного интеллекта внедряют в системы военного планирования боев и атак. Об этом на этой неделе пишут сразу несколько китайских изданий. А агентство Reuters публикует материал с обвинениями в адрес Пекина: мол, китайцы для обучения своих боевых систем использует и открытые американские модели ИИ.

На этом фоне Япония объявляет, что готова внедрять в своей армии платформы военного анализа от американской компании Palantir, пока в Токио не разработают свой аналог. Токио опасается быстрого продвижения в этом направлении Китая. В то же время в НАТО подтвердили зависимость от Palantir, которая использует самые продвинутые модели ИИ для выбора целей, расчетов количества боеприпасов, логистики вооружений. Как рекламную витрину Palantir рассматривает сотрудничество с Киевом, обкатывая новые технологии искусственного интеллекта для быстрого расчета шагов в ведении войны. Глава американской компании в мае встречался с Зеленским.

Но в Европе к экспансии Palantir уже относятся настороженно. Эта американская компания стала лидером по контрактам с европейскими военными ведомствами и спецслужбами. В крупных европейских изданиях появилась волна публикаций, в которых Palantir обвиняют и в агрессивном сборе данных и в неуплате налогов. На смену американской платформе с ИИ-моделями в Европе хотят подобрать свою компанию, чтобы снизить зависимость от техногигантов из США.

Перед странами встает сложная задача — как пользоваться чужими готовыми ИИ-моделями, но при этом не впасть в неминуемую зависимость от них? Американские миллиардеры — владельцы ведущих техногигантов — в своих последних интервью как раз обсуждали безоговорочную победу искусственного интеллекта в ближайшей перспективе.

Илон Маск, предприниматель, генеральный директор SpaceX: «По сути, ИИ и роботы смогут производить столько одинаковых товаров и оказывать столько услуг, что в какой-то момент у них просто закончатся задачи, которые можно выполнять для людей».

Сэм Альтман, предприниматель, генеральный директор OpenAI: «В каком-то смысле мы хотим создать джинна, который исполнит любое желание. На самом деле, я вовсе не пессимист в том, что касается проблемы рабочих мест. Я думаю, что рабочих мест будет предостаточно. Я думаю, мы будем заняты больше, чем нам хотелось бы, потому что у людей будут невероятные креативные желания».

Маск и вовсе предрекает наступление некоего технокоммунизма.

Илон Маск: «Даже если экономика станет всего лишь в тысячу раз больше нынешней, то, скорее всего, этого уже будет достаточно, чтобы практически полностью удовлетворить любые человеческие потребности — все, что люди вообще способны захотеть… Думаю, в какой-то момент в будущем деньги перестанут иметь значение».

Все в изобилии, товары и услуги доступны — благодать! Но деньги за подписку на модели искусственного интеллекта у простых смертных, видимо, по-прежнему будут списывать ежемесячно.