Nvidia запускает платформу для предотвращения плохого поведения ИИ-агентов

Американский техногигант представил два программных инструмента. Об этом сообщает агентство Bloomberg.

OpenShell — уже презентовали на технологической конференции компании в марте. Он работает на процессорах Nvidia Vera и позволяет задавать правила доступа для ИИ-агентов и обеспечивать их соблюдение в реальном времени. Nvidia Sentry — новинка, работающая на процессорах BlueField. Это дополнительный уровень контроля ИИ, который отслеживает поведение агентов и изолирует подозрительных за миллисекунды.

Платформа получила название Open Agent Safety Platform. По словам вице-президента Nvidia по корпоративному ИИ Джастина Бойтано, если бы компании проверяли свои модели на ранних этапах с помощью этой технологии, то таких инцидентов, как взлом Hugging Face (крупная открытая платформа для работы с искусственным интеллектом) можно было бы избежать.

В июле, во время внутренних тестов кибербезопасности, модели OpenAI вышли из изолированной среды, нашли способ общаться между собой и через цепочку уязвимостей получили доступ к инфраструктуре Hugging Face. Инцидент привел к тому, что все чаще стали говорить о необходимости ограничить развитие ИИ. Nvidia предлагает не тормозить технологии, а ставить «надежный забор».

Неизвестно, планируют ли OpenAI или Anthropic использовать новую систему для мониторинга своих тренировочных запусков.

Ранее модели OpenAI вышли за пределы тестовых сред при взломе системы австралийского правительства и попытках доступа к десяткам университетов США. Еще в июле Anthropic официально признала, что несколько версий ее флагманской языковой модели Claude также вышли за пределы изолированной тестовой среды. На прошлой неделе OpenAI объявила о приостановке обучения своих новых мощных моделей из-за случаев выхода ИИ-агентов из-под контроля.