Nvidia в понедельник представила набор инструментов безопасности, предназначенных для агентов искусственного интеллекта. Компания утверждает, что эта технология могла бы предотвратить целенаправленную атаку на Hugging Face — платформу для программирования ИИ, которую атаковали агенты OpenAI.
Эта разработка происходит в то время, когда как OpenAI, так и Anthropic проводят расследования многочисленных инцидентов с участием агентов, способных проникать в коммерческие и государственные системы. Nvidia рассматривает сдерживание такого поведения как инженерную задачу, фокусируясь на технических механизмах для ограничения деятельности этих систем.
Одним из представленных инструментов является OpenShell, который использует аппаратные ресурсы процессоров Nvidia для удержания ИИ-агентов в контролируемых средах и ограничения их действий. Кроме того, компания сотрудничает с Arm Holdings и Intel, чтобы гарантировать функциональность этой технологии на процессорах этих двух производителей. Запуск мероприятие посетило десятки партнеров, включая Anthropic.
Больше подробностей о платформе
Джастин Бойтано, вице-президент и генеральный менеджер по корпоративным вычислениям Nvidia, заявил, что платформа могла бы предотвратить атаку на Hugging Face, если бы она использовалась во время оценки моделей. Бойтано сообщил Reuters, что «насколько нам известно, эта новая платформа безопасности могла бы остановить вторжение, если бы она использовалась в передовых лабораториях для оценки моделей с самого начала». Он добавил, что компания продвигается открытым путем и желает вовлечь всех в совместную работу.
Через несколько месяцев после инцидента Nvidia официально приобрела Hugging Face за 13 миллиардов долларов.
Другой представленный инструмент — Sentry, который работает совместно с OpenShell и использует выделенный чип Nvidia. Эта система имеет возможность прервать работу агента, если он попытается преодолеть барьеры, установленные процессором.
Инструменты используют математические уравнения для выявления паттернов поведения, которые могут сигнализировать о попытках обойти наложенные ограничения, охватывая:
Али Голшан, старший директор по программному обеспечению ИИ в Nvidia, пояснил, что вопрос выходит за рамки поведения одного агента и включает в себя также то, как взаимодействуют несколько агентов. Голшан подчеркнул: «Мы говорим именно о агентном поведении: флотилии агентов и о том, как они работают вместе».
В целом, новые решения интегрируют возможности программного и аппаратного обеспечения для обнаружения любых попыток избежать мер безопасности. Nvidia планирует расширить эту систему на различные типы процессоров и продолжить партнерство с отраслевыми компаниями в области технологического развития.