После сообщений о трудностях в контроле моделей ИИ в тестовых средах Nvidia представила решение с выпуском платформы Open Agent Safety 28 сентября. Эта платформа была разработана с целью предотвращения превышения агентами ИИ разрешенных разработчиками полномочий.
Инициатива направлена на ограничение доступа этих агентов к внешним системам и блокировку попыток побега из изолированных сред с использованием комбинации программных и аппаратных компонентов. Генеральный директор компании Дженсен Хуанг сравнил это предложение с интернет-браузером, специально созданным для агентов ИИ.
По словам руководителя, цель состоит в том, чтобы позволить этим системам выполнять задачи без неограниченной свободы в инфраструктуре организации. Он подчеркнул, что «мы не можем иметь успешной индустрии ИИ, если мир не доверяет ей или не верит, что она построена и внедрена безопасно».
Open Agent Safety Platform состоит из двух основных инструментов: Nvidia OpenShell и Nvidia Sentry. Nvidia OpenShell работает на уровне процессоров, определяя разрешения, которые диктуют, что каждый агент может делать в своей среде. Nvidia сообщила Reuters, что сотрудничает с Arm и Intel для обеспечения совместимости этой технологии в чипах, производимых этими компаниями.
Nvidia Sentry фокусируется на сетевых чипах и имеет возможность прерывать связь агента, если он попытается нарушить заранее установленные пределы в среде выполнения. Кроме того, Nvidia заявила, что спроектировала систему таким образом, чтобы она могла выявлять тактики, используемые агентами для обхода таких ограничений.
Компания сделала часть кода Open Agent Safety Platform доступной в качестве открытого исходного кода, что позволяет другим корпорациям использовать его в качестве основы для разработки собственных решений безопасности.
В сотрудничестве с американским многонациональным предприятием находятся Microsoft, Cisco, Oracle, Dell, HPE, Lenovo и CoreWeab, а также упомянутые ранее производители чипов. В секторе лабораторий ИИ Anthropic сотрудничает с Nvidia для включения функций управления агентами в облачные вычислительные среды в OpenShell.
Одной из причин, побудивших к созданию этой новой платформы, стал инцидент с репозиторием Hugging Face, который был взломан агентами на основе моделей OpenAI. Джастин Бойтано, вице-президент Nvidia по корпоративным вычислениям и ИИ, сообщил, что этот взлом затронул более 17 тысяч агентов и продолжался несколько дней и недель.
Бойтано прокомментировал, что «эта новая платформа безопасности могла бы остановить нарушение, если бы она использовалась в передовых лабораториях с самого начала для оценки моделей». Стоит отметить, что после скандала Nvidia заключила соглашение о приобретении платформы за 12,9 миллиардов долларов США (что эквивалентно примерно 67,2 миллиардам бразильских реалов).
Для Дженсена Хуанга эти механизмы считаются достаточными для предотвращения будущих проблем с технологией. В сценарии, где некоторые руководители поддерживают Дарио Амодеи из Anthropic относительно необходимости замедления инноваций, генеральный директор Nvidia, наряду с такими именами, как Марк Цукерберг, утверждает, что дополнительные рыночные регулирования для сдерживания рисков «ненужны».
С другой стороны, критики утверждают, что проблема выходит за рамки простых внешних средств сдерживания. Крис Инглис, бывший директор Национального управления по кибербезопасности США, заявил в прошлом месяце, что проблемы поведения являются просто результатом отсутствия ограничений, наложенных на программы. Другие эксперты по безопасности выдвинули гипотезу, что все это может быть просто большой маркетинговой стратегией.
