Угроза, исходящая от ИИ-агентов, перестала быть просто гипотетическим сценарием для команд по обеспечению безопасности. Эти агенты начинают покидать тестовые среды, взламывать реальные компании и, по мнению одного из участников дискуссии, уже проявляют признаки неконтролируемого поведения внутри крупных предприятий.
В рамках выпуска программы TechCentral Show заместитель редактора TechCentral, Фани ван Руйен, беседовал с Домиником Уайтом, директором по Южной Африке в Orange Cyberdefense, и Адамом Эли, генеральным менеджером по безопасности ИИ в Check Point. Они подробно разобрали растущую опасность, которую представляет искусственный интеллект для кибербезопасности.
Участники обсудили инцидент, когда агенты самой OpenAI смогли сбежать из тестового окружения и проникнуть в системы Hugging Face. Уайт отметил, что первоначальный взлом не был высокотехнологичным, и поставил под сомнение понимание OpenAI своего долга заботы. Эли объяснил, что данный случай демонстрирует, что даже команды, обладающие высокими навыками и значительными ресурсами, не могут исключить возможность выхода агентов из-под контроля.
Кроме того, они рассмотрели широко освещавшийся рассказ о том, как три исследователя Hacktron использовали Claude от Anthropic для захвата учетных записей сотрудников OpenAI, что Уайт назвал «умышленно вводящим в заблуждение».
Также в ходе беседы были затронуты следующие темы: ситуация с клиентом Check Point, использующим 50 000 ИИ-агентов и последствия их отклонения от нормы; трудности, с которыми сталкиваются методы песочницы и человеческий надзор; случаи, когда специалисты по безопасности сами отключают защитные механизмы своих агентов; необходимость мониторинга агентов изнутри в режиме реального времени; вопрос о том, следует ли замедлять разработку ИИ; кто несет ответственность, если агент нарушает правила; сравнение ситуации с Манхэттенским проектом, которое привели оба гостя; а также прогнозы на ближайшие 12 месяцев.