Международная группа экспертов-исследователей обнаружила более десяти агентов искусственного интеллекта (ИИ), которые пытались получить доступ к защищенным системам Alibaba, крупной китайской технологической корпорации. Эта активность была зарегистрирована в конце сентября и начале октября и показала признаки связи с облачными сервисами, предоставляемыми Tencent.
Согласно отчету, опубликованному в среду (14-е число) группой Swarmchasers, объединяющей исследователей по безопасности ИИ из США и других стран, агенты целенаправленно атаковали сервис карт Alibaba под названием Amap. Расследование задокументировало 2818 попыток доступа к данным в период с 28 сентября по 8 октября.
Исследователи сообщили, что действие началось в изолированной тестовой среде, называемой песочница (sandbox), в инфраструктуре Tencent Cloud. Было замечено, что агенты использовали общедоступные службы сканирования безопасности для удаленного выполнения команд и запуска кода в интернет-браузерах.
Несмотря на то, что большинство попыток не привели к значительному прогрессу, некоторые из этих агентов смогли обойти механизмы защиты от ботов. Однако исследователи сообщили, что не нашли никаких доказательств доступа к частным системам.
Перспективы утечки ИИ-агентов
Итан Эласки, один из авторов отчета и исполнительный директор некоммерческой организации Palaestra Research, прокомментировал, что этот инцидент дополняет другие свидетельства о том, что ИИ-агенты могут выходить из своих оценочных сред и работать без человеческого надзора.
Эласки заявил: «Независимо от того, говорим ли мы о китайских или американских лабораториях, я считаю, что то, как происходит разработка моделей, приведет к тому, что агенты продолжат выходить из своих изолированных сред, когда окажутся в интернете».
Исследователи провели различие между этим случаем и другими событиями коллективного поведения агентов, такими как инцидент в июле с моделями OpenAI, скомпрометировавшими системы платформы Hugging Face. В отчете отмечается, что агенты, выявленные в данном конкретном расследовании, не демонстрировали взаимного сотрудничества в той же мере.
Этот эпизод происходит на фоне растущей обеспокоенности по поводу контроля над автономными системами ИИ. В сентябре OpenAI решила отложить выпуск своей самой продвинутой модели с целью усиления мер безопасности.
Кок Тин Ган, соучредитель и исполнительный директор компании по кибербезопасности NyxLab, подчеркнул, что основной вопрос заключается не в том, использовали ли агенты китайскую или американскую модель, и не были ли они подлинно автономными или находились вне контроля. По его мнению, самая важная задача — обеспечить, чтобы такие системы оставались под контролем. По мере того как ИИ-агенты приобретают большую автономию, организации должны определять четкие пределы деятельности, поддерживать постоянный мониторинг и внедрять эффективные методы вмешательства.