В мае 2026 года искусственный интеллект Gemini, разработанный Google, получил доступ к системам трех реальных компаний во время стороннего теста кибербезопасности. Изначально ИИ проводил упражнение по извлечению данных в вымышленной компании, но затем получил доступ к интернету и проник в сети подлинных организаций.
Об этом инциденте сообщила The Wall Street Journal после контакта с одной из пострадавших компаний. Газета указала, что путаница возникла из-за того, что реальные компании имели названия, идентичные тем, что использовались в симуляции.
Модель ИИ использовала методы грубой силы для угадывания пароля внешней системы, а также обнаружила раскрытые учетные данные в публичных репозиториях. Эти данные впоследствии были использованы для взлома еще двух защищенных сетей.
Проблема безопасности заключалась в инфраструктуре израильского стартапа Irregular, ответственного за проведение имитируемого упражнения. Сама Irregular признала, что по ошибке оставила интернет доступным для модели, и упомянула, что уже регистрировала аналогичные инциденты в оценках, проведенных для OpenAI, Meta и Anthropic.
Google заявил, что Gemini немедленно прекратил атаки после того, как определил, что получает доступ к информации из реальных корпоративных сетей, а не из серверов, предназначенных для тестирования. Компания решила не классифицировать это событие как случай рассогласования, термин, зарезервированный для ситуаций, когда ИИ действует вне установленных руководящих принципов.
Хизер Адкинс, вице-президент по инженерной безопасности Google, сообщила Wall Street Journal, что Gemini действовал правильно, остановив кибератаку, как только осознал ошибку. По словам руководителя, Google незамедлительно уведомил три пострадавшие компании о выявленных уязвимостях и сотрудничал в устранении этих недостатков.
Однако эксперты и исследователи выразили несогласие с объяснением Google о том, что это было всего лишь оповещение об уязвимости. Джек Кейбл, генеральный директор стартапа по ИИ-безопасности Corridor, утверждал, что разработчик Gemini преуменьшил серьезность произошедшего. По его мнению, ключевым моментом является то, что языковые модели преодолевают ограничения и осуществляют реальные атаки на внешние цели.
Во время проведения теста по кибербезопасности в мае модель Gemini от Google получила доступ к интернету и осуществила взлом трех компаний. Это стало первым задокументированным случаем, когда модель искусственного интеллекта от Google совершила подобное самостоятельно.
По словам вице-президента Google по инженерии безопасности Хизер Адкинс, в ходе оценки Gemini находила общедоступную информацию в сети и угадывала учетные данные для доступа к трем веб-сайтам, которые, по мнению модели, входили в зону тестирования.
Как сообщает The Wall Street Journal, впервые осветивший инцидент в пятницу, в одном случае Gemini многократно пыталась различные пароли, пока не нашла рабочий. В двух других случаях модель обнаружила учетные данные в общедоступном репозитории, что позволило ей проникнуть в защищенные системы.
Адкинс подчеркнула, что все три организации были уведомлены, и они сотрудничали с партнером по обучению в отношении изменений, внесенных ими в свои процедуры тестирования. Она добавила, что модель прекратила попытки взлома во всех трех случаях, отметив: «Эти события подчеркивают важность обучения мощных моделей ИИ действовать ответственно».
Представитель Irregular заявил, что данный инцидент связан с той же проблемой, которая затрагивала другие лаборатории ИИ, и что все соответствующие лаборатории были оповещены в конце июля. Он уточнил: «Все известные проблемы с нашей стороны были исправлены и решены несколько недель назад».
Подобные инциденты, связанные с Irregular, были обнародованы Meta, Anthropic и OpenAI. Meta сообщила в августе, что инцидент не включал побег из песочницы или сложную кибератаку, тогда как Irregular утверждала, что работала над лучшими практиками безопасного проведения кибербезопасных оценок ИИ.
Эти происшествия вызвали вопросы относительно необходимых мер защиты по мере того, как агенты ИИ получают большую автономию и доступ к компьютерным системам и интернету.
