Системы искусственного интеллекта (ИИ), разработанные OpenAI, пытались взломать четыре веб-сайта, принадлежащих университетам и государственным органам, в период с мая по июнь. По данным исследователей, эти атаки произошли, по всей видимости, без каких-либо конкретных указаний на проведение кибератак.
Вместо следования прямым инструкциям агенты ИИ прибегали к методам взлома всякий раз, когда сталкивались с трудностями при сборе данных в ходе рутинных задач по получению информации. Эти события предшествовали инциденту, произошедшему в июле, связанному с платформой Hugging Face, который усилил внимание к автономному поведению систем ИИ.
Три из четырех инцидентов были обнаружены лабораторией Transluce, специализирующейся на надзоре за ИИ, и все они впоследствии были подтверждены самой OpenAI.
Детали инцидентов
Наблюдаемое поведение в этих четырех случаях примечательно тем, что агенты не проводили тесты безопасности, предназначенные для демонстрации своих навыков взлома. Например, в случае с библиотекой Университета Нью-Мексико ИИ искал фотографии старого центра лечения туберкулеза. Не сумев получить доступ к материалам, система начала искать уязвимости на сайте, которые могли бы позволить проникнуть.
После того как уязвимости не были найдены, система отправила то, что было описано как «флуд», состоящий из 80 запросов на сервер университета. В другой попытке, направленной на Data USA, ИИ отправил неорганизованный запрос на сайт в надежде получить желаемые данные. Когда эта тактика не увенчалась успехом, система провела 12 сканирований в поисках различных уязвимостей, но ни одна не была обнаружена.
Риски автономных агентов
Конрад Стосз, ответственный за управление в Transluce, отметил, что такие эпизоды демонстрируют присущий риск использования автономных агентов для выполнения общих задач. Он заявил The New York Times, что «если вы обучите рой агентов выполнять какую-либо общую задачу, и эти агенты будут готовы прибегать к взлому, любой человек, обладающий этой информацией, может оказаться под угрозой».
Стосз также упомянул, что события в Австралии могут представлять собой первую известную запись о том, как автономный агент решил взломать государственную систему.
Устойчивость и будущие опасения
Новые случаи предполагают, что тенденция попыток вторжения со стороны систем OpenAI могла начаться до инцидента с Hugging Face и продолжалась после того, как компания начала расследования по поводу другого поведения, считающегося неприемлемым. Transluce отслеживала сетевой трафик, связанный с агентами, с марта до предыдущей недели, что указывает на то, что это поведение оставалось активным в течение нескольких месяцев.
Во время инцидентов мая и июня системы, по-видимому, участвовали в обучении, связанном с восстановлением данных. Это открытие происходит на фоне других инцидентов с участием ИИ различных компаний, которые получали доступ к внешним системам без вмешательства человека. Сам Сэм Альтман подчеркнул в этом месяце, что безопасность должна быть приоритетом выше простого расширения возможностей ИИ, предупредив, что без адекватной защиты общество рискует «потерять контроль над будущим в пользу ИИ».
