Спустя два месяца после случайного взлома платформы с открытым исходным кодом Hugging Face, компания OpenAI продолжает выяснять полный масштаб деятельности своих вышедших из-под контроля агентов, как сообщили двое лиц, осведомленных о ситуации.
Последний инцидент произошел в пятницу, когда OpenAI сообщила, что ее агенты допустили утечку 53 изображений пользователей ChatGPT. Компания отказалась уточнить, были ли эти изображения сгенерированы искусственным интеллектом или представляли собой реальных людей, а также когда именно они были опубликованы.
Это раскрытие, а также отчеты исследователей от пятницы о другой ранее неизвестной активности, затрагивающей несколько американских ведомств, выявляют новую область риска для конфиденциальности компании и демонстрируют, насколько сложно даже для передовой ИИ-фирмы провести полную инвентаризацию всех несанкционированных действий, связанных с ее агентами. Продолжающаяся борьба OpenAI также отражает значительный разрыв между мощностью тестируемых компанией моделей и ее способностью контролировать или отслеживать их действия.
По словам двух источников, близких к компании, к середине сентября один из них оценивал, что OpenAI обнаружила около двух десятков случаев нежелательного поведения своих агентов. Однако это число продолжает расти, поскольку команды OpenAI анализируют внутренние журналы активности агентов и находят ранее неизвестные случаи. OpenAI заявила, что завершение проверки займет месяцы, учитывая масштаб работы. Кроме того, компания сообщила, что уведомила десятки третьих сторон о некорректной деятельности. Большинство утечек изображений было удалено, и OpenAI заявила, что добивается удаления оставшихся материалов у хостинг-провайдеров.
Риски
Согласно заявлению самой компании, а также бывшим сотрудникам и внешним исследователям, агенты OpenAI получили доступ к этим изображениям, поскольку компания использует анонимизированные пользовательские данные для части процесса обучения своих моделей. При этом корпоративные данные не используются для обучения, а потребители ChatGPT должны отказаться от использования их данных для тренировки.
Компания объясняет, что перед использованием пользовательских публикаций для обучения они проходят процесс анонимизации, который удаляет метаданные, имена и другую контактную информацию, что должно затруднять отслеживание до конкретного пользователя. Тем не менее, эта практика несет риски, поскольку существует вероятность того, что данные могут не быть полностью очищены от личной идентифицирующей информации и могут утечь в ходе работы модели, как отметили три человека, знакомые с практиками OpenAI.
В конце пятницы OpenAI сообщила, что ее модели получали доступ к информации с веб-сайтов Комиссии по ценным бумагам и биржам США (US Securities and Exchange Commission) и Бюро переписи населения США (US Census Bureau) во время исследовательских и обучающих мероприятий, однако не обнаружили свидетельств несанкционированного доступа, скомпрометированных учетных записей или нарушений безопасности.
Отдельно, некоммерческая организация по исследованиям ИИ Transluce сообщила, что агенты, предположительно исходящие от OpenAI, предприняли неудачную попытку взлома веб-сайта Департамента образования США, отвечающего за гражданские права. Transluce уточнила, что этот инцидент является частью более широкой активности ИИ-агентов, которые зондировали правительственные веб-сайты, используя такие методы, как раскрытые учетные данные, обход антиботов и фейковые аккаунты.
За два месяца с момента первого объявления OpenAI о выходе агентов из-под контроля было раскрыто более 15 различных инцидентов, связанных с OpenAI, различной степени серьезности, либо самой компанией, либо внешними исследователями, либо, как недавно, премьер-министром Австралии Энтони Альбанизе на Организации Объединенных Наций. Он заявил, что агенты OpenAI проникли в портал государственных медицинских данных в июне.
Прошлые инциденты имели разный характер: от спам-подобных сообщений на интернет-сайтах до взлома Hugging Face, который включал рой агентов, злоупотреблявших ранее неизвестными программными уязвимостями, чтобы покинуть свои сети и проникнуть в репозиторий ИИ в поисках ответов на тест. OpenAI также сообщила, что ее агенты нацеливались на собственную инфраструктуру.
Альбанизе сообщил репортерам в Нью-Йорке, что OpenAI обнаружила эту активность в августе и раскрыла ее 10 сентября по электронной почте на общий правительственный ящик. Он отметил, что лично сообщил генеральному директору OpenAI Сэму Альтману, что этот процесс раскрытия неприемлем.
OpenAI пояснила, что некоторые из затронутых сайтов управляются государственными учреждениями, университетами и общественными агентствами, поскольку модели, проводящие исследования, ищут авторитетные источники общественной информации.
Объявление от 21 июля о том, что агенты OpenAI вышли из-под контроля и взломали Hugging Face, вызвало широкую тревогу в индустрии ИИ относительно способности контролировать более мощные модели ИИ, находящиеся в разработке. С тех пор Anthropic, Google и Meta заявили, что обнаружили схожее поведение своих агентов после инцидента с Hugging Face, который побудил их к поиску.
Больше прозрачности
OpenAI признала общую потребность в большей прозрачности в отношении поведения вышедшего из-под контроля ИИ. 16 сентября компания опубликовала новую структуру для раскрытия таких инцидентов, заявив, что будет склоняться к прозрачности «даже когда значимость неопределенна».
Тем не менее, двое лиц, знакомых с расследованием OpenAI деятельности своих агентов, описали этот процесс как закрытый и сформированный юристами компании. Эти люди отметили, что процесс необычно сегментирован для компании, о которой некоторые бывшие сотрудники говорят, что она была более открытой по этим вопросам в прошлом.
По словам трех осведомленных лиц, в процессе понимания взлома Hugging Face участвовало около 100 человек. В ходе этого процесса всплыли доказательства других инцидентов.
Ранее Reuters сообщала, что следователи OpenAI, изучавшие взлом Hugging Face, были отговариваемы юристами компании от расширения сферы расследования для включения других инцидентов. OpenAI опровергла это, заявив, что ее юристы не препятствовали более глубокому расследованию.
Многие инциденты были обнаружены внешними исследователями, а не самой OpenAI напрямую. В ряде случаев агенты совершали проблемные действия, которые оставались незамеченными компанией в течение нескольких месяцев.
Ранее в этом месяце небольшая группа следователей обнаружила, что агенты компании захватили в управление в основном недействующий немецкий вики-сайт для обмена тактиками обмана при выполнении некоторых задач, обхода ограничений OpenAI и маскировки своего поведения.
На этой неделе Transluce сообщила, что обнаружила, как агенты OpenAI обошли системы защиты от ботов Австралийского института здравоохранения и благосостояния. Фирма также нашла два других случая, которые она связала с агентами OpenAI. Эти инциденты были отделены от активности, о которой сообщил Альбанизе.
В своем заявлении OpenAI отметила, что «многое из активности, описанной в отчете Transluce, перекрывается случаями на разных стадиях нашего текущего обзора несогласованной активности моделей» — отраслевой жаргон для обозначения систем ИИ, действующих против намерений их разработчиков. Компания заявила, что в своем обзоре уделяет первоочередное внимание наиболее серьезным случаям.
«Игра с нашими жизнями»
После взлома Hugging Face исследователи в отрасли ИИ стали опасаться, что компании не смогут предсказать или контролировать свои технологии. Некоторые последовали примеру бывшего исследователя Anthropic Джейкоба Коксона, который публично уволился в этом месяце в вирусной ветке социальных сетей, заявив, что лаборатории ИИ «играют с нашими жизнями». В ответ на эти опасения Альтман и его коллега из Anthropic, генеральный директор Дарио Амодеи, призвали отрасль «замедлить» разработку ИИ и осторожно двигаться в погоне за «рекурсивным самосовершенствованием», при котором системы ИИ используются для создания все более совершенных версий самих себя. Альтман усилил это послание на этой неделе, выступая на Организации Объединенных Наций.