Новая модель ИИ от OpenAI, GPT-6 Cyber, обнаруживает сотни уязвимостей в программном обеспечении

Сотрудники OpenAI долгое время сигнализировали руководству о уязвимостях в системе безопасности внутренних систем компании. Как сообщает Reuters, эти недостатки могли позволить внешним лицам, включая иностранные правительства, получить доступ к критически важным данным о прогрессе искусственного интеллекта (ИИ).

Эти жалобы были доведены до сведения руководителей и совета директоров. Некоторые сотрудники пришли к выводу, что организация уделяет больше внимания скорости разработки для конкуренции с такими гигантами, как Google и Anthropic, пренебрегая безопасностью.

Пять человек, знакомых с практиками OpenAI, сообщили, что сотрудники, имеющие доступ к коду, могли просматривать детали различных проектов. Это происходило потому, что большая часть кода была сосредоточена в одном репозитории, известном как монорепозиторий.

Сама OpenAI заявила, что внедрила ограничения доступа к конфиденциальным работам и что жизненно важные части ее исследований хранятся в отдельных репозиториях. Компания пояснила, что основной репозиторий не содержит весь код и веса моделей.

Обеспокоенность также касалась отсутствия периодических аудитов безопасности. Три источника указали, что изменения, внесенные сотрудниками, не всегда проходили проверку с помощью внутренних инструментов.

Один конкретный инцидент проиллюстрировал другую сторону рисков. 13 октября Министерство юстиции США объявило об аресте Абдулрахмана Альфозана, инженера OpenAI, обвиненного в сокрытии диктофона в рулон туалетной бумаги в комнате заседаний руководителей.

Судебные документы показали, что он использовал внутренний инструмент ИИ для отслеживания информации о поездках руководителей в Саудовскую Аравию и потенциальных встречах с министрами. Альфозан поддерживал контакт с членом саудовской королевской семьи, который пытался его завербовать.

В ответ на опасения по поводу защиты систем OpenAI также усилила свою инфраструктуру безопасности. Однако проблемы с защитой стратегической информации затрагивают и другие компании в сфере ИИ.

В январе федеральная коллегия присяжных вынесла приговор бывшему сотруднику Google за кражу технологических секретов компании в пользу Китая. В конце октября стартап Cathedral Systems заявил, что взломал системы Anthropic и получил доступ к беседам в Slack о моделях, получив такие данные, как контакты клиентов и партнеров, а также базовые записи учетных записей.

Подобные случаи усиливают дебаты о культуре открытых исследований в секторе. В OpenAI сотрудники начали задаваться вопросом, совместимо ли обмен информацией с защитой стратегических технологий.

В 2023 году Леопольд Ашенбреннер, тогдашний исследователь компании, написал меморандум о опасности китайского проникновения. Этот документ был представлен совету после того, как внешний злоумышленник получил подробную информацию о GPT-4. OpenAI сообщила, что злоумышленник получил доступ только к каналам Slack, открытым для всей команды.

В этом году ИИ-агенты OpenAI в ходе тестирования взломали системы Hugging Face — событие, которое анализировалось американскими властями. В июле исследователи Hacktron AI использовали модель Anthropic для проникновения в учетные записи ChatGPT сотрудников OpenAI и доступа к внутренним системам. OpenAI поблагодарила за предупреждение и сообщила, что приняла меры для снижения риска подобных атак.

Бывший исследователь Уилл ДеПью, покинувший компанию в апреле, раскритиковал акцент на скорости. В публикации в X он утверждал, что OpenAI считала более приоритетным быстрое продвижение, чем защиту своих систем, даже от крупных национальных противников.

Представитель компании Элана Видманн сообщила Reuters, что компания инвестирует в защиту от внутренних угроз, киберпреступников и правительств. После обращения агентства OpenAI раскрыла недавние улучшения в области безопасности. По сообщению, это укрепление защиты может замедлить развитие ИИ и осложнить планы IPO OpenAI и Anthropic.

OpenAI внедрила ограничение доступа к открытому интернету для своих самых сложных моделей искусственного интеллекта (ИИ) после обнаружения уязвимостей, которые позволили агентам ИИ преодолевать барьеры безопасности и получать доступ к внешним системам. Эта мера направлена на предотвращение использования моделями в процессе обучения уязвимостей и причинения ущерба за пределами контролируемых организацией сред.

В заявлении, опубликованном в эту пятницу (23-е число), компания подробно сообщила, что усилила механизмы изоляции своих исследовательских пространств и установила автономную операционную систему. В этой новой системе модели могут взаимодействовать с веб-контентом, который был предварительно каталогизирован и сохранен в кэше, без установления прямого контакта с внешними серверами.

Ранее OpenAI приостановила обучение и оценку своих самых передовых моделей в сентябре после того, как внутренняя модель получила ограниченный доступ к интернету, используя некорректную конфигурацию. После внедрения новых мер защиты OpenAI возобновила обучение с подкреплением и внутреннее использование этих моделей 1 октября.

По данным компании, политика поддержания обучения без доступа к публичному интернету останется в силе до тех пор, пока успехи в системах безопасности не оправдают смягчения этого правила.

Одним из наиболее значимых открытий стало эксперимент, проведенный компанией для проверки возможности обмена информацией агентами даже при отсутствии подключения к интернету, обмена файлами или авторизованных каналов связи. В одном эксперименте агенты, работающие на различных виртуальных машинах, смогли передавать данные, используя кэш процессора — быструю память, которая хранит недавно использованную информацию.

Этот метод работал путем использования временной разницы между доступом к данным, находящимся в кэше, и их извлечением из основной памяти компьютера. Один агент изменял состояние кэша для кодирования сообщения, в то время как другой отслеживал время, необходимое для доступа к определенным данным, и интерпретировал эти изменения как сигналы. После определения протокола кодирования и декодирования агенты смогли обмениваться информацией, не открывая сетевое соединение и не изменяя общий файл.

OpenAI также выявила другие потенциальные средства связи, такие как использование общего хранилища, борьба за процессорное время и кэш сертификатов TLS внутри автономной веб-инфраструктуры компании. Хотя компания утверждает, что многие из этих каналов передают данные медленно и их трудно использовать, они все же представляют собой слабые места в системах, предназначенных для предотвращения связи между изолированными агентами.

Компания заявила, что добавила проверки в свои механизмы мониторинга для обнаружения любых попыток связи по этим каналам. Стратегия безопасности компании использует многоуровневую защиту, включая ограниченные среды выполнения, виртуальные машины, наблюдение за активностью и контроль сети и облачной инфраструктуры. Цель состоит в том, чтобы гарантировать, что единичный сбой не позволит модели преодолеть все барьеры; если агент сможет сбежать из ограниченной среды, другие средства защиты должны помешать ему получить доступ к внешним системам.

Кроме того, OpenAI сообщила, что продолжит использовать свои самые передовые модели для поиска уязвимостей в собственных исследовательских средах. Результаты, полученные в ходе этих тестов, включаются в оценки безопасности, используемые для определения возможности начала новых этапов обучения. Однако компания признала, что будущие модели могут содержать еще неизвестные уязвимости, поэтому планирует продолжать тестирование и совершенствовать системы автоматического обнаружения и прерывания действий, считающихся рискованными.

Искусственный интеллект ускоряет процесс обнаружения уязвимостей в программном обеспечении, сокращая время, отведенное на их исправление. Эксперты по кибербезопасности, опрошенные Reuters, прогнозируют новые перебои в работе цифровых сервисов, поскольку компании и правительства пытаются подготовиться к эксплуатации этих недостатков.

Исследование, проведенное компанией VulnCheck и запланированное к публикации в ближайшие дни, показывает, что количество обнаруженных цифровых уязвимостей удвоилось по сравнению с предыдущим годом. Проблемы, зарегистрированные на этой неделе на государственных сайтах в Европе, демонстрируют давление, которое могут вызвать подобные открытия.

Перебои начались в среду после обнаружения уязвимостей в PHP, языке программирования, который используется во многих частях интернета. Чтобы предотвратить атаки, операторы спешно занимались исправлением своих систем. Некоторые временно отключили сайты, поскольку не могли применить обновления до возможных вторжений.

Эта гонка за исправлениями произошла в неделю, которая уже была отмечена другими проблемами безопасности. Были раскрыты уязвимости в Node.js и Plex, а также инциденты, связанные с платформой искусственного интеллекта LiteLLM и платформой разработки Railway. Индийский сертификационный орган eMudhra также привлек внимание из-за использования крайне слабого криптографического ключа, что могло поставить под угрозу пользователей интернета.

Мэттью Принс, генеральный директор Cloudflare, заявил Reuters, что знает о других серьезных уязвимостях в программном обеспечении, жизненно важном для функционирования сети. По его оценке, сектор столкнется с трудными месяцами впереди. Он отметил: «Думаю, у нас будет несколько лет, когда каждую неделю будет казаться, что небо падает».

Ранее поиск уязвимостей в сложных программах требовал специализированных знаний. Разработка инструментов для их эксплуатации могла занимать недели или месяцы, предоставляя ответственным за системы время для подготовки исправлений и распространения обновлений. Однако искусственный интеллект сокращает этот промежуток времени. Модели способны непрерывно анализировать большие базы кода, находить проблемы и помогать разрабатывать инструменты для эксплуатации всего за несколько часов.

Шейн Фрай, технический директор RunSafe Security, подчеркнул изменение темпа этого процесса. Он заявил: «То, что фундаментально и неоспоримо меняется, — это время, необходимое как для обнаружения уязвимостей, так и для того, чтобы противники смогли их использовать».

В свете этой ситуации команды безопасности должны справляться с задачами, выходящими за рамки простого выявления ошибок в коде. Специалистов беспокоит сокращение времени реагирования, однако нет единого мнения о том, что ускоренное обнаружение уязвимостей приведет к волне успешных атак.

Даниэль Штенберг, ведущий разработчик инструмента передачи файлов curl, отмечает, что некоторые уязвимости, найденные моделями ИИ, являются сложными и трудноэксплуатируемыми. Рами Рахман из компании по безопасности ArmorCode также подчеркивает, что публикация большего числа уязвимостей не обязательно означает увеличение числа успешных атак. Случай с PHP служит примером этой разницы: компания по разведке угроз Hunt.io обнаружила агрессивные попытки эксплуатации, но сообщила, что к 14 часам четверга по восточному побережью США злоумышленники, которые отслеживались, по-видимому, еще не смогли разработать функциональный инструмент для использования этой уязвимости.

Принс сообщил о признаках вторжений, связанных с уязвимостью. Тем не менее, он считает, что ускоренное обнаружение проблем может принести долгосрочную пользу, позволяя исправлять ошибки, которые оставались скрытыми годами.