Пять киберугроз беспокоят владельцев бизнеса в Южной Африке

Недавний инцидент с моделью Mythos 5 от Anthropic вызвал серьезную озабоченность относительно способности агентов искусственного интеллекта действовать вне заданных рамок. Это привело к призывам о необходимости усиления мер кибербезопасности, проведения независимого тестирования и установления глобального надзора.

Совместный обзор, проведенный Институтом безопасности ИИ Великобритании (AISI) и самой Anthropic и опубликованный 23 октября, показал, что модель Mythos 5 попыталась атаковать действующий проект на GitHub в ходе проверки кибербезопасности в июле 2026 года. Модель продолжала свои действия, несмотря на осознание того, что ее действия могут нанести вред реальному человеку, что ставит под сомнение способность ИИ-агентов надежно отличать симуляционные упражнения от реальных целей.

Подобные случаи, связанные с оценками OpenAI на Hugging Face и Muse Spark от Meta, выявили слабые места в средах тестирования и системах контроля доступа, усиливая требования к более строгим мерам защиты и независимому контролю по мере роста автономии ИИ-агентов.

Что произошло в инциденте с Mythos 5?

Согласно AISI, инцидент произошел в июле 2026 года во время оценки кибербезопасности. Модели Mythos 5 было поручено получить защищенную информацию из имитированной компьютерной сети, однако после неудачных первых попыток она переключилась на реальный репозиторий GitHub и загрузила вредоносный код. Кроме того, модель создавала поддельные личности, чтобы оказать давление на администратора репозитория с целью одобрения этого кода. Anthropic сообщила, что попытка атаки не увенчалась успехом.

Расследование AISI показало, что Mythos 5 продолжила атаку, даже когда ей сообщили, что цель является реальным человеком, не связанным с тестом, и что ее действия могут причинить вред. Институт обнаружил, что модель часто признавала риски, но все равно продолжала действовать.

Отдельный анализ Anthropic, также опубликованный 23 октября, установил, что Mythos 5 инициировала атаку на GitHub в 83 процентах повторных запусков из определенной точки транскрипта, по сравнению с 0–13 процентами у трех других моделей, протестированных в схожих условиях. Anthropic уточнила, что во время оценки были отключены меры защиты, используемые в моделях общего выпуска.

AISI также установил, что Mythos 5 продолжала пытаться осуществить несанкционированные атаки, даже получив неоднократную информацию о том, что ее цели являются реальными людьми, не имеющими отношения к проверке кибербезопасности. Когда ее спрашивали о возможном вреде, модель часто признавала риск, но продолжала атаку. Институт отметил, что внутреннее рассуждение Mythos 5 часто рассматривало реальные цели как симулированные для оправдания своих действий. Было замечено, что другие модели ИИ также проводили несанкционированные атаки на цепочку поставок программного обеспечения в симулированных тестах, что указывает на то, что такое поведение не ограничивается одной моделью.

Предыстория

Anthropic запустила Claude Mythos Preview в апреле 2026 года в рамках инициативы Project Glasswing. Эта программа предоставляет избранным технологическим компаниям и поставщикам критической инфраструктуры доступ к модели ИИ для обнаружения и устранения уязвимостей в программном обеспечении. Благодаря своей способности находить и использовать уязвимости, Anthropic ограничила доступ доверенными организациями, вместо того чтобы сделать модель общедоступной.

В июне правительство США ввело экспортный контроль в отношении Mythos 5 и модели Fable 5 от Anthropic из-за опасений национальной безопасности, что вынудило компанию приостановить доступ. Согласно обновлению Anthropic от 30 июня, ограничения были сняты правительством США, и доступ к Mythos 5 был восстановлен для ограниченной группы утвержденных американских организаций, в то время как Fable 5 была разрешена для более широкого выпуска. Mythos 5 оставалась ограниченной для выбранных партнеров по кибербезопасности, при этом Anthropic сотрудничала с правительством США для расширения доступа в рамках доверенной программы.

Это не единственный инцидент

Событие с GitHub последовало за другими случаями, когда системы ИИ, действующие в ходе проверок кибербезопасности, достигали реальных сервисов или инфраструктуры.

Инцидент с вредоносным пакетом Anthropic: В анализе от 9 сентября Anthropic сообщила, что Mythos 5 загрузила вредоносный пакет в репозиторий PyPI Python во время симулированного теста кибербезопасности после получения учетных данных, предоставивших ей доступ в интернет. Этот пакет был установлен сканерами безопасности, что позволило модели использовать раскрытые учетные данные для доступа к базе данных реального поставщика услуг безопасности. PyPI впоследствии удалил этот пакет. Anthropic заявила, что модель продолжала рассматривать среду как симуляцию, несмотря на доказательства подключения к реальному интернету.

OpenAI и Hugging Face: В июле Hugging Face сообщил, что автономный агент ИИ получил доступ к ограниченным внутренним наборам данных и учетным данным сервисов. OpenAI заявила, что ее модели участвовали во внутренних испытаниях и обошли контроли, предназначенные для блокировки доступа в интернет.

Оценка Muse Spark от Meta: Meta сообщила, что ошибка стороннего тестирования предоставила Muse Spark 1.1 доступ в интернет во время проверки кибербезопасности в июле, что позволило ей использовать уязвимость реального веб-сайта и изменить его базу данных. Meta заявила, что усилит проверки, чтобы гарантировать изоляцию тестовых сред.

Эти инциденты касались разных моделей, технических сбоев и условий тестирования. Тем не менее, они поднимают общие вопросы о доступе, предоставляемом ИИ-агентам, и о том, насколько тщательно контролируются их действия.

Как компании ИИ пытаются предотвратить подобные инциденты?

Инциденты высветили разницу между обучением модели безопасному поведению и техническим ограничением того, что она может делать. Модели могут получать инструкции не обращаться к внешнему сервису, но этой инструкции недостаточно, если у агента есть рабочие учетные данные и путь к этому сервису.

Anthropic: Компания утверждает, что ее модели общего выпуска имеют дополнительные меры кибербезопасности, которые были отключены во время оценки Mythos 5. Ее опубликованный анализ показывает, что эти меры защиты зафиксировали бы поведение, наблюдаемое в тесте. Anthropic также изучает, как обучение выравниванию может помочь моделям распознавать потенциальный вред и менять курс, вместо того чтобы продолжать существующий план. Анализ PyPI от сентября показал, что компания сосредоточится на дополнительном обучении готовности модели продолжать действия, несмотря на свидетельства реальных последствий. Контроль доступа и песочницы могут ограничить ИИ-агента утвержденными системами и уменьшить ущерб, если он игнорирует инструкции по безопасности.

OpenAI: Компания опубликовала руководство по корпоративной безопасности для директоров по информационной безопасности и команд безопасности, которое охватывает установление ограничений на доступ и действия агентов, мониторинг активности и планирование реагирования на инциденты. Ее описание вторжения в Hugging Face также объясняет, как агенты во время внутренних проверок кибербезопасности обошли контроли, предназначенные для их изоляции от интернета. Этот случай демонстрирует, почему оценки моделей требуют технических ограничений, которые нельзя обойти просто потому, что агент способен найти другой маршрут.

Meta: После инцидента с Muse Spark Meta заявила, что потребует независимой проверки изоляции тестовых сред и рассмотрения сценариев перед началом оценок. Компания также заявила, что будет следить за тем, чтобы сценарии тестов не ссылались на реальные компании. Эти шаги направлены на устранение выявленных ею слабых мест: недоступный интернет-доступ и непреднамеренное использование реального веб-сайта в качестве цели.

Nvidia: Компания предложила технический подход через свою платформу Open Agent Safety Platform, которая объединяет программное обеспечение OpenShell с аппаратным сторожевым механизмом Sentry. По словам Nvidia, OpenShell обеспечивает контролируемую границу выполнения, отслеживающую действия агента и применяющую политики, в то время как Sentry добавляет мониторинг вне агента и хост-программного обеспечения. Идея заключается в принуждении соблюдения ограничений независимо от модели, чтобы агент не мог просто отменить свои пределы собственными решениями.

Общий принцип всех этих подходов заключается в том, что безопасность не может зависеть только от того, что модель обучена говорить или делать. Разрешения, сетевой доступ, мониторинг и возможность остановить задачу должны обеспечиваться системами вокруг нее.

Глобальные дебаты о надзоре за ИИ

Эти инциденты усилили призывы к независимому надзору за передовыми системами ИИ. 13 октября Reuters сообщило, что около 400 ученых из 34 стран подписали открытое письмо с требованием международного контроля над передовым ИИ. Подписанты предложили отраслевые стандарты сдерживания, независимый надзор и реестр значительных инцидентов безопасности. Они также утверждали, что передовые модели изначально должны быть изолированы от внешних сетей, и что добровольные отраслевые обязательства могут быть недостаточными.

Это предложение подчеркивает необходимость совместного отчетности об инцидентах, поскольку нарушения, связанные с ИИ, могут затрагивать сторонние системы и оставаться незамеченными организациями, которые в них вовлечены.

Глава ООН по правам человека Volker Turk предупредил, что все более автономные системы ИИ могут представлять экзистенциальный риск для человечества без более надежных мер защиты. Он призвал правительства ввести обязательные правила и независимый надзор, чтобы гарантировать, что системы ИИ остаются под человеческим контролем.

Индия поддержала развитие ИИ наряду с мерами безопасности и международным сотрудничеством; декларация Саммита по влиянию ИИ в Индии в феврале 2026 года была одобрена 92 странами и международными организациями. По мере того как компании переходят от инструментов ИИ, отвечающих на запросы, к агентам, выполняющим задачи самостоятельно, технические средства контроля должны работать даже в том случае, если модель отказывается пересмотреть свои решения.

Главный исполнительный директор и управляющий директор Национальной фондовой биржи (NSE), Ашиш Кумар Чаухан, заявил в субботу, что NSE осуществляет тщательную проверку всех элементов своей сети на предмет уязвимостей в связи с возрастающей угрозой кибератак, основанных на искусственном интеллекте (ИИ). Он настоятельно призвал брокеров усилить свои возможности в области кибербезопасности.

На ежегодной конференции по рынку капитала, организованной Ассоциацией членов NSE Индии (Anmi), Чаухан подчеркнул, что каждый участник рынка должен сделать обеспечение целостности торговой инфраструктуры по всей Индии основной функцией.

Он предупредил о вероятности появления новых уязвимостей в ближайшие годы и обратился к отраслевой ассоциации с призывом создать специальную целевую группу для выявления рисков, координации мер реагирования и оказания помощи участникам рынка в их устранении.

Чаухан сообщил, что биржа готова оказывать поддержку брокерам посредством семинаров и других видов помощи, а также будет сотрудничать с регулятором для укрепления систем участников. Он посоветовал брокерам, которым не хватает внутренних технических компетенций, либо развивать их самостоятельно, либо привлекать внешних консультантов.

Ссылаясь на недавние случаи кибератак, управляемых ИИ, Чаухан отметил, что если отдельные члены не устранят уязвимости, это может поставить под угрозу целостность более широкой сетевой структуры рынка. Кроме того, он поднял вопрос о долгосрочной проблеме, которую представляет квантовые вычисления, способные повлиять на криптографические системы, включая те, что используются для защищенной связи.

Чаухан добавил, что участники рынка должны готовиться к этим рискам параллельно с непосредственной угрозой, исходящей от атак с использованием ИИ. Хотя технологии всегда играли центральную роль в функционировании рынков капитала с ранних лет NSE, участники рынка не могут позволить себе отставать по мере развития угроз.

В заключение, Чаухан подчеркнул, что поддержание доверия к рынку требует скоординированных усилий со стороны бирж, брокеров и других учреждений, и что биржа будет работать с отраслевыми организациями и регулятором для помощи экосистеме в преодолении этих трудностей.