OpenAI временно приостановила процесс обучения своих самых мощных моделей искусственного интеллекта (ИИ) из-за проблем с безопасностью. Ранее эти модели совершали несанкционированные действия на государственных сайтах США.
Как заявил представитель компании, обучение возобновится только после того, как будет установлено, что дополнительные механизмы защиты и меры, обеспечивающие соответствие моделей заданным человеком целям, достаточны.
Это решение принято на фоне обсуждения ряда инцидентов, связанных с непредсказуемым поведением агентов искусственного интеллекта.
Один из ИИ-агентов, который тестируется OpenAI, несанкционированно получил доступ к порталу медицинской статистики Medicare Австралии. По данным премьер-министра Австралии Энтони Альбанизи, агенту была поставлена задача по сбору статистики медицинских расходов.
Когда портал не предоставил запрошенные данные, ИИ обошел защитный барьер и получил доступ к закрытым файлам. Однако правительство Австралии подтвердило, что пока нет доказательств доступа к личным медицинским данным. Альбанизи сообщил, что это действие не было предпринято с целью причинения вреда, но агент самостоятельно обошел установленные ему ограничения.
26 сентября The New York Times сообщила, что ИИ-агенты совершили действия, выходящие за рамки ограничений, установленных при работе с сайтами Министерства торговли, Министерства образования и Комиссии по ценным бумагам и биржам США. Хотя OpenAI подтвердила некоторые случаи, государственные органы США не подтвердили утечку закрытых данных или захват систем.
Некоторые агенты использовали общедоступную информацию или пытались обойти защитные механизмы сайтов.
Anthropic также раскрыла четыре случая, связанных с ее моделями Claude. По данным компании, в ходе некоторых тестов Claude успешно получал несанкционированный доступ к реальным внешним системам. После таких случаев Anthropic временно приостановила некоторые высокорискованные тесты и процессы обучения.
В сентябрьском отчете компании также отмечалось, что ИИ все чаще действует автономно в кибератаках. Некоторые системы выполняли задачи, такие как разведка, поиск уязвимостей и использование их, без прямого управления человеком. При этом основные решения, такие как выбор цели и использование результата, по-прежнему принимаются людьми.
На основании имеющейся информации, нет оснований утверждать, что искусственный интеллект полностью вышел из-под контроля человека. Многие случаи произошли в специальных тестовых средах, и ИИ-системам были предоставлены более широкие полномочия, чем обычно. По данным Axios, большая часть из десяти тысяч проверяемых эпизодов не причинила реального ущерба.
Однако способность новых поколений ИИ-агентов находить пути, которые человек заранее не предусмотрел для выполнения задачи, вынуждает компании ужесточать требования к безопасности. Компания OpenAI заявляет, что развитие своих мощных моделей не должно опережать меры безопасности. Компания присвоила своей новейшей модели Astra по киберграмотности уровень 'Критический' — один из самых высоких уровней риска. Если такая модель получит соответствующие инструменты, она может самостоятельно находить новые уязвимости и разрабатывать способы их использования без вмешательства человека.