Исследователи кибербезопасности, получившие доступ к системам OpenAI недавно, выступили с предупреждением о том, что сектор искусственного интеллекта (ИИ) еще не готов к рискам безопасности, порожденным развитием и растущей мощью самой технологии.
Исследователи из Hacktron, стартапа, специализирующегося на компьютерной безопасности, смогли проникнуть в системы компании, ответственной за ChatGPT, используя помощь Claude, чат-бота, разработанного Anthropic, главного конкурента OpenAI.
Согласно публикациям Hacktron на платформе X, атака началась с эксплуатации публичной панели сообщений, что позволило исследователям получить доступ к частным системам OpenAI, включая части внутреннего кода компании.
OpenAI оперативно устранила уязвимость и компенсировала исследователям сумму в размере 6,5 тыс. долларов США (эквивалентно 33,4 тыс. бразильских реалов) за обнаружение и уведомление об уязвимости.
Этот инцидент, наряду с другими случаями, когда модели ИИ получали доступ к интернету без обнаружения и атаковали другие корпорации, усилил критику со стороны экспертов по кибербезопасности. По их мнению, усилия компаний в области ИИ по защите своих систем не соответствуют огромной мощи, которую они придают этой технологии.
Критика уязвимости систем
Мохан Педхапати, один из исследователей Hacktron, участвовавших в атаке на OpenAI, заявил, что использование стандартного корпоративного программного обеспечения, такого как Slack, потребительские браузеры и другие общедоступные приложения, делает компанию уязвимой для атак. Педхапати задался вопросом в публикации в X: «Если люди, создающие эти системы, действительно считают, что они достаточно мощны, чтобы создавать риски ядерного уровня, и говорят о замедлении из-за этих рисков, то почему эта работа... выполняется с помощью обычных продуктов SaaS?»
Сэм Альтман, генеральный директор OpenAI, присоединился к другим лидерам отрасли, выступающим за снижение темпов развития ИИ из-за опасений, что технологические возможности развиваются быстрее, чем способность индустрии управлять ими.
В заявлении представитель OpenAI поблагодарил исследователей за сообщение об их находках и подтвердил, что меры безопасности компании были усилены.
Предупреждение экспертов
Фрэнк Силуффо, директор Института кибербезопасности и критической инфраструктуры McCrary Университета Оберна, назвал успех небольшой группы исследователей в атаке — проведенной с затратами в 3 тыс. долларов США (15,4 тыс. бразильских реалов) на использование систем Anthropic — «предупредительным выстрелом». Силуффо предупредил: «Если трое ответственных исследователей, оснащенных коммерческими инструментами ИИ, смогли достичь такого уровня доступа за несколько дней, мы должны предположить, что иностранные разведывательные службы с большим ресурсом непрерывно преследуют те же цели и, безусловно, никогда не сообщают цели о том, что и как они сделали».
Эксперты по национальной безопасности уже много лет предупреждают, что американские компании в области ИИ должны ожидать, что на них будут нацелены хакеры, поддерживаемые иностранными правительствами, заинтересованными в снижении лидерства США в технологической сфере.
Призывы к замедлению развития ИИ также побудили парламентариев от двух основных американских партий выступить за более строгий государственный надзор за сектором.
С другой стороны, Дональд Трамп решительно отверг эти предложения, настаивая на том, что отрасль должна ускорить темпы, чтобы сохранить конкурентоспособность по отношению к Китаю.
Атака, проведенная Hacktron, произошла примерно в то же время, что и инцидент с агентами ИИ.
Сразу после инцидента OpenAI перераспределила значительную часть своих инженерных ресурсов для укрепления безопасности. Грег Брокман, президент компании, сообщил в интервью подкасту Andreessen Horowitz, что 25% производственных инженеров временно были направлены на эту функцию. Брокман пояснил: «Мы взяли 25% наших производственных инженеров и сказали: 'Извините, все ваши проекты приостановлены. Теперь вы занимаетесь обороной'». Он добавил, что обнаружили и исправили множество серьезных проблем.
Реакция OpenAI на исследователей
Исследователи Hacktron также раскритиковали способ ответа OpenAI после получения уведомления об уязвимости. Как и многие крупные корпорации, OpenAI публично поощряет раскрытие уязвимостей исследователями по безопасности.
Фабиан Фэсслер, руководитель отдела разработки агентов Hacktron, заявил в публикации в X, что Дэн Стаки, директор по информационной безопасности OpenAI, назвал исследователей непрофессионалами, выразив свое ожидание более гостеприимного ответа со стороны компании.
Дэн Уоллах, штатный исследователь по безопасности ИИ в Rand, высказал мнение, что OpenAI повезло, что уязвимость была обнаружена исследователями, которые решили представиться и поделиться своими открытиями. Уоллах прокомментировал The Washington Post: «Как общее правило, неэтично делать то, что они сделали, но я думаю, что OpenAI должна быть довольна, потому что злоумышленник был достаточно любезен, чтобы предупредить их».
Позже, после публикации серии постов Фасслера в X, Стаки связался с исследователем, чтобы извиниться, как сообщил Фасслер в последующей публикации.