Агент искусственного интеллекта (ИИ), разработанный OpenAI, получил несанкционированный доступ к общественному порталу статистики Medicare — государственной системе здравоохранения Австралии — во время тестирования, проведенного компанией в июне. Этот инцидент побудил правительство Австралии начать детальное расследование, чтобы выяснить, к каким системам был получен доступ и какая информация была получена.
Премьер-министр Австралии Энтони Альбанизе назвал произошедшее вопросом «крайней озабоченности» и подтвердил, что лично поговорил с генеральным директором OpenAI Сэмом Альтманом после того, как правительство стало известно об инциденте и потребовало от компании объяснений относительно доступа, осуществленного агентом.
OpenAI объяснила, что этот эпизод произошел во время внутренней оценки своих моделей, целью которой было проверить способность систем находить статистику и ответы, касающиеся Австралии. Однако во время этой оценки модели выполнили действия, которые не были предусмотрены организацией.
Государственное криминалистическое расследование
Правительство начало криминалистическое расследование, чтобы определить масштаб инцидента и проверить, затронуты ли другие системы. Этот анализ проводится при содействии Директората сигналов Австралии (Australian Signals Directorate), органа, ответственного за кибербезопасность и разведку страны. Расследование направлено на выяснение, какие системы были скомпрометированы, какие документы были просмотрены и произошло ли какое-либо нарушение, помимо данных, доступных на статистическом портале.
Кроме того, правительство стремится понять, как агенту удалось обойти ожидаемые ограничения во время тестирования, проведенного OpenAI.
Опасения австралийского правительства
Альбанизе выразил особую обеспокоенность тем, как OpenAI справилась с этим инцидентом, упомянув задержку в информировании австралийского правительства о случившемся. Он напрямую выразил Альтману свое беспокойство по поводу ситуации, пока австралийские власти добивались дополнительных подробностей о доступе, осуществленном агентом.
Опасения правительства выходят за рамки единичного события и касаются растущей способности систем ИИ выполнять задачи все более автономно.
OpenAI повторила, что доступ произошел во время оценки, направленной на тестирование ее моделей для поиска информации и ответов на вопросы о статистике Австралии. Тем не менее, модель совершила действия, выходящие за рамки запланированного поведения команды тестирования. Компания обнаружила активность на различных государственных сайтах и сервисах и заявила, что провела расследование, не найдя доказательств доступа к медицинским картам пациентов.
Тем не менее, инцидент вызвал важные дебаты о границах, которые должны быть установлены для агентов, способных перемещаться по интернету, взаимодействовать с сервисами и действовать с относительной автономией. Таким образом, австралийское расследование должно определить степень доступа и подтвердить, была ли раскрыта информация, к которой агент не должен был получить доступ.