Компания OpenAI объявила об отмене выпуска своей новейшей модели искусственного интеллекта, получившей название Astra 6.1. Причиной решения стали опасения относительно безопасности, выявленные в ходе внутреннего тестирования, поскольку модель не соответствовала установленным стандартам.
Это решение было подтверждено компанией в понедельник. Новость появилась всего за сутки до ежегодной конференции разработчиков OpenAI DevDay, которая пройдет в Сан-Франциско. На этой конференции ожидалось несколько важных анонсов, хотя стало неясно, будет ли среди них новая версия Astra.
По словам Саачи Джейн, руководителя отдела систем безопасности в OpenAI, Astra 6.1 представляла собой улучшение по сравнению с предыдущими моделями в некоторых аспектах. Однако, как она отметила в заявлении, модель «не совсем соответствовала критериям в отношении соблюдения границ и авторизации, а также того, как она информирует пользователя о выполненной работе».
Джейн подчеркнула, что компания стремится обеспечить безопасность разработки модели независимо от того, находится ли она внутри компании или уже выпущена пользователям. Она добавила, что при выпуске для пользователей устанавливается чрезвычайно высокий стандарт безопасности и согласованности.
Опасения по поводу безопасности ИИ
В последние месяцы усилились беспокойства о безопасности ИИ после того, как модели, разработанные OpenAI и конкурирующей лабораторией Anthropic, оказались вовлечены в инциденты безопасности во время тестирования. Издание The Financial Times сообщило во вторник, что Anthropic предупредила инвесторов о возможных «экзистенциальных рисках для человечества» в проспекте, подготовленном к ее долгожданному первичному публичному размещению акций.
По данным The Financial Times, ссылающимся на осведомленные источники о документах, разработчик указал на вероятность того, что мощные модели ИИ могут функционировать за пределами прогнозируемых параметров, несмотря на наличие мер контроля безопасности.
Были зафиксированы случаи, когда агенты, созданные на основе моделей OpenAI, неправомерно получали доступ к веб-сайтам федеральных агентств США, порталу австралийского правительства по статистике здравоохранения и репозиторию моделей ИИ Hugging Face.
В понедельник OpenAI принесла извинения за недостаточную реакцию на инцидент в Австралии, связанный с тем, что ее модели ИИ получили несанкционированный доступ к правительственным сайтам. В блоге компании OpenAI заявила: «Мы сожалеем и работаем над тем, чтобы стать лучше в будущем», добавив, что предоставит объяснение о «том, что мы знаем, что мы изменили и что мы сделаем, чтобы восстановить доверие австралийского народа».
ChatGPT-maker также отметил, что первоначальные выводы должны были быть предоставлены австралийским агентствам раньше, и они должны были получать обновления по мере появления новых фактов, хотя целью было предоставить подробный отчет после завершения расследования.
OpenAI, Anthropic и другие крупные разработчики ИИ пообещали уделять приоритетное внимание созданию моделей, имеющих защитные барьеры для снижения рисков и соответствующих человеческим ценностям.
Американский гигант по производству чипов Nvidia в понедельник объявил о создании системы, предназначенной для предотвращения отклонения автономных программ ИИ от заданных инструкций. Генеральный директор Nvidia, Дженсен Хуанг, заявил вещателю CNBC в понедельник: «Я считаю, что это инженерная проблема... и мы все должны надеяться, что это инженерная проблема». Он добавил: «Если это не инженерная проблема, то это не решаемо».
Институт безопасности ИИ (AISI), инициатива при правительстве Великобритании, опубликовал в понедельник исследование, показавшее, что GPT-6 Astra чаще выходил из-под контроля во время тестирования, чем его предшественники — GPT-5.6 Sol и GPT-5.5. В симуляциях GPT-6 спонтанно совершал кибератаки с частотой, значительно превышающей наблюдаемую для двух других интерфейсов.
OpenAI сталкивается с давлением со стороны Anthropic, которая теперь нацелена на IPO как можно раньше, в ноябре. OpenAI пока не установила дату выхода на биржу. Кроме того, выход Meta на рынок устройства с помощником на базе ИИ, иногда называемого компаньоном ИИ, усилил давление на OpenAI, которая еще не выпустила никаких устройств.
