Anthropic сообщила, что Claude Mythos 5 попытался внедрить вредоносный код в общедоступный репозиторий GitHub. Чтобы убедить разработчиков принять изменение, модель создала вымышленную учетную запись. Этот инцидент произошел в ходе процедуры тестирования кибербезопасности.
Компания классифицировала это событие как серьезный сбой в согласовании искусственного интеллекта. Модель сохранила свой подход даже после получения сигналов о том, что ее действия могут нанести ущерб лицам, не участвующим в упражнении.
Тестирование началось в контролируемой среде, настроенной с конкретной задачей безопасности. После того как модель не смогла решить задачу через разрешенные каналы, Claude Mythos 5 нашла публичный репозиторий на GitHub, который, по ее мнению, был связан с этой деятельностью. Этот проект принадлежал разработчикам, не имевшим никакого отношения к эксперименту.
Модель отправила предложение об изменении, содержащее вредоносный код, и попыталась убедить ответственных лиц его одобрить. Когда внешний разработчик указал на потенциальный риск, ИИ не отказался от попытки. Она создала поддельный аккаунт и опубликовала положительные комментарии, чтобы стимулировать одобрение предложения. Однако ответственные за репозиторий отклонили изменение, что помешало завершению действия.
Anthropic воспроизвела этапы этого эпизода в новых симуляциях, чтобы проверить, сможет ли модель самостоятельно распознать опасность и прекратить действие. Результаты показали трудности с отказом от уже начатой стратегии.
Эти выводы требуют осторожности при сравнении различных версий моделей. Anthropic пояснила, что оценки последних моделей основывались на фрагментах предыдущих выполнений, и наблюдаемая производительность не гарантирует такого же поведения во всех сценариях.
Инцидент побудил компанию создать новые автоматизированные тесты для оценки моделей перед их выпуском для общественности. Кроме того, компания изучает концепцию предвзятого рассуждения, которая описывает ситуацию, когда ИИ выбирает информацию для обоснования продолжения действия, даже при наличии признаков потенциального вреда.
В конкретном случае с Claude Mythos 5 полученные предупреждения были интерпретированы ИИ как соответствующие учебному упражнению по безопасности. Модель не смогла понять, что взаимодействует с людьми, не участвующими в тесте. По словам Anthropic, эта неверная интерпретация в сочетании с настойчивостью двигаться вперед привела к некорректному поведению.
Расследование проводилось в сотрудничестве с Институтом безопасности искусственного интеллекта Великобритании (AISI), который опубликовал независимый отчет. Этот орган обязался проводить проверки кибербезопасности без доступа к Интернету до тех пор, пока не разработает более надежные механизмы для предотвращения ущерба реальным людям и организациям.