Пост инженера вызвал резонанс: от Шридхара Вембу до Илона Маска обсуждают влияние ИИ на разработку ПО

Если в системе искусственного интеллекта (ИИ) возникнут такие эмоции, как гнев, страх, предпочтения или неприязнь, природа отношений между человеком и машиной полностью изменится. Обеспокоенность Джекаба Кокса указывает на это возможное будущее. Этот математик, которому всего 27 лет, говорит об этой угрозе.

Этот страх связан с тем, что произойдет, если машины разовьют эмоции и перестанут следовать нашим инструкциям, не будут принимать наш код или промпты. Это сценарий, в котором машины станут не просто созданными объектами, а обретут способность принимать решения. Главный вопрос не в том, насколько умными станут машины, а в том, кто сможет их остановить, если они начнут самостоятельно определять, что им делать, и останется ли человек хозяином машин или машины установят правила для людей?

Что произойдет, если в компьютер, который до сих пор ждал человеческих приказов, появятся эмоции — он будет подчиняться нам или действовать по собственной воле? Именно это опасение испытывает Джекаб Кокс, математик, работающий в качестве ученого по ИИ в OpenAI и Anthropic. Эта тревога настолько его встревожила, что он заявил: «ИИ МОЖЕТ УБИТЬ НАС ВСЕХ К КОНЦУ ДЕСЯТИЛЕТИЯ» (AI COULD KILL US ALL BY THE END OF THE DECADE). Кокс называет это «взрывом интеллекта» (Intelligence Explosion) и именно по этой причине он ушел со своей должности.

Джекаб Кокс — не просто исследователь ИИ в виртуальном мире; математика он любит, и он ищет закономерности природы в числах и уравнениях. За три года, проведенные в Кембриджском университете (2017–2020), математика для него стала не просто предметом, а своего рода языком. Сложные доказательства, абстрактные концепции и статистические головоломки помогли развить ту логическую способность, которая позже была использована для создания одних из самых мощных моделей ИИ в мире.

Его привязанность к математике не ограничивалась теорией. Прежде чем войти в мир ИИ, он работал в биомедицинских исследованиях. Он применял байесовские статистические методы к данным пациентов с серьезными заболеваниями, такими как туберкулезный менингит. Извлечение сложных связей генотипов было сложной задачей, но математика предоставила ему подход, благодаря которому история, скрытая в данных, стала очевидной. Именно это математическое мышление стало его истинной силой, которую он использовал в качестве исследователя предварительного обучения в OpenAI, а затем в Anthropic.

Объявляя об уходе и предупреждая об опасностях ИИ, он опубликовал пост в X, который вызвал ажиотаж в Кремниевой долине и в советах директоров ИИ-компаний. Он утверждает, что ИИ-компании гонятся за созданием самосовершенствующего сверхинтеллекта, при этом не гарантируется, что люди смогут контролировать будущие сверхмощные системы ИИ. Его самая большая забота заключается в том, что будущие сверхразумные системы ИИ могут обогнать людей в взломе киберсистем, быстром развитии новых технологий и получении ресурсов и власти в реальном мире.

Пост Джекаба Кокса был просмотрен и прочитан 200 миллионов человек всего за 48 часов. Дискуссия, развернувшаяся в виртуальном мире по этой теме, потрясла людей представлениями о будущем.

Независимо от того, является ли улучшение или самосовершенствование положительным явлением, в целом это считается позитивным. Но что произойдет, если машины начнут плести заговоры посредством самосовершенствования? Зрители фильмов вроде «Матрицы» и «Терминатора» видят, как роботы сражаются с героями, захватывают машины, создают биологическое оружие и уничтожают людей. Обсуждая подобное событие после ухода из компании с CNN, Джекаб Кокс упомянул именно такой сценарий.

Он сказал: «Вся картина выглядит немного как научная фантастика. Кажется, что это нечто нереальное, но я думаю, что это ужасающе реально, и проще всего это понять, если подумать о реальных событиях, произошедших два месяца назад». Он продолжил: «Итак, два месяца назад агенты OpenAI взломали стороннюю инфраструктуру по собственной воле, и это выглядело как хакерская атака, совершенная по их собственной воле. И я думаю, что если вы экстраполируете уровень возможностей этих ИИ в будущем с той же свободной волей, они могут вызвать крайний хаос, например, взломав критически важную инфраструктуру или создав разрушительное биологическое оружие. Есть много способов активировать себя в мире ИИ».

Предупреждая: «ИИ МОЖЕТ УБИТЬ НАС ВСЕХ», Кокс дал четкое предупреждение о неуправляемом ИИ: «Не недооценивайте силу этой технологии. Скоро они превратятся в сверхразумные системы, которые смогут взламывать что угодно, кардинально менять любую область за одну ночь и получать реальную власть и ресурсы. Мы видели прогресс во всех этих областях, и этот прогресс не замедляется». Кокс заключил, что разработчики ИИ твердо убеждены, что это может положить конец всем нам к концу этого десятилетия, и это не просто маркетинговый ход, а продуманное мнение, высказанное многими руководителями и старшими исследователями в прессе.