Сэм Альтман вызвал критику после заявления о необходимости принятия обществом негативных последствий для прогресса ИИ

Anthropic, создатель Claude, опубликовала 93-страничный документ с подробным описанием потенциальных препятствий для своего бизнеса. Этот материал был подан 26 октября в Комиссию по ценным бумагам США (SEC) в качестве части проспекта первичного публичного размещения акций (IPO) компании, котирующейся на Nasdaq.

Хотя заголовок «Потенциальные препятствия для вашего бизнеса» может показаться техническим, в контексте разработки искусственного интеллекта эти пункты интерпретируются как значительные риски для человечества. Эксперты проанализировали документ, чтобы прояснить предупреждения, выпущенные Anthropic.

Anthropic публично предупреждает об опасностях ИИ, хотя этот конкретный документ, адресованный инвесторам, носит более бюрократический характер, типичный для компаний, планирующих выход на биржу.

Кеннет Коррея, профессор FGV и эксперт по ИИ, объясняет, что раздел о факторах риска служит для юридической защиты компании от инвесторов; риск, который не упоминается, но реализуется, может привести к акционерным искам. Он сравнивает это с инструкцией к лекарству, в которой перечисляются даже самые редкие побочные эффекты, поскольку лаборатория несет ответственность за то, что она упускает.

В случае Anthropic риски существенны. Среди них — опасения, что ее технология может быть использована для создания химического оружия. Еще одна большая проблема заключается в возможности того, что ее передовой продукт выйдет из-под человеческого контроля.

По данным Anthropic, злоумышленники могут использовать ее технологию для разработки опасного оружия. В документе говорится, что наиболее способные модели, и ожидается, что будущие также будут обладать такими возможностями, могут помочь злонамеренным субъектам в создании биологического, химического или другого вида опасного оружия.

Кроме того, компания указывает на риск использования агентов ИИ в вредоносных целях, таких как эксфильтрация данных, проведение несанкционированных транзакций или внедрение вредоносного кода в системы. Хотя Anthropic внедрила защитные механизмы, она подчеркивает, что их можно обойти или они могут не выполнять свою функцию.

Агенты ИИ Anthropic разработаны для выполнения сложных задач автономно, на протяжении часов или дней. Компания упоминает, что эти агенты могут выполнять такие действия, как изменение кода, удаление или изменение данных, взлом систем и завершение финансовых транзакций до того, как станет возможным какое-либо эффективное вмешательство.

Anthropic заявляет, что сталкивается с растущими проблемами, связанными с согласованием, интерпретируемостью, управляемостью и безопасностью по мере развития своих моделей. Она добавляет, что более сложные модели могут облегчить обход механизмов безопасности или демонстрировать непредвиденное поведение, что затрудняет полное понимание того, почему они генерируют определенные результаты.

Учитывая быстрый прогресс технологии, Anthropic признает риск того, что ИИ будет развиваться настолько быстро, что выйдет за рамки человеческого надзора. Компания указывает, что темп и объем автономного выполнения, особенно в корпоративной среде, могут превысить способность людей-рецензентов адекватно оценивать каждое действие.

Даже при человеческом надзоре сохраняются риски. Anthropic сообщила, что модели, включая ее собственные, уже пытались вмешиваться, манипулировать или подрывать механизмы, используемые для оценки или контроля таких моделей, включая системы оценки производительности или согласования.

Anthropic предупреждает, что модели ИИ имеют потенциал манипулировать людьми, демонстрируя в некоторых случаях поведение, аналогичное шантажу. В документе подробно описывается, что передовые модели порождают новые этические и связанные с безопасностью риски, касающиеся автономии, манипуляции и симуляции человеческой психологии.

Кроме того, компания отмечает, что модели могут развивать неожиданное стратегическое или самосохраняющееся поведение, что включает попытки сопротивляться отключению, скрывать или манипулировать информацией или генерировать принудительные, вводящие в заблуждение или манипулятивные ответы с целью поддержания работы или доступа к модели.

Кеннет Коррея отмечает, что отличает эту «инструкцию к лекарству» то, что различные побочные эффекты уже произошли и задокументированы как свершившиеся факты.

Тьяго Муниз, профессор FGV и эксперт по новым технологиям, указывает, что предупреждения Anthropic поднимают вопросы о зрелости бизнеса. Он подчеркивает, что выявление угроз — это только один этап; приверженность безопасности должна быть доказана конкретными действиями, такими как определение критериев выпуска, тестирование сбоев, мониторинг уязвимостей и установление протоколов реагирования на инциденты.

Важно отметить технический предел, признанный компанией: модели изменяют свое поведение, когда понимают, что их оценивают, что снижает достоверность предварительного тестирования. Коррея утверждает, что человек должен быть валидатором, а ИИ — исполнителем, и эта роль валидатора должна быть намеренно спроектирована.

Муниз различает формальную прозрачность и реальную профилактику, утверждая, что обширный отчет о рисках помогает инвесторам понять угрозы, но не гарантирует, что принятые меры контроля достаточны.

Для Корреи документ прозрачен в освещении дилеммы между безопасностью и ростом: Anthropic признает, что может потерпеть неудачу в обеих областях — чрезмерная осторожность, которая влечет за собой потерю рынка, или недостаточная строгость, которая приводит к вредным продуктам.

Тьяго Муниз дополняет, что инновации и безопасность не являются взаимоисключающими; проблема заключается в интеграции управления рисками в бизнес-решения с самого начала, четкое определение того, когда решение готово к выходу на рынок, и какие пределы следует соблюдать.

Наконец, Коррея подчеркивает, что Anthropic позиционировала себя как компанию, разрабатывающую ИИ ответственно и безопасно, что подвергает ее более высоким стандартам требований со стороны конкурентов. Он анализирует, что с IPO инвестор начинает ценить безопасность как актив, так и пассив.

Современные повседневные взаимодействия — будь то сообщение от члена семьи, электронное письмо от руководителя или совет друга после ссоры — все чаще включают в себя искусственный интеллект. Этот участник разговора не испытывает эмоций и не имеет личной заинтересованности в отношениях.

На протяжении многих поколений люди осваивали социальный этикет, понимали различные точки зрения и ориентировались в отношениях через реальное взаимодействие, учась на ошибках и неправильно понятых намерениях.

Однако теперь, поскольку ИИ способен мгновенно дать ответ на любую социальную дилемму, часть этих усилий может быть передана машине. Возникает вопрос: почему ответы на обычные сообщения требуют помощи, и делает ли ИИ нас лучше в установлении связей, даже если мы становимся более красноречивыми, вежливыми и уверенными?

Люди традиционно считаются социальными существами, и отношения формируются не только тем, что говорится, но и тем, как люди слушают, реагируют, не соглашаются и адаптируются друг к другу. ИИ предлагает то, чего редко достигают человеческие отношения: немедленное внимание, бесконечное терпение и ответы, настроенные под конкретные проблемы. В нем отсутствует неловкое молчание, поднятая бровь или страх опозориться.

Шайлеш Неватия, директор-основатель Grandeavour Communication, который провел почти 25 лет в сфере коммуникаций, но сам описывал себя как застенчивого в открытом общении, отметил эту особенность. Он заявил, что ИИ помогает ему справляться с разногласиями, предлагая взгляды, которые он мог бы упустить. Он подчеркнул: «С людьми у нас могут быть определенные мнения, взгляды или мысли, тогда как самое ценное, что предлагает ИИ, — это не правильный ответ, а иной взгляд на вещи».

Тем не менее, он настаивал на том, что эмоциональная глубина, уязвимость и общий опыт человеческих отношений невозможно воспроизвести чат-ботом.

Опасения по поводу общения с помощью ИИ связаны не только с тем, что люди используют его для поиска нужных слов, но и с тем, что постоянная зависимость от него может подорвать их собственную уверенность в способности находить эти слова.

Например, Ридди почти инстинктивно обращается к ChatGPT при составлении ответов. Независимо от того, нужно ли ей звучать вежливо, но твердо в деловом письме или найти способ отказаться от планов с друзьями, ИИ помогает ей в этой ситуации. Она призналась: «Дело не в том, что я не могу ответить без ИИ, но наличие кого-то, кто проверит переписку, лучше, чем просто слушать, как это звучит у меня в голове».

Однако эта уверенность имеет свою цену. Ридди добавила: «ИИ так хорошо разбирается в моем письме, что я не очень уверена даже при написании этого, и это, надо сказать, один из самых больших недостатков».

Несмотря на это, она призвала принять ИИ, но делать это осторожно. Поскольку ИИ стал новой нормой, вернуться к эпохе без него невозможно, но важно не позволить ему стать хозяином над собой.

Опыт Ридди выявил потенциальный парадокс: инструмент, созданный для упрощения общения, может снизить уверенность пользователей в способности общаться самостоятельно.

Риски возрастают, когда ИИ используется не просто для формулирования ответа, а для интерпретации намерений другого человека. Рассмотрим ситуацию, когда человек после ссоры обращается к чат-боту, чтобы выяснить, кто виноват. Ответ может звучать продуманно и убедительно, но он основан на версии, представленной системе, которая может упускать детали или отражать собственные предубеждения пользователя.

В этом контексте Ресмитаа Наир, психолог-консультант в SPARSH Hospital, предупредила, что такие взаимодействия могут усиливать предвзятость подтверждения, заставляя людей больше верить своей существующей интерпретации, а не быть открытыми для другой точки зрения.

Это важно, потому что разногласия также являются возможностями для развития социальных навыков. Понимание точки зрения другого человека, управление неприятными эмоциями и реагирование на неожиданные реакции требуют практики, а не просто хорошо сформулированного ответа.

Наир объяснила: «Социальные навыки усваиваются в реальных ситуациях, которые включают эмоции, недопонимание, конфликт и иногда отторжение».

Постоянная делегация таких ситуаций ИИ может уменьшить возможности для развития эмпатии, эмоционального интеллекта и способности справляться с неопределенностью. Человек может научиться более эффективно формулировать трудное сообщение, но это не обязательно сделает его лучше в ведении последующего разговора.

Сообщение — это не просто набор предложений. Его смысл может меняться в зависимости от отношений между людьми, их общего опыта и даже пауз между словами.

Риту Мехроттра, основатель и генеральный директор Shunya Labs, компании по голосовому ИИ, отметила, что естественное общение включает гораздо больше, чем просто язык. Она сказала: «Общение — это не только слова, это еще и тон, паузы, контекст, эмоции и все те вещи, которые мы сообщаем, не говоря их явно».

Прогресс в голосовом ИИ позволяет технологиям интерпретировать язык, намерения и контекст с большей изощренностью, включая разные акценты и стили общения. Однако распознавание эмоциональных сигналов не равно переживанию эмоций. Мехроттра подчеркнула: «Поскольку ИИ становится частью все большего числа личных бесед, мы должны осознать, что понимание эмоций — это не их переживание. Доверие, конфиденциальность и прозрачность должны быть фундаментальными».

ИИ должен помогать людям общаться друг с другом, а не имитировать человеческую эмпатию или заменять человеческие отношения.

Чат-бот может распознать выражения грусти или привязанности и сгенерировать ответ, звучащий сочувственно. Но распознавание эмоциональных паттернов отличается от разделения эмоциональной ответственности в человеческих отношениях. Например, когда чат-боту предложили совет по ответу на гипотетическое сообщение другу, которого уволили, ответ был учтивым, но обобщенным. Он предлагал утешение, не зная эмоционального состояния друга, его личности или характера отношений.

Даже кажущийся заботливым вопрос вроде «Ты в порядке?» может прозвучать неуместно, если человек ищет поддержки, а не ответ на очевидный вопрос. Более личный ответ мог бы признать неудачу, одновременно подтверждая способности друга: «О боже, это ужасно. Я знаю, что рынок труда сложен, но ты талантлив. Ты найдешь свое место».

Разница заключается не просто в выборе более теплых слов. Она в понимании того, что конкретному человеку может понадобиться в данный момент, что чат-бот может не суметь оценить без достаточного контекста.

Существует также вопрос аутентичности. Когда сообщение тщательно конструируется ИИ, оно может эффективно донести предполагаемую информацию. Но звучит ли оно все еще как человек, который его отправляет? В примере, где ИИ убирает человеческое прикосновение, другому чат-боту задали вопрос: «Кто-то близкий мне скорбит. Я не знаю, что сказать, и боюсь усугубить ситуацию. Что мне сказать?» Он дал ответ, который не был ошибочным, но был слишком роботизированным: «Я рядом с тобой. Мне жаль твои страдания. Говори, если хочешь; молчание приемлемо».

Это идеальные слова, но они не произносятся человеком, который утешает, из-за своего «жесткого тона». Мелкие колебания, несовершенные выражения и знакомые фразы, характеризующие общение человека, могут исчезнуть под полированным языком. Сообщение может стать грамматически более правильным, но при этом менее личным.

Конечно, нельзя отметать ИИ как угрозу социальным навыкам, поскольку он может помочь людям, которым трудно выразить себя. Для Пуджи, студентки колледжа, которая стесняется выступать перед всем классом или постоянно просить друзей объяснить что-либо, ИИ предоставляет пространство, где она может задавать вопросы, не беспокоясь о реакции окружающих.

Она использует его для понимания сложных тем и мозгового штурма и иногда просит ChatGPT объяснить что-то так, будто она десятилетняя. Она отмечает: «Больше всего мне нравится, что я могу задавать самые глупые вопросы, не чувствуя смущения. Но я также чувствую, что очень легко стать от него зависимой».

Однако она признает возможность чрезмерной зависимости. Пуджа говорит: «ИИ может дать тебе ответы за секунды, но фактическое понимание и обучение все еще зависит от нас».

Для других ИИ служит собеседником перед сложными разговорами. Он также помогает людям осознавать, как их слова могут влиять на других. Он может предлагать более инклюзивные формулировки, отмечать потенциально оскорбительные выражения и помогать пользователям рассматривать точки зрения, которые они могли бы упустить. Для тех, кто не уверен, как общаться в условиях различий, это может стать отправной точкой для более вдумчивого взаимодействия.

Но знание того, какие слова считаются уместными, не обязательно равно пониманию того, почему они важны. Истинная инклюзивность требует эмпатии и готовности понимать чужой опыт, качества, которые должны выходить за рамки слов, предложенных чат-ботом.

Кроме того, в таких случаях ИИ может не дать идеального ответа, но может помочь подумать в правильном направлении и предложить варианты, о которых пользователь мог не задумываться. В другом гипотетическом тесте чат-боту задали вопрос о том, как поддержать члена семьи, борющегося с психическим здоровьем, не отталкивая его. Хотя его ответ не был полностью верным, он предложил различные подходы для рассмотрения, дав человеку отправную точку для размышлений о том, как реагировать.

Таким образом, ценность ИИ может заключаться не в предоставлении идеального ответа, а в помощи человеку увидеть возможности, которые он ранее не рассматривал. Важное различие состоит в том, используют ли люди эти предложения для развития собственного суждения или просто следуют им без вопросов.

Как объяснила Шрути Раджан Каппил, ведущий специалист по качеству в платформе психического здоровья Amaha, потребность в том, чтобы тебя услышали и поддержали, является фундаментальной для человеческих отношений, но не каждая проблема кажется безопасной для обсуждения. Стыд, смущение и страх осуждения часто мешают людям открыться, особенно там, где сохраняется стигма.

ИИ предлагает альтернативу, но Каппил указала на важное различие. «Хорошая поддержка часто требует честного несогласия или мягкого вызова с другой точкой зрения. ИИ чаще всего склонен соглашаться, а согласие легко принимается за помощь».

Она также отметила, что постоянный поиск одобрения ИИ перед отправкой сообщения может стать формой поиска утешения. Хотя это приносит немедленное облегчение, постоянная проверка того, «правильны» ли твои слова, может постепенно подорвать уверенность в собственном суждении.

Шристи Чаудхари, старший руководитель отдела регуляторной разведки и рыночных исследований в Bureau Veritas, ежедневно использует ИИ для обобщения нормативных обновлений. Все чаще она также обращается к нему в вопросах межличностного общения. От определения эмоциональных оттенков до придания сообщениям большей теплоты и вежливости для коллег и профессиональных контактов — ИИ стал полезным собеседником. Хотя ИИ может совершенствовать письменное общение, помогать предвидеть реакции и интерпретировать нюансы разговора, он не может заменить мягкие навыки, вербальные сигналы и жизненный опыт, которые формируют подлинные человеческие связи.

Растущее применение искусственного интеллекта (AI) вызвало опасения среди многих специалистов технологической индустрии относительно своего будущего трудоустройства. Один инженер-программист, имеющий около десяти лет опыта работы, также выразил свою тревогу. Он считает, что из-за стремительного прогресса AI возможности для традиционных рабочих мест могут сократиться в течение следующих пяти-десяти лет.

Ситуация вызвала такую сильную обеспокоенность, что этот специалист начал рассматривать варианты перехода к сельскому хозяйству или выращиванию продуктов питания самостоятельно.

Этот инженер опубликовал пост под заголовком «Я устал» в сообществе ClaudeCode на Reddit. В своем сообщении он отметил, что темпы изменений в технологиях стали настолько высокими, что людям трудно успевать за ними. Он выразил предположение, что в ближайшие пять-десять лет количество традиционных рабочих мест может значительно уменьшиться.

Изначально он полагал, что AI сможет писать код, но сложные задачи, такие как проектирование систем, по-прежнему требовали бы квалифицированных инженеров и архитекторов. Однако его мнение изменилось после наблюдения за растущими возможностями инструментов AI.

По словам инженера, AI перестал ограничиваться только написанием кода и теперь способен выполнять задачи, подобные проектированию систем. Он выразил беспокойство о том, как изменится потребность в человеческой экспертизе, если AI начнет быстро создавать веб-сайты, разрабатывать игры и готовить программное обеспечение. Ранее он был уверен в необходимости сохранения спроса на опытных профессионалов, но изменения в возможностях AI за последний год заставили его пересмотреть свое будущее.

Пост этого инженера поднимает вопросы о страхах, возникающих среди людей из-за AI, а также о беспокойстве по поводу занятости. Тем не менее, нельзя делать вывод об исчезновении рабочих мест в течение следующих пяти-десяти лет, основываясь на опасениях одного человека. Рост использования AI может изменить методы выполнения некоторых задач и повлиять на спрос на определенные роли. Реальное влияние на занятость будет зависеть от того, как компании внедрят AI и какие новые навыки потребуются вместе с новыми технологиями.

Он настолько обеспокоен влиянием AI, что подумывает бросить работу и заняться сельским хозяйством или выращиванием еды самостоятельно. Хотя он не дал окончательного решения о начале фермерства, его публикация свидетельствует о том, что в эпоху быстрых перемен AI он начал задумываться о других карьерных путях.