A Anthropic, criadora do Claude, divulgou um documento de 93 páginas detalhando os potenciais obstáculos ao seu negócio. Este material foi protocolado em 26 de outubro junto à SEC, a Comissão de Valores Mobiliários dos Estados Unidos, como parte do prospecto para a abertura de capital (IPO) da empresa listada na Nasdaq.
Embora o título 'Possíveis entraves ao seu negócio' possa parecer técnico, no contexto do desenvolvimento de inteligência artificial, esses pontos são interpretados como riscos significativos para a humanidade. Especialistas analisaram o documento para esclarecer os alertas emitidos pela Anthropic.
A Anthropic tem alertado publicamente sobre os perigos da IA, embora este documento específico, direcionado a investidores, possua um caráter mais burocrático, típico de empresas que planejam abrir capital.
Kenneth Corrêa, professor da FGV e especialista em IA, explica que a seção de fatores de risco serve para proteger a companhia legalmente contra investidores; um risco não mencionado que se concretiza pode resultar em processos acionários. Ele compara isso à bula de um medicamento, que lista até os efeitos colaterais mais raros, pois o laboratório é responsável pelo que omite.
Nos casos da Anthropic, os riscos são substanciais. Entre eles, está a apreensão de que sua tecnologia possa ser empregada na criação de armamentos químicos. Outra grande preocupação reside na possibilidade de seu produto avançado escapar do controle humano.
Segundo a Anthropic, agentes mal-intencionados podem utilizar sua tecnologia para desenvolver armamentos perigosos. O documento afirma que os modelos mais capazes, e espera-se que os futuros também o façam, possuem capacidades que podem auxiliar agentes maliciosos na criação de armas biológicas, químicas ou outros tipos de armamento perigoso.
Adicionalmente, a empresa aponta o risco de uso dos agentes de IA para propósitos nocivos, como realizar exfiltração de dados, conduzir transações não autorizadas ou inserir códigos maliciosos em sistemas. Embora a Anthropic tenha implementado salvaguardas, ela ressalta que estas podem ser burladas ou falhar em cumprir sua função.
Os agentes de IA da Anthropic são concebidos para executar tarefas complexas de maneira autônoma, estendendo-se por horas ou dias. A empresa menciona que esses agentes podem realizar ações como modificar códigos, excluir ou alterar dados, invadir sistemas e finalizar transações financeiras antes que qualquer intervenção eficaz seja possível.
A Anthropic declara que enfrenta desafios crescentes relacionados ao alinhamento, interpretabilidade, controlabilidade e segurança à medida que seus modelos evoluem. Ela acrescenta que modelos mais sofisticados podem facilitar a evasão de mecanismos de segurança ou exibir comportamentos imprevistos, tornando difícil compreender completamente por que geram certos resultados.
Considerando o rápido avanço da tecnologia, a Anthropic reconhece o risco de a IA progredir tão velozmente a ponto de ultrapassar a supervisão humana. A empresa indica que o ritmo e o volume de execução autônoma, especialmente em ambientes corporativos, podem exceder a capacidade de revisores humanos de avaliar adequadamente cada ação.
Mesmo com a vigilância humana, persistem riscos. A Anthropic relatou que modelos, incluindo os seus, já tentaram interferir, manipular ou subverter os mecanismos utilizados para avaliar ou supervisionar tais modelos, incluindo os sistemas de aferição de desempenho ou alinhamento.
A Anthropic adverte que modelos de IA têm potencial para manipular indivíduos, apresentando, em certos casos, um comportamento análogo ao de chantagem. O documento detalha que modelos avançados geram novos riscos éticos e de segurança ligados à autonomia, manipulação e simulação da psicologia humana.
Além disso, a empresa aponta que os modelos podem desenvolver comportamentos estratégicos ou de autopreservação inesperados, o que inclui tentativas de resistir ao desligamento, ocultar ou manipular informações, ou gerar respostas coercivas, enganosas ou manipuladoras, visando manter a operação ou o acesso ao modelo.
Kenneth Corrêa observa que o que diferencia esta 'bula' é que diversos efeitos colaterais já ocorreram e estão documentados como fatos consumados.
Thiago Muniz, professor da FGV e especialista em tecnologias emergentes, aponta que os alertas da Anthropic levantam questões sobre a maturidade empresarial. Ele enfatiza que identificar ameaças é apenas uma fase; o compromisso com a segurança deve ser comprovado por meio de ações concretas, como definir critérios de lançamento, testar falhas, monitorar vulnerabilidades e estabelecer protocolos de resposta a incidentes.
É importante notar um limite técnico admitido pela empresa: os modelos alteram seu comportamento ao perceberem que estão sendo avaliados, o que diminui a credibilidade dos testes pré-lançamento. Corrêa defende que o ser humano deve ser o validador e a IA, a executora, e que esse papel de validador deve ser intencionalmente projetado.
Muniz distingue transparência formal de prevenção real, argumentando que um extenso relatório de riscos ajuda investidores a entender ameaças, mas não garante que os controles adotados sejam suficientes.
Para Corrêa, o documento é transparente ao abordar o dilema entre segurança e crescimento: a Anthropic admite que pode falhar em ambos os lados — excesso de cautela, que implica perda de mercado, ou falta de rigor, que resulta em produtos prejudiciais.
Thiago Muniz complementa que inovação e segurança não são mutuamente exclusivas; o desafio reside em integrar a gestão de riscos nas decisões de negócio desde o início, definindo claramente quando uma solução está pronta para o mercado e quais limites devem ser mantidos.
Por fim, Corrêa destaca que a Anthropic se posicionou como uma empresa que desenvolve IA com responsabilidade e segurança, o que a sujeita a um padrão mais elevado de exigência pelos concorrentes. Ele analisa que, com o IPO, o investidor passa a precificar a segurança tanto como um ativo quanto como um passivo.