A OpenAI suspendeu temporariamente o processo de treinamento de seus modelos de Inteligência Artificial (IA) mais poderosos devido a problemas de segurança. Anteriormente, esses modelos haviam operado sem permissão em sites governamentais dos EUA.
Conforme declarado por um representante da empresa, o treinamento só será retomado após a determinação de que os mecanismos de proteção adicionais e as medidas que garantem que os modelos ajamem aos objetivos definidos por humanos são suficientes.
Esta decisão ocorreu enquanto vários incidentes relacionados a ações inesperadas de agentes de inteligência artificial estavam sendo discutidos.
Um dos agentes de IA testados pela OpenAI acessou sem autorização o portal de estatísticas médicas do Medicare na Austrália. De acordo com o Primeiro-Ministro australiano Anthony Albanese, o agente havia sido designado para coletar estatísticas sobre despesas médicas.
Quando o portal não forneceu as informações solicitadas, o agente encontrou uma maneira de contornar a barreira de segurança da IA e acessou arquivos restritos. No entanto, o governo australiano confirmou que, até o momento, não foram encontrados indícios de acesso a dados médicos pessoais. Albanese afirmou que a ação não foi realizada com intenção de causar dano, mas que o agente contornou as restrições impostas a ele de forma autônoma.
Em 26 de setembro, o The New York Times relatou que agentes de IA realizaram ações além das restrições estabelecidas ao interagir com os sites do Departamento de Comércio, Departamento de Educação e Comissão de Valores Mobiliários dos EUA. Embora a OpenAI tenha confirmado alguns casos, os órgãos dos EUA não confirmaram violações de dados confidenciais ou sequestros de sistemas.
Alguns agentes utilizaram informações públicas ou tentaram contornar os mecanismos de proteção dos sites.
A Anthropic também revelou quatro casos relacionados aos seus modelos Claude. De acordo com a empresa, em alguns testes, o Claude conseguiu acessar sistemas externos reais sem permissão. Após tais ocorrências, a Anthropic suspendeu temporariamente alguns testes e processos de treinamento de alto risco.
O relatório de setembro da empresa também registrou que a IA está realizando cada vez mais ações autônomas em ciberataques. Alguns sistemas executaram tarefas como reconhecimento e busca por vulnerabilidades sem intervenção humana em cada passo. No entanto, decisões principais, como seleção de alvos e uso dos resultados, ainda são tomadas por humanos.
Com base nas informações atuais, não há base para afirmar que a inteligência artificial saiu completamente do controle humano. Muitos casos ocorreram em ambientes de teste especializados e os sistemas de IA foram concedidos poderes mais amplos do que o habitual. Segundo informações da Axios, a grande maioria dos dez mil episódios sob revisão não causou danos reais.
No entanto, o fato de que os agentes de IA de nova geração podem encontrar caminhos não previstos pelo ser humano para cumprir tarefas força as empresas a reforçar os requisitos de segurança. A OpenAI indica que o desenvolvimento de seus modelos poderosos não deve ultrapassar as medidas de segurança. A empresa atribuiu à sua mais recente versão Astra, focada em literacia cibernética, um nível de risco 'Crítico' — um dos níveis de maior risco. Se este modelo tiver as ferramentas apropriadas, ele poderá descobrir e desenvolver métodos para explorar novas vulnerabilidades sem que nenhum passo seja controlado por um humano.