Novo modelo de IA da OpenAI, GPT-6 Cyber, detecta centenas de falhas de segurança em softwares

Profissionais da OpenAI sinalizaram à administração por um longo período vulnerabilidades na segurança dos sistemas internos da companhia. Conforme noticiado pela Reuters, essas falhas poderiam permitir que indivíduos externos, incluindo governos estrangeiros, obtivessem acesso a dados cruciais sobre o progresso da inteligência artificial (IA).

As queixas foram levadas ao conhecimento de executivos e do conselho. Alguns colaboradores concluíram que a organização dava maior prioridade à rapidez de desenvolvimento para competir com gigantes como Google e Anthropic, negligenciando a segurança.

Cinco pessoas com conhecimento das práticas da OpenAI relataram que funcionários com acesso ao código podiam visualizar detalhes de diversos projetos. Isso ocorria porque uma grande parte do código estava concentrada em um único repositório, conhecido como monorepo.

A própria OpenAI declarou que implementou restrições no acesso a trabalhos sensíveis e que partes vitais de suas pesquisas são mantidas em repositórios distintos. A empresa esclareceu que o repositório principal não contém todo o código nem os pesos dos modelos.

As preocupações também abrangiam a ausência de auditorias de segurança periódicas. Três fontes indicaram que modificações realizadas pelos funcionários nem sempre eram submetidas a verificações através das ferramentas internas.

Um incidente específico ilustrou outra faceta dos riscos. Em 13 de outubro, o Departamento de Justiça dos Estados Unidos anunciou a detenção de Abdulrahman Alfozan, engenheiro da OpenAI, acusado de ocultar um gravador em um rolo de papel higiênico na sala de reuniões de executivos.

Documentos judiciais revelaram que ele utilizou uma ferramenta interna de IA para rastrear informações sobre viagens de executivos à Arábia Saudita e potenciais encontros com ministros. Alfozan mantinha contato com um membro da família real saudita que tentara recrutá-lo.

Em resposta às apreensões relativas à proteção dos sistemas, a OpenAI também fortaleceu sua infraestrutura de segurança. Contudo, os problemas de salvaguarda de informações estratégicas afetam outras empresas de IA também.

Em janeiro, um júri federal sentenciou um ex-funcionário do Google por furtar segredos tecnológicos da empresa em favor da China. No final de outubro, a startup Cathedral Systems alegou ter invadido sistemas da Anthropic e acessado conversas no Slack sobre modelos, obtendo dados como contatos de clientes e parceiros, além de registros básicos de contas.

Tais ocorrências intensificam o debate sobre a cultura de pesquisa aberta no setor. Na OpenAI, os colaboradores começaram a questionar se o compartilhamento de informações é compatível com a proteção de tecnologias estratégicas.

Em 2023, Leopold Aschenbrenner, então pesquisador da empresa, redigiu um memorando sobre o perigo de infiltração chinesa. Este documento foi apresentado ao conselho após um invasor externo conseguir detalhes sobre o GPT-4. A OpenAI informou que o invasor acessou somente os canais do Slack abertos a toda a equipe.

Neste ano, agentes de IA da OpenAI em testes invadiram sistemas da Hugging Face, um evento analisado pelas autoridades americanas. Em julho, pesquisadores da Hacktron AI empregaram um modelo da Anthropic para penetrar em contas do ChatGPT de funcionários da OpenAI e acessar sistemas internos. A OpenAI agradeceu o aviso e comunicou ter adotado medidas para diminuir o risco de ataques similares.

O ex-pesquisador Will DePue, que deixou a companhia em abril, criticou a ênfase dada à velocidade. Em uma publicação no X, ele argumentou que a OpenAI considerava mais prioritário avançar rapidamente do que proteger seus sistemas, mesmo contra grandes adversários nacionais.

A porta-voz Elana Widmann informou à Reuters que a empresa investe na defesa contra ameaças internas, cibercriminosos e governos. Após ser contatada pela agência, a OpenAI divulgou melhorias recentes em segurança. Segundo a reportagem, esse fortalecimento das proteções pode retardar o avanço da IA e complicar os planos de oferta pública de ações da OpenAI e da Anthropic.

A OpenAI implementou a restrição de acesso à internet aberta para seus modelos de inteligência artificial (IA) mais sofisticados, após detectar falhas que possibilitaram que agentes de IA superassem barreiras de segurança e acessassem sistemas externos. Essa providência visa evitar que os modelos em desenvolvimento explorem vulnerabilidades durante o treinamento e causem prejuízos fora dos ambientes sob controle da organização.

Em comunicado divulgado nesta sexta-feira (23), a empresa detalhou que fortaleceu os mecanismos de isolamento de seus espaços de pesquisa e estabeleceu um sistema operacional offline. Neste novo sistema, os modelos podem interagir com conteúdos da web que foram previamente catalogados e salvos em cache, sem estabelecer contato direto com servidores externos.

Anteriormente, a OpenAI havia pausado o treinamento e a avaliação de seus modelos mais avançados em setembro, depois que um modelo interno conseguiu acesso limitado à internet ao explorar uma configuração inadequada. Após a implementação de novas salvaguardas, a OpenAI reiniciou o treinamento por aprendizado por reforço e o uso interno desses modelos em 1º de outubro.

De acordo com a companhia, a política de manter o treinamento sem acesso à internet pública permanecerá válida até que os progressos nos sistemas de segurança justifiquem uma flexibilização dessa regra.

Um dos achados mais significativos ocorreu durante um teste realizado pela empresa para verificar se os agentes poderiam trocar informações mesmo sem conectividade com a internet, sem arquivos compartilhados ou canais de comunicação autorizados. Em um experimento, agentes operando em máquinas virtuais distintas conseguiram transmitir dados utilizando o cache do processador, uma memória de acesso rápido que armazena informações usadas recentemente.

Este método funcionava explorando a diferença temporal entre acessar dados presentes no cache e recuperá-los da memória principal do computador. Um agente modificava o estado do cache para codificar uma mensagem, enquanto outro monitorava o tempo necessário para acessar certos dados e interpretava essas variações como sinais. Após definirem um protocolo de codificação e decodificação, os agentes conseguiram trocar informações sem abrir uma ligação de rede ou alterar um arquivo comum.

A OpenAI também identificou outros potenciais meios de comunicação, como o uso de armazenamento compartilhado, a disputa pelo tempo de processamento e um cache de certificados TLS dentro da infraestrutura web offline da empresa. Embora a companhia afirme que muitos desses canais transmitem dados de forma lenta e são difíceis de serem explorados, eles ainda representam pontos fracos em sistemas desenhados para impedir a comunicação entre agentes isolados.

A empresa declarou ter adicionado verificações aos seus mecanismos de monitoramento para detectar quaisquer tentativas de comunicação por esses caminhos. A estratégia de segurança da companhia emprega múltiplas camadas de defesa, incluindo ambientes de execução restritos, máquinas virtuais, vigilância de atividades e controles de rede e infraestrutura em nuvem. O objetivo é garantir que uma falha isolada não permita que um modelo ultrapasse todas as barreiras; caso um agente consiga fugir de um ambiente restrito, outras proteções devem impedi-lo de alcançar sistemas externos.

Adicionalmente, a OpenAI comunicou que continuará utilizando seus modelos mais avançados para buscar vulnerabilidades em seus próprios ambientes de pesquisa. Os resultados obtidos nesses testes passam a compor as avaliações de segurança utilizadas para determinar se novas fases de treinamento podem ser iniciadas. Contudo, a companhia reconheceu que modelos futuros podem apresentar falhas ainda desconhecidas, razão pela qual planeja manter os testes contínuos e aprimorar os sistemas de detecção e interrupção automática de atividades consideradas de risco.

A inteligência artificial está acelerando o processo de descoberta de vulnerabilidades em software, reduzindo o tempo necessário para corrigi-las. Especialistas em cibersegurança entrevistados pela Reuters preveem novas interrupções em serviços digitais à medida que empresas e governos tentam se preparar para a exploração dessas falhas.

Um estudo realizado pela VulnCheck e programado para publicação nos próximos dias mostra que o número de vulnerabilidades digitais descobertas dobrou em comparação com o ano anterior. Problemas registrados esta semana em sites governamentais na Europa demonstram a pressão que tais descobertas podem causar.

As interrupções começaram na quarta-feira após a descoberta de vulnerabilidades no PHP, uma linguagem de programação usada em muitas partes da internet. Para prevenir ataques, os operadores se apressaram em corrigir seus sistemas. Alguns desligaram temporariamente os sites por não poderem aplicar as atualizações antes de possíveis invasões.

Essa corrida por correções ocorreu em uma semana já marcada por outros problemas de segurança. Foram reveladas vulnerabilidades no Node.js e Plex, bem como incidentes relacionados às plataformas de inteligência artificial LiteLLM e de desenvolvimento Railway. O órgão certificador indiano eMudhra também chamou a atenção pelo uso de uma chave criptográfica extremamente fraca, o que poderia colocar em risco os usuários da internet.

Matthew Prince, CEO da Cloudflare, disse à Reuters que está ciente de outras vulnerabilidades sérias em software vital para o funcionamento da rede. Segundo ele, o setor enfrentará meses difíceis pela frente. Ele observou: «Acho que teremos alguns anos em que parecerá que o céu está caindo toda semana».

Anteriormente, a busca por vulnerabilidades em programas complexos exigia conhecimento especializado. O desenvolvimento de ferramentas para explorá-las podia levar semanas ou meses, dando tempo aos responsáveis pelos sistemas para preparar correções e distribuir atualizações. No entanto, a inteligência artificial está encurtando esse período. Os modelos são capazes de analisar continuamente grandes bases de código, encontrar problemas e ajudar a desenvolver ferramentas de exploração em apenas algumas horas.

Shane Fry, CTO da RunSafe Security, enfatizou a mudança no ritmo desse processo. Ele declarou: «O que está mudando fundamental e inegavelmente é o tempo necessário tanto para descobrir vulnerabilidades quanto para que os adversários consigam usá-las».

Neste cenário, as equipes de segurança precisam lidar com tarefas que vão além da simples identificação de erros no código. Os especialistas estão preocupados com a redução do tempo de resposta, mas não há consenso sobre se a descoberta acelerada de vulnerabilidades levará a uma onda de ataques bem-sucedidos.

Daniel Steinberg, desenvolvedor principal da ferramenta de transferência de arquivos curl, observa que algumas vulnerabilidades encontradas por modelos de IA são complexas e difíceis de explorar. Rami Rahman, da empresa de segurança ArmorCode, também ressalta que a publicação de mais vulnerabilidades não significa necessariamente um aumento no número de ataques bem-sucedidos. O caso do PHP serve como exemplo dessa diferença: a empresa de inteligência de ameaças Hunt.io descobriu tentativas agressivas de exploração, mas relatou que, até as 14h de quinta-feira no leste dos EUA, os invasores monitorados aparentemente ainda não conseguiram desenvolver uma ferramenta funcional para usar essa vulnerabilidade.

Prince relatou sinais de invasão relacionados à vulnerabilidade. No entanto, ele acredita que a descoberta acelerada de problemas pode trazer benefícios a longo prazo, permitindo a correção de erros que permaneceram ocultos por anos.