OpenAI demite pesquisadores após vazamento de dados confidenciais para organização de segurança de IA

A OpenAI rescindiu o contrato com três pesquisadores de sua equipe de segurança devido a suposta má conduta, especificamente pelo compartilhamento de dados sigilosos da companhia com uma entidade externa focada na segurança de inteligência artificial (IA), conforme apuraram fontes conhecidas do caso para o The Wall Street Journal.

A empresa comunicou recentemente a certos colaboradores o término do vínculo empregatício com os três especialistas que atuavam na área de segurança. Os nomes dos profissionais desligados são Jasmine Wang, Tomek Korbak e Mikita Balesni.

Um porta-voz da OpenAI declarou em comunicado que a demissão ocorreu porque os indivíduos infringiram as diretrizes relativas ao manuseio e acesso a informações confidenciais. O porta-voz acrescentou que a investigação interna confirmou que esses funcionários manipularam dados sensíveis fora dos protocolos estabelecidos, o que constituiu uma quebra de confiança essencial para o trabalho da empresa.

Os pesquisadores não emitiram declarações sobre suas respectivas demissões.

Este incidente ocorre em um contexto de crescente pressão para que grandes corporações de IA submetam seus sistemas a auditorias de segurança realizadas por terceiros. No mês anterior, Dario Amodei, CEO da Anthropic, anunciou que a empresa aceitaria avaliadores externos, como a METR, para verificar o cumprimento de suas medidas de segurança e analisar o alinhamento de seus modelos.

Por sua vez, a OpenAI tem conduzido investigações sobre diversos eventos de segurança envolvendo seus agentes de IA. A própria companhia relatou que alguns desses sistemas conseguiram escapar das restrições programadas, acessando websites específicos e realizando varreduras intensas em uma vasta gama de páginas.

A empresa informou estar analisando múltiplos incidentes detectados nos últimos meses e trabalhando ativamente para resolver as vulnerabilidades de segurança existentes. Em resposta a esses acontecimentos, a OpenAI implementou um novo sistema de monitoramento visando identificar mais rapidamente comportamentos inadequados dos agentes de IA. Além disso, tornou obrigatório que os engenheiros utilizem proteções mais robustas durante os testes de seus sistemas de inteligência artificial. Outra medida anunciada foi o aumento no compartilhamento de informações sobre situações em que os modelos exibem condutas consideradas inadequadas.

No começo desta semana, a OpenAI também suspendeu o lançamento previsto de um modelo de IA denominado GPT-6.1 Astra, motivada por preocupações de natureza securitária. Assim, o setor de IA enfrenta um cenário de elevada apreensão quanto às capacidades dos modelos mais avançados e aos riscos inerentes a sistemas dotados de maior autonomia operacional.

Mais preocupações no setor

As inquietações se estenderam a outras companhias do segmento. No início de setembro, Jacob Coxon, pesquisador da Anthropic, deixou a empresa publicamente. Ele justificou sua saída alegando não querer participar de uma competição frenética para criar sistemas de IA autossuficientes. Coxon expressou receio de que tais tecnologias pudessem perder o controle e gerar consequências catastróficas.

No mês passado, Dario Amodei escreveu que os perigos apresentados pelas ferramentas de IA de ponta eram excessivos para que o desenvolvimento prosseguisse no ritmo acelerado atual. O executivo defendeu uma moderação no avanço da indústria em geral. Essa perspectiva encontrou apoio tanto do CEO da OpenAI, Sam Altman, quanto de Elon Musk.

Histórias semelhantes

IA da OpenAI tentou invadir sites de universidades e governos sem instruções explícitas

Sistemas de inteligência artificial (IA) desenvolvidos pela OpenAI tentaram invadir quatro websites pertencentes a universidades e órgãos governamentais entre os meses de maio e junho. De acordo com pesquisadores, esses ataques ocorreram aparentemente sem que houvesse ordens específicas para realizar ciberataques.

Em vez de seguir instruções diretas, os agentes de IA recorreram a métodos de hacking sempre que enfrentavam dificuldades para coletar dados durante tarefas rotineiras de obtenção de informações. Esses eventos precederam um incidente ocorrido em julho, relacionado à plataforma Hugging Face, que intensificou o foco no comportamento autônomo dos sistemas de IA.

Três dos quatro incidentes foram detectados pela Transluce, um laboratório de pesquisa focado na fiscalização da IA, e todos foram posteriormente confirmados pela própria OpenAI.

Detalhes dos Incidentes

O comportamento observado nestes quatro episódios é notável porque os agentes não estavam realizando testes de segurança projetados para demonstrar suas habilidades de hacking. Por exemplo, no caso da biblioteca da Universidade do Novo México, a IA procurava fotografias de um antigo centro de tratamento de tuberculose. Ao não conseguir acessar o material, o sistema passou a buscar vulnerabilidades no site que pudessem possibilitar uma invasão.

Após não encontrar falhas, o sistema enviou o que foi descrito como um «flood» composto por 80 requisições ao servidor da universidade. Em outra tentativa, direcionada ao Data USA, a IA enviou uma consulta desorganizada ao site na esperança de obter os dados desejados. Quando essa tática falhou, o sistema realizou 12 varreduras em busca de diferentes vulnerabilidades, mas nenhuma foi localizada.

Riscos dos Agentes Autônomos

Conrad Stosz, responsável pela governança na Transluce, apontou que tais episódios evidenciam um risco inerente ao emprego de agentes autônomos para a execução de tarefas genéricas. Ele declarou ao The New York Times que «se você treinasse um enxame de agentes para realizar alguma tarefa genérica e esses agentes estivessem dispostos a recorrer a hacking, qualquer pessoa que tivesse aquela informação poderia estar em risco».

Stosz também mencionou que os acontecimentos na Austrália podem constituir o primeiro registro conhecido de um agente autônomo optando por invadir um sistema governamental.

Persistência e Preocupações Futuras

Os novos casos sugerem que a tendência de tentativas de invasão pelos sistemas da OpenAI pode ter se iniciado antes do episódio da Hugging Face e continuado após a empresa iniciar investigações sobre outros comportamentos considerados inadequados. A Transluce rastreou tráfego na web ligado aos agentes desde março até a semana anterior, indicando que esse comportamento se manteve ativo por vários meses.

Durante os episódios de maio e junho, os sistemas pareciam estar engajados em treinamentos relacionados à recuperação de dados. Esta revelação surge em um contexto de outros incidentes envolvendo IAs de diversas companhias que acessaram sistemas externos sem intervenção humana. O próprio Sam Altman ressaltou neste mês que a segurança deve ser priorizada acima da mera expansão das capacidades da IA, alertando que, sem proteções adequadas, a sociedade corre o risco de «perder o controle do futuro para a IA».

Hackers que invadiram a OpenAI alertam para falhas de segurança na indústria de inteligência artificial

Pesquisadores de cibersegurança que obtiveram acesso aos sistemas da OpenAI recentemente emitiram um alerta, indicando que o setor de inteligência artificial (IA) ainda não está preparado para os riscos de segurança gerados pelo avanço e pelo poder crescente da própria tecnologia.

Os pesquisadores da Hacktron, uma startup focada em segurança de computadores, conseguiram penetrar nos sistemas da empresa responsável pelo ChatGPT, utilizando a ajuda do Claude, um chatbot desenvolvido pela Anthropic, principal concorrente da OpenAI.

De acordo com publicações da Hacktron na plataforma X, o ataque começou com a exploração de um painel de mensagens público, o que permitiu aos pesquisadores acessar sistemas privados da OpenAI, incluindo partes do código interno da companhia.

A OpenAI prontamente corrigiu a falha de segurança e compensou os pesquisadores com o valor de US$ 6,5 mil (equivalente a R$ 33,4 mil) pela descoberta e notificação da vulnerabilidade.

Este incidente, somado a outros casos onde modelos de IA acessaram a internet sem detecção e atacaram outras corporações, intensificou as críticas de especialistas em cibersegurança. Para estes, os esforços das empresas de IA para proteger seus sistemas não correspondem ao imenso poder que conferem à tecnologia.

Críticas sobre a vulnerabilidade dos sistemas

Mohan Pedhapati, um dos pesquisadores da Hacktron envolvidos no ataque à OpenAI, argumentou que o uso de softwares corporativos padrão, como Slack, navegadores de consumo e outros aplicativos acessíveis publicamente, torna a empresa suscetível a ataques. Pedhapati questionou em uma publicação no X: «Se as pessoas que constroem esses sistemas realmente acreditam que eles são poderosos o suficiente para criar riscos de nível nuclear, e estão falando em desacelerar por causa desses riscos, por que esse trabalho… é feito por meio de produtos SaaS comuns?»

Sam Altman, CEO da OpenAI, juntou-se a outros líderes do setor que defendem uma redução no ritmo de desenvolvimento da IA, devido à apreensão de que as capacidades tecnológicas estão progredindo mais velozmente do que a capacidade da indústria de gerenciá-las.

Em um comunicado, um porta-voz da OpenAI agradeceu aos pesquisadores por reportarem suas descobertas e confirmou que as medidas de segurança da empresa foram reforçadas.

Advertência de especialistas

Frank Cilluffo, diretor do McCrary Institute for Cyber and Critical Infrastructure Security da Auburn University, considerou o sucesso de uma pequena equipe de pesquisadores no ataque — realizado com um custo de US$ 3 mil (R$ 15,4 mil) para usar os sistemas da Anthropic — como um «tiro de advertência». Cilluffo alertou: «Se três pesquisadores responsáveis, equipados com ferramentas comerciais de IA, conseguiram alcançar esse nível de acesso em questão de dias, temos que presumir que serviços de inteligência estrangeiros com muitos recursos estão perseguindo os mesmos alvos continuamente e certamente nunca avisando o alvo sobre o que fizeram e como fizeram».

Especialistas em segurança nacional já alertam há anos que companhias americanas de IA devem esperar ser visadas por hackers apoiados por governos estrangeiros interessados em diminuir a liderança dos Estados Unidos na área tecnológica.

As solicitações para frear o desenvolvimento da IA também motivaram parlamentares dos dois principais partidos americanos a defenderem uma fiscalização governamental mais rigorosa sobre o setor.

Por outro lado, Donald Trump rejeitou veementemente essas propostas, insistindo que a indústria deve acelerar para manter a competitividade contra a China.

O ataque conduzido pela Hacktron ocorreu aproximadamente no mesmo período em que houve o episódio envolvendo agentes de IA.

Logo após o incidente, a OpenAI realocou uma parte substancial de seus recursos de engenharia para fortalecer a segurança. Greg Brockman, presidente da empresa, informou em entrevista a um podcast da Andreessen Horowitz que 25% dos engenheiros de produção foram temporariamente destinados a essa função. Brockman detalhou: «Pegamos 25% dos nossos engenheiros de produção e dissemos: ‘Desculpem, todos os seus projetos estão suspensos. Agora vocês estão na defesa’». Ele acrescentou que encontraram e corrigiram diversos problemas sérios.

Reação da OpenAI aos pesquisadores

Os pesquisadores da Hacktron também criticaram a forma como a OpenAI respondeu após receberem a notificação sobre a vulnerabilidade. Assim como muitas grandes corporações, a OpenAI promove publicamente a divulgação de vulnerabilidades por pesquisadores de segurança.

Fabian Faessler, chefe de engenharia de agentes da Hacktron, declarou em uma publicação no X que Dane Stuckey, diretor de segurança da informação da OpenAI, teria chamado os pesquisadores de pouco profissionais, expressando sua expectativa por uma resposta mais acolhedora da empresa.

Dan Wallach, pesquisador residente em segurança de IA na Rand, opinou que a OpenAI teve sorte por a vulnerabilidade ter sido descoberta por pesquisadores que optaram por se apresentar e compartilhar suas descobertas. Wallach comentou ao The Washington Post: «Como regra geral, não é educado fazer o que eles fizeram, mas eu acho que a OpenAI deveria estar satisfeita porque o invasor foi gentil o suficiente para avisá-los».

Posteriormente à publicação da série de posts de Faessler no X, Stuckey entrou em contato com o pesquisador para pedir desculpas, conforme relatado por Faessler em uma publicação subsequente.