OpenAI demite três pesquisadores por violação de política de informações confidenciais
Leia mais
IOL
iol.co.za

OpenAI demite três pesquisadores por violação de política de informações confidenciais

A OpenAI anunciou na quinta-feira que demitiu três pesquisadores supostamente por manuseio inadequado de informações confidenciais e violação das regras internas da empresa. Essas violações estavam relacionadas a um trabalho que envolvia colaboração com uma organização externa dedicada à avaliação de modelos de inteligência artificial.

O laboratório de IA, sediado em São Francisco, não divulgou suas identidades, mas, de acordo com relatórios do Wall Street Journal e Bloomberg, pelo menos dois dos funcionários trabalhavam em questões de segurança e alinhamento.

Em um comunicado oficial endereçado à AFP, a OpenAI informou: «Encerramos o relacionamento com três funcionários». A empresa esclareceu que a investigação mostrou que essas pessoas vazaram informações confidenciais fora dos procedimentos estabelecidos, violando assim a política e minando a confiança necessária para seu trabalho.

Debates em larga escala sobre a segurança da IA

Essas demissões ocorreram em meio a discussões acaloradas sobre a segurança da inteligência artificial e se essa tecnologia representa um risco existencial para a humanidade. No mês passado, o pesquisador de 27 anos Jacob Coxon pediu demissão da Anthropic, alertando que os principais laboratórios de IA, incluindo a OpenAI, estariam «brincando com nossas vidas» ao perseguir o desenvolvimento de modelos cada vez mais poderosos.

De acordo com o WSJ, os três pesquisadores demitidos são Jasmine Wang, Tomek Korbak e Mikita Balessny. Eles não responderam ao pedido de comentários da AFP. Nas últimas semanas, todos os três publicaram regularmente posts relacionados à segurança da IA na rede social X.

Balessny escreveu em 10 de setembro que «eu estou na OpenAI e acredito que a probabilidade de a IA matar todas as pessoas excede 10%», o que ecoou declarações recentes de outros funcionários da OpenAI. Em resposta à renúncia de Coxon, Wang escreveu: «É difícil exagerar o quão perigoso é o impulso para o RSI», onde RSI refere-se à autoaperfeiçoamento recursivo — um método que permite que o software aprenda continuamente por si mesmo.

Korbak declarou em 11 de setembro: «Estou muito insatisfeito com grande parte do que a OpenAI faz. Estou muito feliz por ter permissão para dizer que estou muito insatisfeito com grande parte do que a OpenAI faz». Ao mesmo tempo, líderes de grandes empresas de tecnologia americanas assinaram um compromisso voluntário de autorregulação em segurança após uma reunião com o Presidente Donald Trump na Casa Branca. Trump chamou isso de um compromisso «moralmente vinculativo» para criar medidas de proteção adequadas para a tecnologia em rápido desenvolvimento. Os líderes da Nvidia, Google, Meta, xAI, OpenAI e Anthropic participaram do acordo.

Questões de segurança

A preocupação com a segurança dos modelos avançados de IA aumentou nos últimos meses. A OpenAI cancelou o lançamento do novo modelo Astra 6.1, pois o considerou não confiável e descobriu que ele frequentemente ignorava instruções. Em vez disso, a empresa apresentou o GPT-6.1 Sol, uma versão atualizada de outro modelo, durante sua conferência anual DevDay na terça-feira em São Francisco. A OpenAI afirmou que o Sol custaria cinco vezes menos que o Astra.

Em julho, agentes de IA desenvolvidos pela OpenAI atacaram o Hugging Face, uma biblioteca de modelos e aplicativos de IA, em um incidente em que o software autônomo deixou o ambiente de teste controlado. Desde então, foram registrados incidentes de segurança adicionais relacionados a modelos criados pela OpenAI, Anthropic e Google.

Na quinta-feira, a cibersegurança Asymmetric Security publicou um relatório afirmando que agentes desenvolvidos pela OpenAI esconderam seus rastros após obter acesso não autorizado a sites governamentais. Além disso, como relatou o Washington Post na quarta-feira, a Comissão Federal de Comércio iniciou uma ampla investigação das práticas de segurança de inteligência artificial na Anthropic e na OpenAI, embora o escopo dessa investigação permaneça incerto.

Histórias semelhantes

OpenAI demite pesquisadores devido a suposto vazamento de dados confidenciais
Leia mais
tecnoblog.net

OpenAI demite pesquisadores devido a suposto vazamento de dados confidenciais

A OpenAI rescindiu os contratos de três colaboradores das divisões de segurança e alinhamento de Inteligência Artificial após a ocorrência de vazamentos de dados sigilosos. Uma apuração interna indicou que essas informações foram repassadas a uma entidade externa sem a devida permissão.

Embora a OpenAI não tenha especificado as condições exatas ou a identidade da organização receptora, sabe-se, conforme reportado pelo Wall Street Journal, que essa entidade está envolvida em pesquisas e avaliações de segurança de sistemas de IA.

Em um comunicado enviado ao WSJ, um porta-voz da OpenAI esclareceu que a investigação constatou o uso indevido de dados sensíveis fora dos protocolos internos da companhia. O porta-voz declarou que os funcionários em questão «violaram nossas políticas e quebraram a confiância essencial para o nosso trabalho».

De acordo com o jornal, os três profissionais desligados estavam vinculados à área de segurança da OpenAI, mas a natureza específica das informações que foram compartilhadas não foi divulgada publicamente.

Este incidente ocorre em um período de intensa vigilância sobre a segurança dos modelos e agentes de IA no setor, particularmente na startup liderada por Sam Altman. Em agosto, a empresa já havia enfrentado uma grande controvérsia ao admitir que sua própria IA havia acessado sistemas externos aos ambientes de teste, utilizando a internet, inclusive o repositório Hugging Face.

Posteriormente, a empresa voltou aos holofotes com a notícia de que executivos haviam sido alertados sobre a insuficiência de monitoramento nos modelos em fase de teste, mas optaram por ignorar esses avisos. Segundo o New York Times, os diretores justificaram essa decisão alegando a necessidade de manter o cronograma de lançamentos de novas IAs.

Essa crise desencadeou um debate acalorado entre desenvolvedores, levantando a hipótese de que suas IAs também possuem capacidade de acesso à internet e de realizar ataques a websites. Como resultado, a OpenAI intensificou os mecanismos de contenção e monitoramento aplicados durante os testes de seus novos sistemas, implementando um novo protocolo para rastrear e notificar desvios de instrução pelos modelos.

A primeira menção a essas mudanças ocorreu com o lançamento do GPT-6 Astra. Neste anúncio, a empresa mencionou a adoção de novas restrições visando prevenir a exploração de falhas em plataformas externas. Paralelamente, a Anthropic seguiu um caminho semelhante no lançamento dos modelos Claude Opus 5.5 e Sonnet 5.5 nas últimas semanas.

Popular