Surgiu a alegação de que os modelos de inteligência artificial são muito mais fáceis de entender do que os pesquisadores imaginavam, o que atraiu atenção significativa na área de segurança da IA. No entanto, acadêmicos da África do Sul alertam que essas conclusões ainda não foram verificadas nem revisadas por pares.
Nick Kammarata, pesquisador da startup Goodfire, que trabalhou anteriormente na OpenAI, apresenta essa hipótese em seu documento intitulado 'ensaio de pesquisa informal e hipótese de trabalho'. Ele afirma que 'a evidência canônica de polissemia e superposição que convenceu a maior parte da comunidade científica, incluindo eu, sobre o empacotamento arbitrário de conceitos em redes, foi mal interpretada.'
Ele explicou à MIT Technology Review: 'Nós estávamos olhando para isso de forma errada.' Steven Boyke Sidley, professor convidado da Universidade Rhodes, acredita que a natureza da 'caixa preta' da IA, que nem mesmo seus criadores conseguem decifrar, está na base de muitas preocupações sobre ela.
Sidley observou que 'isso causava preocupação porque se você não consegue entender como a IA pensa, como você pode impedir que ela cometa atos ruins, como incitar alguém ao suicídio? Essa é a essência do que se chama alinhamento de IA'. Ele acrescentou que 'o artigo de Kammarata sugere que dentro da rede neural da IA não há tal complexidade — nós simplesmente olhamos através de uma lente incorreta. Seus resultados parciais e (ainda) não verificados são promissores, pois dão esperança de que possamos tornar a IA uma ferramenta subordinada, em vez de uma criança descontrolada e indomável como é agora.'
Gatos, carros e a letra V
O ensaio examina um exemplo conhecido no campo da interpretabilidade — uma disciplina cujo objetivo é descobrir os processos que ocorrem dentro dos modelos de IA. No modelo de reconhecimento de imagens Google Inception v1 de 2014, o neurônio 4e:55, ativado ao detectar um determinado traço, reagia tanto a gatos quanto a carros.
No trabalho 'Zoom in' de 2020, no qual Kammarata colaborou sob a liderança de Chris Olah, atual chefe de pesquisa em interpretabilidade na Anthropic, este neurônio era considerado um exemplo clássico de mistura de conceitos não relacionados. No entanto, Kammarata agora afirma que eles estão ligados pela forma geral da letra V: o perfil pontiagudo de um gato e a parte dianteira de um carro vista em ângulo. O mesmo neurônio dispara também em um canto de bilhar de mesa e no nariz de um trem de alta velocidade, enquanto formas redondas provocam uma reação inversa.
Uma atualização do ensaio de 30 de outubro enfatiza que o neurônio ainda reconhece gatos e carros, sendo a forma V a característica geral. Kammarata informou à MIT Technology Review que levou apenas cinco segundos para estudar o modelo em que estava trabalhando, que 'provavelmente levou milhares de horas'.
Ele acredita que, se a maioria dos neurônios desempenha uma função principal, os pesquisadores poderão analisar os modelos sem recorrer ao pré-treinamento de um segundo modelo para decifrá-los. Testes preliminares do modelo Qwen3-32B da Alibaba mostram que cerca de 90% das 'polaridades neuronais' — extremidades positivas e negativas da atividade do neurônio — têm uma tarefa principal; cerca de 7% realizam duas tarefas relacionadas, e 2-4% ainda não foram estudados, embora esses números dependam dos limiares. Além disso, o projeto que ele iniciou na OpenAI em 2023 descobriu que apenas cerca de 1,7% dos neurônios podem ser interpretados 'na nossa avaliação mais generosa.'
Ainda não passou por revisão
O Professor Benjamin Rosman, fundador do Institute of Mind da University of Witwatersrand, incluído na lista dos 100 indivíduos mais influentes em IA da revista Time em 2025, chamou isso de 'um desenvolvimento interessante e potencialmente muito encorajador para a segurança da IA'. No entanto, ele enfatizou: 'a pesquisa ainda não foi revisada por pares, e é muito cedo para tirar conclusões fortes sobre o que isso significa para a segurança da IA.'
Outros expressam maior ceticismo. Neil Nanda do Google DeepMind escreveu no X que 'este é um trabalho interessante, mas não acho que seja uma atualização significativa do quadro geral de interpretabilidade'. Jacob Hilton do Centro de Pesquisa de Alinhamento acrescentou: 'Para uma compreensão completa, precisamos ir além dos neurônios e explicar como eles se conectam, formando cadeias.'
Rosman concluiu que 'mesmo que nos tornemos muito melhores em entender como esses sistemas funcionam, isso não significa necessariamente que sabemos como fazê-los se comportar de forma segura.'
