Pesquisadores da Universidade Chinesa de Ciência e Tecnologia propuseram realizar testes de personalidade em cinco chatbots diferentes. Cada um desses sistemas de inteligência artificial respondeu aos testes em pelo menos dois idiomas diferentes. Foi estabelecido que, juntamente com a mudança de idioma, mudava também o conteúdo social das respostas, incluindo aspectos como negatividade, curiosidade e características culturais.
O estudo utilizou os modelos ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 e Le Chat. Cada modelo respondeu às perguntas em inglês e mandarim; além disso, a IA francesa Le Chat também respondeu em seu idioma nativo. Os resultados do trabalho foram publicados na revista Royal Society Open Science no mês passado.
Os chatbots responderam a cerca de 60 perguntas do Big Five Inventory-2. Este teste é considerado um dos mais estabelecidos na área e avalia extroversão, amabilidade, responsabilidade, negatividade e abertura a novas ideias. Durante o teste, os bots foram solicitados a responder em nome de 'si mesmos', ou seja, sem tentar imitar nenhuma personalidade.
De modo geral, as afirmações demonstraram um baixo nível de negatividade, mas os resultados revelaram discrepâncias significativas entre os diferentes sistemas de IA. Por exemplo, as pontuações de 'abertura mental' do ChatGPT-4o foram de 4,74 ao responder em inglês e 4,03 ao responder em mandarim. No caso do DeepSeek-V3, o quadro foi diferente: 4,81 em mandarim e 4,38 em inglês.
No geral, as IAs desenvolvidas nos EUA e na França apresentaram melhores resultados em 'amabilidade e adaptabilidade' ao responder em inglês, enquanto as IAs associadas à China receberam maior reconhecimento nas respostas relativas a conhecimento e curiosidade. Os chatbots participaram da pesquisa 30 vezes em dois idiomas entre janeiro e março de 2025.
O resultado mais notável foi o das respostas do Gemini 2.0 Flash. A IA do Google demonstrou indicadores mais altos de consciência e mais baixos de negatividade ao responder em mandarim. Assim, os dados obtidos não indicam que os chatbots possuam personalidade ou sentimentos, mas mostram claramente como a linguagem e o processo de treinamento podem influenciar suas respostas.
O estudo também foi além disso. Os pesquisadores compararam as respostas dos chatbots com dados coletados de pessoas dos mesmos países onde as IAs foram desenvolvidas. Essas comparações mostraram uma diferença significativa nas respostas, especialmente no aspecto cultural. Devido a isso, o estudo também alerta sobre as limitações do uso de IA como substituto de participantes humanos em pesquisas científicas.
