Uma pesquisa realizada pela Gorgona AI, intitulada «Um significado, preços diferentes: quanto custa o idioma uzbeque para a IA?», mostrou que o texto no alfabeto latino uzbeque requer 1,55 a 2,17 vezes mais tokens em comparação com um texto equivalente em inglês ao usar cinco grandes fornecedores de serviços de IA, tornando-o mais caro para processar.
Os pesquisadores compararam plataformas como OpenAI, Anthropic, Google, Qwen e DeepSeek. Para a análise, foram utilizados 1337 textos paralelos, representando traduções do mesmo conteúdo, que foram então processados por 15 tokenizadores diferentes. Os resultados obtidos foram verificados com as respostas reais dos modelos.
Os modelos de linguagem não trabalham diretamente com letras ou palavras, mas sim com tokens — fragmentos em que o texto é dividido pelo tokenizador. Os dicionários desses tokenizadores são formados com base nos dados de treinamento, nos quais a proporção de inglês é significativamente maior. Consequentemente, uma palavra em inglês frequentemente ocupa um único token, enquanto uma palavra uzbeque com seus sufixos é dividida em média em quase três tokens.
Os fornecedores de serviços cobram o mesmo valor por token, independentemente do idioma, e a capacidade da janela de contexto também é medida em tokens. Como a geração de resposta ocorre token por token, se o mesmo significado em uzbeque exigir o dobro de tokens, a conta dobra. Além disso, a janela de contexto pode acomodar o dobro de documentos, e a geração de resposta na mesma velocidade levará o dobro do tempo.
Os custos adicionais variam dependendo do modelo e do próprio texto. Textos originalmente escritos em uzbeque geralmente estão mais próximos do limite inferior da faixa, enquanto traduções do inglês tendem a estar mais próximas do limite superior. No conjunto de dados FLORES, que inclui artigos de notícias, resumos enciclopédicos e guias turísticos, a diferença variou de 1,78 vezes para a OpenAI a 2,13 vezes para o DeepSeek.
Além disso, os textos russos do mesmo conjunto de dados custam 1,35 a 1,60 vezes mais do que os ingleses. O uzbeque é 1,24 a 1,54 vezes mais caro que o russo. Os pesquisadores observaram que o gênero tem um impacto insignificante nessas proporções: a diferença entre gêneros para cada modelo não excede 8%.
Apenas a morfologia não explica este problema. O estudo menciona uma análise de 2026 em que 30 frases idênticas foram testadas usando o tokenizador GPT-4o. O texto em inglês exigiu 348 tokens, o russo 551, o turco 609, o uzbeque em grafia latina 763, e o uzbeque em cirílico 814.
O turco, sendo também uma língua aglutinante escrita em latim, exigiu um quinto menos tokens. O turco mostrou-se mais barato de processar do que o uzbeque ao usar 13 dos 15 tokenizadores. As exceções foram GigaChat 3 e NeuronAI-Uzbek.
Os autores do estudo afirmam que o custo adicional é determinado não pelo número de falantes do idioma, mas pela frequência com que os modelos encontraram texto uzbeque durante o treinamento e qual posição esse idioma ocupa no dicionário do tokenizador.
A escolha de um modelo específico tem o maior impacto no custo final. Embora Claude Opus 5.5 e GPT-5.6 Sol tenham o mesmo preço declarado por token, o processamento de uma tradução uzbeque de um milhão de palavras em inglês custará US$ 14,78 com o Claude e US$ 8,70 com o GPT, representando uma diferença de 1,7 vezes.
O tokenizador Claude usa 1,57 vezes mais tokens do que o tokenizador OpenAI para texto em inglês e 1,70 vezes mais para texto uzbeque em alfabeto latino. O estudo baseia-se nos preços oficiais em 14 de outubro de 2026, excluindo o cache. O custo de processar o mesmo texto uzbeque varia de US$ 0,37 com o Claude Haiku 5.5 a US$ 14,78 com o Claude Opus 5.5.
Assim, os autores recomendam comparar os modelos com base no custo de processamento de um texto específico, e não apenas no preço por milhão de tokens. Eles enfatizam, no entanto, que suas conclusões se referem apenas aos custos, pois não mediram a qualidade das respostas dos modelos.
A geração de respostas em uzbeque também custa mais do que em inglês. Os modelos GPT-5.6 Luna e Claude Haiku 5.5 receberam 3904 solicitações com o objetivo de resumir um parágrafo e fornecer uma resposta detalhada sobre ele em quatro versões linguísticas. As respostas uzbeques visíveis custaram 1,7 a 1,8 vezes mais do que as inglesas, apesar de um número de caracteres quase idêntico.
O Claude Haiku 5.5, sem configurações especiais, decidia autonomamente se deveria realizar o raciocínio antes de responder. Ele fazia isso com mais frequência em uzbeque: em 28% dos resumos em comparação com 10% em inglês, e em 95% das respostas a perguntas em comparação com 63%. Embora os usuários não vejam esse raciocínio, há uma cobrança por ele na forma de tokens de saída. Quando o raciocínio está incluído, a resposta paga em uzbeque custa 2,1 a 2,3 vezes mais do que em inglês. Os pesquisadores alertam que esta observação é baseada em um modelo e duas tarefas.
A diferença de custo entre o uzbeque em cirílico e em latino também depende do modelo. O Claude cobra o mesmo valor por ambos os alfabetos. Outros fornecedores encontram o cirílico 7% a 23% mais caro, sendo a maior diferença registrada para o DeepSeek.
Os pesquisadores associam isso não à estrutura do alfabeto cirílico, mas ao volume de texto em cada alfabeto que os modelos encontraram durante o treinamento. Além disso, o apóstrofo usado nas letras uzbeques oʻ e gʻ aumenta o custo, pois atualmente ele é digitado com quatro símbolos diferentes que os tokenizadores consideram como sinais separados.
No conjunto de dados de notícias NTREX, a escrita original custou 0,6% mais do que o mesmo texto usando um apóstrofo direto ao trabalhar com a OpenAI, 1,9% com o Claude e 4,2% com o Qwen. O Gemini normaliza os apóstrofos para uma forma única e, portanto, não mostrou nenhuma diferença.
Os pesquisadores avaliaram separadamente o potencial impacto da transição para um novo alfabeto. A lei que prevê essa transição foi assinada em 21 de outubro de 2026 e entrará em vigor em 22 de abril de 2027. As letras oʻ e gʻ serão substituídas por ö e ğ, e sh e ch se transformarão em ş e ç. A combinação ng deixará de ser considerada uma letra separada.
De acordo com o novo sistema de escrita, os textos ficarão 4% mais curtos em número de caracteres. O número de tokens diminuirá em 2% a 4% ao usar Claude, Gemini e Qwen, enquanto as mudanças para OpenAI e DeepSeek serão insignificantes. Assim, o estudo conclui que as empresas não precisarão revisar seus orçamentos de IA devido à mudança de alfabeto. Os autores veem o principal benefício na unificação da escrita de cada palavra, o que simplificará a busca de documentos, a remoção de duplicatas e o uso de assistentes de IA com bases de conhecimento.
O pesquisador independente Dusmammat Karimov chegou a conclusões semelhantes sobre o alfabeto. Em outubro, ele testou cerca de 460.000 caracteres da Wikipédia uzbeque e de artigos de notícias do Gazeta.uz, usando sete tokenizadores. Modelos abertos demonstram que o custo adicional é determinado pelo vocabulário usado pelo tokenizador. O mesmo texto uzbeque requer 25% menos tokens com o GigaChat 3 do que com o tokenizador OpenAI. Com o NeuronAI-Uzbek, a diferença é de apenas 2%. O YandexGPT processa eficientemente o russo, mas o uzbeque custa o dobro para processar em comparação com o russo.
Com o tempo, o uzbeque se torna mais barato mais lentamente do que os idiomas principais. Quando a OpenAI mudou do tokenizador GPT-4 para GPT-4o, o custo adicional de textos uzbeques no conjunto FLORES caiu de 2,19 para 1,78, o que representa uma redução de aproximadamente um quinto. Com o Qwen, a transição da terceira para a 3.5 reduziu o custo do texto uzbeque em alfabeto latino em apenas 6%, enquanto para o russo a redução foi de 23%.
Os pesquisadores veem as coleções abertas de textos uzbeques como infraestrutura digital: quanto mais dados estiverem disponíveis, mais baratos se tornarão os serviços de IA em uzbeque para todos, de startups a instituições governamentais. Até abril de 2027, eles sugerem preparar coleções de texto paralelo em ambos os alfabetos, ferramentas de conversão aberta e regras de digitação padronizadas. De acordo com o estudo, a criação de coleções de textos uzbeques, dicionários morfológicos, tokenizadores e testes de qualidade exigirá colaboração entre empresas, universidades e governo, bem como diálogo com desenvolvedores de modelos.