Uzbequistão publicou um corpus da língua uzbeque com 6 bilhões de palavras para o desenvolvimento de inteligência artificial
Leia mais
UzDaily
uzdaily.uz

Uzbequistão publicou um corpus da língua uzbeque com 6 bilhões de palavras para o desenvolvimento de inteligência artificial

O Ministério de Tecnologia Digital do Uzbequistão disponibilizou um corpus de texto aberto em uzbeque na plataforma Hugging Face. Este corpus contém cerca de 6 bilhões de palavras, abrangendo 5,6 milhões de documentos.

O corpus inclui materiais em uzbeque tanto nos alfabetos latino quanto cirílico. Entre os materiais estão livros digitalizados, artigos de jornais, documentos de arquivo, papéis jurídicos, artigos da Wikipédia, páginas da web e publicações públicas do Telegram.

Antes da publicação, os textos coletados passaram por um processamento especial e verificação de qualidade. Além disso, os materiais foram classificados por setores e áreas temáticas. Dados pessoais foram substituídos por marcadores especiais, como [PHONE] e [NAME].

A criação deste corpus faz parte do cumprimento da ordem do Presidente Shavkat Mirziyoyev de 21 de outubro de 2025. Este decreto foi emitido em videoconferência com o objetivo de acelerar a implementação da inteligência artificial na administração pública, nos setores econômicos e nas regiões.

Na reunião, Mirziyoyev enfatizou a importância crítica de os sistemas de IA poderem compreender totalmente a língua uzbeque. O objetivo do projeto é expandir a base linguística digital e aumentar a capacidade dos modelos de IA de processar texto uzbeque, entender a língua e gerar conteúdo de qualidade em uzbeque.

Atualmente, o ministério está trabalhando para tornar o corpus acessível aos desenvolvedores de grandes modelos de linguagem (LLMs) líderes. Foi notado o início da colaboração com o modelo Qwen.

Histórias semelhantes

Programa para aumentar a literacia jurídica dos alunos será implementada nas escolas do Uzbequistão
Leia mais
podrobno.uz

Programa para aumentar a literacia jurídica dos alunos será implementada nas escolas do Uzbequistão

Um programa destinado a formar a educação legal e aumentar a conscientização jurídica dos alunos será lançado nas escolas de ensino geral do Uzbequistão. Este programa é destinado a alunos do primeiro ao décimo primeiro ano.

A base para isso foi a emissão do decreto presidencial nº UP-242 de 10 de novembro de 2026, que trata das «Medidas para a implementação de programas nacionais destinados a exaltar a honra e a dignidade humana».

Conteúdo do programa para diferentes faixas etárias

Para os alunos mais jovens, estão planejadas aulas sobre os direitos da criança, princípios de respeito mútuo e métodos de obtenção de ajuda. Os alunos do ensino médio receberão conhecimentos sobre como prevenir a violência, bem como aprenderão sobre os direitos do consumidor e os direitos trabalhistas.

Os alunos do ensino secundário estudarão procedimentos de interação com estruturas governamentais e também aprenderão os fundamentos das relações contratuais e laborais. Além das aulas teóricas, os estudantes participarão de sessões práticas onde situações reais da vida são analisadas, incluindo instruções sobre onde e como procurar ajuda em caso de violação de seus direitos.

Os temas de literacia jurídica serão integrados à disciplina de «Educação». Também serão criados materiais metodológicos para os professores com o apoio de docentes da Universidade Estatal de Direito de Tashkent, além de serem organizados cursos de aperfeiçoamento profissional.

Prevê-se que a implementação completa deste programa em todas as escolas de ensino geral ocorra até 2031. Até o final de 2026, deve ser desenvolvida um roteiro de ações correspondente.

Vale ressaltar que, anteriormente, em abril de 2026, foi aprovado no Uzbequistão um programa para melhorar a cultura jurídica da população para o período de 2026-2027. Este programa previa o desenvolvimento de materiais educativos para crianças, a realização de meses de conhecimento jurídico em instituições de ensino e o desenvolvimento de recursos online com informações jurídicas.

Processamento de texto uzbeque em modelos de IA custa mais devido a características de tokenização
Leia mais
uzdaily.uz

Processamento de texto uzbeque em modelos de IA custa mais devido a características de tokenização

Uma pesquisa realizada pela Gorgona AI, intitulada «Um significado, preços diferentes: quanto custa o idioma uzbeque para a IA?», mostrou que o texto no alfabeto latino uzbeque requer 1,55 a 2,17 vezes mais tokens em comparação com um texto equivalente em inglês ao usar cinco grandes fornecedores de serviços de IA, tornando-o mais caro para processar.

Os pesquisadores compararam plataformas como OpenAI, Anthropic, Google, Qwen e DeepSeek. Para a análise, foram utilizados 1337 textos paralelos, representando traduções do mesmo conteúdo, que foram então processados por 15 tokenizadores diferentes. Os resultados obtidos foram verificados com as respostas reais dos modelos.

Os modelos de linguagem não trabalham diretamente com letras ou palavras, mas sim com tokens — fragmentos em que o texto é dividido pelo tokenizador. Os dicionários desses tokenizadores são formados com base nos dados de treinamento, nos quais a proporção de inglês é significativamente maior. Consequentemente, uma palavra em inglês frequentemente ocupa um único token, enquanto uma palavra uzbeque com seus sufixos é dividida em média em quase três tokens.

Os fornecedores de serviços cobram o mesmo valor por token, independentemente do idioma, e a capacidade da janela de contexto também é medida em tokens. Como a geração de resposta ocorre token por token, se o mesmo significado em uzbeque exigir o dobro de tokens, a conta dobra. Além disso, a janela de contexto pode acomodar o dobro de documentos, e a geração de resposta na mesma velocidade levará o dobro do tempo.

Os custos adicionais variam dependendo do modelo e do próprio texto. Textos originalmente escritos em uzbeque geralmente estão mais próximos do limite inferior da faixa, enquanto traduções do inglês tendem a estar mais próximas do limite superior. No conjunto de dados FLORES, que inclui artigos de notícias, resumos enciclopédicos e guias turísticos, a diferença variou de 1,78 vezes para a OpenAI a 2,13 vezes para o DeepSeek.

Além disso, os textos russos do mesmo conjunto de dados custam 1,35 a 1,60 vezes mais do que os ingleses. O uzbeque é 1,24 a 1,54 vezes mais caro que o russo. Os pesquisadores observaram que o gênero tem um impacto insignificante nessas proporções: a diferença entre gêneros para cada modelo não excede 8%.

Apenas a morfologia não explica este problema. O estudo menciona uma análise de 2026 em que 30 frases idênticas foram testadas usando o tokenizador GPT-4o. O texto em inglês exigiu 348 tokens, o russo 551, o turco 609, o uzbeque em grafia latina 763, e o uzbeque em cirílico 814.

O turco, sendo também uma língua aglutinante escrita em latim, exigiu um quinto menos tokens. O turco mostrou-se mais barato de processar do que o uzbeque ao usar 13 dos 15 tokenizadores. As exceções foram GigaChat 3 e NeuronAI-Uzbek.

Os autores do estudo afirmam que o custo adicional é determinado não pelo número de falantes do idioma, mas pela frequência com que os modelos encontraram texto uzbeque durante o treinamento e qual posição esse idioma ocupa no dicionário do tokenizador.

A escolha de um modelo específico tem o maior impacto no custo final. Embora Claude Opus 5.5 e GPT-5.6 Sol tenham o mesmo preço declarado por token, o processamento de uma tradução uzbeque de um milhão de palavras em inglês custará US$ 14,78 com o Claude e US$ 8,70 com o GPT, representando uma diferença de 1,7 vezes.

O tokenizador Claude usa 1,57 vezes mais tokens do que o tokenizador OpenAI para texto em inglês e 1,70 vezes mais para texto uzbeque em alfabeto latino. O estudo baseia-se nos preços oficiais em 14 de outubro de 2026, excluindo o cache. O custo de processar o mesmo texto uzbeque varia de US$ 0,37 com o Claude Haiku 5.5 a US$ 14,78 com o Claude Opus 5.5.

Assim, os autores recomendam comparar os modelos com base no custo de processamento de um texto específico, e não apenas no preço por milhão de tokens. Eles enfatizam, no entanto, que suas conclusões se referem apenas aos custos, pois não mediram a qualidade das respostas dos modelos.

A geração de respostas em uzbeque também custa mais do que em inglês. Os modelos GPT-5.6 Luna e Claude Haiku 5.5 receberam 3904 solicitações com o objetivo de resumir um parágrafo e fornecer uma resposta detalhada sobre ele em quatro versões linguísticas. As respostas uzbeques visíveis custaram 1,7 a 1,8 vezes mais do que as inglesas, apesar de um número de caracteres quase idêntico.

O Claude Haiku 5.5, sem configurações especiais, decidia autonomamente se deveria realizar o raciocínio antes de responder. Ele fazia isso com mais frequência em uzbeque: em 28% dos resumos em comparação com 10% em inglês, e em 95% das respostas a perguntas em comparação com 63%. Embora os usuários não vejam esse raciocínio, há uma cobrança por ele na forma de tokens de saída. Quando o raciocínio está incluído, a resposta paga em uzbeque custa 2,1 a 2,3 vezes mais do que em inglês. Os pesquisadores alertam que esta observação é baseada em um modelo e duas tarefas.

A diferença de custo entre o uzbeque em cirílico e em latino também depende do modelo. O Claude cobra o mesmo valor por ambos os alfabetos. Outros fornecedores encontram o cirílico 7% a 23% mais caro, sendo a maior diferença registrada para o DeepSeek.

Os pesquisadores associam isso não à estrutura do alfabeto cirílico, mas ao volume de texto em cada alfabeto que os modelos encontraram durante o treinamento. Além disso, o apóstrofo usado nas letras uzbeques oʻ e gʻ aumenta o custo, pois atualmente ele é digitado com quatro símbolos diferentes que os tokenizadores consideram como sinais separados.

No conjunto de dados de notícias NTREX, a escrita original custou 0,6% mais do que o mesmo texto usando um apóstrofo direto ao trabalhar com a OpenAI, 1,9% com o Claude e 4,2% com o Qwen. O Gemini normaliza os apóstrofos para uma forma única e, portanto, não mostrou nenhuma diferença.

Os pesquisadores avaliaram separadamente o potencial impacto da transição para um novo alfabeto. A lei que prevê essa transição foi assinada em 21 de outubro de 2026 e entrará em vigor em 22 de abril de 2027. As letras oʻ e gʻ serão substituídas por ö e ğ, e sh e ch se transformarão em ş e ç. A combinação ng deixará de ser considerada uma letra separada.

De acordo com o novo sistema de escrita, os textos ficarão 4% mais curtos em número de caracteres. O número de tokens diminuirá em 2% a 4% ao usar Claude, Gemini e Qwen, enquanto as mudanças para OpenAI e DeepSeek serão insignificantes. Assim, o estudo conclui que as empresas não precisarão revisar seus orçamentos de IA devido à mudança de alfabeto. Os autores veem o principal benefício na unificação da escrita de cada palavra, o que simplificará a busca de documentos, a remoção de duplicatas e o uso de assistentes de IA com bases de conhecimento.

O pesquisador independente Dusmammat Karimov chegou a conclusões semelhantes sobre o alfabeto. Em outubro, ele testou cerca de 460.000 caracteres da Wikipédia uzbeque e de artigos de notícias do Gazeta.uz, usando sete tokenizadores. Modelos abertos demonstram que o custo adicional é determinado pelo vocabulário usado pelo tokenizador. O mesmo texto uzbeque requer 25% menos tokens com o GigaChat 3 do que com o tokenizador OpenAI. Com o NeuronAI-Uzbek, a diferença é de apenas 2%. O YandexGPT processa eficientemente o russo, mas o uzbeque custa o dobro para processar em comparação com o russo.

Com o tempo, o uzbeque se torna mais barato mais lentamente do que os idiomas principais. Quando a OpenAI mudou do tokenizador GPT-4 para GPT-4o, o custo adicional de textos uzbeques no conjunto FLORES caiu de 2,19 para 1,78, o que representa uma redução de aproximadamente um quinto. Com o Qwen, a transição da terceira para a 3.5 reduziu o custo do texto uzbeque em alfabeto latino em apenas 6%, enquanto para o russo a redução foi de 23%.

Os pesquisadores veem as coleções abertas de textos uzbeques como infraestrutura digital: quanto mais dados estiverem disponíveis, mais baratos se tornarão os serviços de IA em uzbeque para todos, de startups a instituições governamentais. Até abril de 2027, eles sugerem preparar coleções de texto paralelo em ambos os alfabetos, ferramentas de conversão aberta e regras de digitação padronizadas. De acordo com o estudo, a criação de coleções de textos uzbeques, dicionários morfológicos, tokenizadores e testes de qualidade exigirá colaboração entre empresas, universidades e governo, bem como diálogo com desenvolvedores de modelos.

Popular