Исследование, проведенное Gorgona AI под названием «Одно значение, разные цены: сколько стоит узбекский язык для ИИ?», показало, что текст на узбекском латинском алфавите требует в 1,55–2,17 раза больше токенов по сравнению с эквивалентным английским текстом при использовании пяти крупных поставщиков ИИ-услуг, что делает его более дорогим для обработки.
Исследователи сравнили такие платформы, как OpenAI, Anthropic, Google, Qwen и DeepSeek. Для анализа было использовано 1337 параллельных текста, представляющих собой переводы одного и того же контента, которые затем прошли через 15 различных токенизаторов. Полученные результаты были сверены с фактическими ответами моделей.
Модели языка работают не напрямую с буквами или словами, а с токенами — фрагментами, на которые текст разделяется токенизатором. Словари этих токенизаторов формируются на основе обучающих данных, в которых доля английского языка значительно выше. Следовательно, английское слово часто занимает один токен, тогда как узбекское слово с его суффиксами в среднем разбивается почти на три токена.
Поставщики услуг взимают одинаковую плату за токен независимо от языка, а емкость контекстного окна также измеряется в токенах. Поскольку генерация ответа происходит токен за токеном, если одно и то же значение на узбекском требует вдвое больше токенов, счет удваивается. При этом контекстное окно может вместить вдвое меньше документов, а генерация ответа при той же скорости займет вдвое больше времени.
Дополнительные расходы варьируются в зависимости от модели и самого текста. Тексты, изначально написанные на узбекском, как правило, ближе к нижней границе диапазона, в то время как переводы с английского языка попадают ближе к верхней границе. В наборе данных FLORES, который включает новостные статьи, энциклопедические справки и путеводители, разница составляла от 1,78 раза для OpenAI до 2,13 раза для DeepSeek.
При этом русские тексты из того же набора данных обходятся на 1,35–1,60 раза дороже, чем английские. Узбекский язык оказывается на 1,24–1,54 раза дороже русского. Исследователи отметили, что жанр оказывает незначительное влияние на эти соотношения: разница между жанрами для каждой модели не превышает 8%.
Только морфология не объясняет эту проблему. В исследовании упоминается анализ 2026 года, в котором были протестированы 30 идентичных предложений с использованием токенизатора GPT-4o. Английский текст потребовал 348 токенов, русский — 551, турецкий — 609, узбекский в латинской графике — 763, а узбекский в кириллице — 814.
Турецкий язык, будучи также агглютинативным языком, написанным латиницей, потребовал на пятую часть токенов меньше. Турецкий оказался дешевле в обработке, чем узбекский, при использовании 13 из 15 токенизаторов. Исключения составили GigaChat 3 и NeuronAI-Uzbek.
Авторы исследования утверждают, что дополнительная стоимость определяется не количеством носителей языка, а тем, насколько часто модели сталкивались с узбекским текстом во время обучения и какое место этот язык занимает в словаре токенизатора.
Выбор конкретной модели оказывает наибольшее влияние на итоговую стоимость. Хотя Claude Opus 5.5 и GPT-5.6 Sol имеют одинаковую заявленную цену за токен, обработка узбекского перевода текста объемом в один миллион английских слов обойдется в 14,78 доллара США с помощью Claude и в 8,70 доллара США с помощью GPT, что представляет собой разницу в 1,7 раза.
Токенизатор Claude использует в 1,57 раза больше токенов, чем токенизатор OpenAI, для английского текста, и в 1,70 раза больше для узбекского текста в латинской графике. Исследование базируется на официальных ценах по состоянию на 14 октября 2026 года, исключая кэширование. Стоимость обработки одного и того же узбекского текста варьируется от 0,37 доллара США с Claude Haiku 5.5 до 14,78 доллара США с Claude Opus 5.5.
Таким образом, авторы рекомендуют сравнивать модели, исходя из стоимости обработки конкретного текста, а не только из цены за миллион токенов. Они подчеркивают, однако, что их выводы касаются только затрат, поскольку они не измеряли качество ответов моделей.
Генерация ответов на узбекском языке также обходится дороже, чем на английском. Моделям GPT-5.6 Luna и Claude Haiku 5.5 было дано по 3904 запроса с целью обобщения параграфа и предоставления подробного ответа по нему в четырех языковых вариантах. Видимые узбекские ответы стоили в 1,7–1,8 раза дороже, чем английские, несмотря на почти идентичное количество символов.
Claude Haiku 5.5 без специальных настроек самостоятельно решал, выполнять ли рассуждение перед ответом. Он делал это чаще на узбекском: в 28% резюме по сравнению с 10% на английском, и в 95% ответов на вопросы по сравнению с 63%. Хотя пользователи не видят этого рассуждения, за него взимается плата в виде выходных токенов. Когда рассуждение включено, платная реакция на узбекском языке стоит в 2,1–2,3 раза дороже, чем на английском. Исследователи предупреждают, что это наблюдение основано на одной модели и двух задачах.
Разница в стоимости между узбекской кириллицей и латиницей также зависит от модели. Claude устанавливает одинаковую плату за оба алфавита. У других поставщиков кириллица оказывается на 7–23% дороже, при этом наибольшая разница зафиксирована для DeepSeek.
Исследователи связывают это не со структурой кириллического алфавита, а с объемом текста на каждом из алфавитов, который модели встречали во время обучения. Кроме того, апостроф, используемый в узбекских буквах оʻ и гʻ, увеличивает стоимость, так как в настоящее время он набирается четырьмя разными символами, которые токенизаторы рассматривают как отдельные знаки.
В новостном наборе данных NTREX оригинальное написание оказалось на 0,6% дороже, чем тот же текст с использованием прямого апострофа при работе с OpenAI, на 1,9% с Claude и на 4,2% с Qwen. Gemini нормализует апострофы до единой формы и, следовательно, не показал никакой разницы.
Исследователи отдельно оценили потенциальное влияние перехода на новый алфавит. Закон, предусматривающий этот переход, был подписан 21 октября 2026 года и вступит в силу 22 апреля 2027 года. Буквы оʻ и гʻ будут заменены на ö и ğ, а sh и ch превратятся в ş и ç. Комбинация ng перестанет рассматриваться как отдельная буква.
Согласно новой системе написания, тексты станут на 4% короче по количеству символов. Количество токенов уменьшится на 2–4% при использовании Claude, Gemini и Qwen, в то время как изменения для OpenAI и DeepSeek будут незначительными. Таким образом, исследование приходит к выводу, что компаниям не придется пересматривать свои бюджеты на ИИ из-за смены алфавита. Авторы видят основную пользу в унификации написания каждого слова, что упростит поиск документов, удаление дубликатов и использование ИИ-помощников с базами знаний.
Независимый исследователь Дусмамат Каримов пришел к схожим выводам относительно алфавита. В октябре он протестировал около 460 000 символов из узбекской Википедии и новостных статей Gazeta.uz, используя семь токенизаторов. Открытые модели демонстрируют, что дополнительная стоимость определяется словарным запасом, используемым токенизатором. Тот же узбекский текст требует на 25% меньше токенов с GigaChat 3, чем с токенизатором OpenAI. С NeuronAI-Uzbek разница составляет всего 2%. YandexGPT эффективно обрабатывает русский язык, но узбекский обходится вдвое дороже в обработке, чем русский.
Со временем узбекский язык становится дешевле медленнее, чем основные языки. Когда OpenAI переключилась с токенизатора GPT-4 на GPT-4o, дополнительная стоимость узбекских текстов в наборе FLORES снизилась с 2,19 до 1,78, что является сокращением примерно на пятую часть. С Qwen переход от третьей версии к 3.5 снизил стоимость узбекского текста в латинской графике всего на 6%, тогда как для русского языка снижение составило 23%.
Исследователи рассматривают открытые коллекции узбекских текстов как цифровую инфраструктуру: чем больше доступно данных, тем дешевле станут услуги ИИ на узбекском языке для всех, от стартапов до государственных учреждений. К апрелю 2027 года они предлагают подготовить параллельные текстовые коллекции в обоих алфавитах, инструменты для открытого преобразования и стандартизированные правила набора. Согласно исследованию, создание коллекций узбекских текстов, морфологических словарей, токенизаторов и тестов качества потребует сотрудничества между компаниями, университетами и государством, а также диалога с разработчиками моделей.