Узбекистан опубликовал корпус узбекского языка объемом 6 миллиардов слов для развития искусственного интеллекта
Подробнее
UzDaily
uzdaily.uz

Узбекистан опубликовал корпус узбекского языка объемом 6 миллиардов слов для развития искусственного интеллекта

Министерство цифровых технологий Узбекистана разместило на платформе Hugging Face открытый текстовый корпус на узбекском языке. Этот корпус содержит около 6 миллиардов слов, охватывая 5,6 миллиона документов.

Корпус включает материалы на узбекском языке как в латинском, так и в кириллическом алфавитах. Среди материалов — оцифрованные книги, статьи из газет, архивные документы, юридические бумаги, статьи из Википедии, веб-страницы и общедоступные посты из Telegram.

Перед публикацией собранные тексты прошли специальную обработку и проверку качества. Кроме того, материалы были классифицированы по отраслям и предметным областям. Персональные данные были заменены специальными метками, такими как [PHONE] и [NAME].

Создание этого корпуса является частью выполнения указа Президента Шавката Мирзиёева от 21 октября 2025 года. Данный указ был издан на видеоконференции с целью ускорения внедрения искусственного интеллекта в государственное управление, экономические секторы и регионы.

На встрече Мирзиёев подчеркнул критическую важность того, чтобы системы ИИ могли полностью понимать узбекский язык. Целью проекта является расширение цифровой языковой базы и повышение способности моделей ИИ обрабатывать узбекский текст, понимать язык и генерировать качественный контент на узбекском языке.

В настоящее время министерство работает над тем, чтобы сделать корпус доступным для разработчиков ведущих больших языковых моделей (LLMs). Было отмечено начало сотрудничества с моделью Qwen.

Похожие сюжеты

В Узбекистане в школах внедрят программу по повышению правовой грамотности учащихся
Подробнее
podrobno.uz

В Узбекистане в школах внедрят программу по повышению правовой грамотности учащихся

В общеобразовательных школах Узбекистана планируется запуск программы, направленной на формирование правового воспитания и повышение юридической осведомленности учеников. Данная программа рассчитана на учащихся с первого по одиннадцатый класс.

Основанием для этого стало издание указом президента № УП-242 от 10 ноября 2026 года, который посвящен «Мерам по реализации национальных программ, направленных на возвеличивание чести и достоинства человека».

Содержание программы для разных возрастных групп

Для младших школьников запланированы уроки, касающиеся прав ребенка, принципов взаимного уважения и методов получения помощи. Учащиеся средних классов получат знания о том, как предотвращать насилие, а также узнают о правах потребителей и трудовых правах.

Старшеклассники будут изучать процедуры взаимодействия с государственными структурами, а также осваивать основы договорных и трудовых отношений. Помимо теоретических занятий, школьники будут участвовать в практических сессиях, где разбираются реальные жизненные ситуации, включая инструкции о том, куда и как следует обращаться при нарушении их прав.

Темы правовой грамотности будут интегрированы в учебный предмет «Воспитание». Для учителей также будут созданы методические пособия при содействии преподавателей Ташкентского государственного юридического университета, а также организованы курсы повышения квалификации.

Планируется, что полное внедрение данной программы во всех общеобразовательных школах произойдет к 2031 году. До конца 2026 года должна быть разработана соответствующая дорожная карта мероприятий.

Стоит отметить, что ранее, в апреле 2026 года, в Узбекистане была утверждена программа по улучшению правовой культуры населения на период 2026–2027 годов. Эта программа предусматривала разработку обучающих материалов для детей, проведение месячников правовых знаний в учебных заведениях и развитие онлайн-ресурсов с юридической информацией.

Обработка узбекского текста в моделях ИИ обходится дороже из-за особенностей токенизации
Подробнее
uzdaily.uz

Обработка узбекского текста в моделях ИИ обходится дороже из-за особенностей токенизации

Исследование, проведенное Gorgona AI под названием «Одно значение, разные цены: сколько стоит узбекский язык для ИИ?», показало, что текст на узбекском латинском алфавите требует в 1,55–2,17 раза больше токенов по сравнению с эквивалентным английским текстом при использовании пяти крупных поставщиков ИИ-услуг, что делает его более дорогим для обработки.

Исследователи сравнили такие платформы, как OpenAI, Anthropic, Google, Qwen и DeepSeek. Для анализа было использовано 1337 параллельных текста, представляющих собой переводы одного и того же контента, которые затем прошли через 15 различных токенизаторов. Полученные результаты были сверены с фактическими ответами моделей.

Модели языка работают не напрямую с буквами или словами, а с токенами — фрагментами, на которые текст разделяется токенизатором. Словари этих токенизаторов формируются на основе обучающих данных, в которых доля английского языка значительно выше. Следовательно, английское слово часто занимает один токен, тогда как узбекское слово с его суффиксами в среднем разбивается почти на три токена.

Поставщики услуг взимают одинаковую плату за токен независимо от языка, а емкость контекстного окна также измеряется в токенах. Поскольку генерация ответа происходит токен за токеном, если одно и то же значение на узбекском требует вдвое больше токенов, счет удваивается. При этом контекстное окно может вместить вдвое меньше документов, а генерация ответа при той же скорости займет вдвое больше времени.

Дополнительные расходы варьируются в зависимости от модели и самого текста. Тексты, изначально написанные на узбекском, как правило, ближе к нижней границе диапазона, в то время как переводы с английского языка попадают ближе к верхней границе. В наборе данных FLORES, который включает новостные статьи, энциклопедические справки и путеводители, разница составляла от 1,78 раза для OpenAI до 2,13 раза для DeepSeek.

При этом русские тексты из того же набора данных обходятся на 1,35–1,60 раза дороже, чем английские. Узбекский язык оказывается на 1,24–1,54 раза дороже русского. Исследователи отметили, что жанр оказывает незначительное влияние на эти соотношения: разница между жанрами для каждой модели не превышает 8%.

Только морфология не объясняет эту проблему. В исследовании упоминается анализ 2026 года, в котором были протестированы 30 идентичных предложений с использованием токенизатора GPT-4o. Английский текст потребовал 348 токенов, русский — 551, турецкий — 609, узбекский в латинской графике — 763, а узбекский в кириллице — 814.

Турецкий язык, будучи также агглютинативным языком, написанным латиницей, потребовал на пятую часть токенов меньше. Турецкий оказался дешевле в обработке, чем узбекский, при использовании 13 из 15 токенизаторов. Исключения составили GigaChat 3 и NeuronAI-Uzbek.

Авторы исследования утверждают, что дополнительная стоимость определяется не количеством носителей языка, а тем, насколько часто модели сталкивались с узбекским текстом во время обучения и какое место этот язык занимает в словаре токенизатора.

Выбор конкретной модели оказывает наибольшее влияние на итоговую стоимость. Хотя Claude Opus 5.5 и GPT-5.6 Sol имеют одинаковую заявленную цену за токен, обработка узбекского перевода текста объемом в один миллион английских слов обойдется в 14,78 доллара США с помощью Claude и в 8,70 доллара США с помощью GPT, что представляет собой разницу в 1,7 раза.

Токенизатор Claude использует в 1,57 раза больше токенов, чем токенизатор OpenAI, для английского текста, и в 1,70 раза больше для узбекского текста в латинской графике. Исследование базируется на официальных ценах по состоянию на 14 октября 2026 года, исключая кэширование. Стоимость обработки одного и того же узбекского текста варьируется от 0,37 доллара США с Claude Haiku 5.5 до 14,78 доллара США с Claude Opus 5.5.

Таким образом, авторы рекомендуют сравнивать модели, исходя из стоимости обработки конкретного текста, а не только из цены за миллион токенов. Они подчеркивают, однако, что их выводы касаются только затрат, поскольку они не измеряли качество ответов моделей.

Генерация ответов на узбекском языке также обходится дороже, чем на английском. Моделям GPT-5.6 Luna и Claude Haiku 5.5 было дано по 3904 запроса с целью обобщения параграфа и предоставления подробного ответа по нему в четырех языковых вариантах. Видимые узбекские ответы стоили в 1,7–1,8 раза дороже, чем английские, несмотря на почти идентичное количество символов.

Claude Haiku 5.5 без специальных настроек самостоятельно решал, выполнять ли рассуждение перед ответом. Он делал это чаще на узбекском: в 28% резюме по сравнению с 10% на английском, и в 95% ответов на вопросы по сравнению с 63%. Хотя пользователи не видят этого рассуждения, за него взимается плата в виде выходных токенов. Когда рассуждение включено, платная реакция на узбекском языке стоит в 2,1–2,3 раза дороже, чем на английском. Исследователи предупреждают, что это наблюдение основано на одной модели и двух задачах.

Разница в стоимости между узбекской кириллицей и латиницей также зависит от модели. Claude устанавливает одинаковую плату за оба алфавита. У других поставщиков кириллица оказывается на 7–23% дороже, при этом наибольшая разница зафиксирована для DeepSeek.

Исследователи связывают это не со структурой кириллического алфавита, а с объемом текста на каждом из алфавитов, который модели встречали во время обучения. Кроме того, апостроф, используемый в узбекских буквах оʻ и гʻ, увеличивает стоимость, так как в настоящее время он набирается четырьмя разными символами, которые токенизаторы рассматривают как отдельные знаки.

В новостном наборе данных NTREX оригинальное написание оказалось на 0,6% дороже, чем тот же текст с использованием прямого апострофа при работе с OpenAI, на 1,9% с Claude и на 4,2% с Qwen. Gemini нормализует апострофы до единой формы и, следовательно, не показал никакой разницы.

Исследователи отдельно оценили потенциальное влияние перехода на новый алфавит. Закон, предусматривающий этот переход, был подписан 21 октября 2026 года и вступит в силу 22 апреля 2027 года. Буквы оʻ и гʻ будут заменены на ö и ğ, а sh и ch превратятся в ş и ç. Комбинация ng перестанет рассматриваться как отдельная буква.

Согласно новой системе написания, тексты станут на 4% короче по количеству символов. Количество токенов уменьшится на 2–4% при использовании Claude, Gemini и Qwen, в то время как изменения для OpenAI и DeepSeek будут незначительными. Таким образом, исследование приходит к выводу, что компаниям не придется пересматривать свои бюджеты на ИИ из-за смены алфавита. Авторы видят основную пользу в унификации написания каждого слова, что упростит поиск документов, удаление дубликатов и использование ИИ-помощников с базами знаний.

Независимый исследователь Дусмамат Каримов пришел к схожим выводам относительно алфавита. В октябре он протестировал около 460 000 символов из узбекской Википедии и новостных статей Gazeta.uz, используя семь токенизаторов. Открытые модели демонстрируют, что дополнительная стоимость определяется словарным запасом, используемым токенизатором. Тот же узбекский текст требует на 25% меньше токенов с GigaChat 3, чем с токенизатором OpenAI. С NeuronAI-Uzbek разница составляет всего 2%. YandexGPT эффективно обрабатывает русский язык, но узбекский обходится вдвое дороже в обработке, чем русский.

Со временем узбекский язык становится дешевле медленнее, чем основные языки. Когда OpenAI переключилась с токенизатора GPT-4 на GPT-4o, дополнительная стоимость узбекских текстов в наборе FLORES снизилась с 2,19 до 1,78, что является сокращением примерно на пятую часть. С Qwen переход от третьей версии к 3.5 снизил стоимость узбекского текста в латинской графике всего на 6%, тогда как для русского языка снижение составило 23%.

Исследователи рассматривают открытые коллекции узбекских текстов как цифровую инфраструктуру: чем больше доступно данных, тем дешевле станут услуги ИИ на узбекском языке для всех, от стартапов до государственных учреждений. К апрелю 2027 года они предлагают подготовить параллельные текстовые коллекции в обоих алфавитах, инструменты для открытого преобразования и стандартизированные правила набора. Согласно исследованию, создание коллекций узбекских текстов, морфологических словарей, токенизаторов и тестов качества потребует сотрудничества между компаниями, университетами и государством, а также диалога с разработчиками моделей.

Популярное