Gorgona AI tomonidan oʻtkazilgan "Bitta maʼno, turli narxlar: sunʼiy intellekt uchun oʻzbek tili qancha turadi?" nomli tadqiqotda beshta yirik AI-xizmat koʻrsatuvchisi ishlatilganda, lotin alifbosidagi oʻzbekcha matn ekvivalent ingliz tilidagi matnga nisbatan 1,55–2,17 barobar koʻproq token talab qilishi aniqlangan, bu uni qayta ishlash uchun qimmatroq qiladi.
Tadqiqotchilar OpenAI, Anthropic, Google, Qwen va DeepSeek kabi platformalarni taqqoslagan. Tahlil uchun bir xil kontentning tarjimalarini tashkil etuvchi 1337 parallel matndan foydalanildi va ular 15 xil tokenizatorlardan oʻtkazildi. Olingan natijalar modellarning haqiqiy javoblari bilan solishtirildi.
Til modellarining ishlashi harflar yoki soʻzlar bilan emas, balki tokenlar bilan amalga oshiriladi — bu matn tokenizator tomonidan ajratilgan fragmentlardir. Ushbu tokenizatorlarning lugʻatlari oʻquv maʼlumotlari asosida shakllanadi, bunda ingliz tilining ulushi sezilarli darajada yuqori. Shu sababli, inglizcha soʻz koʻpincha bitta tokenni egallaydi, ammo oʻz qoʻshimchalari bilan oʻzbekcha soʻz oʻrtacha taxminan uchta tokenga boʻlinadi.
Xizmat koʻrsatuvchilar tilidan qatʼi nazar token uchun bir xil toʻlovni oladi va kontekst oynasi sigʻimi ham tokenlarda oʻlchanadi. Javob generatsiyasi tokenma-token sodir boʻlganligi sababli, agar bir xil maʼno oʻzbek tilida ikki barobar koʻproq token talab qilsa, hisob ikki barobar ortadi. Shu bilan birga, kontekst oynasi ikki barobar kamroq hujjatni sigʻdira oladi va bir xil tezlikda javob generatsiyasi ikki barobar koʻp vaqtni talab qiladi.
Qoʻshimcha xarajatlar model va matnning oʻziga bogʻliq holda farq qiladi. Oʻzbek tilida asl nusxa sifatida yozilgan matnlar odatda diapazonning pastki chegarasiga yaqinroq joylashgan, ingliz tilidan tarjima qilingan matnlar esa yuqori chegaraga yaqinroq tushadi. Yangilik maqolalari, ensiklopedik maʼlumotlar va yoʻl koʻrsatuvchilarni oʻz ichiga olgan FLORES maʼlumotlar toʻplamida farq OpenAI uchun 1,78 barobar, DeepSeek uchun esa 2,13 barobar boʻldi.
Shuningdek, shu maʼlumotlar toʻplamidagi ruscha matnlar ingliz tiliga qaraganda 1,35–1,60 barobar qimmatroq turadi. Oʻzbek tili rus tiliga nisbatan 1,24–1,54 barobar qimmatroq chiqadi. Tadqiqotchilar janr ushbu nisbatlarga sezilarli taʼsir koʻrsatmasligini taʼkidladilar: har bir model uchun janrlar orasidagi farq 8% dan oshmaydi.
Faqat morfologiya bu muammoni tushuntirmaydi. Tadqiqotda GPT-4o tokenizatoridan foydalanib sinovdan oʻtkazilgan 30 ta bir xil jumlani tahlil qilish tilga olingan. Inglizcha matn 348 token, ruscha — 551, turkcha — 609, lotin yozuvidagi oʻzbekcha — 763, kirill yozuvidagi oʻzbekcha esa 814 token talab qildi.
Turk tili ham lotin yozuvida yozilgan agglutinativ til boʻlib, beshinchi qism tokenlardan kamroq talab qildi. 15 ta tokenizatorning 13 tasida turkcha qayta ishlash oʻzbekchadan arzonroq chiqdi. Istisnolari GigaChat 3 va NeuronAI-Uzbek boʻldi.
Tadqiqot mualliflari qoʻshimcha xarajatlar tilning oʻzbekcha nutqchilar soni bilan emas, balki modellar oʻquv jarayonida oʻzbekcha matn bilan qanchalik koʻp duch kelganligi va bu til tokenizator lugʻatida qanday oʻrin tutishiga bogʻliq ekanligini taʼkidlaydilar.
Aniqlangan modelni tanlash yakuniy narxga eng katta taʼsir koʻrsatadi. Claude Opus 5.5 va GPT-5.6 Sol bir xil deklaratsiya qilingan token narxiga ega boʻlsa-da, bir million inglizcha soʻzli oʻzbekcha tarjimani qayta ishlash Claude orqali 14,78 AQSh dollari, GPT orqali esa 8,70 AQSh dollari atrofida turadi, bu esa 1,7 barobar farqni tashkil etadi.
Claude tokenizatori inglizcha matn uchun OpenAI tokenizatoridan 1,57 barobar koʻp, lotin yozuvidagi oʻzbekcha matn uchun esa 1,70 barobar koʻp tokenlardan foydalanadi. Tadqiqot 2026-yil 14-oktyabr holatidagi rasmiy narxlarga asoslanadi, keshlash hisobga olinmaydi. Bir xil oʻzbekcha matnni qayta ishlash narxi Claude Haiku 5.5 bilan 0,37 AQSh dollaridan Claude Opus 5.5 bilan 14,78 AQSh dollarigacha oʻzgaradi.
Shunday qilib, mualliflar modellarni faqat million token narxiga emas, balki aniq matnni qayta ishlash xarajatiga qarab taqqoslashni tavsiya etadilar. Biroq, ular oʻz xulosalari faqat xarajatlarga tegishli ekanligini, chunki ular modellar javoblarining sifatini oʻlchamasliklarini taʼkidlaydilar.
Oʻzbek tilida javoblar yaratish ham ingliz tiliga qaraganda qimmatroq turadi. GPT-5.6 Luna va Claude Haiku 5.5 modellariga paragrafni umumlashtirish va uning boʻyicha toʻrtta til variantida batafsil javob berish maqsadida 3904 ta soʻrov berildi. Koʻrinadigan oʻzbekcha javoblar inglizcha javoblarga nisbatan 1,7–1,8 barobar qimmatroq chiqdi, garchi belgilar soni deyarli bir xil boʻlsa ham.
Claude Haiku 5.5 maxsus sozlamalar boʻlmaganda, javobdan oldin fikrlashni bajarishni mustaqil hal qildi. U buni oʻzbek tilida koʻproq amalga oshirdi: ingliz tilida 10% ga qaraganda 28% xulosa qismlarida va savollarga javob berishda 63% ga qaraganda 95% da. Foydalanuvchilar bu fikrlash jarayonini koʻrmasa ham, u chiqish tokenlari shaklida toʻlanadi. Fikrlash jarayoni kiritilganda, oʻzbek tilidagi toʻlovli javob ingliz tiliga qaraganda 2,1–2,3 barobar qimmatroq turadi. Tadqiqotchilar bu kuzatuv bir model va ikkita vazifaga asoslanganligini ogohlantiradilar.
Oʻzbek kirill va lotin alifbalari oʻrtasidagi narx farqi ham modelga bogʻliq. Claude ikkala alifba uchun bir xil toʻlov belgilaydi. Boshqa koʻrsatuvchilar uchun kirill tilida 7–23% qimmatroq chiqadi, bunda eng katta farq DeepSeek uchun qayd etilgan.
Tadqiqotchilar buni kirill alifbosining tuzilishi bilan emas, balki modellar oʻquv paytida har bir alifbadagi matn hajmi bilan bogʻlaydilar. Bundan tashqari, oʻzbek harflaridagi oʻ va gʻ uchun ishlatiladigan apostrof narxni oshiradi, chunki hozirda u tokeinizatorlar tomonidan alohida belgilar sifatida koʻriladigan toʻrtta xil belgilar bilan yoziladi.
NTREX yangiliklar maʼlumotlar toʻplamida asl yozuv OpenAI bilan ishlayotganda bevosita apostrofdan foydalangan matnga qaraganda 0,6% qimmatroq, Claude bilan 1,9% qimmatroq va Qwen bilan 4,2% qimmatroq chiqdi. Gemini apostroflarni yagona shaklga normalizatsiya qiladi va shu sababli hech qanday farq koʻrsatmadi.
Tadqiqotchilar yangi alifboga oʻtishning potentsial taʼsirini alohida baholashdi. Bu oʻtishni nazarda tutuvchi qonun 2026-yil 21-oktyabrda imzolandi va 2027-yil 22-aprelda kuchga kiradi. Oʻ va gʻ harflari ö va ğ ga, sh va ch esa ş va ç ga almashtiriladi. Ng kombinatsiyasi alohida harf sifatida koʻrilmaslikni toʻxtatadi.
Yangi yozuv tizimiga koʻra, matnlar belgilar soni boʻyicha 4% qisqaroq boʻladi. Claude, Gemini va Qwen dan foydalanganda tokenlar soni 2–4% ga kamayadi, OpenAI va DeepSeek uchun esa oʻzgarishlar sezilarli darajada boʻlmaydi. Shunday qilib, tadqiqot kompaniyalarga alifba oʻzgarishi tufayli AI byudjetlarini qayta koʻrib chiqishlari shart emasligiga kelib chiqadi. Mualliflar asosiy foyda har bir soʻzning yozilishini standartlashtirishda koʻrishadilar, bu hujjatlarni qidirishni, nusxalarni oʻchirishni va bilimlar bazasi bilan AI yordamchilaridan foydalanishni soddalashtiradi.
Mustaqil tadqiqotchi Dusmamot Karimov ham alifba boʻyicha oʻxshash xulosalarga keldi. U oktyabr oyida oʻzbek Vikipediyasidan va Gazeta.uz yangiliklar maqolalaridan taxminan 460 000 belgini yetti tokenizator yordamida sinovdan oʻtkazdi. Ochiq modellar qoʻshimcha xarajatlarning tokenizator ishlatadigan lugʻat boyligiga bogʻliq ekanligini koʻrsatadi. Bir xil oʻzbekcha matn GigaChat 3 bilan OpenAI tokenizatoriga qaraganda 25% kamroq token talab qiladi. NeuronAI-Uzbek bilan farq atigi 2%. YandexGPT rus tilini samarali qayta ishlaydi, ammo oʻzbekcha qayta ishlash rus tiliga qaraganda ikki barobar qimmatroq turadi.
Vaqt oʻtishi bilan oʻzbek tili asosiy tillarga qaraganda sekinroq arzonlashadi. OpenAI GPT-4 tokenizatoridan GPT-4o ga oʻtganda, FLORES maʼlumotlar toʻplamidagi oʻzbekcha matnlarning qoʻshimcha xarajatlari 2,19 dan 1,78 gacha pasaydi, bu taxminan beshinchi qismga kamayishdir. Qwen uchun uchinchi versiyadan 3.5 ga oʻtish lotin yozuvidagi oʻzbekcha matn narxini faqat 6% ga pasaytirdi, rus tili uchun esa 23% ga kamayish kuzatildi.
Tadqiqotchilar ochiq oʻzbekcha matnlar kolleksiyalarini raqamli infratuzilma sifatida koʻrishadi: qancha koʻp maʼlumot mavjud boʻlsa, startaplardan davlat muassasalargacha boʻlgan oʻzbek tilidagi AI xizmatlari shuncha arzonlashadi. Ular 2027-yil aprelga qadar ikkala alifbada parallel matnlar kolleksiyalarini, ochiq konvertatsiya vositalarini va standartlashtirilgan yozish qoidalarini tayyorlashni taklif qilishadi. Tadqiqotga koʻra, oʻzbekcha matnlar, morfologik lugʻatlar, tokenizatorlar va sifat testlarini yaratish kompaniyalar, universitetlar va davlat hamkorligini, shuningdek, modellarni ishlab chiquvchilar bilan muloqotni talab qiladi.