गॉर्गोना एआई द्वारा किए गए एक अध्ययन, जिसका शीर्षक 'एक ही अर्थ, अलग कीमतें: एआई के लिए उज़्बेक भाषा की लागत कितनी है?' है, ने दिखाया कि पांच प्रमुख एआई सेवा प्रदाताओं का उपयोग करते समय, लैटिन वर्णमाला में उज़्बेक पाठ को समकक्ष अंग्रेजी पाठ की तुलना में 1.55 से 2.17 गुना अधिक टोकन की आवश्यकता होती है, जिससे इसका प्रसंस्करण अधिक महंगा हो जाता है।
शोधकर्ताओं ने OpenAI, Anthropic, Google, Qwen और DeepSeek जैसे प्लेटफार्मों की तुलना की। विश्लेषण के लिए 1337 समानांतर ग्रंथों का उपयोग किया गया था, जो एक ही सामग्री के अनुवाद हैं, जिन्हें बाद में 15 विभिन्न टोकनाइज़र से गुजारा गया। प्राप्त परिणामों को मॉडलों के वास्तविक उत्तरों के साथ सत्यापित किया गया था।
भाषा मॉडल सीधे अक्षरों या शब्दों के साथ काम नहीं करते हैं, बल्कि टोकन के साथ काम करते हैं - टेक्स्ट के खंड जिन्हें टोकनाइज़र द्वारा विभाजित किया जाता है। इन टोकनाइज़र शब्दकोशों का निर्माण प्रशिक्षण डेटा के आधार पर किया जाता है, जिसमें अंग्रेजी भाषा का हिस्सा काफी अधिक होता है। नतीजतन, एक अंग्रेजी शब्द अक्सर एक टोकन लेता है, जबकि इसके प्रत्ययों वाले उज़्बेक शब्द औसतन लगभग तीन टोकन में टूट जाते हैं।
सेवा प्रदाता भाषा की परवाह किए बिना प्रति टोकन समान शुल्क लेते हैं, और संदर्भ विंडो की क्षमता को भी टोकन में मापा जाता है। चूंकि उत्तर टोकन दर टोकन उत्पन्न होता है, यदि उज़्बेक में एक ही मान को दोगुने टोकन की आवश्यकता होती है, तो बिल दोगुना हो जाता है। इस बीच, संदर्भ विंडो में दोगुना कम दस्तावेज़ समा सकता है, और समान गति पर उत्तर उत्पन्न करने में दोगुना समय लगेगा।
अतिरिक्त लागत मॉडल और स्वयं पाठ पर निर्भर करती है। मूल रूप से उज़्बेक में लिखे गए पाठ आमतौर पर सीमा के निचले सिरे के करीब होते हैं, जबकि अंग्रेजी से अनुवादित पाठ ऊपरी सीमा के करीब आते हैं। FLORES डेटासेट में, जिसमें समाचार लेख, विश्वकोश प्रविष्टियाँ और यात्रा मार्गदर्शिकाएँ शामिल हैं, अंतर OpenAI के लिए 1.78 गुना से लेकर DeepSeek के लिए 2.13 गुना तक था।
हालांकि, उसी डेटासेट से रूसी पाठ अंग्रेजी की तुलना में 1.35 से 1.60 गुना अधिक महंगा है। उज़्बेक भाषा रूसी की तुलना में 1.24 से 1.54 गुना अधिक महंगी है। शोधकर्ताओं ने उल्लेख किया कि शैली इन अनुपातों पर नगण्य प्रभाव डालती है: प्रत्येक मॉडल के लिए शैलियों के बीच का अंतर 8% से अधिक नहीं है।
केवल आकृति विज्ञान इस समस्या की व्याख्या नहीं करता है। अध्ययन में 2026 के एक विश्लेषण का उल्लेख है, जिसमें GPT-4o टोकनाइज़र का उपयोग करके 30 समान वाक्यों का परीक्षण किया गया था। अंग्रेजी पाठ को 348 टोकन की आवश्यकता थी, रूसी को 551, तुर्की को 609, लैटिन लिपि में उज़्बेक को 763, और सिरिलिक में उज़्बेक को 814 की आवश्यकता थी।
तुर्की भाषा, जो एक अन्य आग्लोटिनेटिव भाषा है जिसे लैटिन में लिखा जाता है, को पांचवें हिस्से से कम टोकन की आवश्यकता थी। 15 में से 13 टोकनाइज़र का उपयोग करते हुए, तुर्की प्रसंस्करण में उज़्बेक की तुलना में सस्ता निकला। अपवाद GigaChat 3 और NeuronAI-Uzbek थे।
शोधकर्ता का दावा है कि अतिरिक्त लागत भाषा बोलने वालों की संख्या से निर्धारित नहीं होती है, बल्कि इस बात से निर्धारित होती है कि मॉडलों ने प्रशिक्षण के दौरान उज़्बेक पाठ का कितनी बार सामना किया और यह भाषा टोकनाइज़र के शब्दकोश में क्या स्थान रखती है।
विशिष्ट मॉडल का चयन अंतिम लागत पर सबसे अधिक प्रभाव डालता है। हालांकि Claude Opus 5.5 और GPT-5.6 Sol की प्रति टोकन घोषित कीमत समान है, एक मिलियन अंग्रेजी शब्दों के बराबर आकार के उज़्बेक पाठ के प्रसंस्करण की लागत Claude के साथ $14.78 और GPT के साथ $8.70 होगी, जो 1.7 गुना का अंतर है।
Claude टोकनाइज़र अंग्रेजी पाठ के लिए OpenAI टोकनाइज़र की तुलना में 1.57 गुना अधिक टोकन का उपयोग करता है, और लैटिन लिपि में उज़्बेक पाठ के लिए 1.70 गुना अधिक टोकन का उपयोग करता है। यह अध्ययन 14 अक्टूबर 2026 की आधिकारिक कीमतों पर आधारित है, कैशिंग को छोड़कर। एक ही उज़्बेक पाठ के प्रसंस्करण की लागत Claude Haiku 5.5 के साथ $0.37 से लेकर Claude Opus 5.5 के साथ $14.78 तक भिन्न होती है।
इस प्रकार, लेखक सलाह देते हैं कि वे प्रति मिलियन टोकन की कीमत के बजाय विशिष्ट पाठ के प्रसंस्करण की लागत के आधार पर मॉडलों की तुलना करें। हालांकि, वे इस बात पर जोर देते हैं कि उनके निष्कर्ष केवल लागत से संबंधित हैं, क्योंकि उन्होंने मॉडलों के उत्तरों की गुणवत्ता को मापा नहीं है।
उज़्बेक में उत्तर उत्पन्न करना भी अंग्रेजी की तुलना में अधिक महंगा है। GPT-5.6 Luna और Claude Haiku 5.5 मॉडलों को चार भाषाई संस्करणों में पैराग्राफ को सारांशित करने और उस पर विस्तृत उत्तर प्रदान करने के उद्देश्य से 3904 अनुरोध दिए गए थे। दिखाई देने वाले उज़्बेक उत्तर अंग्रेजी की तुलना में 1.7-1.8 गुना अधिक महंगे थे, भले ही वर्णों की संख्या लगभग समान थी।
विशेष सेटिंग्स के बिना Claude Haiku 5.5 ने स्वचालित रूप से निर्णय लिया कि उत्तर देने से पहले तर्क करना है या नहीं। उसने उज़्बेक में अंग्रेजी की तुलना में अधिक बार ऐसा किया: 28% सारांशों की तुलना में 10% अंग्रेजी में, और प्रश्नों के उत्तरों में 95% की तुलना में 63%। हालांकि उपयोगकर्ता इस तर्क को नहीं देखते हैं, इसके लिए आउटपुट टोकन के रूप में भुगतान किया जाता है। जब तर्क शामिल होता है, तो उज़्बेक में भुगतान की गई प्रतिक्रिया अंग्रेजी की तुलना में 2.1-2.3 गुना अधिक महंगी होती है। शोधकर्ता चेतावनी देते हैं कि यह अवलोकन एक मॉडल और दो कार्यों पर आधारित है।
उज़्बेक सिरिलिक और लैटिन के बीच लागत में अंतर भी मॉडल पर निर्भर करता है। Claude दोनों लिपियों के लिए समान शुल्क लेता है। अन्य प्रदाताओं के लिए, सिरिलिक 7-23% अधिक महंगा है, जिसमें DeepSeek के लिए सबसे बड़ा अंतर दर्ज किया गया है।
शोधकर्ता इसे सिरिलिक वर्णमाला की संरचना से नहीं, बल्कि प्रशिक्षण के दौरान मॉडलों द्वारा प्रत्येक लिपि में पाठ की मात्रा से जोड़ते हैं। इसके अलावा, उज़्बेक अक्षरों oʻ और gʻ में उपयोग किया जाने वाला एपोस्ट्रोफी लागत बढ़ाता है, क्योंकि वर्तमान में इसे चार अलग-अलग प्रतीकों से टाइप किया जाता है जिन्हें टोकनाइज़र अलग-अलग संकेतों के रूप में देखता है।
समाचार डेटासेट NTREX में, मूल वर्तनी OpenAI के साथ काम करते समय सीधे एपोस्ट्रोफी वाले समान पाठ की तुलना में 0.6% अधिक महंगी निकली, Claude के साथ 1.9% और Qwen के साथ 4.2%। जेमिनी एपोस्ट्रोफ को एक एकल रूप में सामान्य करता है और इसलिए कोई अंतर नहीं दिखाता है।
शोधकर्ताओं ने नए वर्णमाला में परिवर्तन के संभावित प्रभाव का अलग से मूल्यांकन किया। कानून, जो इस परिवर्तन का प्रावधान करता है, पर 21 अक्टूबर 2026 को हस्ताक्षर किए गए थे और 22 अप्रैल 2027 को लागू होंगे। अक्षर oʻ और gʻ को ö और ğ से बदल दिया जाएगा, और sh और ch को ş और ç में बदल दिया जाएगा। ng संयोजन को अब एक अलग अक्षर के रूप में नहीं माना जाएगा।
नई लेखन प्रणाली के अनुसार, पाठ प्रतीकों की संख्या में 4% छोटे हो जाएंगे। Claude, Gemini और Qwen का उपयोग करते समय टोकन की संख्या 2-4% कम हो जाएगी, जबकि OpenAI और DeepSeek के लिए परिवर्तन नगण्य होंगे। इस प्रकार, अध्ययन इस निष्कर्ष पर पहुंचता है कि कंपनियों को वर्णमाला परिवर्तन के कारण अपने एआई बजटों की समीक्षा करने की आवश्यकता नहीं होगी। लेखक हर शब्द की लेखन शैली के मानकीकरण में मुख्य लाभ देखते हैं, जो दस्तावेजों की खोज, डुप्लिकेट हटाने और ज्ञानकोष के साथ एआई सहायकों के उपयोग को सरल बनाएगा।
स्वतंत्र शोधकर्ता दुस्मामत करीमोव ने वर्णमाला के संबंध में समान निष्कर्ष निकाले। अक्टूबर में, उन्होंने सात टोकनाइज़र का उपयोग करके उज़्बेक विकिपीडिया और Gazeta.uz समाचार लेखों से लगभग 460,000 वर्णों का परीक्षण किया। ओपन-सोर्स मॉडल प्रदर्शित करते हैं कि अतिरिक्त लागत टोकनाइज़र द्वारा उपयोग की जाने वाली शब्दावली से निर्धारित होती है। उसी उज़्बेक पाठ को OpenAI टोकनाइज़र की तुलना में GigaChat 3 के साथ 25% कम टोकन की आवश्यकता होती है। NeuronAI-Uzbek के साथ अंतर केवल 2% है। YandexGPT रूसी भाषा को कुशलतापूर्वक संसाधित करता है, लेकिन उज़्बेक प्रसंस्करण में रूसी की तुलना में दोगुना महंगा है।
समय के साथ उज़्बेक भाषा प्रमुख भाषाओं की तुलना में धीमी गति से सस्ती होती जाती है। जब OpenAI ने GPT-4 टोकनाइज़र से GPT-4o पर स्विच किया, तो FLORES डेटासेट में उज़्बेक पाठ की अतिरिक्त लागत 2.19 से घटकर 1.78 हो गई, जो लगभग पांचवें हिस्से की कमी है। Qwen के साथ तीसरे संस्करण से 3.5 में बदलाव ने लैटिन लिपि में उज़्बेक पाठ की लागत में केवल 6% की कमी की, जबकि रूसी भाषा के लिए कमी 23% थी।
शोधकर्ता उज़्बेक पाठों के खुले संग्रह को डिजिटल बुनियादी ढांचे के रूप में देखते हैं: जितना अधिक डेटा उपलब्ध होगा, उज़्बेक भाषा में एआई सेवाएं उतनी ही सस्ती होंगी, स्टार्टअप से लेकर सरकारी संस्थानों तक। वे अप्रैल 2027 तक दोनों लिपियों में समानांतर पाठ संग्रह, खुले रूपांतरण उपकरण और मानकीकृत टाइपिंग नियमों को तैयार करने का प्रस्ताव करते हैं। अध्ययन के अनुसार, उज़्बेक पाठ संग्रह, रूपात्मक शब्दकोशों, टोकनाइज़र और गुणवत्ता परीक्षणों के निर्माण के लिए कंपनियों, विश्वविद्यालयों और सरकार के बीच सहयोग, साथ ही मॉडल डेवलपर्स के साथ संवाद की आवश्यकता होगी।