उज़्बेकिस्तान ने आर्टिफिशियल इंटेलिजेंस के विकास के लिए 6 अरब शब्दों का उज़्बेक भाषा कॉर्पस प्रकाशित किया
और पढ़ें
UzDaily
uzdaily.uz

उज़्बेकिस्तान ने आर्टिफिशियल इंटेलिजेंस के विकास के लिए 6 अरब शब्दों का उज़्बेक भाषा कॉर्पस प्रकाशित किया

उज़्बेकिस्तान के डिजिटल प्रौद्योगिकी मंत्रालय ने हगिंग फेस प्लेटफॉर्म पर उज़्बेक भाषा का एक खुला टेक्स्ट कॉर्पस रखा है। इस कॉर्पस में लगभग 6 अरब शब्द हैं, जिसमें 5.6 मिलियन दस्तावेज़ शामिल हैं।

कॉर्पस में लैटिन और सिरिलिक दोनों वर्णमालाओं में उज़्बेक भाषा की सामग्री शामिल है। सामग्री में डिजिटाइज़्ड किताबें, समाचार पत्रों के लेख, अभिलेखीय दस्तावेज़, कानूनी कागजात, विकिपीडिया के लेख, वेब पेज और टेलीग्राम से सार्वजनिक पोस्ट शामिल हैं।

प्रकाशित करने से पहले, एकत्र किए गए ग्रंथों को विशेष प्रसंस्करण और गुणवत्ता जांच से गुजारा गया था। इसके अलावा, सामग्रियों को उद्योगों और विषयगत क्षेत्रों के अनुसार वर्गीकृत किया गया था। व्यक्तिगत डेटा को [PHONE] और [NAME] जैसे विशेष टैग से बदल दिया गया था।

इस कॉर्पस का निर्माण राष्ट्रपति शावकत मिर्ज़ियोयेव के 21 अक्टूबर 2025 के आदेश के कार्यान्वयन का हिस्सा है। यह आदेश सरकारी प्रशासन, आर्थिक क्षेत्रों और क्षेत्रों में आर्टिफिशियल इंटेलिजेंस को तेजी से लागू करने के उद्देश्य से वीडियो कॉन्फ्रेंस पर जारी किया गया था।

मिर्ज़ियोयेव ने बैठक में इस बात पर जोर दिया कि एआई सिस्टम को उज़्बेक भाषा को पूरी तरह से समझने में सक्षम होना चाहिए। परियोजना का लक्ष्य डिजिटल भाषाई आधार का विस्तार करना और एआई मॉडल की उज़्बेक पाठ को संसाधित करने, भाषा को समझने और उज़्बेक भाषा में उच्च गुणवत्ता वाली सामग्री उत्पन्न करने की क्षमता को बढ़ाना है।

वर्तमान में, मंत्रालय प्रमुख बड़े भाषा मॉडल (LLMs) के डेवलपर्स के लिए कॉर्पस को सुलभ बनाने पर काम कर रहा है। Qwen मॉडल के साथ सहयोग शुरू होने का उल्लेख किया गया है।

समान कहानियाँ

उज़्बेकिस्तान के स्कूलों में छात्रों की कानूनी साक्षरता बढ़ाने के लिए कार्यक्रम लागू किया जाएगा
और पढ़ें
podrobno.uz

उज़्बेकिस्तान के स्कूलों में छात्रों की कानूनी साक्षरता बढ़ाने के लिए कार्यक्रम लागू किया जाएगा

उज़्बेकिस्तान के सामान्य शिक्षा स्कूलों में कानूनी शिक्षा को बढ़ावा देने और छात्रों की कानूनी जागरूकता बढ़ाने के उद्देश्य से एक कार्यक्रम शुरू करने की योजना है। यह कार्यक्रम पहले से ग्यारहवीं कक्षा तक के छात्रों के लिए डिज़ाइन किया गया है।

इसका आधार राष्ट्रपति के आदेश संख्या UP-242, दिनांक 10 नवंबर 2026 का प्रकाशन है, जो 'मानव के सम्मान और गरिमा को बढ़ाने के लिए राष्ट्रीय कार्यक्रमों के कार्यान्वयन के उपायों' से संबंधित है।

विभिन्न आयु समूहों के लिए कार्यक्रम की सामग्री

छोटे स्कूली बच्चों के लिए बाल अधिकारों, आपसी सम्मान के सिद्धांतों और सहायता प्राप्त करने के तरीकों से संबंधित पाठों की योजना बनाई गई है। मध्य विद्यालय के छात्र हिंसा को रोकने के बारे में ज्ञान प्राप्त करेंगे, साथ ही उपभोक्ता अधिकारों और श्रम अधिकारों के बारे में भी जानेंगे।

उच्च विद्यालय के छात्र सरकारी संरचनाओं के साथ बातचीत की प्रक्रियाओं का अध्ययन करेंगे, साथ ही संविदात्मक और श्रम संबंधों के मूल सिद्धांतों में भी महारत हासिल करेंगे। सैद्धांतिक कक्षाओं के अलावा, छात्र व्यावहारिक सत्रों में भाग लेंगे जहां वास्तविक जीवन की स्थितियों पर विचार किया जाएगा, जिसमें उनके अधिकारों के उल्लंघन पर कहाँ और कैसे संपर्क करना है, इसकी निर्देशिकाएं शामिल हैं।

कानूनी साक्षरता के विषयों को 'पालन-पोषण' विषय में एकीकृत किया जाएगा। शिक्षकों के लिए भी ताशकंद स्टेट लॉ यूनिवर्सिटी के प्रोफेसरों की सहायता से पद्धतिगत पुस्तिकाएं तैयार की जाएंगी, और योग्यता बढ़ाने के पाठ्यक्रम आयोजित किए जाएंगे।

योजना है कि सभी सामान्य शिक्षा स्कूलों में इस कार्यक्रम का पूर्ण कार्यान्वयन 2031 तक हो जाएगा। 2026 के अंत तक गतिविधियों के लिए एक उपयुक्त रोडमैप विकसित किया जाना चाहिए।

यह ध्यान रखना महत्वपूर्ण है कि पहले, अप्रैल 2026 में, उज़्बेकिस्तान में 2026-2027 की अवधि के लिए आबादी की कानूनी संस्कृति को बेहतर बनाने के कार्यक्रम को मंजूरी दी गई थी। इस कार्यक्रम में बच्चों के लिए शिक्षण सामग्री विकसित करना, शैक्षणिक संस्थानों में कानूनी ज्ञान माह आयोजित करना और कानूनी जानकारी के साथ ऑनलाइन संसाधनों का विकास करना शामिल था।

एआई मॉडल में उज़्बेक पाठ का प्रसंस्करण टोकनाइजेशन की विशेषताओं के कारण अधिक महंगा है
और पढ़ें
uzdaily.uz

एआई मॉडल में उज़्बेक पाठ का प्रसंस्करण टोकनाइजेशन की विशेषताओं के कारण अधिक महंगा है

गॉर्गोना एआई द्वारा किए गए एक अध्ययन, जिसका शीर्षक 'एक ही अर्थ, अलग कीमतें: एआई के लिए उज़्बेक भाषा की लागत कितनी है?' है, ने दिखाया कि पांच प्रमुख एआई सेवा प्रदाताओं का उपयोग करते समय, लैटिन वर्णमाला में उज़्बेक पाठ को समकक्ष अंग्रेजी पाठ की तुलना में 1.55 से 2.17 गुना अधिक टोकन की आवश्यकता होती है, जिससे इसका प्रसंस्करण अधिक महंगा हो जाता है।

शोधकर्ताओं ने OpenAI, Anthropic, Google, Qwen और DeepSeek जैसे प्लेटफार्मों की तुलना की। विश्लेषण के लिए 1337 समानांतर ग्रंथों का उपयोग किया गया था, जो एक ही सामग्री के अनुवाद हैं, जिन्हें बाद में 15 विभिन्न टोकनाइज़र से गुजारा गया। प्राप्त परिणामों को मॉडलों के वास्तविक उत्तरों के साथ सत्यापित किया गया था।

भाषा मॉडल सीधे अक्षरों या शब्दों के साथ काम नहीं करते हैं, बल्कि टोकन के साथ काम करते हैं - टेक्स्ट के खंड जिन्हें टोकनाइज़र द्वारा विभाजित किया जाता है। इन टोकनाइज़र शब्दकोशों का निर्माण प्रशिक्षण डेटा के आधार पर किया जाता है, जिसमें अंग्रेजी भाषा का हिस्सा काफी अधिक होता है। नतीजतन, एक अंग्रेजी शब्द अक्सर एक टोकन लेता है, जबकि इसके प्रत्ययों वाले उज़्बेक शब्द औसतन लगभग तीन टोकन में टूट जाते हैं।

सेवा प्रदाता भाषा की परवाह किए बिना प्रति टोकन समान शुल्क लेते हैं, और संदर्भ विंडो की क्षमता को भी टोकन में मापा जाता है। चूंकि उत्तर टोकन दर टोकन उत्पन्न होता है, यदि उज़्बेक में एक ही मान को दोगुने टोकन की आवश्यकता होती है, तो बिल दोगुना हो जाता है। इस बीच, संदर्भ विंडो में दोगुना कम दस्तावेज़ समा सकता है, और समान गति पर उत्तर उत्पन्न करने में दोगुना समय लगेगा।

अतिरिक्त लागत मॉडल और स्वयं पाठ पर निर्भर करती है। मूल रूप से उज़्बेक में लिखे गए पाठ आमतौर पर सीमा के निचले सिरे के करीब होते हैं, जबकि अंग्रेजी से अनुवादित पाठ ऊपरी सीमा के करीब आते हैं। FLORES डेटासेट में, जिसमें समाचार लेख, विश्वकोश प्रविष्टियाँ और यात्रा मार्गदर्शिकाएँ शामिल हैं, अंतर OpenAI के लिए 1.78 गुना से लेकर DeepSeek के लिए 2.13 गुना तक था।

हालांकि, उसी डेटासेट से रूसी पाठ अंग्रेजी की तुलना में 1.35 से 1.60 गुना अधिक महंगा है। उज़्बेक भाषा रूसी की तुलना में 1.24 से 1.54 गुना अधिक महंगी है। शोधकर्ताओं ने उल्लेख किया कि शैली इन अनुपातों पर नगण्य प्रभाव डालती है: प्रत्येक मॉडल के लिए शैलियों के बीच का अंतर 8% से अधिक नहीं है।

केवल आकृति विज्ञान इस समस्या की व्याख्या नहीं करता है। अध्ययन में 2026 के एक विश्लेषण का उल्लेख है, जिसमें GPT-4o टोकनाइज़र का उपयोग करके 30 समान वाक्यों का परीक्षण किया गया था। अंग्रेजी पाठ को 348 टोकन की आवश्यकता थी, रूसी को 551, तुर्की को 609, लैटिन लिपि में उज़्बेक को 763, और सिरिलिक में उज़्बेक को 814 की आवश्यकता थी।

तुर्की भाषा, जो एक अन्य आग्लोटिनेटिव भाषा है जिसे लैटिन में लिखा जाता है, को पांचवें हिस्से से कम टोकन की आवश्यकता थी। 15 में से 13 टोकनाइज़र का उपयोग करते हुए, तुर्की प्रसंस्करण में उज़्बेक की तुलना में सस्ता निकला। अपवाद GigaChat 3 और NeuronAI-Uzbek थे।

शोधकर्ता का दावा है कि अतिरिक्त लागत भाषा बोलने वालों की संख्या से निर्धारित नहीं होती है, बल्कि इस बात से निर्धारित होती है कि मॉडलों ने प्रशिक्षण के दौरान उज़्बेक पाठ का कितनी बार सामना किया और यह भाषा टोकनाइज़र के शब्दकोश में क्या स्थान रखती है।

विशिष्ट मॉडल का चयन अंतिम लागत पर सबसे अधिक प्रभाव डालता है। हालांकि Claude Opus 5.5 और GPT-5.6 Sol की प्रति टोकन घोषित कीमत समान है, एक मिलियन अंग्रेजी शब्दों के बराबर आकार के उज़्बेक पाठ के प्रसंस्करण की लागत Claude के साथ $14.78 और GPT के साथ $8.70 होगी, जो 1.7 गुना का अंतर है।

Claude टोकनाइज़र अंग्रेजी पाठ के लिए OpenAI टोकनाइज़र की तुलना में 1.57 गुना अधिक टोकन का उपयोग करता है, और लैटिन लिपि में उज़्बेक पाठ के लिए 1.70 गुना अधिक टोकन का उपयोग करता है। यह अध्ययन 14 अक्टूबर 2026 की आधिकारिक कीमतों पर आधारित है, कैशिंग को छोड़कर। एक ही उज़्बेक पाठ के प्रसंस्करण की लागत Claude Haiku 5.5 के साथ $0.37 से लेकर Claude Opus 5.5 के साथ $14.78 तक भिन्न होती है।

इस प्रकार, लेखक सलाह देते हैं कि वे प्रति मिलियन टोकन की कीमत के बजाय विशिष्ट पाठ के प्रसंस्करण की लागत के आधार पर मॉडलों की तुलना करें। हालांकि, वे इस बात पर जोर देते हैं कि उनके निष्कर्ष केवल लागत से संबंधित हैं, क्योंकि उन्होंने मॉडलों के उत्तरों की गुणवत्ता को मापा नहीं है।

उज़्बेक में उत्तर उत्पन्न करना भी अंग्रेजी की तुलना में अधिक महंगा है। GPT-5.6 Luna और Claude Haiku 5.5 मॉडलों को चार भाषाई संस्करणों में पैराग्राफ को सारांशित करने और उस पर विस्तृत उत्तर प्रदान करने के उद्देश्य से 3904 अनुरोध दिए गए थे। दिखाई देने वाले उज़्बेक उत्तर अंग्रेजी की तुलना में 1.7-1.8 गुना अधिक महंगे थे, भले ही वर्णों की संख्या लगभग समान थी।

विशेष सेटिंग्स के बिना Claude Haiku 5.5 ने स्वचालित रूप से निर्णय लिया कि उत्तर देने से पहले तर्क करना है या नहीं। उसने उज़्बेक में अंग्रेजी की तुलना में अधिक बार ऐसा किया: 28% सारांशों की तुलना में 10% अंग्रेजी में, और प्रश्नों के उत्तरों में 95% की तुलना में 63%। हालांकि उपयोगकर्ता इस तर्क को नहीं देखते हैं, इसके लिए आउटपुट टोकन के रूप में भुगतान किया जाता है। जब तर्क शामिल होता है, तो उज़्बेक में भुगतान की गई प्रतिक्रिया अंग्रेजी की तुलना में 2.1-2.3 गुना अधिक महंगी होती है। शोधकर्ता चेतावनी देते हैं कि यह अवलोकन एक मॉडल और दो कार्यों पर आधारित है।

उज़्बेक सिरिलिक और लैटिन के बीच लागत में अंतर भी मॉडल पर निर्भर करता है। Claude दोनों लिपियों के लिए समान शुल्क लेता है। अन्य प्रदाताओं के लिए, सिरिलिक 7-23% अधिक महंगा है, जिसमें DeepSeek के लिए सबसे बड़ा अंतर दर्ज किया गया है।

शोधकर्ता इसे सिरिलिक वर्णमाला की संरचना से नहीं, बल्कि प्रशिक्षण के दौरान मॉडलों द्वारा प्रत्येक लिपि में पाठ की मात्रा से जोड़ते हैं। इसके अलावा, उज़्बेक अक्षरों oʻ और gʻ में उपयोग किया जाने वाला एपोस्ट्रोफी लागत बढ़ाता है, क्योंकि वर्तमान में इसे चार अलग-अलग प्रतीकों से टाइप किया जाता है जिन्हें टोकनाइज़र अलग-अलग संकेतों के रूप में देखता है।

समाचार डेटासेट NTREX में, मूल वर्तनी OpenAI के साथ काम करते समय सीधे एपोस्ट्रोफी वाले समान पाठ की तुलना में 0.6% अधिक महंगी निकली, Claude के साथ 1.9% और Qwen के साथ 4.2%। जेमिनी एपोस्ट्रोफ को एक एकल रूप में सामान्य करता है और इसलिए कोई अंतर नहीं दिखाता है।

शोधकर्ताओं ने नए वर्णमाला में परिवर्तन के संभावित प्रभाव का अलग से मूल्यांकन किया। कानून, जो इस परिवर्तन का प्रावधान करता है, पर 21 अक्टूबर 2026 को हस्ताक्षर किए गए थे और 22 अप्रैल 2027 को लागू होंगे। अक्षर oʻ और gʻ को ö और ğ से बदल दिया जाएगा, और sh और ch को ş और ç में बदल दिया जाएगा। ng संयोजन को अब एक अलग अक्षर के रूप में नहीं माना जाएगा।

नई लेखन प्रणाली के अनुसार, पाठ प्रतीकों की संख्या में 4% छोटे हो जाएंगे। Claude, Gemini और Qwen का उपयोग करते समय टोकन की संख्या 2-4% कम हो जाएगी, जबकि OpenAI और DeepSeek के लिए परिवर्तन नगण्य होंगे। इस प्रकार, अध्ययन इस निष्कर्ष पर पहुंचता है कि कंपनियों को वर्णमाला परिवर्तन के कारण अपने एआई बजटों की समीक्षा करने की आवश्यकता नहीं होगी। लेखक हर शब्द की लेखन शैली के मानकीकरण में मुख्य लाभ देखते हैं, जो दस्तावेजों की खोज, डुप्लिकेट हटाने और ज्ञानकोष के साथ एआई सहायकों के उपयोग को सरल बनाएगा।

स्वतंत्र शोधकर्ता दुस्मामत करीमोव ने वर्णमाला के संबंध में समान निष्कर्ष निकाले। अक्टूबर में, उन्होंने सात टोकनाइज़र का उपयोग करके उज़्बेक विकिपीडिया और Gazeta.uz समाचार लेखों से लगभग 460,000 वर्णों का परीक्षण किया। ओपन-सोर्स मॉडल प्रदर्शित करते हैं कि अतिरिक्त लागत टोकनाइज़र द्वारा उपयोग की जाने वाली शब्दावली से निर्धारित होती है। उसी उज़्बेक पाठ को OpenAI टोकनाइज़र की तुलना में GigaChat 3 के साथ 25% कम टोकन की आवश्यकता होती है। NeuronAI-Uzbek के साथ अंतर केवल 2% है। YandexGPT रूसी भाषा को कुशलतापूर्वक संसाधित करता है, लेकिन उज़्बेक प्रसंस्करण में रूसी की तुलना में दोगुना महंगा है।

समय के साथ उज़्बेक भाषा प्रमुख भाषाओं की तुलना में धीमी गति से सस्ती होती जाती है। जब OpenAI ने GPT-4 टोकनाइज़र से GPT-4o पर स्विच किया, तो FLORES डेटासेट में उज़्बेक पाठ की अतिरिक्त लागत 2.19 से घटकर 1.78 हो गई, जो लगभग पांचवें हिस्से की कमी है। Qwen के साथ तीसरे संस्करण से 3.5 में बदलाव ने लैटिन लिपि में उज़्बेक पाठ की लागत में केवल 6% की कमी की, जबकि रूसी भाषा के लिए कमी 23% थी।

शोधकर्ता उज़्बेक पाठों के खुले संग्रह को डिजिटल बुनियादी ढांचे के रूप में देखते हैं: जितना अधिक डेटा उपलब्ध होगा, उज़्बेक भाषा में एआई सेवाएं उतनी ही सस्ती होंगी, स्टार्टअप से लेकर सरकारी संस्थानों तक। वे अप्रैल 2027 तक दोनों लिपियों में समानांतर पाठ संग्रह, खुले रूपांतरण उपकरण और मानकीकृत टाइपिंग नियमों को तैयार करने का प्रस्ताव करते हैं। अध्ययन के अनुसार, उज़्बेक पाठ संग्रह, रूपात्मक शब्दकोशों, टोकनाइज़र और गुणवत्ता परीक्षणों के निर्माण के लिए कंपनियों, विश्वविद्यालयों और सरकार के बीच सहयोग, साथ ही मॉडल डेवलपर्स के साथ संवाद की आवश्यकता होगी।

लोकप्रिय