चाइना टेलीकॉम आर्टिफिशियल इंटेलिजेंस टेक्नोलॉजी कंपनी लिमिटेड ने Xing श्रृंखला (जिसे पहले TeleChat के नाम से जाना जाता था) का नवीनतम विकास, Xing4.0-29B-A4B मॉडल जारी किया है। इस मॉडल के वज़न और कॉन्फ़िगरेशन फ़ाइलें XingChen-AGI संगठन के तहत Hugging Face और ModelScope प्लेटफॉर्म पर उपलब्ध हैं। आधिकारिक तौर पर, मॉडल को चाइना टेलीकॉम / XingChen / Xing4.0 के रूप में प्रस्तुत किया गया है।
इस मॉडल को केवल एक सामान्य बड़े भाषा मॉडल के रिलीज के रूप में नहीं, बल्कि Ascend प्लेटफॉर्म के लिए अनुकूलित Mixture-of-Experts (MoE) एजेंट कार्यान्वयन के रूप में प्रस्तुत किया गया है। कंपनी की सामग्री के अनुसार, यह पहली ऐसी मॉडल है जिसका प्रशिक्षण पूरी तरह से Ascend NPUs पर MindSpore फ्रेमवर्क का उपयोग करके किया गया है और इसे जटिल इंजीनियरिंग कार्यों और एजेंट वर्कलोड के लिए विशेष रूप से ट्यून किया गया है।
Hugging Face के आंकड़ों के अनुसार, मॉडल में कुल 29 बिलियन पैरामीटर हैं, जिसमें प्रति टोकन लगभग 4 बिलियन पैरामीटर सक्रिय होते हैं। यह 256K की नेटिव संदर्भ लंबाई का समर्थन करता है, जिसे 512K तक बढ़ाया जा सकता है, इसमें 40 परतें हैं, MLA अटेंशन का उपयोग करता है, और इसमें 64 रूट किए गए विशेषज्ञ शामिल हैं, जिनमें से प्रत्येक टोकन के लिए चार विशेषज्ञ और एक सामान्य विशेषज्ञ सक्रिय होते हैं। आर्किटेक्चरल नोट्स mHC + MLA + MTP स्टैक का संकेत देते हैं, जो बहु-चरणीय योजना, टूल कॉलिंग और लंबी संदर्भ में निरंतरता बनाए रखने के लिए डिज़ाइन किया गया है।
रिपोर्ट किया गया है कि MindSpore/MindFormers के माध्यम से Ascend 910C क्लस्टर्स पर संयुक्त रूप से प्रशिक्षण को अनुकूलित करने, जिसमें mHC ऑपरेटरों का संयोजन और MoE संचार ट्यूनिंग शामिल है, ने विक्रेता द्वारा प्रदान किए गए डेटा के अनुसार प्रशिक्षण थ्रूपुट को बेसलाइन सेटिंग्स की तुलना में लगभग 96% बढ़ा दिया है।
उपयोग के लिए ट्रांसफॉर्मर्स, vLLM, SGLang और KTransformers जैसे विभिन्न सेवा पथ प्रदान किए जाते हैं। LLaMA-Factory और MindFormers का उपयोग करके फाइन-ट्यूनिंग का समर्थन भी उपलब्ध है, साथ ही ओपनकोड, क्लॉड कोड, ओपनक्लॉ और हर्मेस सहित एजेंट सिस्टम के लिए फॉर्मेटिंग भी उपलब्ध है। इसके अलावा, फीनिक्स टेक बताता है कि द्वितीयक आईटी विषयों का कवरेज सुपरसीएलयू एजेंटों के परिणाम देता है जो Qwen के अग्रणी मॉडलों के तुलनीय हैं, और दावा करता है कि 4-बिट क्वांटाइजेशन लंबी संदर्भ के साथ स्थानीय लॉन्च के लिए मेमोरी खपत को 15 जीबी तक कम कर सकता है, हालांकि ये बयान अभी तक स्वतंत्र सत्यापन से पहले तृतीय-पक्ष या कंपनी द्वारा किए गए दावे हैं।
Huawei Ascend स्टैक पर काम करने वाली टीमों को MindSpore पर स्पष्ट रूप से प्रशिक्षित Xing4.0-29B-A4B वज़न प्रदान किए जाते हैं और Apache इकोसिस्टम में इन्फेरेंस के लिए खुले इंटरफेस दिए जाते हैं। इस प्रकार, यह चीन टेलीकॉम का OSS प्रारूप में एजेंट MoE है, न कि केवल API पर आधारित बंद घोषणा।