मूर थ्रेड्स ने MTT S5000 जीपीयू पर Kimi K3.1 Pro के लिए समर्थन जोड़ा

अलीबाबा क्लाउड ने घोषणा की है कि उसके लिंगजून झेनवू M890 सुपरपोडी सिस्टम ने दिन-शून्य मोड में मूनशॉट एआई के किमी K3.1 प्रो मॉडल को अनुकूलित कर लिया है। इन्फेरेंस फ्रेमवर्क vLLM और SGLang पर स्टैक की पूरी तरह से जांच भी की गई। यह जानकारी 5 नवंबर को आईटी होम द्वारा दी गई, जो क्लाउड प्रदाता का हवाला दे रहा था।

कंपनी ने जूनवेई, निंशिया में नए सुपरपोडी क्षेत्र के लिए आमंत्रण परीक्षण भी शुरू किया है, जिससे उन स्थानों की सूची का विस्तार हुआ है जहां कंपनी के अपने एक्सेलेरेटर पर बड़े ओपन-वेट मॉडल रखे जा सकते हैं।

मॉडल की विशेषताएं और संयुक्त अनुकूलन

किमी K3.1 प्रो एक मिश्रित-विशेषज्ञ प्रकार का विरल मॉडल है जिसमें 2.8 ट्रिलियन पैरामीटर और लगभग दस लाख टोकन की संदर्भ विंडो है। यह किमी डेल्टा अटेंशन और विरल अटेंशन DSA के हाइब्रिड ध्यान का उपयोग करता है, साथ ही मल्टी-टोकन पूर्वानुमान क्षमता भी रखता है। ये विशेषताएं मेमोरी बैंडविड्थ और उच्च गति वाले इंटरकनेक्शन के लिए महत्वपूर्ण आवश्यकताएं पैदा करती हैं ताकि स्केलिंग हो सके।

अलीबाबा क्लाउड, टी-हेड और किमी की टीम ने मिलकर टी-हेड के SAIL सॉफ्टवेयर स्टैक पर इस मॉडल को अनुकूलित किया है। FlashMLA, DeepGEMM MoE, MegaMoE और MoonEP ऑपरेटर्स पर काम करने से ग्राहकों को या तो सुपरपोडी बेयर-मेटल इंस्टेंसेस पर या REIN इंटेलिजेंट इंजन सेवा के माध्यम से इन्फेरेंस डिप्लॉय करने की अनुमति मिली है। इसके अलावा, यह मॉडल अलीबाबा के Qwen AI प्लेटफॉर्म के माध्यम से भी उपलब्ध है।

फ्रेमवर्क में समर्थन और नई क्षमताएं

SGLang और vLLM परियोजनाओं की स्वतंत्र दिन-शून्य समर्थन रिपोर्टें M890 और 810E कॉन्फ़िगरेशन पर किमी K3.1 प्रो के लिए झेनवू PPU के समर्थन का वर्णन करती हैं। इस रिलीज़ को झेनवू विकास ट्री में हार्डवेयर बैकएंड के भीतर एक बड़े ओपन मॉडल के पहले समर्थन के रूप में चिह्नित किया गया है। अलीबाबा क्लाउड का दस्तावेज़ीकरण कई नोड्स के लिए टेंसर और विशेषज्ञ समानांतरता सेटिंग्स सहित झेनवू M890 सुपरपोडी इंस्टेंसेस के लिए प्रीफिल-डीकोड रेसिपी प्रकाशित करता है।

जूनवेई में सुपरपोडी आमंत्रण में टी-हेड का पैनमाई 920 इंटेलिजेंट नेटवर्क कार्ड शामिल है, जो पहले से मौजूद उच्च प्रदर्शन कॉन्फ़िगरेशन के ऊपर है। अलीबाबा का दावा है कि यह कार्ड PCIe 5.0 और 112G PAM4 ईथरनेट का उपयोग करता है, जो 400 Gbps और प्रति सेकंड 400 मिलियन पैकेट की पीक थ्रूपुट प्राप्त करता है। यह मल्टीपाथ RDMA और प्रोग्रामेबल कंजेशन कंट्रोल का समर्थन करता है, और कार्ड पर ही PCIe स्विच को एकीकृत करता है, जिससे जीपीयू और एसएसडी बाहरी स्विच पर कम निर्भर होते हैं - एक ऐसा डिज़ाइन जिसे कंपनी के अनुसार सिस्टम लागत में लगभग 30% की कमी ला सकता है।

बड़े मॉडलों के लिए दिन-शून्य सुपरपोडी इंस्टेंसेस उलानबाटू और जूनवेई डेटा केंद्रों में उपलब्ध हैं। अलीबाबा क्लाउड बताता है कि लिंगजून झेनवू M890 सुपरपोडी इंस्टेंसेस पहले से ही बड़े मॉडल, स्वायत्त ड्राइविंग और एम्बेडेड एआई के क्षेत्रों में 100 से अधिक प्रमुख ग्राहकों को सेवा प्रदान कर रहे हैं। कंपनी ने यह भी दोहराया कि अगली पीढ़ी के झेनवू V900 सुपरपोडी इंस्टेंस वर्तमान पीढ़ी की तुलना में लगभग तीन गुना अधिक प्रदर्शन प्रदान करेगा। यह घोषणा हुवेई एस्केंड द्वारा उसी सप्ताह दिन-शून्य मोड में किमी K3.1 प्रो के अलग समर्थन की घोषणा के साथ मेल खाती है, जो सुपरपोडी स्टैक्स पर मॉडल के लिए दो घरेलू लॉन्च पथ प्रदान करती है।

हुआवेई एस्केंड की कंप्यूटिंग सिस्टम टीम ने 2.8 ट्रिलियन पैरामीटर वाले Kimi K3.1 Pro मॉडल के इन्फेरेंस के लिए अनुकूलन पूरा करने की घोषणा की। IT Home और ifeng Tech द्वारा रिपोर्ट किए जाने के अनुसार, Moonshot AI ने 4 नवंबर को इस मॉडल के पूर्ण वज़न जारी किए थे, जैसा कि हुआवेई कंप्यूटिंग के आधिकारिक खाते पर बताया गया था।

vLLM Ascend और SGLang का उपयोग करते हुए, डेवलपर्स अब इसे Atlas 800 A3 सर्वर, Atlas 900 A3 SuperPoD क्लस्टर और इसके लॉन्च के बाद से Ascend 950 SuperPoD श्रृंखला पर तैनात कर सकते हैं।

Kimi K3.1 Pro Moonshot AI की K3.1 श्रृंखला का पहला मॉडल है। यह एक मिश्रण-ऑफ-एक्सपर्ट्स प्रकार का मॉडल है जिसमें नेटिव विज़ुअल प्रोसेसिंग और लगभग दस लाख टोकन की संदर्भ विंडो है, जो इन्फेरेंस के प्रत्येक चरण में लगभग 104 बिलियन पैरामीटर सक्रिय करता है। मॉडल K3 पर आधारित हाइब्रिड लीनियर अटेंशन को बनाए रखता है, जो Kimi Delta Attention (KDA) लेयर्स पर आधारित है, और लंबी संदर्भ मॉडलिंग की लागत को कम करने के लिए कुछ फुल अटेंशन लेयर्स के स्थान पर DSA स्पार्स अटेंशन लेयर्स जोड़ता है।

अनुकूलन का अधिकांश काम विशेष रूप से इस आर्किटेक्चर से संबंधित था। हुआवेई ने कहा कि उसकी इन्फेरेंस टीम ने पिछली Kimi K3 अनुकूलन पर भरोसा किया, नए मॉडल का पूर्व विश्लेषण किया और समानांतर में मॉडल एकीकरण, ऑपरेटर विकास और सेवा सत्यापन पर काम किया। KDA और MoE के पहले से मौजूद समर्थन के कारण, टीम ने मौजूदा इन्फेरेंस फ्रेमवर्क में सेवा कार्यों को बनाए रखते हुए एक नया स्पार्स अटेंशन पाथ और मल्टीमॉडल इन्फेरेंस जोड़ा।

हुआवेई से मिली जानकारी के अनुसार, अनुकूलन में ऐतिहासिक जानकारी चयन, स्पार्स अटेंशन गणना, प्रीप्रोसेसिंग और अवशेष गणना के लिए मुख्य ऑपरेटरों को शामिल किया गया था, जिसे लंबे संदर्भ इन्फेरेंस और उत्पादन रखरखाव का समर्थन करने के लिए वितरित कैशिंग और फ्रेमवर्क स्तर के कार्यों के साथ जोड़ा गया था। कंपनी का लक्ष्य यह निर्धारित करना था कि उपयोगकर्ता और डेवलपर मॉडल के रिलीज के पहले दिन से ही एप्लिकेशन परीक्षण और परिनियोजन शुरू कर सकें।

vLLM Ascend दस्तावेज़ीकरण इंगित करता है कि Kimi K3.1 Pro को vLLM Ascend 0.30.0 संस्करण में प्रायोगिक मोड में समर्थित किया जाता है। इसकी संदर्भ संरचना आठ नोड्स पर प्रीफाइल और डिकोडिंग विभाजन का उपयोग करती है, जिसमें चार प्रीफाइल नोड्स और चार डिकोडिंग नोड्स शामिल हैं, जिसमें एक मिलियन टोकन की लंबी संदर्भ कॉन्फ़िगरेशन भी शामिल है। Atlas 800I A3 सर्वर W4A8 क्वांटाइज्ड चेकपॉइंट के साथ काम करते हैं, जबकि 950DT उत्पाद W4A8 MXFP संस्करण का उपयोग करते हैं; दिशानिर्देश बताते हैं कि Atlas A2 और 950PR उत्पाद अभी तक समर्थित नहीं हैं।

मॉडल का आकार हार्डवेयर समर्थन को एक व्यावहारिक प्रश्न बनाता है। IT Home बताता है कि BF16 प्रारूप में वज़न लगभग 5.6 TB लेते हैं और INT4 क्वांटाइजेशन पर अभी भी लगभग 1.4 TB की आवश्यकता होती है, जो एक उपभोक्ता जीपीयू का उपयोग करने को असंभव बना देता है। हुआवेई ने अपनी A3 और 950 SuperPoD प्रणालियों को इस ट्रिलियन-पैरामीटर MoE इन्फेरेंस वर्ग के लिए तैनात किया है, और Kimi K3.1 Pro का रिलीज उस दिन समर्थित अंतिम ओपन मॉडल था।

मूर थ्रेड्स ने मेगाट्रॉन-म्यूसा-टाइटन प्रोजेक्ट को सार्वजनिक कर दिया है, जिसमें बड़े मॉडल को प्रशिक्षित करने के लिए बुनियादी ढांचा प्रस्तुत किया गया है जिसे उन्होंने अपने स्वयं के ग्राफिक्स प्रोसेसिंग यूनिट्स पर उपयोग के लिए विकसित किया है। यह प्रोजेक्ट मूर थ्रेड्स के 10,000 से अधिक जीपीयू वाले क्लस्टरों पर ट्रिलियन पैरामीटर वाले 'एक्सपर्ट्स का मिश्रण' (mixture-of-experts) प्रकार के मॉडलों के साथ काम करने के लिए डिज़ाइन किया गया है, और इसमें प्री-ट्रेनिंग और रीइन्फोर्समेंट लर्निंग दोनों शामिल हैं।

प्रोजेक्ट का कोड गिटहब पर उपलब्ध है। कंपनी का दावा है कि इस सिस्टम का लगातार उपयोग 10,000 जीपीयू के क्लस्टरों पर ट्रिलियन पैरामीटर वाले MoE की प्री-ट्रेनिंग के लिए किया गया था, जहां लंबे प्रशिक्षण सत्रों ने मॉडल के FLOPs के उच्च उपयोग और प्रक्रिया की स्थिरता सुनिश्चित की।

रिपॉजिटरी में 1 ट्रिलियन पैरामीटर वाले Kimi-K2 शैली के MoE मॉडल के लिए एक कॉन्फ़िगरेशन उदाहरण प्रस्तुत किया गया है। डिजाइन का केंद्रीय सिद्धांत मौजूदा समाधानों के करीब रहना था। मेगाट्रॉन-म्यूसा-टाइटन NVIDIA के मेगाट्रॉन-एलएम फ्रेमवर्क पर बनाया गया है। torch_musa के माध्यम से PyTorch के एकीकरण और MUSA C की CUDA C के साथ संगतता के कारण, MUSA वातावरण वाले डेवलपर्स आधिकारिक मेगाट्रॉन-एलएम, स्लाइम और माइल्स रिपॉजिटरी को क्लोन कर सकते हैं और स्रोत कोड को संशोधित किए बिना मूर थ्रेड्स जीपीयू पर प्रशिक्षण शुरू कर सकते हैं।

प्रोजेक्ट इंगित करता है कि सामान्य एल्गोरिदम और बग फिक्स को उच्च स्तरीय परियोजनाओं में भेजा जाना चाहिए, जबकि मूर थ्रेड्स दो प्रकार के परिवर्तनों पर ध्यान केंद्रित करता है: हार्डवेयर और मूर थ्रेड्स क्लस्टरों के लिए अनुकूलित बड़े पैमाने पर अनुकूलन, और MUSA की विशिष्ट समस्याओं के लिए वर्कअराउंड।

प्री-ट्रेनिंग सुविधाओं में FP8 प्रारूप में ब्लॉक ट्रेनिंग शामिल है, जो मूर थ्रेड्स के MT-TransformerEngine पर निर्भर करता है। MoE टोकन डिस्पैचिंग और फ्यूजन को कंपनी के Async Copy Engine पर चलने वाले DeepEP द्वारा तेज किया जाता है, जो गणनाओं के समानांतर विशेषज्ञ संचार की भी अनुमति देता है। अन्य विकल्पों में वर्चुअल पाइपलाइन समानांतरवाद का उपयोग करके एक्टिवेशन ऑफलोडिंग और एक फॉरवर्ड पास और एक बैकवर्ड पास की शेड्यूलिंग, साथ ही Mooncake RDMA के माध्यम से गणनाओं के साथ पाइपलाइन समानांतर संचार शामिल है।

वितरित ट्रेसिंग विश्लेषण टूल प्रत्येक जीपीयू से PyTorch ट्रेस को पढ़कर पाइपलाइन बबल्स और कम प्रदर्शन वाले नोड्स जैसे बाधाओं का पता लगाता है। प्रोजेक्ट का दावा है कि यह 10,000 जीपीयू पर 1 ट्रिलियन पैरामीटर वाले MoE रन का विश्लेषण केवल कुछ घंटों में कर सकता है।

रीइन्फोर्समेंट लर्निंग के लिए, स्टैक स्लाइम और माइल्स फ्रेमवर्क का समर्थन करता है; मेगाट्रॉन प्रशिक्षण संभालता है, और MUSA-बिल्ड SGLang रन उत्पन्न करता है, जिससे एक ही आधार प्रणाली प्री-ट्रेनिंग और RL दोनों को सेवा दे सकती है। स्वायत्त इन्फेरेंस के लिए अनुकूलन इस प्रोजेक्ट के दायरे में नहीं आता है।

उन डेवलपर्स के लिए जो घरेलू एक्सेलेरेटर पर विचार कर रहे हैं, व्यावहारिक प्रश्न यह है कि मौजूदा प्रशिक्षण कोड का कितना हिस्सा काम करेगा। मूर थ्रेड्स का उत्तर है कि मेगाट्रॉन इकोसिस्टम का कोड किसी संशोधन की मांग नहीं करता है।