अलीबाबा क्लाउड ने लिंगजून झेनवू M890 सुपरपोडी पर किमी K3.1 प्रो का समर्थन जोड़ा

हुआवेई एस्केंड की कंप्यूटिंग सिस्टम टीम ने 2.8 ट्रिलियन पैरामीटर वाले Kimi K3.1 Pro मॉडल के इन्फेरेंस के लिए अनुकूलन पूरा करने की घोषणा की। IT Home और ifeng Tech द्वारा रिपोर्ट किए जाने के अनुसार, Moonshot AI ने 4 नवंबर को इस मॉडल के पूर्ण वज़न जारी किए थे, जैसा कि हुआवेई कंप्यूटिंग के आधिकारिक खाते पर बताया गया था।

vLLM Ascend और SGLang का उपयोग करते हुए, डेवलपर्स अब इसे Atlas 800 A3 सर्वर, Atlas 900 A3 SuperPoD क्लस्टर और इसके लॉन्च के बाद से Ascend 950 SuperPoD श्रृंखला पर तैनात कर सकते हैं।

Kimi K3.1 Pro Moonshot AI की K3.1 श्रृंखला का पहला मॉडल है। यह एक मिश्रण-ऑफ-एक्सपर्ट्स प्रकार का मॉडल है जिसमें नेटिव विज़ुअल प्रोसेसिंग और लगभग दस लाख टोकन की संदर्भ विंडो है, जो इन्फेरेंस के प्रत्येक चरण में लगभग 104 बिलियन पैरामीटर सक्रिय करता है। मॉडल K3 पर आधारित हाइब्रिड लीनियर अटेंशन को बनाए रखता है, जो Kimi Delta Attention (KDA) लेयर्स पर आधारित है, और लंबी संदर्भ मॉडलिंग की लागत को कम करने के लिए कुछ फुल अटेंशन लेयर्स के स्थान पर DSA स्पार्स अटेंशन लेयर्स जोड़ता है।

अनुकूलन का अधिकांश काम विशेष रूप से इस आर्किटेक्चर से संबंधित था। हुआवेई ने कहा कि उसकी इन्फेरेंस टीम ने पिछली Kimi K3 अनुकूलन पर भरोसा किया, नए मॉडल का पूर्व विश्लेषण किया और समानांतर में मॉडल एकीकरण, ऑपरेटर विकास और सेवा सत्यापन पर काम किया। KDA और MoE के पहले से मौजूद समर्थन के कारण, टीम ने मौजूदा इन्फेरेंस फ्रेमवर्क में सेवा कार्यों को बनाए रखते हुए एक नया स्पार्स अटेंशन पाथ और मल्टीमॉडल इन्फेरेंस जोड़ा।

हुआवेई से मिली जानकारी के अनुसार, अनुकूलन में ऐतिहासिक जानकारी चयन, स्पार्स अटेंशन गणना, प्रीप्रोसेसिंग और अवशेष गणना के लिए मुख्य ऑपरेटरों को शामिल किया गया था, जिसे लंबे संदर्भ इन्फेरेंस और उत्पादन रखरखाव का समर्थन करने के लिए वितरित कैशिंग और फ्रेमवर्क स्तर के कार्यों के साथ जोड़ा गया था। कंपनी का लक्ष्य यह निर्धारित करना था कि उपयोगकर्ता और डेवलपर मॉडल के रिलीज के पहले दिन से ही एप्लिकेशन परीक्षण और परिनियोजन शुरू कर सकें।

vLLM Ascend दस्तावेज़ीकरण इंगित करता है कि Kimi K3.1 Pro को vLLM Ascend 0.30.0 संस्करण में प्रायोगिक मोड में समर्थित किया जाता है। इसकी संदर्भ संरचना आठ नोड्स पर प्रीफाइल और डिकोडिंग विभाजन का उपयोग करती है, जिसमें चार प्रीफाइल नोड्स और चार डिकोडिंग नोड्स शामिल हैं, जिसमें एक मिलियन टोकन की लंबी संदर्भ कॉन्फ़िगरेशन भी शामिल है। Atlas 800I A3 सर्वर W4A8 क्वांटाइज्ड चेकपॉइंट के साथ काम करते हैं, जबकि 950DT उत्पाद W4A8 MXFP संस्करण का उपयोग करते हैं; दिशानिर्देश बताते हैं कि Atlas A2 और 950PR उत्पाद अभी तक समर्थित नहीं हैं।

मॉडल का आकार हार्डवेयर समर्थन को एक व्यावहारिक प्रश्न बनाता है। IT Home बताता है कि BF16 प्रारूप में वज़न लगभग 5.6 TB लेते हैं और INT4 क्वांटाइजेशन पर अभी भी लगभग 1.4 TB की आवश्यकता होती है, जो एक उपभोक्ता जीपीयू का उपयोग करने को असंभव बना देता है। हुआवेई ने अपनी A3 और 950 SuperPoD प्रणालियों को इस ट्रिलियन-पैरामीटर MoE इन्फेरेंस वर्ग के लिए तैनात किया है, और Kimi K3.1 Pro का रिलीज उस दिन समर्थित अंतिम ओपन मॉडल था।

Lenovo ने चीन के आईटी नवाचार बाजार (Xinchuang) के लिए Kaitian श्रृंखला में पहला AI होस्ट सिस्टम जारी किया है। यह 1.6 लीटर का डेस्कटॉप कंप्यूटर Zhaoxin प्रोसेसर को Houmo के AI NPU के साथ जोड़ता है, जिससे लगभग 35 बिलियन पैरामीटर वाले मॉडल को स्थानीय रूप से चलाया जा सकता है।

डिवाइस में आठ-कोर Zhaoxin KX-7000 प्रोसेसर और Houmo Liqing LQ50 NPU लगा हुआ है। मानक कॉन्फ़िगरेशन में सिस्टम INT8 प्रारूप में 160 TOPS की कंप्यूटिंग शक्ति प्रदान करता है, और NPU विकल्प के साथ यह शक्ति 320 TOPS तक पहुंच सकती है। NPU में 153.6 GB/s बैंडविड्थ के साथ 24 GB समर्पित मेमोरी है। होस्ट Kylin OS पर चलता है और Lenovo के Tianxi AI Pro एजेंट के साथ प्री-इंस्टॉल किया गया है।

कंपनी ने Qwen3.5 और Qwen3.6-35B-A3B सीरीज़ सहित ओपन मॉडल का उपयोग करके डिवाइस का परीक्षण किया। 24 GB NPU और W4A8 क्वांटाइजेशन का उपयोग करते हुए, Qwen3.6-35B-A3B मॉडल ने स्थानीय आउटपुट पर प्रति सेकंड लगभग 28.99 टोकन की गति से टेक्स्ट उत्पन्न किया। सिस्टम लंबी दस्तावेज़ों और मल्टी-टर्न कार्यों को संसाधित करने के लिए 200,000 टोकन तक डेटा इनपुट का समर्थन करता है। Houmo प्लेटफॉर्म डेवलपर्स को मॉडल प्रोफाइलिंग, संकलन, निष्पादन समय प्रबंधन और क्वांटाइजेशन के लिए उपकरण प्रदान करता है।

Lenovo इस होस्ट को एक स्थायी डिजिटल कर्मचारी के रूप में प्रस्तुत करता है जिसे चौबीसों घंटे काम करने के लिए डिज़ाइन किया गया है। यह एजेंटों को स्थानीय ज्ञान की खोज, दस्तावेज़ तैयार करने और जानकारी को सारांशित करने जैसे निर्धारित कार्यों को करने की अनुमति देता है, जबकि आउटपुट प्रोसेसिंग सीधे डिवाइस पर होती है, न कि क्लाउड टोकन के माध्यम से, जिससे डेटा स्थानीय रूप से सुरक्षित रहता है। Tianxi AI Pro कार्यक्रम में, परीक्षकों ने मोबाइल ऑपरेटर एप्लिकेशन की जांच करने का एक निर्देश दिया, और डिवाइस ने टेस्ट कॉल किया, सत्यापन कोड विलंबता को मापा और एक रिपोर्ट प्रदान की।

थर्मल प्रबंधन के संबंध में, प्रोसेसर और NPU में हेक्सागोनल फ्रंट पैनल के पीछे उच्च दबाव वाले पंखों के साथ अलग वायु चैनल हैं। Lenovo बताता है कि कमरे के तापमान 25 डिग्री सेल्सियस पर होने पर आइडल मोड में केस का तापमान लगभग 33 डिग्री सेल्सियस होता है, और पूर्ण लोड पर 41 डिग्री सेल्सियस होता है। 35 डिग्री सेल्सियस के कमरे में पूर्ण लोड पर तापमान लगभग 46 डिग्री तक पहुंच जाता है। निष्क्रिय मोड में शोर का स्तर 19.4 dB और पूर्ण NPU इन्फेरेंस के दौरान लगभग 29.5 dB है। डिवाइस का वजन लगभग 1.5 किलोग्राम है और इसमें दो स्वतंत्र 2.5GbE पोर्ट लगे हैं।

यह ध्यान रखना महत्वपूर्ण है कि Kaitian होस्ट अक्टूबर में Houmo M50 और CIX P1 चिप्स के साथ पेश किए गए Lenovo AI Host P7 से अलग है।

Moonshot AI ने Kimi K3.1 मॉडल श्रृंखला, Kimi Code और Kimi Work उत्पादों, और यूनिटी, अनरियल इंजन और ब्लेंडर सहित पेशेवर उपकरणों के लिए प्लगइन्स पर आधारित गेम और रचनात्मक कार्यों के निर्माण के लिए एक व्यापक समाधान जारी किया है।

कंपनी के बयान के अनुसार, यह पैकेज स्टूडियो को गेम अवधारणाओं का तेजी से परीक्षण करने, इंजीनियरिंग और कलात्मक उत्पादन को आगे बढ़ाने और लॉन्च और परिचालन गतिविधियों के दौरान प्राप्त खिलाड़ी फीडबैक को अगले विकास चरण में वापस एकीकृत करने में मदद करने के लिए डिज़ाइन किया गया है।

Kimi मॉडल विवरण में डिजाइन दस्तावेज़ों, स्क्रीनशॉटों, प्रोग्रामिंग कोड और त्रि-आयामी संपत्तियों का विश्लेषण करने में सक्षम है, जिसके बाद आवश्यक कार्य की योजना बनाता है। Kimi Code उत्पाद मौजूदा कोडबेस के भीतर परिवर्तनों को लागू करता है, जबकि Kimi Work कई फ़ाइलों को कवर करने वाले बहु-चरणीय उत्पादन कार्यों को संभालता है।

प्लगइन्स और टूल कॉल्स के कारण, Kimi मौजूदा परियोजनाओं के साथ सीधे काम कर सकता है, उपयोगकर्ता को किए गए कार्यों की रिपोर्ट के साथ संपादन योग्य फ़ाइलें लौटाता है। यूनिटी और अनरियल इंजन वातावरण में, आवश्यक एक्सेस अनुमतियाँ और परियोजना फ़ाइलें प्राप्त करने के बाद, सिस्टम पहले कोड संरचना, दृश्य पदानुक्रम और मॉड्यूल निर्भरताओं का मानचित्रण करता है, फिर संपादक प्लगइन्स के माध्यम से परिवर्तन करता है, और अंत में प्लेबैक चरणों, लॉग और निष्पादन समय डेटा के आधार पर परिणाम की जाँच करता है। इंजीनियरों के लिए कोड अंतर की रिपोर्ट और सत्यापन रिकॉर्ड सहेजे जाते हैं।

यूनिटी में काम करने के लिए, Kimi Tuanjie Codely Agent का उपयोग करता है, जो Unity China का एक गेम एजेंट है और Tuanjie Engine में एम्बेडेड है। Kimi डेवलपर के इरादों की व्याख्या करता है, कोड लिखता है और परीक्षण और स्क्रीन रिकॉर्डिंग परिणामों का विश्लेषण करता है, जबकि Codely एजेंट संपादक स्क्रिप्ट और रनटाइम के माध्यम से इंजन के भीतर संचालन करता है। एक प्रदर्शन के दौरान, Kimi ने दिखाया कि वह मानव हस्तक्षेप के बिना 20 घंटे तक काम कर सका, मौजूदा गेम को फिर से बनाकर एक मूल प्रोजेक्ट बनाया जिसे आगे विकसित किया जा सकता है।

लॉन्च पेज पर Kimi K3.1 Pro का उपयोग करके बनाए गए कई डेमो बिल्ड प्रदर्शित होते हैं। ब्लेंडर में एक आंतरिक जंगल घाटी का निर्माण किया गया था, और 1920x1080 रिज़ॉल्यूशन और 60 फ्रेम प्रति सेकंड की दर पर 17.5 सेकंड की अवधि के लिए एक उड़ान को रेंडर किया गया था, साथ ही लगभग 3.3 मिलियन त्रिकोण और 8368 एनिमेटेड घटकों वाला एक कैथेड्रल इंटीरियर ब्राउज़र में था। अनरियल इंजन 5.8 में 36 मेहराबों वाली एक स्तंभों वाली स्वर्गीय महल का दृश्य बनाया गया था जो 1750 मीटर की त्रिज्या पर था और एक प्रक्रियात्मक रूप से मॉडल किए गए ड्रैगन के साथ था, जिसमें कुल 36 मिलियन त्रिकोण थे, जिन्हें Nanite और Lumen का उपयोग करके रेंडर किया गया था। Kimi यह भी दावा करता है कि प्रोग्रामिंग अनुभव के बिना डिजाइनर Godot में एक या दो दिनों में खेलने योग्य प्रोटोटाइप बना सकते हैं।

उत्पादन कार्यों के अलावा, इस समाधान में विज्ञापन क्रिएटिव्स का बैच निर्माण, Kimi API के माध्यम से इन-गेम सहायकों का एकीकरण, स्रोतों से जुड़े समुदाय फीडबैक का वर्गीकरण, रिवर्स ट्रांसलेशन जांच के साथ स्थानीयकरण ड्राफ्ट तैयार करना और उपयोगकर्ता सामग्री का प्राथमिक चयन शामिल है। Kimi टीमों को एक स्पष्ट रूप से सीमित कार्य से शुरू करने और समय की बचत, परिणाम की गुणवत्ता और आवश्यक मानव संशोधन की मात्रा जैसे मानदंडों के आधार पर पायलट परियोजनाओं का मूल्यांकन करने की सलाह देता है।