बीजिंग स्थित एआई कंपनी होंगयून ने बड़े मॉडल के संयुक्त प्रशिक्षण और अनुमान के लिए अपने प्लेटफॉर्म का नया संस्करण HyperLM V2.5 पेश किया। यह जानकारी आईटी होम और इफेंग टेक द्वारा 3 नवंबर को दी गई। कंपनी का दावा है कि यह पहली कंपनी है जिसने Huawei Ascend 950DT चिप के साथ गहन अनुकूलन किया है, जो एयर-कूल्ड Atlas 850E SuperPoD सिस्टम के साथ पूरी तरह से संगत है और Ascend Native के लिए Huawei द्वारा तकनीकी प्रमाणन प्राप्त कर चुका है।
होंगयून का मानना है कि जब किसी मॉडल को केवल टोकन स्थापित करने और उत्पन्न करने के बाद समर्थित माना जाता है तो समर्थन की परिभाषा अक्सर बहुत अस्पष्ट होती है। कंपनी का लक्ष्य सरकारी और कॉर्पोरेट ग्राहकों की मदद करना है जो निजी परिनियोजन का उपयोग करते हैं, ताकि वे नए एक्सेलेरेटर से अधिकतम प्रदर्शन प्राप्त कर सकें।
कंपनी Ascend 950DT को उच्च थ्रूपुट वाले कार्यों के लिए एक फ्लैगशिप चिप के रूप में वर्णित करती है, जैसे कि चैट में लंबी बातचीत, लंबे दस्तावेज़ों का प्रसंस्करण और एजेंटों का निरंतर तर्क। इसके अलावा, यह उल्लेख किया गया है कि एयर-कूल्ड Atlas 850E सिस्टम को बुनियादी ढांचे के आधुनिकीकरण की आवश्यकता के बिना मौजूदा डेटा केंद्रों में एकीकृत किया जा सकता है।
HyperLM V2.5 कई स्तरों पर अनुकूलित होता है। इंटरकनेक्ट स्तर पर, प्लेटफॉर्म Huawei की UnifiedBus 2.0 तकनीक का समर्थन करता है, जो सिस्टम इंटरकनेक्ट थ्रूपुट को 13.4 TB/s तक प्रदान करता है, जिससे कार्डों के बीच ट्रैफ़िक हस्तांतरण में बाधाएं नहीं आती हैं, जो लंबे संदर्भ या प्रीफिलिंग और डिकोडिंग चरणों के विभाजन के लिए महत्वपूर्ण है। ऑपरेटर स्तर पर, सिस्टम mxFP4 अनुमान के लिए अनुकूलित है, जिससे एक नोड पर 14.2 PFLOPS का उपयोग किया जा सकता है।
प्लेटफॉर्म Qwen, GLM और DeepSeek सहित नवीनतम ओपन-सोर्स मॉडल का समर्थन करता है, और इसके शेड्यूलर को 950DT के मेमोरी प्रोफाइल और थ्रूपुट को ध्यान में रखते हुए फिर से बनाया गया है।
HyperLM V2.5 के लॉन्च में पांच नई क्षमताएं शामिल हैं। प्रीफिलिंग और डिकोडिंग का पृथक्करण दो चरणों को स्वतंत्र संसाधन पूल में अलग करने की अनुमति देता है ताकि वे चरम भार के दौरान प्रतिस्पर्धा न करें। मल्टी-लेवल KV कैशिंग दोहराए जाने वाले सिस्टम प्रॉम्प्ट्स, अक्सर आने वाले संदर्भों और निश्चित सत्र टेम्पलेट्स का पुन: उपयोग करती है ताकि दोहराए जाने वाले गणनाओं की मात्रा कम हो सके। vNPU वर्चुअलाइजेशन Ascend 950DT, 910C और 910B चिप्स को सेगमेंट करता है, AI कोर और HBM मेमोरी के लिए दानेदार कोटा और अलगाव प्रदान करता है, और हार्डवेयर विफलता पर हॉट माइग्रेशन और स्वचालित पुन: शेड्यूलिंग का समर्थन करता है।
एक एकीकृत गेटवे मॉडल भी जोड़ा गया है, जो OpenAI प्रोटोकॉल के साथ संगत है, जो रूटिंग, दर सीमितता, बीटा रिलीज़ और A/B परीक्षण का प्रबंधन करता है। पूरे स्टैक की व्यापक निगरानी लोड, मेमोरी उपयोग, थ्रूपुट, विलंबता और QPS को ट्रैक करती है, अलर्ट और स्वचालित दोष स्थानीयकरण प्रदान करती है।
सरकारी प्रशासन, ऊर्जा, परिवहन और वित्त जैसे विनियमित उद्योगों के लिए, प्लेटफॉर्म प्रशासक, सुरक्षा और ऑडिटर की भूमिकाओं के विभाजन, बहु-स्तरीय वर्गीकरण नियंत्रण और पूर्ण ऑपरेशन लॉग प्रदान करता है, साथ ही कंप्यूटिंग क्षमताओं, मॉडल कॉल ऑडिट और प्रत्येक परियोजना के लिए उपयोग सांख्यिकी को भी ट्रैक करता है।
होंगयून को चाइनीज एकेडमी ऑफ साइंसेज के वेस्टर्न इंस्टीट्यूट ऑफ कम्प्यूटेशनल टेक्नोलॉजी द्वारा इनक्यूबेट किया गया था, और इसकी मुख्य टीम इंस्टीट्यूट ऑफ कम्प्यूटेशनल टेक्नोलॉजी और सुगोन के कर्मचारियों से बनी है। कंपनी ने 2020 में Huawei के Ascend पार्टनर कार्यक्रम में शामिल हो गया था। कंपनी Ascend और Hygon DCU हार्डवेयर पर विकास जारी रखने की योजना बना रही है, जिसमें विषम शेड्यूलिंग, अनुमान त्वरण, कैशिंग और एजेंट अनुप्रयोगों पर विशेष ध्यान दिया जाएगा।
