एडवांस्ड स्टोरेज कॉन्फ्रेंस (ASC) में 22 अक्टूबर को शंघाई में आयोजित, हुआवेई ने बड़े मॉडल के आउटपुट को सीमित करने वाली समस्या का समाधान प्रस्तुत किया: कंप्यूटिंग ब्लॉक, स्टोरेज और नेटवर्क के बीच KV कैश का स्थानांतरण। यह सम्मेलन ओपन डेटा सेंटर कमेटी (ODCC) द्वारा आयोजित किया गया था।
एआई के लिए नए वर्कलोड के लिए स्टोरेज और नेटवर्क के विलय पर एक प्रस्तुति के हिस्से के रूप में, हुआवेई ने समस्या का वर्णन किया और प्रयोगशाला परीक्षणों के परिणाम प्रदान किए। KV कैश ध्यान के मध्यवर्ती परिणामों को संग्रहीत करने के लिए कार्य करता है, जिससे मॉडल को पिछले टोकन की पुनर्गणना से बचने की अनुमति मिलती है। हालांकि, एजेंट अनुप्रयोगों के विकास के साथ, जिनके लिए बहुत लंबे संदर्भ और बहु-चरणीय इंटरैक्शन की आवश्यकता होती है, इस कैश का आकार तेजी से बढ़ जाता है।
हुआवेई बताती है कि प्रति अनुरोध कैश का कुल आकार, मेमोरी में समर्थित कैश की मात्रा और नोड्स के बीच ट्रैफ़िक के कारण आउटपुट क्लस्टर का कुल KV कैश पेटाबाइट पैमाने के करीब पहुंच रहा है। कैश के बीच उत्पन्न होने वाले ट्रैफ़िक स्पाइक्स से डेटा सेंटर की नेटवर्क अवसंरचना पर अतिरिक्त भार पड़ता है।
हुआवेई द्वारा देखे गए तीन अवरोध
कंपनी इन बाधाओं को तीन बाधाओं के माध्यम से परिभाषित करती है। कंप्यूटिंग के दृष्टिकोण से, एक्सेलेरेटर कोर में कमजोर इनपुट-आउटपुट प्रदर्शन होता है, और इनपुट-आउटपुट के साथ काम करने से कीमती कंप्यूटिंग संसाधन खर्च होते हैं। विलंबता के संबंध में, विभिन्न परतों के बीच डेटा ट्रांसमिशन कई प्रोटोकॉल और सिमेंटिक्स रूपांतरणों से गुजरता है, जिसे लंबी नेटवर्क देरी से और बढ़ाया जाता है। IOPS स्तर पर, पारंपरिक सॉफ्टवेयर स्टैक बैकएंड स्टोरेज को उसके मूल प्रदर्शन तक पहुंचने से रोकते हैं।
हुआवेई का समाधान तीन स्तरों को कवर करता है। एक्सेलेरेटर पक्ष पर, कंपनी प्रोसेसर को सीधे कैश इनपुट-आउटपुट संचालन शुरू करने के लिए सक्षम करने का लक्ष्य रखती है, जो सीधे AI सीपीयू और वेक्टर कोर से उच्च-विस्तृत SIMT स्तर के इनपुट-आउटपुट संचालन में बदलाव करता है। डेटा स्टोरेज पक्ष पर, भंडारण के करीब वेक्टर त्वरण के लिए ऑपरेटरों को नीचे लाने का प्रस्ताव है। और नेटवर्क स्तर पर, स्टेलर एआई फैब्रिक के भीतर हाइपर-कन्वर्ज्ड फैब्रिक (HCF) आर्किटेक्चर का उपयोग किया जाता है, जिसमें KV कैश ट्रैफ़िक के लिए विशेष रूप से अंतिम नेटवर्क के साथ समन्वित एआई QoS शेड्यूलिंग कॉन्फ़िगरेशन शामिल है। हुआवेई का दावा है कि केवल नेटवर्क स्तर ही स्टोरेज इनपुट-आउटपुट प्रदर्शन को 30% से अधिक बढ़ा सकता है।
मुख्य आंकड़े हुआवेई के आंतरिक प्रयोगशाला परीक्षणों के दौरान प्राप्त किए गए थे। कंपनी के अनुसार, GLM-5.2 मॉडल परिदृश्य में, KV कैश का सीधा डंप पारंपरिक मेमोरी-आधारित दृष्टिकोण की तुलना में 7.3 गुना अधिक आउटपुट थ्रूपुट (TPS) प्रदान करता है। स्टोरेज और नेटवर्क के बीच इनपुट-आउटपुट संचालन के समन्वय के कारण आउटपुट दक्षता में 20% का अतिरिक्त सुधार हासिल किया गया। हालांकि, हुआवेई ने अपने घोषणा में परीक्षण की पूरी कॉन्फ़िगरेशन का खुलासा नहीं किया।
स्टेलर एआई फैब्रिक और HCF आर्किटेक्चर को सितंबर में HUAWEI CONNECT 2026 इवेंट में प्रस्तुत किया गया था। ASC पर प्रस्तुति किसी नए उत्पाद के लॉन्च का प्रतीक नहीं है; इसका मूल्य इस संरचना से जुड़े KV कैश का पहला डेटासेट और एआई क्लस्टरों के लिए साझा संदर्भ मेमोरी के भंडारण हेतु हुआवेई ओशनस्टोर के काम को प्रस्तुत करना है।