हुआवेई ने 17 सितंबर को शंघाई में आयोजित HUAWEI CONNECT 2026 कार्यक्रम में डेटा स्टोरेज सिस्टम OceanStor M900 Context Memory Storage प्रस्तुत किया। यह समाधान एक स्टोरेज लेयर के रूप में विकसित किया गया है जो विशेष रूप से AI इन्फेरेंस SuperPoDs वर्कलोड के लिए डिज़ाइन किया गया है, न कि किसी अतिरिक्त एक्सेलेरेटर कार्ड के रूप में।
प्रस्तुति के दौरान, कंपनी ने कृत्रिम बुद्धिमत्ता के लिए KV कैश इंफ्रास्ट्रक्चर से संबंधित उत्पाद विनिर्देशों पर ध्यान केंद्रित किया। इस दौरान प्रस्तुत Ascend SuperPoD एक्सेलेरेटर और Peerium आर्किटेक्चर के घटकों की रोडमैप पर चर्चा नहीं की गई।
जैसे-जैसे मॉडल पैरामीटर में ट्रिलियन तक पहुँच रहे हैं और संदर्भ विंडो दस लाख टोकन से अधिक हो रही है, मल्टी-स्टेप एजेंट वर्कलोड के कारण KV कैश इनबिल्ट मेमोरी और DRAM की सीमा से बाहर निकल जाता है। हुआवेई का उत्तर UnifiedBus द्वारा समर्थित एक वैश्विक रूप से एकीकृत मल्टी-लेवल KV कैश है, जो SRAM और DRAM से SSD तक SuperPoD मेमोरी का विस्तार करता है।
कंपनी की सामग्री के अनुसार, एक क्लस्टर 64 पेटाबाइट तक की क्षमता प्राप्त कर सकता है। यह प्रति NPU उपलब्ध KV कैश को गीगाबाइट स्तर से टेराबाइट स्तर तक बढ़ाने की अनुमति देता है ताकि पुन: उपयोग किया जा सके, जिससे लंबी संदर्भ के साथ इन्फेरेंस के दौरान कैश हिट दर बढ़ती है।
सिस्टम का प्रदर्शन एक एकीकृत आर्किटेक्चर पर आधारित है जो सेंट्रल प्रोसेसिंग यूनिट (CPU), नेटवर्क कंट्रोलर और NAND कंट्रोलर को जोड़ता है। इसके कारण NPU SuperPoD सीधे SSD तक पहुंच सकते हैं, प्रोटोकॉल रूपांतरण या CPU के माध्यम से अग्रेषण से बचते हुए। हुआवेई का दावा है कि यह पथ एक्सेस विलंबता को मिलीसेकंड से घटाकर लगभग 60 माइक्रोसेकंड कर देता है, जो घोषित 90% कमी है, और लगभग 40 TB/s की कुल एक्सेस थ्रूपुट प्रदान करता है, जो प्रतिस्पर्धी समाधानों की तुलना में 1.5 गुना अधिक है।
AI प्रोग्रामिंग के विशिष्ट परिदृश्यों में, कंपनी का दावा है कि यह संरचना इन्फेरेंस क्लस्टर की टोकन थ्रूपुट को दोगुना करने और पहले टोकन तक पहुंचने के समय (TTFT) को आधा करने में सक्षम है; ये आंकड़े विक्रेता के दावे बने हुए हैं।
मूल्य निर्धारण के मुद्दों को KV के प्रति संवेदनशील अनुकूली भंडारण के माध्यम से हल किया जाता है, जो कैश जीवनचक्र मूल्य का अनुमान लगाता है और डेटा को विभिन्न मीडिया स्तरों पर रखता है। हुआवेई प्रतिदिन 24 डिस्क राइट ऑपरेशन (DWPD) तक के आंकड़े का उल्लेख करती है, जो SSD की दीर्घायु में 16 गुना वृद्धि का घोषित दावा है, साथ ही तीन वर्षों के लिए स्थिरता लक्ष्यों का भी उल्लेख करती है, जिसका उद्देश्य प्रतिस्थापन मीडिया लागत और हाइपरस्केल इन्फेरेंस के लिए टोकन लागत को कम करना है। इस प्रकार, OceanStor M900 एक विशिष्ट हुआवेई उत्पाद है जो चिप लॉन्च के बजाय पेताबाइट पैमाने पर सामान्य संदर्भ कैश के लिए कंप्यूटिंग, नेटवर्किंग और स्टोरेज को एकीकृत करता है।
