चीनी कंपनी MemTensor ने मेमोरी-आधारित मौलिक मॉडलों की एक श्रृंखला प्रस्तुत की और उसे सार्वजनिक रूप से उपलब्ध कराया, जिसे उन्होंने MemT 1.0 नाम दिया। इस श्रृंखला में दो मॉडल शामिल हैं: MemT-1.0-Flash, जिसमें कुल 288 अरब पैरामीटर हैं जिनमें से सक्रिय रूप से 17 अरब का उपयोग किया जाता है, और MemT-1.0-Nano, जिसमें 36 अरब कुल पैरामीटर और 3 अरब सक्रिय पैरामीटर हैं।
इन मॉडलों के वज़न Hugging Face प्लेटफॉर्म पर उपलब्ध हैं, और संबंधित कोड तकनीकी रिपोर्ट के साथ GitHub पर रखा गया है।
ये मॉडल लंबे संवादों से जुड़ी एक सामान्य समस्या को हल करने के लिए विकसित किए गए हैं। अधिकांश मौजूदा सिस्टम पूरी कहानी को संदर्भ विंडो में संग्रहीत करते हैं, जिससे हर नई चाल के साथ धीमापन और इन्फेरेंस की लागत बढ़ जाती है। इसके बजाय, MemT मॉडल के भीतर एक प्रशिक्षित मेमोरी मॉड्यूल को एकीकृत करता है।
प्रत्येक इंटरैक्शन के बाद, मॉडल नई जानकारी को एक निश्चित मेमोरी स्थिति में लिखता है और आवश्यकता पड़ने पर उसे पुनर्प्राप्त करता है, बजाय इसके कि वह हर बार पूरे पिछले रिकॉर्ड को फिर से पढ़े।
MemTensor बताता है कि मॉडलों को 34 अरब टोकन के आधार पर दो चरणों में प्रशिक्षित किया गया था: पहले मॉडल को मेमोरी में जानकारी लिखना सिखाया गया, और फिर उसे इस संग्रहीत जानकारी का उपयोग करके सवालों का जवाब देना सिखाया गया।
प्रदर्शन परिणाम और तुलना
सभी प्रस्तुत प्रदर्शन मेट्रिक्स कंपनी के स्वयं के मूल्यांकन पर आधारित हैं। MemTensor का दावा है कि 128 हजार टोकन की कहानी के साथ एंड-टू-एंड इन्फेरेंस पूर्ण संदर्भ दृष्टिकोण की तुलना में लगभग 1.86 गुना तेज काम करता है, और 256 हजार टोकन के साथ लगभग 3.99 गुना तेज काम करता है।
पहले टोकन के प्रतिक्रिया समय का अनुमान मेमोरी मॉडल के लिए लगभग 104-112 मिलीसेकंड है, जबकि 256K के लिए पूर्ण संदर्भ के लिए यह लगभग 445 मिलीसेकंड है। इसके अलावा, कंपनी बताती है कि 256K की कहानी के साथ प्रति सत्र मेमोरी स्थिति का आकार लगभग 40 एमबी है, जो पूर्ण संदर्भ कैश के लिए आवश्यक 5.06 जीबी से काफी कम है, जो लगभग 130 गुना कमी दर्शाता है।
मेमोरी पर 11 बेंचमार्क पर, MemTensor फ्लैश के लिए 50.6 और नैनो के लिए 47.0 का औसत स्कोर बताता है। ये परिणाम मॉडलों को तुलनात्मक पैरामीट्रिक मेमोरी तरीकों में पहले और दूसरे स्थान पर रखते हैं और औसतन खोज-वर्धित दृष्टिकोणों (retrieval-augmented approaches) के परिणामों के अनुरूप हैं, भले ही क्वेरी के दौरान इतिहास को पुनर्प्राप्त न किया जाए।
कंपनी इस बात पर भी जोर देती है कि मेमोरी जोड़ने से बड़े व्यवधान वाले परीक्षणों में फ्लैश मॉडल की समग्र क्षमताओं में कोई गिरावट नहीं आई है।
डेवलपर्स को लाइसेंसिंग शर्तों पर ध्यान देना चाहिए: रिपॉजिटरी कोड गैर-व्यावसायिक PolyForm लाइसेंस के तहत प्रकाशित किया गया है, जबकि मॉडल वज़न क्रमशः Apache और MIT लाइसेंस के तहत हैं।
टीम दीर्घकालिक स्मृति में सुधार, मेमोरी क्षमता बढ़ाने और मेमोरी अपडेट की लागत कम करने की दिशा में आगे विकास की योजना बना रही है, जिसका दीर्घकालिक लक्ष्य ऐसे एजेंट बनाना है जो अपनी बातचीत के आधार पर सीखते रहें।
