ओपनजियुवेन, हुआवेई द्वारा समर्थित एक ओपन-सोर्स फ्रेमवर्क, ने अपने एजंटमेमोरी मॉड्यूल के संस्करण 0.2.0 में ओमनीमेम-लेंस जारी किया है - जो एक मल्टीमॉडल मेमोरी फ़ंक्शन है। QbitAI ने 4 नवंबर को बताया कि यह सुविधा AI एजेंटों को निश्चित समय अंतराल के बजाय वास्तविक घटनाओं के आधार पर लंबे वीडियो रिकॉर्ड करने की अनुमति देती है।
टीम का दावा है कि लंबी वीडियो को एक मिनट के सेगमेंट में विभाजित करने और प्रत्येक को अलग से संग्रहीत करने का मानक दृष्टिकोण एजेंट की मेमोरी को दो तरीकों से बाधित करता है। जब एक निरंतर दृश्य विभिन्न विंडो में विभाजित होता है, तो एजेंट केवल आधे सबूत प्राप्त करता है, जिससे मतिभ्रम को बढ़ावा मिलता है। इसके अलावा, प्रमुख क्रिया के कुछ सेकंड, जो मिनटों की अप्रासंगिक सामग्री के साथ मिश्रित होते हैं, शोर में खो सकते हैं, जिससे खोज की सटीकता कम हो जाती है।
घटना विभाजन के अधिकांश तरीके केवल एक प्रकार के डेटा पर निर्भर करते हैं, जिसके कारण वे विषय परिवर्तन को छोड़ देते हैं यदि छवि स्थिर रहती है, या यदि कोई बोल नहीं रहा है तो दृश्य परिवर्तन को छोड़ देते हैं। ओमनीमेम-लेंस दोनों स्ट्रीम को ट्रैक करता है: विज़ुअल ट्रैक दृश्य परिवर्तनों को चिह्नित करता है, जबकि ऑडियो ट्रैक वक्ता द्वारा विषय परिवर्तन का पता लगाने के लिए स्पीच रिकग्निशन का उपयोग करता है, भले ही स्क्रीन न बदली हो। इन दो स्रोतों का क्रॉस-चेकिंग वास्तविक घटनाओं की सीमाओं पर स्लाइस बनाने की अनुमति देता है।
एक उदाहरण में, जहां दो घंटे के उत्पाद अवलोकन को दिखाया गया था, 40 मिनट तक एक ही वास्तुशिल्प योजना प्रदर्शित की गई थी, जबकि वक्ता तीन अलग-अलग विषयों पर प्रकाश डाल रहा था। ऑडियो ट्रैक ने उन्हें तीन यादों में विभाजित किया, जिससे लोड परीक्षण मेट्रिक्स के बारे में बाद के प्रश्न का उत्तर देना संभव हो गया।
मेमोरी तीन स्तरों पर संग्रहीत होती है: L0 मूल वीडियो को सहेजता है, L1 इवेंट स्तर पर यादें रखता है, और L2 सेगमेंट स्तर पर अधिक विस्तृत यादें रखता है। L1 और L2 पूरी तरह से पाठ और वैक्टर में परिवर्तित हो जाते हैं, जिससे उन्हें न्यूनतम परिवर्तनों के साथ मौजूदा जनरेशन स्टैक और मुख्य वेक्टर डेटाबेस में एकीकृत करना संभव हो जाता है। डेटा संगठन का मुख्य कार्य ऑफ़लाइन किया जाता है। क्वेरी के दौरान, सिस्टम अनुरोध को L1 और L2 के साथ मिलाता है, और केवल तभी L0 से सटीक फ्रेम निकालता है जब विज़ुअल विवरण की जांच की आवश्यकता होती है।
Qwen3-VL-8B के विरुद्ध सीधे Qwen3-VL-8B से वीडियो से जानकारी निकालने के परीक्षण में, Video-MME-L पर सूचना निष्कर्षण की सटीकता में 8% और LVBench पर 6.4% की वृद्धि हुई। सबसे बड़ी वृद्धि, 45.7% की, EgoLife-QA पर हासिल की गई, जो पहले व्यक्ति के डेटासेट पर है जो पूरे दिन के दैनिक जीवन को रिकॉर्ड करता है, जहां निश्चित कटिंग अक्सर विफल हो जाती है। LVBench पर ऑनलाइन मोड में प्रतिक्रिया समय 34.5 सेकंड से घटकर 1.72 सेकंड हो गया, जो लगभग 20 गुना तेज है, और टीम अधिकतम विलंबता में 97% की कमी का अनुमान लगाती है।
परियोजना का स्रोत कोड Apache-2.0 लाइसेंस के तहत GitHub पर मिरर के साथ GitCode पर उपलब्ध है। टीम ने बताया कि ओपनजियुवेन वर्कस्वार्म जल्द ही एजंटमेमोरी का समर्थन करना शुरू कर देगा, जिससे दैनिक बातचीत के दौरान साझा किए गए वीडियो को बाद की चर्चाओं के दौरान याद रखना और याद करना संभव होगा।
