झेजियांग विश्वविद्यालय के ओमनीएआई समूह की टीम ने एम्बोडीडमेमोरी-बेंच (EMem-Bench) नामक बेंचमार्क जारी किया है। यह उपकरण कृत्रिम बुद्धिमत्ता के एम्बोडीड एजेंटों की लंबी बातचीत के इतिहास के आधार पर स्मृति बनाने और फिर उस स्मृति पर निर्भर करते हुए कार्य करने की क्षमता का परीक्षण करने के लिए डिज़ाइन किया गया है। इस बारे में लेख लगभग तीन सप्ताह पहले arXiv पर पोस्ट किया गया था और पिछले सप्ताहांत चीनी मीडिया का ध्यान आकर्षित किया। 18 अक्टूबर तक Hugging Face प्लेटफॉर्म पर डेटासेट को 32,000 से अधिक डाउनलोड प्राप्त हुए हैं।
वह समस्या जिसे यह बेंचमार्क हल करता है, घरेलू रोबोटों के अनुभव से अच्छी तरह से जानी जाती है: एक एजेंट कॉफी टेबल पर एक किताब देखता है, अन्य कार्य करता है, और फिर जब उसे इसे लाने के लिए कहा जाता है, तो वह सभी कमरों में खोजना शुरू कर देता है या उस दराज को खींचता रहता है जिसे उसने पहले ही बंद पाया है।
टीम ने EmbodiedBench के EB-ALF और EB-Hab डेटासेट से Gemini-3-Flash और Qwen3-VL-32B मॉडल द्वारा प्राप्त 100 असफल ट्रेजेक्टरी का मैन्युअल रूप से विश्लेषण किया। यह स्थापित किया गया कि 35% विफलताएं सूक्ष्म दृश्य संकेतों की कमी से संबंधित थीं, 31% बातचीत के दौरान पहचाने गए राज्यों को दर्ज करने में असमर्थता से, 18% पर्यावरण में परिवर्तनों की अनदेखी से, और 7% पिछले अनुभव का उपयोग न करने से संबंधित थीं।
EMem-Bench इन कमियों को चार कार्य परिवारों में बदलता है: निष्क्रिय अवलोकन, गतिशील ट्रैकिंग, इंटरैक्शन विफलता और अनुभव सामान्यीकरण। प्रत्येक 2,554 निष्पादन एपिसोड में एक मल्टीमॉडल इतिहास होता है, जो समय के अनुसार व्यवस्थित होता है, जिसके बाद एक नया कार्य होता है। एजेंट को उपयुक्त प्रमाण ढूंढना होगा, और फिर लक्ष्य स्थिति तक पहुंचने तक सिमुलेशन में वस्तुओं को ले जाना, कंटेनरों को खोलना, उठाना और रखना होगा। AI2-THOR दृश्यों, जो एक कमरे में होते हैं, को बहु-कमरे वाले घरों में जोड़ा जाता है, और मुख्य संकेत और कार्य के बीच भटकाने वाली लेकिन निष्पादन योग्य बातचीत डाली जाती है। बेंचमार्क 1,118 दृश्यों को कवर करता है और स्वचालित जांच और मानव समीक्षा से गुजरा है।
पूर्ण संदर्भ की स्थिति में, Gemini-3-Flash ने 64.2% की औसत सफलता दर के साथ सर्वश्रेष्ठ परिणाम प्रदर्शित किया, जिसके बाद Gemini-2.5-Pro 60.8%, Qwen3.6-27B 58.2% और GPT-5.4 56.8% का स्थान रहा। लेख में उल्लेख किया गया है कि एक ओपन-सोर्स मॉडल को छोड़कर, सभी ओपन-सोर्स मॉडल ने 45% से कम परिणाम दिखाए।
टीम ने एम्बोडीड-मेमोराइज़र (EMem) नामक एक बाहरी मेमोरी सिस्टम भी विकसित किया है, जो अनुभव को दृश्य, स्थानिक और घटनात्मक स्मृतियों में विभाजित करता है। GPT-5.4-mini को आधार के रूप में उपयोग करते हुए, EMem ने औसत सफलता दर को 35.3% से बढ़ाकर 58.9% कर दिया, जो अगली सर्वश्रेष्ठ मेमोरी प्रणाली, TeleMem की तुलना में 21.1 प्रतिशत अंक अधिक है। नीति पर फाइन-ट्यून की गई EMem-8B मॉडल ने 46.0% हासिल किया, जो इसके मूल मॉडल Qwen3-VL-8B की तुलना में 20.6 प्रतिशत अंक अधिक है। इतिहास छवियों की संख्या में साधारण वृद्धि से कोई लाभ नहीं हुआ: सफलता 36.6% से घटकर 26.2% हो गई, जबकि प्रति एपिसोड इनपुट टोकन की संख्या 41,770 से बढ़कर 206,489 हो गई।
लेखक इस बात पर जोर देते हैं कि सभी प्राप्त परिणाम सिमुलेशन में प्राप्त किए गए हैं और सेंसर शोर और निष्पादन त्रुटियों का सामना करने वाले वास्तविक रोबोटों पर आगे के परीक्षण की आवश्यकता है।