OmniAI guruhining Zhejiang universiteti jamoasi EmbodiedMemory-Bench (EMem-Bench) nomli benchmarkni ishlab chiqdi. Ushbu vosita sunʼiy intellektning tanlangan agentlari uzoq muloqotlar tarixiga asoslanib xotira hosil qilish va keyin bu xotiraga tayanib harakat qilish qobiliyatini tekshirish uchun moʻljallangan. Ushbu maqola taxminan uch hafta oldin arXivda joylashtirildi va oʻtgan dam olish kunlari xitoy OAVlarining diqqatini tortdi. Hugging Face platformasida maʼlumotlar toʻplami 18-oktabrgacha 32 000 dan ortiq yuklab olindi.
Benchmark hal qilayotgan muammo kundalik robotlarning tajribasidan yaxshi maʼlumdir: agent jurnal stolidagi kitobni koʻradi, boshqa vazifalarni bajaradi, soʻngra uni olib kelish soʻralganda, barcha xonalarda qidirishni boshlaydi yoki allaqachon yopiq ekanligini aniqlagan shkafni tortishda davom etadi.
Jamoa EmbodiedBenchdagi EB-ALF va EB-Hab maʼlumotlar toʻplamlaridan Gemini-3-Flash va Qwen3-VL-32B modellaridan olingan 100 ta muvaffaqiyatsiz yoʻnalishlarni qoʻlda tahlil qildi. 35% muvaffaqiyatsizliklar nozik vizual ishoralar yoʻqligi bilan, 31% — muloqot jarayonida aniqlangan holatlarni qayd eta olmaslik bilan, 18% — atrof-muhitdagi oʻzgarishlarni eʼtiborsizlik bilan, 7% esa oʻtmishdagi tajribadan foydalanmaslik bilan bogʻliq ekanligi aniqlandi.
EMem-Bench bu kamchiliklarni toʻrtta vazifa oilasiga aylantiradi: Passiv kuzatuv, Dinamik kuzatish, Muloqot buzilishi va Tajriba umumlashtirilishi. Har bir 2 554 ta ijro etiladigan epizod vaqt boʻyicha tartiblangan multimodal tarixni oʻz ichiga oladi, undan soʻng yangi vazifa keladi. Agent tegishli dalilni topishi, soʻngra simulyatsiyada harakatlanishi, konteynerlarni ochishi, narsalarni olib qoʻyishi va maqsadli holatga erishguncha joylashtirishi kerak. AI2-THOR sahnalari bitta xonadagi boʻlsa, ular koʻp xonalik uylarga birlashtiriladi va asosiy ishora bilan vazifa orasiga chalgʻituvchi, ammo bajariladigan muloqotlar kiritiladi. Benchmark 1 118 ta sahna qamrab oladi va avtomatik tekshiruv hamda inson nazoratidan oʻtkazilgan.
Toʻliq kontekst sharoitida Gemini-3-Flash modeli eng yaxshi natijani namoyish etdi, oʻrtacha muvaffaqiyat darajasi 64,2% boʻldi, uning ortidan Gemini-2.5-Pro 60,8%, Qwen3.6-27B 58,2% va GPT-5.4 56,8% keldi. Maqolada bitta istisno bundan tashqari barcha ochiq kodli modellar 45% dan past natija koʻrsatgani qayd etilgan.
Jamoa shuningdek, tajribani sahna, fazoviy va hodisaviy xotiralarga ajratadigan Embodied-Memorizer (EMem) nomli tashqi xotira tizimini ishlab chiqdi. GPT-5.4-mini asos sifatida ishlatish orqali EMem oʻrtacha muvaffaqiyat darajasini 35,3% dan 58,9% gacha oshirdi, bu keyingi eng yaxshi xotira tizimi TeleMemdan 21,1 foiz punktga yuqori. Politika ustida qayta oʻqitilgan EMem-8B modeli 46,0% ga erishdi, bu uning asosiy modeli Qwen3-VL-8B dan 20,6 foiz punktga yuqori. Tarix rasmlarining sonini oddiy oshirish foyda bermadi: muvaffaqiyat 36,6% dan 26,2% gacha pasaydi, shu bilan birga har bir epizoddagi kirish tokenlari soni 41 770 dan 206 489 gacha oshdi.
Mualliflar barcha olingan natijalar simulyatsiya sharoitida erishilganligini va sensor shovqini va bajarish xatolariga duch keladigan haqiqiy robotlarda yanada sinovdan oʻtkazilishi kerakligini taʼkidlashmoqda.