Uma equipe do grupo OmniAI na Universidade de Zhejiang lançou o benchmark EmbodiedMemory-Bench (EMem-Bench). Esta ferramenta destina-se a testar a capacidade de agentes de inteligência artificial incorporados de formar memória com base em histórias longas de interações e, em seguida, agir com base nessa memória. O artigo sobre isso foi publicado no arXiv há cerca de três semanas e chamou a atenção da mídia chinesa no último fim de semana. Na plataforma Hugging Face, o conjunto de dados recebeu mais de 32.000 downloads até 18 de outubro.
O problema que o benchmark resolve é bem conhecido pela experiência com robôs domésticos: um agente vê um livro em uma mesa de centro, executa outras tarefas e, depois, quando solicitado a trazê-lo, começa a procurar em todos os cômodos ou continua puxando uma gaveta que já descobriu estar fechada.
A equipe analisou manualmente 100 trajetórias malsucedidas obtidas dos modelos Gemini-3-Flash e Qwen3-VL-32B nos conjuntos de dados EB-ALF e EB-Hab do EmbodiedBench. Foi constatado que 35% dos fracassos estão relacionados à ausência de dicas visuais sutis, 31% à incapacidade de registrar estados identificados durante a interação, 18% ao ignorar mudanças no ambiente e 7% ao não utilizar experiências passadas.
O EMem-Bench transforma essas lacunas em quatro famílias de tarefas: Observação Passiva, Rastreamento Dinâmico, Falha de Interação e Generalização de Experiências. Cada um dos 2.554 episódios executáveis contém um histórico multimodal ordenado cronologicamente, seguido por uma nova tarefa. O agente deve encontrar a evidência correspondente e, em seguida, mover-se, abrir contêineres, pegar e colocar objetos na simulação até atingir o estado alvo. As cenas AI2-THOR, que ocorrem em um único cômodo, são combinadas em casas de vários cômodos, e entre a dica chave e a tarefa são inseridas interações distrativas, mas executáveis. O benchmark abrange 1.118 cenas e passou por verificação automática e revisão humana.
Em condições de contexto completo, o modelo Gemini-3-Flash demonstrou o melhor resultado, com uma média de sucesso de 64,2%, seguido por Gemini-2.5-Pro com 60,8%, Qwen3.6-27B com 58,2% e GPT-5.4 com 56,8%. O artigo observa que todos os modelos de código aberto, exceto um, apresentaram resultados abaixo de 45%.
A equipe também desenvolveu um sistema de memória externa chamado Embodied-Memorizer (EMem), que divide a experiência em memórias de cena, espaciais e de evento. Usando o GPT-5.4-mini como base, o EMem aumentou a taxa média de sucesso de 35,3% para 58,9%, o que é 21,1 pontos percentuais acima do próximo sistema de memória mais bem avaliado, TeleMem. O modelo EMem-8B, ajustado para política, alcançou 46,0%, o que é 20,6 pontos percentuais acima de seu modelo base Qwen3-VL-8B. O simples aumento no número de imagens históricas não trouxe benefícios: o sucesso caiu de 36,6% para 26,2%, enquanto o número de tokens de entrada por episódio aumentou de 41.770 para 206.489.
Os autores enfatizam que todos os resultados obtidos foram em simulação e requerem testes adicionais em robôs reais que enfrentam ruído de sensores e erros de execução.