A empresa chinesa MemTensor apresentou e disponibilizou publicamente uma série de modelos que ela chama de modelos fundamentais orientados à memória, denominados MemT 1.0. Esta série inclui dois modelos: MemT-1.0-Flash, com um total de 288 bilhões de parâmetros, dos quais 17 bilhões são ativamente utilizados, e MemT-1.0-Nano, com 36 bilhões de parâmetros totais e 3 bilhões ativos.
Os pesos desses modelos estão disponíveis na plataforma Hugging Face, e o código correspondente está no GitHub junto com um relatório técnico.
Os modelos foram desenvolvidos para resolver um problema comum relacionado a diálogos longos. A maioria dos sistemas existentes armazena todo o histórico na janela de contexto, o que leva a lentidão e aumento do custo de inferência a cada nova jogada. Em vez disso, o MemT integra um módulo de memória treinável dentro do próprio modelo.
Após cada interação, o modelo grava novas informações em um estado de memória fixo e as recupera quando necessário, em vez de reler todo o registro anterior repetidamente.
A MemTensor informa que o treinamento dos modelos ocorreu em duas fases com base em 34 bilhões de tokens: primeiro, o modelo aprendeu a gravar informações na memória, e depois ele foi treinado para responder a perguntas usando essas informações salvas.
Resultados de desempenho e comparação
Todos os indicadores de desempenho apresentados são baseados na avaliação própria da empresa. A MemTensor afirma que a inferência ponta a ponta funciona aproximadamente 1,86 vezes mais rápido do que a abordagem de contexto completo com um histórico de 128 mil tokens, e cerca de 3,99 vezes mais rápido com 256 mil tokens.
O tempo de resposta do primeiro token é estimado em cerca de 104–112 milissegundos para o modelo com memória, em comparação com aproximadamente 445 milissegundos para o contexto completo em 256K. Além disso, a empresa observa que o volume do estado de memória por sessão com um histórico de 256K é de cerca de 40 MB, o que é significativamente menor do que os 5,06 GB necessários para o cache de contexto completo, representando uma redução de cerca de 130 vezes.
Em 11 benchmarks de memória, a MemTensor declara médias de 50,6 para Flash e 47,0 para Nano. Esses resultados colocam os modelos em primeiro e segundo lugar entre os métodos paramétricos de memória comparados e correspondem aproximadamente aos resultados das abordagens de extensão por recuperação (retrieval-augmented approaches) em média, mesmo sem recuperar o histórico durante a consulta.
A empresa também destaca que a adição de memória não prejudicou as capacidades gerais do modelo Flash em testes com muitos fatores de distração.
Os desenvolvedores devem prestar atenção às condições de licenciamento: o código do repositório está publicado sob a licença não comercial PolyForm, enquanto os pesos dos modelos têm licenças Apache e MIT, respectivamente.
A equipe planeja continuar o desenvolvimento em direção à melhoria da memória de longo prazo, ao aumento da capacidade de memória e à redução dos custos de atualização de memória, com o objetivo de longo prazo de criar agentes que continuem aprendendo com base em suas interações.