A BeingBeyond, uma startup em inteligência artificial encarnada fundada pelo professor Lu Zongqin da Universidade de Pequim, apresentou o modelo Being-M0.7. Este modelo latente de mundo e ações permite que um robô humanoide se mova e manipule objetos simultaneamente.
O modelo foi pré-treinado com mais de 10.000 horas de gravações de vídeo brutos e dados de movimento humano, antes mesmo de ver trajetórias de robôs. A equipe acredita que demonstrações de robôs reais para atividades complexas de locomoção e manipulação são raras e caras de coletar, enquanto vídeos e captura de movimento humano estão amplamente disponíveis.
No entanto, os dados humanos não são perfeitos: alguns clipes contêm apenas vídeo, outros apenas movimento, e os movimentos humanos não podem ser reproduzidos diretamente por um robô. O modelo Being-M0.7 lida com esse problema em três etapas. Na fase de pré-treinamento, vídeo e movimento são transformados em um espaço comum, onde os estados visuais futuros e os movimentos corporais são previstos conjuntamente.
Na fase de treinamento intermediário, essa informação prévia é adaptada ao tipo de câmera e corpo do robô. Finalmente, na fase de pós-treinamento, um especialista de ação separado é adicionado, que lê as previsões das informações prévias congeladas e emite comandos para todo o corpo. Em vez de prever pixels, o modelo trabalha com características de imagem DINO congeladas, e tanto humanos quanto robôs usam uma representação compacta de movimento de 22 dimensões vinculada à cabeça. Modalidades perdidas são processadas usando embeddings placeholder treináveis em vez de serem descartadas. As fontes de dados incluem Ego4D, Nymeria, HumanML3D e outros conjuntos de dados públicos, bem como subconjuntos de trabalhos anteriores da BeingBeyond e dados adquiridos.
Resultados dos testes
No benchmark de simulação SIMPLE, que abrange seis tarefas para humanoides em três níveis de dificuldade, o Being-M0.7 demonstrou sucesso em 128 de 180 testes, o que corresponde a 71,1%, sendo o melhor resultado entre os modelos básicos testados. O estudo indica que $\Psi_0$ obteve 64,4%, $\pi_{0.5}$ obteve 52,8% e GR00T-N1.6 obteve 33,9%, embora $\Psi_0$ tenha superado os concorrentes em uma tarefa, e $\pi_{0.5}$ em outras duas.
Ao remover o pré-treinamento nos dados humanos, o desempenho caiu para 48,9%. Ao ser testado no humanoide Unitree G1 com mãos ágeis, o modelo alcançou sucesso em 13 de 15 testes em três tarefas de caminhada e captura, correspondendo ao nível de 86,7% do modelo básico mais forte GR00T-N1.6, e superando $\pi_{0.5}$ (7 de 15) e $\Psi_0$ (3 de 15). Assim, o resultado em robô real foi igual, e não superior.
A equipe aponta limitações óbvias. Os testes foram realizados apenas para tarefas de horizonte curto, e a precisão do rastreamento do controlador de corpo inteiro usado para coletar as demonstrações limita a precisão máxima dos dados do robô real.