A UBTECH divulgou os detalhes do Thinker-WM, um modelo de mundo desenvolvido por sua equipe Thinker. Este modelo é capaz de codificar vídeo RGB, profundidade métrica e ações de robôs em uma única representação comum. A documentação técnica sobre este desenvolvimento está disponível no arXiv.
De acordo com declarações da empresa, o Thinker-WM alcançou o primeiro lugar em três benchmarks para modelos de mundo incorporados. Esses rankings são baseados nos resultados disponíveis no momento do anúncio.
Resultados dos testes do modelo
Segundo a UBTECH, o modelo Thinker-WM obteve um resultado geral de 0,740 na WorldOlympiad. Este benchmark foi criado com base em dados de interação real com robôs e abrange mais de dez robôs e várias configurações de câmeras. Além disso, o modelo atingiu os maiores indicadores individuais de coerência 3D (0,531) e precisão de interação (0,765).
Na plataforma EWMBench, o modelo demonstrou um resultado agregado de 4,66, superando modelos como Qwen-RobotWorld e Sora 2, com os melhores resultados alcançados nas métricas de dinâmica e correspondência de trajetórias. No benchmark de simulação WorldArena 1.0 Track-1, a empresa afirma ter liderado em 12 critérios de avaliação diferentes.
Arquitetura e princípio de funcionamento
O principal argumento a favor do desenvolvimento do Thinker-WM é que muitos modelos de mundo existentes são compostos de partes separadas: a geração de vídeo cuida dos pixels, a rede de políticas cuida das ações e um módulo separado prevê a geometria. A UBTECH acredita que essa abordagem separa sinais fisicamente relacionados. Em vez disso, o Thinker-WM passa cada modalidade por seu próprio codificador em um espaço latente comum e as modela conjuntamente dentro de um Transformer Dinâmico Unificado, antes de decodificar vídeo, mapas de profundidade e ações executáveis. A profundidade é considerada uma saída inerente, e não um auxílio.
Em experimentos de tarefa única no RoboTwin, demonstrou-se que a adição de profundidade aumentou a taxa de sucesso de manipulação em 15 pontos percentuais em comparação com o modelo base, onde a profundidade estava ausente.
Graças ao fato de todas as modalidades usarem o mesmo conjunto de pesos, o modelo pode operar em seis modos diferentes, incluindo geração conjunta de vídeo e ações, previsão do futuro, inferência de política, conversão de vídeo em ações e dinâmica inversa, bastando alterar os dados de entrada e as saídas geradas.
Dados de treinamento
O volume total de dados de treinamento é de cerca de 30.000 horas. Dessas, aproximadamente 20.000 horas são de vídeo em primeira pessoa, gravado em ambientes domésticos, lojas de varejo e fábricas; cerca de 10.000 horas são dados de robôs reais de diferentes tipos; e cerca de 1.000 horas são dados de simulação. Todas as ações dos robôs são apresentadas na forma de poses do efetor final com uma tag específica do corpo, permitindo que diferentes máquinas utilizem o mesmo espaço de geração. Um pipeline de dados chamado Data Factory cuida da amostragem, verificação de qualidade multinível e alinhamento de profundidade e vídeo.
Para verificar se o espaço comum realmente conecta as modalidades, a equipe treinou um pequeno mecanismo de movimento de teste em características visuais congeladas para restaurar o deslocamento do efetor final, o que a UBTECH apresenta como prova de ligação cross-modal.