Компания UBTECH раскрыла детали Thinker-WM, модели мира, разработанной ее командой Thinker. Эта модель способна кодировать RGB-видео, метрическую глубину и действия роботов в едином общем представлении. Техническая документация по этой разработке доступна на arXiv.
Согласно заявлениям компании, Thinker-WM заняла первое место в трех бенчмарках для воплощенных моделей мира. Эти рейтинги основаны на результатах, которые были доступны на момент анонса.
Результаты тестирования модели
По данным UBTECH, модель Thinker-WM показала общий результат 0.740 на WorldOlympiad. Этот бенчмарк создан на основе данных реального взаимодействия с роботами и охватывает более десяти роботов и несколько конфигураций камер. Кроме того, модель достигла наивысших индивидуальных показателей по согласованности 3D (0.531) и точности взаимодействия (0.765).
На платформе EWMBench модель продемонстрировала суммарный результат 4.66, опередив такие модели, как Qwen-RobotWorld и Sora 2, причем лидирующие результаты были достигнуты по метрикам динамики и сопоставления траекторий. На симуляционном бенчмарке WorldArena 1.0 Track-1 компания утверждает, что лидировала по 12 различным критериям оценки.
Архитектура и принцип работы
Основной аргумент в пользу разработки Thinker-WM заключается в том, что многие существующие модели мира состоят из отдельных частей: генерация видео отвечает за пиксели, сеть политик — за действия, а отдельный модуль прогнозирует геометрию. UBTECH считает, что такой подход разделяет физически связанные сигналы. Вместо этого Thinker-WM пропускает каждую модальность через собственный кодировщик в общее латентное пространство и совместно моделирует их в рамках Унифицированного Трансформера Динамики, прежде чем декодировать видео, карты глубины и исполняемые действия. Глубина рассматривается как неотъемлемый выходной сигнал, а не вспомогательный.
В экспериментах с одной задачей на RoboTwin было показано, что добавление глубины увеличило успешность манипуляции на 15 процентных пунктов по сравнению с базовой моделью, где глубина отсутствовала.
Благодаря тому, что все модальности используют один набор весов, модель может функционировать в шести различных режимах, включая совместную генерацию видео и действий, прогнозирование будущего, вывод политики, преобразование видео в действия и обратную динамику, просто меняя входные данные и генерируемые выходы.
Данные для обучения
Общий объем обучающих данных составляет около 30 000 часов. Из них примерно 20 000 часов — это видео первого лица, снятое в домашних условиях, розничных магазинах и на фабриках; около 10 000 часов — это данные реальных роботов разных типов; и около 1 000 часов — это симуляционные данные. Все действия роботов представлены в виде поз конечного эффектора с тегом, специфичным для корпуса, что позволяет различным машинам использовать одно и то же пространство генерации. Конвейер данных под названием Data Factory занимается выборкой, многоуровневой проверкой качества и выравниванием глубины и видео.
Чтобы проверить, действительно ли общее пространство связывает модальности, команда обучила небольшой пробный механизм движения на замороженных визуальных признаках для восстановления смещения конечного эффектора, что UBTECH представляет как доказательство кросс-модального связывания.