Компания BeingBeyond, стартап в области воплощенного искусственного интеллекта, основанный профессором Лу Цзонгцином из Пекинского университета, представила модель Being-M0.7. Эта латентная модель мира и действий позволяет гуманоидному роботу одновременно передвигаться и манипулировать предметами.
Модель была предварительно обучена на более чем 10 000 часах сырых видеозаписей и данных о движении человека, еще до того, как она увидела траектории роботов. Команда полагает, что демонстрации реальных роботов для комплексной локомоторно-манипуляционной деятельности являются редкими и дорогими в сборе, тогда как видеозаписи и захват движений человека доступны в большом количестве.
Однако человеческие данные бывают неидеальными: некоторые клипы содержат только видео, другие — только движение, а движения человека нельзя напрямую воспроизвести роботом. Модель Being-M0.7 справляется с этой проблемой в три этапа. На этапе предварительного обучения видео и движение преобразуются в общее пространство, где совместно прогнозируются будущие визуальные состояния и движения тела.
На этапе промежуточного обучения эта предварительная информация адаптируется под вид камеры и тело робота. Наконец, на этапе пост-обучения добавляется отдельный эксперт по действиям, который считывает прогнозы замороженной предварительной информации и выдает команды для всего тела. Вместо предсказания пикселей, модель работает с замороженными признаками изображений DINO, и как люди, так и роботы используют компактное 22-мерное представление движения с привязкой к голове. Пропущенные модальности обрабатываются с помощью обучаемых плейсхолдерных эмбеддингов вместо того, чтобы быть отброшенными. Источники данных включают Ego4D, Nymeria, HumanML3D и другие общедоступные наборы, а также подмножества ранних работ BeingBeyond и приобретенные данные.
Результаты тестирования
На симуляционном бенчмарке SIMPLE, который охватывает шесть задач для гуманоидов на трех уровнях сложности, Being-M0.7 показала успех в 128 из 180 испытаний, что составляет 71,1%, что является лучшим результатом среди протестированных базовых моделей. В исследовании указано, что Ψ0 показал 64,4%, π0.5 — 52,8%, а GR00T-N1.6 — 33,9%, хотя Ψ0 превзошел конкурентов в одной задаче, а π0.5 — в двух других.
При удалении предварительного обучения на данных человека показатель снизился до 48,9%. При тестировании на гуманоиде Unitree G1 с ловкими руками модель достигла успеха в 13 из 15 испытаний в рамках трех задач ходьбы и захвата, что соответствует уровню 86,7% сильнейшей базовой модели GR00T-N1.6, и превосходит π0.5 (7 из 15) и Ψ0 (3 из 15). Таким образом, результат на реальном роботе оказался равным, а не превосходящим.
Команда отмечает очевидные ограничения. Тесты проводились только для задач с коротким горизонтом, а точность отслеживания контроллера всего тела, использовавшегося для сбора демонстраций, ограничивает максимальную точность данных реального робота.