Компания X Square Robot, базирующаяся в Шэньчжэне, продемонстрировала способность ловкого робота выполнить полный стандартизированный химический эксперимент, состоящий из 24 последовательных действий, за один непрерывный прогон. Этот результат достигнут с использованием политики, которая была обучена исключительно на данных, собранных без участия самого робота.
Демонстрация основана на системе TwinDEX, которую компания представила в сентябре. Эта система объединяет носимый экзоскелет для сбора данных с высокоточным роботизированным захватом для выполнения задач.
В ходе эксперимента робот выполнял ряд сложных манипуляций: открывал бутылку с реагентом, набирал порошок тонкой лопаткой, сжимал пипетку с резиновым баллоном, перемещал жидкости и твердые вещества, а также удерживал полупрозрачную стеклянную палочку возле стакана для направления процесса наливания, постоянно меняя инструменты и координируя работу обеих рук.
Компания утверждает, что данная политика была разработана с нуля на основе нескольких сотен эпизодов, собранных без робота, без какого-либо вмешательства или телеуправления роботом на любом этапе.
Сложности, которые решают технологии
Китайский технологический ресурс Leiphone обратил внимание на задачи, которые невозможно решить только с помощью зрения: поворот крышки требует бокового движения пальцев, а не вращения запястья; сжатие пипетки нуждается в регулировке силы после контакта; а отслеживание прозрачной палочки камерами представляет собой трудность.
Основная концепция заключается в устранении расхождения между тем, как люди собирают данные, и тем, как действуют роботы. Оба устройства TwinDEX имеют схожую конфигурацию из трех пальцев с девятью степенями свободы и семью активными суставами, а также идентичные оси суставов, пропорции звеньев, контактные материалы и тактильные датчики, расположенные в одних и тех же местах, и внешне они почти неотличимы.
Изображения с многоракурсных камер, позы запястий, состояния суставных пальцев и сигналы касания кончиков пальцев синхронизированы по времени, что позволяет напрямую сопоставлять записанные состояния пальцев с роботом без необходимости повторной настройки. Leiphone сообщает, что для работы с двумя руками модель изучает относительное положение рук, а не абсолютные координаты, что гарантирует сохранение координации независимо от того, меняется стол или оператор.
X Square заявляет, что на многозадачном бенчмарке политики, обученные на данных без робота, улучшались с той же скоростью, что и те, что обучались на телеуправляемых данных, эпизод за эпизодом. Компания оценивает эффективность сбора данных TwinDEX в 5,3 раза выше, чем при телеуправлении на роботе, что было измерено по пяти задачам, включая скручивание крышки и использование шприца. Поскольку одна единица сбора данных включает одного оператора, один стол и один экзоскелет, сбор данных можно проводить параллельно в офисах и кухнях.
Согласно Leiphone, конвейер данных функционирует с использованием открытой модели WALL-OSS компании и может быть адаптирован для других базовых моделей, таких как pi0.5. Компания также перечисляет ограничения: задачи ограничены одним столом с ограниченным набором объектов, эргономика длительных сессий в экзоскелете еще не исследована, а более сложные задачи могут потребовать больше пальцев или суставов. Техническая статья находится в процессе подготовки, и X Square планирует расширить сбор данных на открытые среды и задачи с длинным хвостом.