ACE Robotics выпустила модель для пространственного восприятия роботов

Компания ACE Robotics представила ACE-Brain-0.6 — воплощенную фундаментальную модель с приблизительно девятью миллиардами параметров, которая специализируется на визуальном закреплении. Эта модель предназначена для сопоставления языковых инструкций с точными областями, частями объектов и зонами взаимодействия в реальной обстановке.

Сообщается, что модель основана на Qwen3.5-9B. При разработке был заморожен кодировщик зрения, а языковая модель была дообучена на около миллиона проверенных образцов пространственного надзора. Эти данные охватывают примерно 940 000 изображений и 2,7 миллиона пар вопросов и ответов.

Результаты сравнения с конкурентами

Согласно данным, опубликованным самой ACE Robotics, ACE-Brain-0.6 превзошла GPT-6 Astra от OpenAI в шести из восьми тестов на закрепление. Конкретные результаты включают: Where2Place (76.55 против 71.10), PixMo-Count (89.41 против 88.10), RoboSpatial (74.82 против 69.55), RoboAfford (88.51 против 84.94), ShareRobot (49.70 против 46.60) и собственный набор RobotGrounding команды (94.13 против 91.10).

В целом, средний балл модели на семи публичных бенчмарках составил 74.53, тогда как у Astra этот показатель был 73.68. Набор RobotGrounding включает 2 591 вопрос по 14 типам задач, среди которых поиск мелких предметов, подсчет нескольких экземпляров, определение отсутствия запрошенной цели и сопоставление целей между разными видами камеры.

Компания также предоставила сравнения с Google Gemini 4 Argon и Anthropic Claude Opus 5.5, рассматривая их как ориентиры для пространственного восприятия, а не как геополитическое состязание. В контролируемых испытаниях масштабирования, где архитектура и рецепт обучения оставались неизменными, увеличение обучающего набора с 260 000 до примерно одного миллиона образцов повысило средний показатель по семи бенчмаркам с 69.3 до 74.5, демонстрируя почти логарифмическую кривую. Удвоение объема данных привело к росту показателя примерно на 2,4 пункта в среднем, в то время как простое добавление большего количества образцов того же типа улучшило производительность менее чем на один пункт. Основной прирост производительности был достигнут благодаря новым сценам, пространственным отношениям и форматам надзора.

Конвейер обработки данных объединяет более 30 открытых наборов данных роботов с частными данными, снятыми от первого лица. Затем используются такие инструменты, как Grounding DINO и SAM 3, чтобы преобразовать сигналы состояния захвата и движения в проверяемые пространственные метки. ACE Robotics утверждает, что ответы генерируются только при наличии полной визуальной информации, например, требуя полных меток экземпляров перед тем, как отвечать на вопросы о подсчете.

На публичных репозиториях GitHub под названием DAXIAORobotics до сих пор перечислены ACE-Brain-0 и ACE-Brain-0.5; однако на момент публикации веса ACE-Brain-0.6 не были опубликованы в открытом доступе. ACE Robotics, которую возглавляет Шаоган Ван, соучредитель SenseTime, ранее представляла ACE-Brain-0.5 как цикл унифицированного восприятия-планирования-действия-оценки. Версия 0.6 фокусируется исключительно на закреплении как связующем звене между высокоуровневым рассуждением и надежным физическим исполнением.

Компания OpenAI, которая создала ChatGPT, планирует заняться еще более масштабным проектом — разработкой роботов, внешне похожих на людей. Особое внимание уделяется не только способности этих роботов двигаться, но и их умению понимать окружающую среду и выполнять задачи.

Генеральный директор OpenAI, Сэм Альтман, дал намеки относительно демонстрации робота. Возникает вопрос о возможностях этого робота и сроках его появления.

Первая демонстрация возможна в 2027 году

Согласно отчету, Сэм Альтман сообщил, что OpenAI может представить демонстрацию своего гуманоидного робота в 2027 году. При этом компания пока не раскрыла полной информации о дате выпуска, цене или характеристиках робота, и это не означает, что он поступит в продажу именно в 2027 году.

Возникает закономерный вопрос о необходимости создания человекоподобных роботов, учитывая, что машины уже существуют. Современные дома, офисы и фабрики спроектированы с учетом человеческой анатомии. Робот, имеющий схожую с человеческой конструкцию, сможет легче функционировать в таких средах.

Однако простое создание человеческого тела недостаточно. Робот должен обладать способностью анализировать происходящее вокруг него и принимать решения о следующих действиях.

Мозг робота будет самым важным

Главная сила OpenAI заключается в ее технологиях искусственного интеллекта. Компания намерена использовать эту технологию для придания роботу разумности. Например, если роботу поручить поднять предмет, он должен сначала распознать этот предмет, понять, как его поднимать, а затем завершить работу. Таким образом, критически важным станет не просто следование заранее заданным командам, а способность робота принимать решения, основываясь на понимании текущей ситуации.

Конкуренция с Tesla?

OpenAI не является единственной компанией, участвующей в гонке гуманоидных роботов. Tesla, возглавляемая Илоном Маском, также работает над своим роботом Optimus. Другие компании также продвигают эту технологию вперед.

На данный момент полная информация о роботе OpenAI отсутствует. Остается наблюдать, что продемонстрирует компания в 2027 году и насколько эффективно ее робот сможет работать в реальном мире.

Подразделение роботакси компании Hello Inc. представило HelloWorld — генеративную модель мира для вождения. Эта модель предназначена для создания данных о вождении по требованию и интерактивного тестирования политик управления автомобилем.

Команда объявила о модели 12 октября и опубликовала соответствующую научную работу на arXiv, а также страницу проекта. HelloWorld объединяет в себе управление сценами, непрерывную генерацию, наблюдение с мультисенсоров и эффективный вывод данных.

Инженеры могут напрямую редактировать транспортные средства, пешеходов и их траектории, после чего модель генерирует соответствующие видео с нескольких камер вместе с данными лидара. Примеры таких изменений включают добавление пешехода, пересекающего дорогу, изменение маршрута впереди идущего автомобиля или смена погодных условий — например, переход от дождя к снегу, или от дня к ночи.

Модель также принимает описания ситуации на простом языке как второй способ построения сцен. Пользователь описывает желаемую ситуацию, и специальный конвейер приложений преобразует это описание в условия, необходимые для работы модели. Такие элементы, как строительные площадки, плотный трафик, пешеходы, пересекающие дорогу, туман и различные освещения, могут использоваться для направления процесса генерации.

Основная цель разработки — восполнить пробелы в данных, собранных в реальном мире. Ситуации с длинным хвостом, такие как редкие опасности или необычные сочетания погоды и движения, сложно собрать в достаточном количестве только путем сбора данных с дорог. Возможность генерировать такие сценарии по запросу позволяет разработчикам создавать целенаправленные обучающие данные и проводить контрфактические тесты: воспроизведение одного и того же момента с изменением одного элемента для оценки реакции политики вождения.

Согласно представленной научной работе, HelloWorld содержит около 2 миллиардов параметров, генерирует виды для семи камер с условным выводом лидара и использует причинно-следственную генерацию на несколько шагов. Такая архитектура призвана обеспечить достаточную скорость вывода для многократного интерактивного моделирования, а не только для генерации отдельных клипов.

Модели мира стали распространенным инструментом в области автономного вождения и воплощенного искусственного интеллекта, где команды используют их для снижения затрат на сбор и маркировку пограничных случаев. HelloWorld является первой публичной исследовательской публикацией такого рода от команды роботакси этой компании. Однако компания пока не сообщила, когда или каким образом модель будет интегрирована в программы тестирования ее транспортных средств.