Alibaba ning Amap modeli inson harakatlari boʻyicha butun tana vazifalarini oʻrganadigan gumanoid tizimni taqdim etdi

ACE Robotics Nanyang Technological Universitydagi S-Lab bilan birgalikda Mundo — real joyning oz miqdordagi tasvirlariga asoslanib interaktiv va tadqiq qilinadigan muhit yaratishga qodir boʻlgan dunyo modelini ishlab chiqdi. Bu haqda Xitoy yangilik platformasi Robot Pro 31-oktabrda xabar berdi.

Jamoa Mundo sahna nusxasini tiklash, uni turli burchaklardan koʻrsatish va vaqt mobaynida modellashtirish imkoniyatiga ega ekanligini taʼkidlaydi, bu esa robotlarni maʼlum bir fazoning raqamli nusxasida sinovdan oʻtkazish va ularni oʻqitishga imkon beradi.

GitHubdagi omborga koʻra, kod va model vaznlari noyabr oxirigacha mavjud boʻladi.

Mundo qanday ishlaydi

Mundo bitta dan oʻn ikki gacha kontekstual tasvir qabul qiladi va kamera yoʻnalishi boʻylab yangi koʻrinishlarni hosil qiladi. Faqat bitta tasvirdan foydalanilganda, tizim koʻrinadigan uslub va tuzilmani koʻrinmaydigan qismlarga kengaytiradi, tasvirlarning soni oshishi esa suratga olingan boʻlmagan hududlardagi noaniqlikni kamaytiradi.

Katta maydonlar uchun model oʻnlab soniyadan bir necha daqiqagacha davom etadigan kamera harakatlarini yaratishga qodir, har bir segment uchun eng mos keladigan rasmlarni tanlab, ular orasidagi uygʻunlikni taʼminlash uchun ularni yopishtiradi.

Modelning texnik jihatlari

Ishlash asosida uch oʻlchovli fundamental model yotadi, u kamera holatlarini va zich geometriyani tiklaydi. Shu bilan birga, uch oʻlchovli detektor har bir katta obyekt uchun dastlabki cheklash toʻrtburchagini yaratadi. Detektorlar obyektlarni oʻtkazib yuborishi yoki ularning oʻlchamlarini notoʻgʻri baholashi mumkinligi sababli, koʻrish va tilga asoslangan agent sahna dasturini tahrirlaydi, uni har bir kirish nuqtasidan renderlaydi, natijani boshlangʻich rasmlar bilan solishtiradi va nima tuzatish kerakligini aniqlaydi. Shu bilan birga, sonli optimallashtirish quti holatini, oʻlchamini va yoʻnalishini sozlaydi.

Alohida tekshiruv agenti uygʻunlikni nazorat qiladi, sahna tahrirlashiga aralashmaydi. Sahna dasturi har bir obyektning nomini, holatini, oʻlchamini, massasini va ishqalanish koeffitsientini qayd etadi. Skriptlar kuch va harakatlarni qoʻllaydi, va hozirda MuJoCo boʻlgan fizik dvigatel harakat, kontakt va toʻqnashuvlarni hisoblaydi. Keyin video diffuziya modeli simulyatsiyani asl suratlarning uslubida vizuallashtiradi.

Jamoa MiniMax reference-to-video modelini 640x480 oʻlchamli taxminan 40 000 juft videoroliklardan foydalangan holda takomillashtirdi, 124 kadrli kliplarni yaratdi va uzun videolarning uzluksizligini saqlash uchun har bir klipdagi soʻnggi 34 kadrni qayta ishlatdi.

Qoʻllash misollari va cheklovlar

Demonstratsiyalar mehmonxonaning nusxalangan polida harakatlanadigan, kir yuvishxonadagi kir yuvish mashinasini ochadigan, olma ni idishga qoʻyadigan va kubiklarni joylashtiradigan robotlar ssenariylarini oʻz ichiga oladi, bunda bosh va bilak kameralaridan olingan koʻrinishlar hamda yozilgan traektoriyalar ishlatiladi.

Jamoa tizim imkoniyatlarining chegaralarini aniq belgilab berdi: rekonstruksiya jarayoni 10 dan 20 daqiqagacha vaqt oladi, renderlash sakkizta A800 GPU da 20 ta inferens bosqichi bilan taxminan 1,5 kadr/sekund tezlikda amalga oshiriladi. Shuningdek, kichik obʼektlar uchib yurayotgandek koʻrinishi mumkinligi va uzoq vaqt davomida oʻzgaruvchi sahnalar uchun uzoq muddatli xotira mavjud emasligi qayd etildi.

Amap, Alibaba Group tarkibiy qismi boʻlib, xaritash va geolokatsiya bilan shugʻullanadi, Lambda-0 ni taqdim etdi. Ushbu model odamlarining ochiq harakatlari asosida yaratilgan birinchi fundamental gumanoid robot modeli sifatida joylashtirilmoqda. Tadqiqot Alibaba ning ATH biznes guruhiga hamkorlikda olib borildi va kod Apache 2.0 litsenziyasi ostida GitHubda ilmiy maqola bilan birga arXiv da mavjud.

Asosiy gʻoya shundaki, gumanoid yordamchi maʼlumot toʻplanishi paytida robot yoʻqligida ham yurish, postur va ikki qoʻl bilan manipulyatsiyalarni bir vaqtning oʻzida oʻrganishi mumkin. Jamoa taʼkidlashicha, koʻpincha vizyon, til va birinchi shaxsdagi harakatlarga asoslangan modellar faqat qoʻllar va oyoqlarga eʼtibor qaratadi, bu esa keng muhitda uzoq muddatli vazifalarni bajarish uchun zarur boʻlgan tana, koʻkrak va postura haqidagi maʼlumotlarni eʼtiborsiz qoldiradi. Haqiqiy robotlar bilan masofadan boshqarish orqali bu boʻshliqni toʻldirish qimmat va miqyoslash uchun sekin.

Buning oʻrniga, Lambda-0 robot ishtiroki boʻlmagan butun tananing maʼlumotlarini yigʻish usulidan foydalanadi, bu Amap tomonidan 'robot-free whole-body data collection' deb ataladi. Mutaxassislar isteʼmolchi qurilmalarini kiyib, oddiy joylarda harakatlarni yozib olishadi. Namuna vazifasi uchun bitta segmentni yigʻish taxminan 29 soniya davom etdi, bu jismoniy robotdan foydalanishda talab qilinadigan taxminan 100 soniyaga nisbatan sezilarli darajada samarali boʻlib, 3,4 barobar samaradorlikni namoyish etdi. Bu jarayon natijasida jamoa vizual, tana harakati va qoʻl harakatlari boʻyicha sinxronlashtirilgan 500 soatlik inson xatti-harakati maʼlumotlarini oʻz ichiga olgan HumanVerse-500 maʼlumotlar toʻplamini yaratdi.

Oʻquv jarayoni uch bosqichda amalga oshiriladi: qoʻllar bilan oʻzaro aloqa, butun tanani koordinatsiya qilish va oxirgi nihoyat gumanoid tanada mujassamlash. Inson va robot tanalari oʻrtasidagi farqlar hamda yakuniy effektorlardagi xatoliklarni hisobga olish uchun model nuqta-nuqtai nazaridagi moslashuv sxemasi va umumiy dan aniqqa moslashuv usulidan foydalanadi, shu bilan birga butun tananing koordinatsiyasini saqlab qoladi va kontakt aniqligini oshiradi.

Taʼkidlangan maqolaga koʻra, Lambda-0 SIMPLE simulyatsion muhitida ilgʻor yutuqlarning darajasida natijalar koʻrsatdi, bu yerda u taxminan 90 foiz muvaffaqiyat koʻrsatdi, shuningdek, haqiqiy robotlarda oʻtkazilgan testlarda ham. Uzoq gorizontli va butun tanadagi yetti mobil manipulyatsiya vazifasida model oʻrganishni faqat inson maʼlumotlari yordamida Unitree G1 ga muvaffaqiyatli oʻtkazdi. Jamoa haqiqiy robotdagi muvaffaqiyat chastotasini 62,5 foiz deb hisobot beradi, bu eng kuchli bazaviy darajadan 22,5 foiz punktga yuqori. Robotlar demonstratsiyasi soni oʻzgarmagan holda, inson xatti-harakati maʼlumotlari hajmining umumiy oshishi haqiqiy robotdagi samaradorlikni yaxshilashda davom etdi, bu jamoa gumanoidlarning inson maʼlumotlariga asoslangan oʻqitilishini miqyoslash imkoniyatining dalili sifatida taqdim etadi. Bu raqamlar jamoaning maqolasidan olingan va hali mustaqil ravishda tasdiqlanmagan. Amap uchun ushbu modelni chiqarish ularning shaharlar 3D modeliga oid yaqinda amalga oshirilgan ishlarini toʻldiradi.

SenseTime hammuallifi Xiao Gang Wang asos solgan ACE Robotics kompaniyasi 19-oktabrda oʻzining ACE-Brain-0.6 jismonlashtirilgan sunʼiy intellekt modelini taqdim etdi. Ushbu model Qwen3.5-9B ni nazorat ostida nozik sozlash orqali ishlab chiqilgan va obyektlarni tanib olish, ularning tasvirlardagi joylashuvini aniqlash va robot uchun oʻzaro aloqa nuqtalarini belgilash uchun moʻljallangan.

Kompaniya bayonotiga koʻra, modelni oʻrganish taxminan bir million fazoviy bogʻlanish namunalaridan foydalanib amalga oshirildi. Oʻtkazilgan baholashlarda ACE-Brain-0.6 sakkizta bogʻlanish benchmarklaridan oltitasida GPT-6 Astra ustunligini namoyish etdi.

Model yetti ommaviy benchmark boʻyicha oʻrtacha 74.53 ball olgan, real robot ssenariylari asosidagi RobotGrounding testida esa 94.13 natija koʻrsatdi. Bu koʻrsatkichlar Astra olgan 73.68 va 91.10 natijalaridan yuqori.