ACE Robotics Nanyang Technological Universitydagi S-Lab bilan birgalikda Mundo — real joyning oz miqdordagi tasvirlariga asoslanib interaktiv va tadqiq qilinadigan muhit yaratishga qodir boʻlgan dunyo modelini ishlab chiqdi. Bu haqda Xitoy yangilik platformasi Robot Pro 31-oktabrda xabar berdi.
Jamoa Mundo sahna nusxasini tiklash, uni turli burchaklardan koʻrsatish va vaqt mobaynida modellashtirish imkoniyatiga ega ekanligini taʼkidlaydi, bu esa robotlarni maʼlum bir fazoning raqamli nusxasida sinovdan oʻtkazish va ularni oʻqitishga imkon beradi.
GitHubdagi omborga koʻra, kod va model vaznlari noyabr oxirigacha mavjud boʻladi.
Mundo qanday ishlaydi
Mundo bitta dan oʻn ikki gacha kontekstual tasvir qabul qiladi va kamera yoʻnalishi boʻylab yangi koʻrinishlarni hosil qiladi. Faqat bitta tasvirdan foydalanilganda, tizim koʻrinadigan uslub va tuzilmani koʻrinmaydigan qismlarga kengaytiradi, tasvirlarning soni oshishi esa suratga olingan boʻlmagan hududlardagi noaniqlikni kamaytiradi.
Katta maydonlar uchun model oʻnlab soniyadan bir necha daqiqagacha davom etadigan kamera harakatlarini yaratishga qodir, har bir segment uchun eng mos keladigan rasmlarni tanlab, ular orasidagi uygʻunlikni taʼminlash uchun ularni yopishtiradi.
Modelning texnik jihatlari
Ishlash asosida uch oʻlchovli fundamental model yotadi, u kamera holatlarini va zich geometriyani tiklaydi. Shu bilan birga, uch oʻlchovli detektor har bir katta obyekt uchun dastlabki cheklash toʻrtburchagini yaratadi. Detektorlar obyektlarni oʻtkazib yuborishi yoki ularning oʻlchamlarini notoʻgʻri baholashi mumkinligi sababli, koʻrish va tilga asoslangan agent sahna dasturini tahrirlaydi, uni har bir kirish nuqtasidan renderlaydi, natijani boshlangʻich rasmlar bilan solishtiradi va nima tuzatish kerakligini aniqlaydi. Shu bilan birga, sonli optimallashtirish quti holatini, oʻlchamini va yoʻnalishini sozlaydi.
Alohida tekshiruv agenti uygʻunlikni nazorat qiladi, sahna tahrirlashiga aralashmaydi. Sahna dasturi har bir obyektning nomini, holatini, oʻlchamini, massasini va ishqalanish koeffitsientini qayd etadi. Skriptlar kuch va harakatlarni qoʻllaydi, va hozirda MuJoCo boʻlgan fizik dvigatel harakat, kontakt va toʻqnashuvlarni hisoblaydi. Keyin video diffuziya modeli simulyatsiyani asl suratlarning uslubida vizuallashtiradi.
Jamoa MiniMax reference-to-video modelini 640x480 oʻlchamli taxminan 40 000 juft videoroliklardan foydalangan holda takomillashtirdi, 124 kadrli kliplarni yaratdi va uzun videolarning uzluksizligini saqlash uchun har bir klipdagi soʻnggi 34 kadrni qayta ishlatdi.
Qoʻllash misollari va cheklovlar
Demonstratsiyalar mehmonxonaning nusxalangan polida harakatlanadigan, kir yuvishxonadagi kir yuvish mashinasini ochadigan, olma ni idishga qoʻyadigan va kubiklarni joylashtiradigan robotlar ssenariylarini oʻz ichiga oladi, bunda bosh va bilak kameralaridan olingan koʻrinishlar hamda yozilgan traektoriyalar ishlatiladi.
Jamoa tizim imkoniyatlarining chegaralarini aniq belgilab berdi: rekonstruksiya jarayoni 10 dan 20 daqiqagacha vaqt oladi, renderlash sakkizta A800 GPU da 20 ta inferens bosqichi bilan taxminan 1,5 kadr/sekund tezlikda amalga oshiriladi. Shuningdek, kichik obʼektlar uchib yurayotgandek koʻrinishi mumkinligi va uzoq vaqt davomida oʻzgaruvchi sahnalar uchun uzoq muddatli xotira mavjud emasligi qayd etildi.
