UBTECH kompaniyasi Thinker jamoasi tomonidan ishlab chiqilgan Thinker-WM dunyo modeli haqida batafsil maʼlumot berdi. Ushbu model RGB-videoni, metrik chuqurlikni va robot harakatlarini yagona umumiy ifoda ichiga kodlashga qodir. Ushbu ish boʻyicha texnik hujjatlar arXiv da mavjud.
Kompaniya bayonotlariga koʻra, Thinker-WM tasvirlangan dunyo modellarining uchta benchmarkida birinchi oʻrinni egalladi. Bu reytinglar eʼlon qilingan paytdagi natijalarga asoslangan.
Model sinovlari natijalari
UBTECH maʼlumotlariga koʻra, Thinker-WM modeli WorldOlympiadda 0.740 umumiy natija koʻrsatdi. Ushbu benchmark robotlar bilan real oʻzaro taʼsirlar maʼlumotlariga asoslangan va oʻnlab robotlar hamda bir nechta kamera konfiguratsiyalarini qamrab oladi. Bundan tashqari, model 3D moslik (0.531) va oʻzaro taʼsir aniqligi (0.765) boʻyicha eng yuqori individual koʻrsatkichlarga erishdi.
EWMBench platformasida model 4.66 umumiy natijani namoyish etdi, bu Qwen-RobotWorld va Sora 2 kabi modellar ustunlikka erishdi, bunda yetakchi natijalar dinamika va yoʻnalishlarni moslashtirish metrikalari boʻyicha erishildi. Simulyatsion WorldArena 1.0 Track-1 benchmarkida kompaniya 12 xil baholash mezonlari boʻyicha yetakchilik qilganini taʼkidlaydi.
Arxitektura va ishlash prinsipi
Thinker-WMni ishlab chiqishning asosiy dalili shundaki, koʻpgina mavjud dunyo modellari alohida qismlardan iborat: video generatsiyasi piksel uchun, siyosat tarmogʻi harakatlar uchun va alohida modul geometriyani bashorat qiladi. UBTECH bunday yondashuvning jismonan bogʻliq signallarni ajratib turishini hisoblaydi. Buning oʻrniga, Thinker-WM har bir modalni oʻzining umumiy latent fazasidagi kodlovchisidan oʻtkazadi va ularni Unified Dynamics Transformer doirasida birgalikda modellashtiradi, keyin esa video, chuqurlik xaritalari va bajariladigan harakatlarni dekodlaydi. Chuqurlik yordamchi emas, balki ajralmas chiqish signali sifatida qaraladi.
RoboTwinʼdagi bitta vazifa eksperimentlarida chuqurlik qoʻshilishi, chuqurlik mavjud boʻlmagan bazaviy modelga nisbatan manipulyatsiya muvaffaqiyatini 15 foizga oshirgani koʻrsatildi.
Barcha modalitetlar bitta ogʻirliklar toʻplamini ishlatgani sababli, model kirish maʼlumotlari va hosil boʻladigan chiqishlarni oʻzgartirish orqali videoning va harakatlarning birgalikda generatsiyasi, kelajakni bashorat qilish, siyosatni chiqarish, videoni harakatlarga aylantirish va teskari dinamikani oʻz ichiga olgan oltita turli rejimda ishlashi mumkin.
Oʻquv maʼlumotlari
Umumiy oʻquv maʼlumotlari hajmi taxminan 30 000 soatni tashkil etadi. Ulardan taxminan 20 000 soati uy sharoitida, chakana savdo doʻkonlarida va fabrikalarda suratga olingan birinchi shaxsli video; taxminan 10 000 soati turli xil turlardagi haqiqiy robotlar maʼlumotlari; va taxminan 1 000 soati simulyatsion maʼlumotlardir. Barcha robot harakatlari korpusga xos teg bilan yakuniy effektor posturalari shaklida taqdim etiladi, bu turli mashinalarning bir xil generatsiya fazasidan foydalanishiga imkon beradi. Data Factory deb nomlangan maʼlumotlar konveyeri tanlash, koʻp darajali sifat tekshiruvi va chuqurlik hamda video sinxronizatsiyasini amalga oshiradi.
Umumiy faza modalitetlarni haqiqatdan ham bogʻlayotganligini tekshirish uchun jamoa muzlagan vizual xususiyatlar asosida kichik sinov harakat mexanizmini oʻrgatdi, bu UBTECH uni modalitetlararo bogʻlanishning dalili sifatida taqdim etadi.
