SenseTime kompaniyasi oʻzining jismoniy AI baholash vositalari SenseNova-RoboRSI va 27 milliard parametrli modelni ommaga taqdim etdi. Ushbu nashr SenseTime tomonidan yigirma ikkita simulyatsiya qilingan benchmark va sakkizta haqiqiy robotda katta GPT-6-Astra modelini sinovdan oʻtkazgan tadqiqotdan soʻng amalga oshirildi. Taqdim etilgan barcha natijalar SenseTime ning oʻz testlariga asoslangan.
SenseTime SenseNova-RoboRSI ni jismoniy AI tizimlarini baholash uchun freymvork sifatida, shuningdek, SenseNova-RoboRSI-27B-Preview nomli jismoniy AI modeli sifatida taqdim etdi. Tadqiqot doirasida katta GPT-6-Astra modeli 12 ta simulyatsiya qilingan robototexnika benchmarklari va 8 ta fizik robotda tekshirildi.
GPT-6-Astra sinov natijalari
SenseTime maʼlumotlariga koʻra, GPT-6-Astra demonstratsiya oʻquviga kirish va qadam cheklovlari oʻn barobar rasmiy qiymatgacha oshirilganda, model LIBERO va SIMPLE benchmarklarida toʻyinganlikka erishdi va RoboDojo da 81,9% muvaffaqiyat darajasini koʻrsatdi. Bir holatda, avval beshta urinishdan hech qachon muvaffaqiyatga erishmagan RoboDojo ning toʻqqiztasi vazifalari, modelga oʻzaro aloqani davom ettirishga ruxsat berilgandan soʻng, barcha beshta urinishda muvaffaqiyatli bajarildi.
Biroq, bu yuqori narxga ega edi. Kengaytirilgan byudjetli testlarda, idishlarni joylashtirish taxminan 131 daqiqa va chiqarish uchun taxminan 19 dollar xarajat bilan baholandi, shu bois tutqichni uskunaga joylashtirish 263 daqiqa va taxminan 55 dollar turdi. SenseTime shuningdek, GPT-6-Astra ning uzoq muddatli vazifalarni bajarishda eng katta qiyinchiliklarga ega ekanligini, vazifalar oʻrtasida koʻnikmalarni oʻtkazishda muammolar borligini, shuningdek, haqiqiy robotlarda deformatsiyalangan obʼektlar va nozik boshqaruv bilan bogʻliq qiyinchiliklarga ega ekanligini aniqladi.
Keyin kompaniya sekin fikrlash modelini tez harakat modeli bilan birlashtirdi. Bunday kombinatsiyalarning eng yaxshisi, har bir natijani tekshiradigan yopiq siklga ega 42 ta RoboDojo vazifasida 54% muvaffaqiyatga erishdi, garchi SenseTime muammo hali ham dolzarb ekanligini taʼkidlasa.
Ochiq kodli vositalar har bir benchmark va uning bogʻliqliklarini alohida Docker tasviriga paketlaydi va muhit bilan ishlash va tabiiy baholash uchun birlashtirilgan HTTP API ni taqdim etadi. SenseTime tadqiqotchilarning har bir simulyatorni qoʻlda sozlash zarurati boʻlmagan holda, konfiguratsiya faylini ishlatib, toʻliq baholashni amalga oshirishi mumkinligini taʼkidlaydi.
27B modelining xususiyatlari
27 milliard parametrli model tasdiqlangan tajribani bevosita model ogʻirliklariga kiritish uchun moʻljallangan, bu sinov va xato harakatlari zaruriyatini kamaytiradi. SenseTime bu model RoboDojo da 26,13 ball olganini, vazifa muvaffaqiyati darajasi 20,83% ekanligini, LIBERO-Pro da 90 koʻrsatkichidan oshib ketganini va RoboCasa365 dagi muvaffaqiyat foizini 26,0% dan 46,5% gacha oshirganini, shu bilan birga tokenlardan foydalanishni 73% ga qisqartirganini maʼlum qiladi. Kompaniya u GPT-6-Astra ga nisbatan jismoniy AI vazifalarini oʻn besh marta arzonroq bajarishini taʼkidlaydi.
Bundan tashqari, SenseTime kelajakdagi jismoniy AI benchmarklari insonning haqiqiy ehtiyojlariga asoslanishi, robotlardan oʻzaro aloqa orqali oʻqitilishni talab qilishi va fikrlash vaqtini global vaqt sifatida hisobga olishi kerakligini taʼkidlaydi, chunki model yechimni oʻylayotgan vaqtda choynak qizib boradi. Taqdim etilgan natijalarning hech biri mustaqil ravishda tasdiqlanmadi.
