एम्बोडीड आर्टिफिशियल इंटेलिजेंस के क्षेत्र में स्टार्टअप X स्क्वायर रोबोट ने X2Real जारी किया है - एक सिमुलेशन बेंचमार्क जो वास्तविक दुनिया में मौलिक स्तर के रोबोट मॉडलों के प्रदर्शन को मापने और जैसे-जैसे मॉडल परिष्कृत होते हैं वैसे-वैसे परीक्षण डेटासेट का लगातार विस्तार करने के लिए डिज़ाइन किया गया है।
कंपनी समस्या को स्पष्ट रूप से बताती है: वास्तविक रोबोटों का मूल्यांकन महंगा और धीमा होता है, जबकि सिमुलेशन तेज होता है, लेकिन अक्सर अवास्तविक होता है और मॉडलों को आसानी से ओवरफिट करने की अनुमति देता है। X2Real तीन सिद्धांतों पर आधारित है: विश्वसनीयता, दक्षता और निष्पक्षता।
विश्वसनीयता सुनिश्चित करने के लिए, टीम ने भौतिक रोबोटिक मैनिपुलेटर से ट्रेजेक्टरी रिकॉर्ड की, सिमुलेशन में उन्हीं नियंत्रण कमांड को दोहराया, और जोड़ों की प्रतिक्रियाओं को मिलान होने तक ट्यून किया, जिससे कंपनी के अनुसार मिलीमीटर स्तर पर ट्रेजेक्टरी की संगति सुनिश्चित होती है। विज़ुअल उपस्थिति और संपर्क जैसी भौतिक विशेषताओं को भी कैलिब्रेट किया गया था। समर्थित एम्बोडिमैंट्स में एक-हाथ वाला Franka, दो-हाथ वाला ArtiXon Arm-6A, ARX R5 और मोबाइल मैनिपुलेटर Quanta X1 शामिल हैं। सामान्य मैनिपुलेशन कार्यों को निष्पादित करते समय, X स्क्वायर रोबोट सिमुलेशन और वास्तविक दुनिया में कार्यों की सफलता के बीच 0.96 और प्रगति संकेतकों के लिए 0.99 का सहसंबंध बताता है। ये डेटा कंपनी द्वारा इस उपसमूह के कार्यों पर किए गए आंतरिक परीक्षणों के परिणामस्वरूप प्राप्त किए गए हैं।
दक्षता के संबंध में, X2Real में 10 श्रेणियों में वितरित 44 कार्य शामिल हैं। चार श्रेणियां तर्क को समर्पित हैं: सामान्यीकरण, दृश्य समझ, भाषा की समझ और स्मृति। पांच श्रेणियां मैनिपुलेशन से संबंधित हैं: फाइन मैनिपुलेशन, द्विपक्षीय समन्वय, उपकरण का उपयोग, गतिशील वस्तुएं और मोबाइल मैनिपुलेशन। ब्लॉकों को ढेर करने, निर्दिष्ट रंग क्रम में बटन दबाने और হ্যানয় टॉवर को हल करने सहित एक अलग कार्य सेट सटीकता, दीर्घकालिक स्मृति और योजना का परीक्षण करने के लिए है। कंपनी बताती है कि अधिकांश मौजूदा मॉडल अभी भी इन कार्यों के साथ संघर्ष करते हैं।
निष्पक्षता का सिद्धांत बाहरी स्वरूप, कार्य ट्यूनिंग और एम्बोडिमैंट स्थितियों के स्वतंत्र रैंडमाइज़ेशन के माध्यम से प्राप्त किया जाता है। इस चरण के बाद प्रशिक्षण से गुजरने वाले मॉडल एक डेटासेट का उपयोग करते हैं जिसे लगभग 300 घंटों के लिए एक समान हरे पर्दे वाले स्टूडियो में एकत्र किया गया था, जो मूल्यांकन दृश्यों से अलग है। यह बेंचमार्क Mana सिमुलेशन इकोसिस्टम में काम करता है, जो NVIDIA Isaac Lab-Arena पर बनाया गया है, जो दृश्यों, रोबोटों और कार्य चरणों को पुन: प्रयोज्य मॉड्यूल में पैक करता है।
AI एजेंट दो चक्रों को नियंत्रित करते हैं। एक सीमित विकल्प मेनू से नए कार्य और दृश्य उत्पन्न करता है जिसमें अमान्य सेटिंग्स को बाहर करने के लिए स्वचालित जांच होती है। दूसरा प्रत्येक कार्य को उप-कार्य ग्राफ में तोड़ता है, वस्तुओं की मुद्राओं, संपर्कों और ग्रिप स्थिति के आधार पर प्रत्येक नोड का मूल्यांकन करता है, और लक्षित रूप से नए परीक्षण बनाता है जिनमें मॉडल विफल हो जाता है।
पॉलिसी स्पेस नामक एक एकीकृत प्रोटोकॉल इनपुट प्रारूपों, क्रिया प्रतिनिधित्वों और आउटपुट समय में अंतर को मानकीकृत करता है। डेवलपर्स स्थानीय रूप से आउटपुट करते हैं और एक प्लेटफॉर्म से जुड़ते हैं जो स्थानीय सिमुलेशन सेटअप की आवश्यकता के बिना ऑनलाइन मूल्यांकन और ट्रेजेक्टरी रीप्ले का प्रबंधन करता है।