सिन्हुआ विश्वविद्यालय, Zhipu, जियाओटून शंघाई विश्वविद्यालय, वरिक विश्वविद्यालय और कुआइसहो के शोधकर्ताओं ने HarnessPro प्रस्तुत किया है - एक विधि जो कृत्रिम बुद्धिमत्ता को उस वातावरण को बेहतर बनाने की अनुमति देती है जिसमें यह काम करता है। यह वातावरण एक ढांचा है जो एजेंट के प्रॉम्प्ट, उपकरणों, बजट और कार्य निष्पादन अनुक्रम को परिभाषित करता है।
arXiv पर 19 अक्टूबर को प्रकाशित वैज्ञानिक पेपर में, Zhipu के मुख्य वैज्ञानिक Tan Ze की भागीदारी के साथ, आत्म-सुधार का दूसरा लक्ष्य जोड़ा गया: परिचालन लागत को कम करते हुए प्रदर्शन बढ़ाना।
यह परियोजना सितंबर से Zhipu के काम को जारी रखती है, जब GLM-5.3 पर आधारित इंफ्रास्ट्रक्चरल एजेंट के बारे में जानकारी प्रस्तुत की गई थी, जिसने GLM-5.3-Flash के लिए इन्फेरेंस बुनियादी ढांचे के निर्माण और कॉन्फ़िगरेशन में मदद की, जिससे दो सप्ताह से भी कम समय में शुरू से अंत तक थ्रूपुट मूल स्तर की तुलना में लगभग तीन गुना बढ़ गया।
HarnessPro कैसे काम करता है
HarnessPro मौजूदा कॉन्फ़िगरेशन के साथ काम करना शुरू करता है, टूल कॉल, पर्यावरण से प्रतिक्रिया और टोकन उपयोग के बारे में डेटा एकत्र करता है। फिर एजेंट ट्रजेक्टरी विश्लेषण एक ही कार्य के कई रन का अध्ययन करता है ताकि विफलताओं के कारणों, साथ ही पुन: खोज, व्यर्थ अन्वेषण और अत्यधिक जांच जैसी हानियों की पहचान की जा सके।
इसके बाद योजना बनाने वाला एजेंट बचत, संतुलन या प्रदर्शन में से किसी एक को प्राथमिकता देते हुए तीन प्रकार के परिवर्तनों को विकसित करता है। फ्रेमवर्क संपादन एजेंट प्रत्येक परिवर्तन को एक अलग कार्यक्षेत्र में लागू करता है, जिसे ऑडिट और रोलबैक की संभावना के लिए Git का उपयोग करके ट्रैक किया जाता है।
बिना संदर्भ उत्तरों या आधिकारिक परीक्षणों का उपयोग किए प्रगति का मूल्यांकन करने के लिए, टेस्ट जनरेशन एजेंट कार्य विवरण और प्रारंभिक रनों के आधार पर परीक्षण बनाता है, जिसके बाद इन परीक्षणों को प्रत्येक उम्मीदवार के लिए लॉक किया जाता है। इस दृष्टिकोण ने शुरुआती प्रयोगों में विफलता का पता लगाने के दर को 41.7 प्रतिशत से बढ़ाकर 83.3 प्रतिशत कर दिया, जो कार्य सफलता निर्धारित करने के लिए लॉग पढ़ने वाले मॉडल से अनुरोध विधि की तुलना में है।
उम्मीदवार जिन्हें मूल ढांचे की तुलना में खराब परिणाम मिलते हैं, या जो लागत और सफलता दोनों में दूसरे संस्करण से पीछे हैं, उन्हें बाहर कर दिया जाता है। लाइट, मीडियम और हेवी विकल्प अगले चरण के परीक्षण से गुजरते हैं।
परीक्षण परिणाम
टीम ने GPT-5.5 के साथ Codex का उपयोग करके Terminal-Bench 2, SWE-Bench Pro और ProgramBench पर परीक्षण किया। पिछले RHO विधि की तुलना में, हेवी संस्करण ने औसत पास प्रतिशत में 2.0 प्रतिशत अंक की वृद्धि की और कार्य की औसत लागत में 26.1% की कमी की।
Terminal-Bench 2 पर, पास प्रतिशत 76.3 प्रतिशत से बढ़कर 80.8 प्रतिशत हो गया, और कार्य की लागत $1.09 से घटकर $0.72 हो गई। SWE-Bench Pro पर, मीडियम संस्करण ने RHO के 80.0 प्रतिशत की तुलना में 79.0 प्रतिशत पास किया, जबकि लागत प्रति कार्य $2.68 के बजाय $1.26 थी।
दक्षता में मुख्य वृद्धि तर्क और टूल बजट के प्रयासों को प्रत्येक कार्य के साथ संरेखित करने के कारण प्राप्त हुई, जिसने एजेंट को अन्वेषण बंद करने के लिए प्रेरित किया, साथ ही दोहराए जाने वाले लॉग और निर्देशों को संपीड़ित करने के कारण भी। प्रस्तुत वित्तीय आंकड़े केवल कार्यों के निष्पादन को ध्यान में रखते हैं, जिनमें उनसे पहले की खोज और मूल्यांकन प्रक्रियाएं शामिल नहीं हैं।



