Tsinghua universiteti, Zhipu, Jiangnan shahridagi Jiaotong universiteti, Warwick universiteti va Kuaishou tadqiqotchilari HarnessPro nomli usulni taqdim etdilar – bu sunʼiy intellektning u ishlayotgan muhitni yaxshilashiga imkon beradi. Bu muhit agentning vazifalar ketma-ketligi, koʻrsatmalar, vositalar va byudjetlarni belgilovchi freymvorkdir.
arXivda 19-oktabr kuni nashr etilgan ilmiy maqolada Zhipu bosh olimi Tan Ze ishtirokida ikkinchi oʻz-oʻzini takomillashtirish maqsadi qoʻshildi: operatsion xarajatlarni kamaytirish bilan birga samaradorlikni oshirish.
Bu loyiha Zhipu tomonidan sentabrdan beri davom etilmoqda, bu paytda GLM-5.3 asosidagi Infrastruktural Agent haqida maʼlumotlar eʼlon qilingan edi. U GLM-5.3-Flash uchun inferens infratuzilmasini yaratish va sozlashga yordam berdi, bu jarayon ikki haftadan kam vaqt ichida boshidan oxirigacha quvvatni dastlabki darajaga nisbatan taxminan uch barobar oshirdi.
HarnessPro qanday ishlaydi
HarnessPro mavjud konfiguratsiyadan boshlab, vositalar chaqiruvlari, atrof-muhitdan kelib tushgan qayta aloqa va tokenlardan foydalanish haqida maʼlumotlarni toʻplaydi. Soʻngra, traektoriyali tahlil agenti bir xil vazifaning bir nechta ishga tushirishlarini oʻrganib, muvaffaqiyatsizlik sabablarini, shuningdek, qayta qidirish, bemaʼn tadqiqot va ortiqcha tekshiruvlar kabi yoʻqotishlarni aniqlaydi.
Shundan soʻng, rejalashtiruvchi agent iqtisodiyot, muvozanat yoki samaradorlikka ustunlik berib, uch turdagi oʻzgarishlarni ishlab chiqadi. Freymvorkni tahrirlash agenti har bir oʻzgarishni alohida ish stansiyasida amalga oshiradi, bu esa audit va qaytarish imkoniyati uchun Git orqali kuzatiladi.
Standart javoblar yoki rasmiy testlardan foydalanmasdan taraqqiyotni baholash uchun test yaratish agenti vazifa tavsifi va dastlabki ishga tushirishlar asosida testlarni yaratadi, soʻngra bu testlar har bir nomzod uchun saqlanadi. Ushbu yondashuv dastlabki tajribalarda ishning muvaffaqiyatini aniqlash uchun loglarni oʻqish modeliga murojaat qilish usuliga qaraganda, yuklanishni aniqlash koeffitsientini 41,7 foizdan 83,3 foizga sezilarli darajada oshirdi.
Dastlabki freymvorkdan pastroq natijalar koʻrsatadigan yoki narx va muvaffaqiyat boʻyicha boshqa versiyaga undan pastroq boʻlgan nomzodlar chetga chiqariladi. Lite, Medium va Heavy variantlari keyingi bosqich sinovdan oʻtadi.
Sinov natijalari
Jamoa Terminal-Bench 2, SWE-Bench Pro va ProgramBench platformalarida GPT-5.5 va Codex yordamida sinov oʻtkazdi. Avvalgi RHO usuliga qaraganda, Heavy variant oʻrtacha oʻtish foizini 2,0 foiz punktiga oshirdi va vazifa oʻrtacha xarajatini 26,1 foizga kamaytirdi.
Terminal-Bench 2 da oʻtish foizi 76,3 foizdan 80,8 foizga koʻtarildi, vazifa narxi esa 1,09 dollardan 0,72 dollarga tushdi. SWE-Bench Pro da Medium variant 79,0 foiz oʻtish koʻrsatdi, RHO esa 80,0 foiz koʻrsatgan boʻlsa-da, narxi vazifa uchun 1,26 dollar boʻlib, 2,68 dollarga nisbatan arzonroq boʻldi.
Samaradorlikning asosiy oshishi har bir vazifa uchun fikrlash va vosita byudjetlarini uygʻunlashtirish orqali erishib olingan boʻlib, bu agentni tadqiqotni toʻxtatishga undadi, shuningdek, takrorlanuvchi jurnal va koʻrsatmalarni siqish orqali ham amalga oshirildi. Koʻrsatilgan moliyaviy koʻrsatkichlar faqat vazifalarni bajarishni hisobga oladi, ularning oldidan kelgan qidirish va baholash jarayonlarini hisobga olmaydi.
