ForgeKernel नाम के तहत प्रस्तुत रिकॉर्ड्स ने CANNBench के सभी हार्डवेयर ट्रैक पर पहला स्थान प्राप्त किया - यह एक ओपन-सोर्स समुदाय द्वारा क्यूरेटेड सार्वजनिक रूप से उपलब्ध रैंकिंग है जो Ascend के लिए AI-जनरेटेड ऑपरेटरों को ट्रैक करती है।
CANNBench प्रस्तुत कार्यों का मूल्यांकन उन्हें संकलित करके, संख्यात्मक सटीकता की जांच करके और फिर Ascend NPU प्रोसेसर पर प्रत्येक कोर के निष्पादन समय को मापकर करता है। गणना में निम्नलिखित भार का उपयोग किया जाता है: संकलन के लिए 0.2, फ़ंक्शन के लिए 0.3 और प्रदर्शन के लिए 0.5।
Pandaily द्वारा 27 अक्टूबर को प्राप्त आंकड़ों के अनुसार, वर्तमान आधिकारिक कार्य पैकेज संस्करण 2.0.0, जिसमें पांच स्तरों की जटिलता वाले 60 ऑपरेटर और 1200 परीक्षण मामले शामिल हैं, में रैंकिंग इस प्रकार थी।
ट्रैक 950PR पर ForgeKernel रिकॉर्ड ने 3649.86 का परिणाम दिखाया, जिसमें 60 में से 49 ऑपरेटरों ने जांच पास की, 1200 में से 980 मामलों को निष्पादित किया गया, और ज्यामितीय माध्य त्वरण संदर्भ मान की तुलना में 1.876 गुना था। दूसरे स्थान पर CANNBot PyPTOPro S2 frontier का रिकॉर्ड था, जिसने 3552.34 का परिणाम प्राप्त किया, जिसमें अधिक मामले - 1057 पूरे किए गए, लेकिन कम त्वरण - 1.181 गुना था।
ForgeKernel दो अन्य ट्रैक पर भी अग्रणी है: 910C पर 4338.67, जहां 57 ऑपरेटरों ने पास किया और 1.894 गुना त्वरण प्राप्त हुआ, और 950DT पर 3899.93।
तीनों रिकॉर्ड 27 अक्टूबर को अपडेट किए गए थे और उनमें पुराने कार्य पैकेज 1.1 पर लागू होने वाला कोई छिपा हुआ मूल्यांकन स्कोर नहीं था।
उच्च परिणामों के बावजूद, रैंकिंग रचनाकारों की पहचान प्रकट नहीं करती है। तीन अग्रणी रिकॉर्ड संगठन ForgeKernel के टैग के तहत तीन अलग-अलग उपयोगकर्ता नामों का उपयोग करके पंजीकृत हैं, और कंपनी, प्रयोगशाला या परियोजना की कोई जानकारी संलग्न नहीं है। Pandaily किसी भी सार्वजनिक स्रोत से डेवलपर की पहचान करने में असमर्थ रहा।
Leiphone, IT Home और Yicai सहित चीनी तकनीकी प्रकाशनों ने कुछ दिनों के भीतर परियोजना के बारे में समान लेख प्रकाशित किए। IT Home ने अपने संस्करण को पुनर्मुद्रित वाणिज्यिक जानकारी के रूप में चिह्नित किया। इस प्रकाशन में दावा किया गया है कि कोर पूरी तरह से AI का उपयोग करके लिखे गए थे बिना हर पंक्ति को मैन्युअल रूप से कॉन्फ़िगर किए, और वही सिस्टम Nvidia पर केंद्रित एक अलग बेंचमार्क में अग्रणी है। हालांकि, ये दावे प्रचारकों के बयान हैं, न कि सत्यापित डेटा, और Pandaily उन तुलनात्मक आंकड़ों को दोहराता नहीं है जिन्हें वे प्रस्तुत करते हैं।
जो सत्यापित किया जा सकता है वह एक अधिक संकीर्ण लेकिन दिलचस्प तथ्य है: Ascend सॉफ्टवेयर समुदाय द्वारा समर्थित ऑपरेटर बेंचमार्क पर, तीनों चिप वेरिएंट पर वर्तमान सर्वश्रेष्ठ परिणाम एक गुमनाम प्रतिभागी द्वारा प्राप्त किए गए हैं, जिसके कोर परीक्षण कवरेज को शुद्ध गति के बदले बदलते हैं। चूंकि CANNBench प्रत्येक रन के लिए प्रत्येक ऑपरेटर के लिए लॉग प्रकाशित करता है, इसलिए कोई भी जो पंजीकरण करेगा, वह इस परिणाम का अध्ययन और उस पर विजय प्राप्त कर सकता है।
