रॉक मैट्रिक्स ने हांगकांग इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी और कार्नेगी मेलन विश्वविद्यालय के सहयोग से एजरॉक-4बी मॉडल को ओपन सोर्स कर दिया है। यह छोटा भाषा मॉडल इस विशेषता के लिए जाना जाता है कि इसकी मेमोरी खपत संदर्भ की लंबाई की परवाह किए बिना स्थिर रहती है।
एजरॉक-4बी के लिए आधार मॉडल अलीबाबा का Qwen3.5-4B है, जैसा कि GitHub पर प्रोजेक्ट पेज और arXiv पर संबंधित लेख में QbitAI द्वारा दी गई जानकारी के अनुसार बताया गया है।
एजरॉक मॉडल को शुरू से प्रशिक्षित नहीं किया गया था; टीम ने Qwen3.5-4B का चरणबद्ध रूपांतरण किया। 24 Gated DeltaNet लेयर्स को संरक्षित किया गया, जिनमें पहले से ही निश्चित आकार की स्थिति होती है। इसके अलावा, 8 फुल अटेंशन लेयर्स, जो आमतौर पर प्रत्येक पिछले टोकन के लिए कुंजी और मान संग्रहीत करती हैं, को एक मूविंग विंडो अटेंशन मैकेनिज्म में बदल दिया गया, जो अंतिम 1024 टोकन को कवर करता है।
इस विंडो से बाहर निकलने वाली जानकारी को भूलने से रोकने के लिए, डेवलपर्स ने 'रॉक मेमोरी एंकर' (Rock Memory Anchors) लागू किए। प्रत्येक KV हेड समूह के लिए, मॉडल 256 उम्मीदवार टोकन में से 1024 सबसे उपयोगी टोकन को एक छोटे एंकर बैंक में सहेजता है।
परिणामस्वरूप, 256K संदर्भ पर KV कैश को 72 MB के स्तर पर स्थिर करने में सफलता मिली, जो Qwen3.5-4B द्वारा आवश्यक 8 GB की तुलना में एक विशाल कमी है, यानी 99.1% की गिरावट। अनुक्रम के लिए पूर्ण स्थिति 97.76 MB है।
80 GB क्षमता वाले एक हॉपर ग्राफिक्स प्रोसेसिंग यूनिट पर काम करते समय, एजरॉक ने 12,124 टोकन प्रति सेकंड की गति से 512 समवर्ती थ्रेड्स को सेवा प्रदान की, जो बैच सीमा 64 पर Qwen3.5-4B (1,889 टोकन प्रति सेकंड) के प्रदर्शन से 6.42 गुना अधिक है। अधिकतम मेमोरी खपत 61.26 GB थी। इनपुट में 128K और आउटपुट में 128K टोकन संसाधित करते समय, एजरॉक ने लगातार 233.7 टोकन प्रति सेकंड की गति बनाए रखी, जबकि Qwen लगभग 169 से घटकर 151.3 टोकन प्रति सेकंड हो गया। 4K इनपुट के लिए GPU रनटाइम Qwen के समय का 24.9% और 32K इनपुट के लिए 15.6% तक कम हो गया।
टीम के अनुसार, सटीकता में समझौता न्यूनतम है। एजरॉक Qwen3.5-4B के AIME स्कोर का 96.3% और MATH-500 पर 97.5% बनाए रखता है, 8 बेंचमार्क पर इसे पार करता है और 95.3% विजन मेट्रिक्स बनाए रखता है। 2024 से 2026 की अवधि के दौरान AIME पर इसका औसत pass@1 स्कोर 82.9% है, जो सीमित स्थिति वाले सबसे मजबूत परीक्षण किए गए मॉडल, RWKV-7 G1j 13.3B के 18.8% की तुलना में है। इसके अलावा, यह 29 टेक्स्ट बेंचमार्क में से 24 में सीमित स्थिति वाले मॉडलों में पहला स्थान रखता है। एब्लेशन अध्ययन के दौरान, सूचना पुनर्प्राप्ति कार्य ने मेमोरी एंकरों का उपयोग करके 94.1% और उनके बिना केवल 0.4% दिखाया।
मॉडल वेट टेक्स्ट और इमेज इनपुट दोनों लेते हैं और क्वांटाइज्ड बिल्ड्स में उपलब्ध हैं। इन्हें एजरॉक मॉडल लाइसेंस के तहत जारी किया गया है, जो टीम के अनुसार वाणिज्यिक उपयोग की अनुमति देता है। बड़े संस्करणों को जारी करने की योजना है।



