हुआवेई कंपनी ने मॉडल ओपनपंगु-2.0 के लिए प्रीट्रेनिंग, सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), और रीइन्फोर्समेंट लर्निंग (RL) प्रक्रियाओं के स्रोत कोड जारी किए हैं। टीएमटी पोस्ट से मिली जानकारी और एस्केंड के लिए अनुकूलित प्रशिक्षण स्टैक से संबंधित कवरेज के अनुसार, यह रिलीज़ 28 सितंबर 2026 को हुई।
आधिकारिक ब्रांडिंग हुआवेई/ओपनपंगु के रूप में उपयोग की जाती है। पहले ही ओपनपंगु-2.0-प्रो और ओपनपंगु-2.0-फ्लैश मॉडल वेट्स हगिंग फेस प्लेटफॉर्म पर जारी किए जा चुके हैं; हालांकि, वर्तमान रिलीज़ विशेष रूप से प्रशिक्षण कोड पथ से संबंधित है जो इन एस्केंड पर प्रशिक्षित MoE मॉडलों का आधार है, न कि नए पैरामीटर जारी करने से।
हगिंग फेस पर मॉडल कार्ड ओपनपंगु को हुआवेई द्वारा खुले आर्टिफिशियल इंटेलिजेंस मॉडल के ब्रांड के रूप में वर्णित करते हैं, जिसे एस्केंड पर प्रशिक्षण और इन्फेरेंस के लिए डिज़ाइन किया गया है। ओपनपंगु-2.0-प्रो मॉडल में लगभग 505 बिलियन कुल पैरामीटर हैं जिसमें प्रति टोकन लगभग 18 बिलियन सक्रिय पैरामीटर, 512K संदर्भ विंडो और लगभग 34 ट्रिलियन टोकन का प्रशिक्षण बजट है। ओपनपंगु-2.0-फ्लैश मॉडल में लगभग 92 बिलियन कुल पैरामीटर हैं, जिसमें लगभग 6 बिलियन सक्रिय पैरामीटर, समान 512K संदर्भ आकार और तुलनीय ~34 ट्रिलियन टोकन का बजट है।
दोनों मॉडलों के प्रशिक्षण के बाद अतिरिक्त विवरण में संयुक्त तेज़/धीमा SFT, मल्टी-स्पेशियलाइज़्ड RL, और ऑनलाइन डिस्टिलेशन (OPD) का उल्लेख है। प्रो और फ्लैश दोनों के लिए सामान्य वास्तुशिल्प विशेषताएं बहु-हेड लेटेंट अटेंशन, लेयर्ड मिक्स DSA-प्लस-SWA (लगभग 1:2), चार-शाखाओं वाला mHC रिसाव टोपोलॉजी, त्रि-हेड मल्टी-टोकन प्रेडिक्शन और म्यूऑन ऑप्टिमाइज़र का उपयोग करके प्रशिक्षण शामिल हैं।
28 सितंबर की रिलीज़ प्रीट्रेनिंग, SFT और RL घटकों को एस्केंड-विशिष्ट उपकरणों के रूप में प्रस्तुत करती है, जिससे डेवलपर्स केवल इन्फेरेंस के लिए वेट्स डाउनलोड करने के बजाय इस स्टैक को पुन: उत्पन्न और विस्तारित कर सकते हैं। खुले वेट्स, इन्फेरेंस कोड और इस प्रशिक्षण कोड सेट के बीच अंतर करना महत्वपूर्ण है: वेट्स पहले से ही सार्वजनिक रूप से उपलब्ध थे; खबर यह है कि हुआवेई एस्केंड साइड पर ओपनपंगु-2.0 के प्रशिक्षण पथ को pretrain/SFT/RL घटकों के लिए खोल रहा है।
एस्केंड पर काम करने वाली टीमों के लिए विशिष्ट परिणाम एक OSS प्रशिक्षण स्टैक है जो पुष्टि किए गए प्रो परिवार (505B / ~18B सक्रिय, 512K) और फ्लैश (92B / ~6B सक्रिय, 512K) मॉडल के अनुरूप है।