ताओबाओ कंपनी की MNN टीम ने MNN-Pocket-0.3B मॉडल जनता के लिए जारी किया है। यह भाषा मॉडल, जिसमें लगभग 300 मिलियन पैरामीटर हैं, विशेष रूप से मोबाइल एप्लिकेशन के भीतर सीधे काम करने के लिए विकसित किया गया है। 6 नवंबर को IT Home की रिपोर्ट के अनुसार, यह मॉडल MNN इन्फेरेंस इंजन पर आधारित है और Taobao जैसे बड़े सामान्य सेवा और खुदरा अनुप्रयोगों के लिए डिज़ाइन किया गया है, जहां डिवाइस पर सीमित कंप्यूटिंग शक्ति, मेमोरी और बैटरी चार्ज को कई कार्यों के बीच वितरित किया जाना चाहिए।
टीम ने अपने मॉडल, जिसे उन्होंने एप्लिकेशन-नेटिव लार्ज मॉडल कहा, के लिए चार मुख्य लक्ष्य निर्धारित किए। इन लक्ष्यों में कुछ विशिष्ट उपकरणों पर 200 टोकन प्रति सेकंड से अधिक की डिकोडिंग गति प्राप्त करना शामिल था। पीक मेमोरी खपत 300 एमबी से नीचे रहनी चाहिए, जिससे संदर्भ वृद्धि और एकीकरण ओवरहेड के लिए मॉडल के कुल बजट में लगभग 500 एमबी का बफर बचे। इसके अलावा, एक विशिष्ट इन्फेरेंस प्रक्रिया को मानक फोन की बैटरी चार्ज का एक दसवें हिस्से से अधिक खर्च नहीं करना चाहिए, जिसका अर्थ है कि 100 रन 1% से कम लागत पर होने चाहिए। अंत में, निर्दिष्ट व्यावसायिक कार्यों को पूरा करते समय मॉडल को 8B वर्ग के मॉडलों के तुलनीय परिणाम प्रदर्शित करने चाहिए।
परीक्षणों से पता चला कि MNN-Pocket-0.3B MNN इंजन का उपयोग करके iPhone 18 Pro पर पूरी तरह से ऑफ़लाइन काम करता है, जिसमें औसत डिकोडिंग गति लगभग 350 टोकन प्रति सेकंड है। INT4 डिप्लॉयमेंट पैकेज, जिसमें वेट्स, टोकनाइज़र, कंप्यूट ग्राफ और इन्फेरेंस कॉन्फ़िगरेशन शामिल हैं, का आकार 173 एमबी है। M5 चिप वाले iPad Pro पर मेटल बैकएंड का उपयोग करते हुए, टीम ने 466 टोकन प्रति सेकंड की डिकोडिंग गति और 8721 टोकन प्रति सेकंड की प्रीफिलिंग गति दर्ज की, जबकि पीक मेमोरी बेसलाइन की तुलना में 228 एमबी बढ़ गई। Snapdragon 8 Gen 5 सीपीयू बैकएंड का उपयोग करने वाले फोन पर 251 टोकन प्रति सेकंड दर्ज किया गया, और OnePlus 13 पर 100 रन के लिए अतिरिक्त ऊर्जा लागत बैटरी चार्ज का लगभग 0.3% थी।
मॉडल को स्क्रैच से प्रशिक्षित किया गया था, जिसमें चीनी और अंग्रेजी भाषाओं पर विशेष ध्यान दिया गया था। 50 मिलियन से 1.3 बिलियन पैरामीटर की सीमा में सघन विन्यासों के परीक्षण के बाद, टीम ने निष्कर्ष निकाला कि लगभग 300 मिलियन का आकार सबसे बड़ा है जो मेमोरी और गति दोनों की आवश्यकताओं को पूरा करता है। 28 लेयर्स के साथ ग्रुपेड-क्वेरी अटेंशन का उपयोग करने का निर्णय लिया गया, क्योंकि 36 लेयर्स में जाने से औसत प्रदर्शन में वृद्धि नहीं हुई, लेकिन डिकोडिंग धीमी हो गई। शब्दावली को Qwen3 टोकनाइज़र से लगभग 151,000 टोकन से घटाकर 64,000 कर दिया गया, जिससे एम्बेडिंग और आउटपुट लेयर की लागत कम हो गई।
टीम ने IFEval स्तर 73.20, चीनी IFEval 74.59 और 11 चीनी और अंग्रेजी बेंचमार्क पर 50.00 का औसत मान बताया, जो Qwen3-0.6B सहित समान आकार और बड़े मॉडलों से बेहतर प्रदर्शन करता है। मॉडल कार्ड में उल्लेख किया गया है कि अरब से कम पैरामीटर वाले अन्य मॉडलों की तरह, इसे जटिल गणितीय समस्याओं या लंबी क्षितिज पर कोड जनरेशन के लिए अनुशंसित नहीं किया जाता है।
Hugging Face पर प्रकाशित विकल्प में निरंतर पूर्व-प्रशिक्षण के लिए आधार मॉडल, पर्यवेक्षित फाइन-ट्यूनिंग चेकपॉइंट, निर्देश ट्यूनिंग मॉडल, GGUF बिल्ड, MNN INT4 बिल्ड और उम्मीदवारों के चयन के लिए निर्णय लेने वाले हेड वाला मॉडल शामिल है। इस रिलीज़ में DFlash2 नामक एक अनुमानित डिकोडिंग मॉडल का मसौदा भी शामिल है, जो टीम के अनुसार कुछ कार्यों में डिकोडिंग थ्रूपुट को दोगुना करने में सक्षम है।



