Baidu ने एक ही पास में किसी भी लंबाई के दस्तावेज़ों को पार्स करने के लिए अनलिमिटेड OCR 2 मॉडल जारी किया
और पढ़ें
Pandaily
pandaily.com

Baidu ने एक ही पास में किसी भी लंबाई के दस्तावेज़ों को पार्स करने के लिए अनलिमिटेड OCR 2 मॉडल जारी किया

Baidu कंपनी ने दस्तावेज़ विश्लेषण के लिए अपने मॉडल का दूसरा संस्करण, अनलिमिटेड OCR 2, प्रस्तुत किया और जनता के लिए खोल दिया है। इस विकास का उद्देश्य किसी भी संख्या के पृष्ठों वाले दस्तावेज़ों को एक निरंतर पास में पढ़ने की क्षमता प्रदान करना है।

मॉडल का कोड और वज़न MIT लाइसेंस के तहत GitHub और Hugging Face प्लेटफॉर्म पर उपलब्ध हैं। इसके अतिरिक्त, यह मॉडल Baidu AI Cloud और Baidu AI Open Platform के माध्यम से भी प्रदान किया जाता है।

जून में जारी किया गया पहला अनलिमिटेड-OCR संस्करण, अलग-अलग पृष्ठों से लेकर दर्जनों क्रमिक पृष्ठों तक पार्सिंग क्षमताओं का विस्तार करने के लिए लिंक पर आधारित स्लाइडिंग विंडो अटेंशन तंत्र का उपयोग करता था। दूसरे संस्करण में इस तंत्र को स्पार्स रेफरेंस स्लाइडिंग विंडो अटेंशन, या SR-SWA से बदल दिया गया है।

Baidu नए दृष्टिकोण की तुलना इस बात से करती है कि कोई व्यक्ति किताब कैसे कॉपी करता है: यह वर्तमान पृष्ठ पर ध्यान केंद्रित करता है और केवल तभी पिछले पृष्ठों का संदर्भ लेता है जब क्रॉस-पेज जानकारी की आवश्यकता होती है। व्यवहार में, एक विशेष पेज गेट पहले प्रत्येक अनुरोध के दृश्य लिंक को पूरे दस्तावेज़ से प्रासंगिक पृष्ठों तक संकुचित करता है, साथ ही पृष्ठों के बीच की स्थिति का अनुकरण भी करता है। फिर दीर्घकालिक निर्भरताओं को कैप्चर करने के लिए सबसे अधिक मूल्यांकित दृश्य टोकन समूहों को आकर्षित किया जाता है।

परियोजना के विवरण के अनुसार, SR-SWA अल्ट्रा-लंबे अनुक्रमों से टेक्स्टुअल-विज़ुअल अटेंशन को एक निश्चित कार्यशील लिंक सेट, जैसे 512 टोकन, में संपीड़ित करता है। यह सुनिश्चित करता है कि प्रत्येक चरण पर डिकोडिंग विलंबता और मेमोरी खपत दस्तावेज़ की लंबाई की परवाह किए बिना लगभग स्थिर बनी रहे। अनलिमिटेड-होराइजन डीकोडिंग नामक तकनीक के साथ मिलकर, यह मॉडल को सीमित संदर्भ विंडो के भीतर बहुत लंबे इनपुट डेटा को संसाधित करने की अनुमति देता है।

अपने स्वयं के उदाहरण में, Baidu ने प्रदर्शित किया कि मॉडल एक सत्र में 3600 से अधिक पृष्ठों वाली हैरी पॉटर की सभी सात किताबों को संसाधित करने में सक्षम था।

प्रस्तुत आँकड़े कंपनी के आंतरिक परीक्षणों पर आधारित हैं। Baidu ने मल्टी-पेज पार्सिंग के लिए बेंचमार्क MPDocBench पर 84.6 और 100 पृष्ठों के दस्तावेज़ों के लिए बेंचमार्क MarathonDocBench पर 77.1 अंक प्राप्त करने की सूचना दी, जिसे Baidu ने मॉडल के साथ Hugging Face पर प्रकाशित किया है। कंपनी का दावा है कि दोनों परिणाम एंड-टू-एंड पार्सिंग के लिए अत्याधुनिक हैं और उन कई सामान्य फ्लैश-टियर स्तर के मॉडलों से बेहतर हैं जिनका उन्होंने परीक्षण किया है।

100 पृष्ठों के परिदृश्य में, Baidu की रिपोर्ट इंगित करती है कि SR-SWA प्रत्येक चरण को पूर्ण अटेंशन की तुलना में सात गुना तेजी से और पिछले R-SWA संरचना की तुलना में 5.6 गुना तेजी से डिकोड करता है। लेख लिखे जाने के समय स्वतंत्र मूल्यांकन अभी तक प्रकाशित नहीं हुए हैं।

पहले संस्करण ने डेवलपर्स के बीच काफी रुचि जगाई। Baidu बताती है कि मॉडल को Hugging Face पर 10 मिलियन से अधिक डाउनलोड और GitHub पर 28,500 स्टार मिले हैं। वर्तमान में, मॉडल तेज़ परीक्षणों के लिए ट्रांसफॉर्मर्स और सेवा के लिए SGLang का उपयोग करके काम कर रहा है। Baidu 12 नवंबर को होने वाले Baidu World 2026 कार्यक्रम में मॉडल के बारे में अधिक जानकारी प्रस्तुत करने की योजना बना रही है।

समान कहानियाँ

SenseTime ने एजेंट आउटपुट के लिए प्रीफिल/डिकोड विभाजन के साथ क्लस्टर पेश किए
और पढ़ें
pandaily.com

SenseTime ने एजेंट आउटपुट के लिए प्रीफिल/डिकोड विभाजन के साथ क्लस्टर पेश किए

16 अक्टूबर को शेंज़ेन में CSDI के 10वें शिखर सम्मेलन में, SenseTime के उपाध्यक्ष और तकनीकी निदेशक SenseCore, शुआन शानमिन ने बताया कि कंपनी एजेंट युग के लिए आउटपुट बुनियादी ढांचे को कैसे पुनर्गठित कर रही है। इस नए युग में, मल्टी-एजेंट वर्कफ़्लो और निरंतर निगरानी के बिना किए जाने वाले लंबे कार्यों के कारण टोकन की मांग चैटबॉट की क्षमताओं से काफी अधिक है।

प्रस्तुति का मुख्य ध्यान डेटा सेंटर में त्वरक की संख्या पर नहीं था, बल्कि इस बात पर था कि यह केंद्र लागत और सेवा स्तर की निर्धारित सीमाओं के भीतर लगातार उच्च गुणवत्ता वाले टोकन कैसे उत्पन्न कर सकता है।

SenseCore समाधान उनके लिंगानग स्थित AIDC में 10,000 GPU के पैमाने पर विषम क्लस्टरों के भीतर प्रीफिल और डिकोड (PD) प्रक्रियाओं के विभाजन पर आधारित है। प्रीफिल प्रक्रिया इनपुट टोकन को संसाधित करती है और गणनात्मक रूप से गहन होती है, जबकि डिकोड आउटपुट टोकन उत्पन्न करता है, जो लगातार संदर्भ कैश से संपर्क करता है और उच्च मेमोरी बैंडविड्थ की मांग करता है।

SenseCore आर्किटेक्चर में, घरेलू त्वरक प्रीफिल करने पर केंद्रित हैं, जबकि उच्च प्रदर्शन वाले GPU डिकोड के लिए जिम्मेदार हैं। ये चरण KV कैश चैनलों के माध्यम से स्थिति का आदान-प्रदान करते हैं, जो एक ही क्लस्टर के भीतर 800G, 400G और 200G की मिश्रित फैक्ट्रियों को कवर करते हैं।

यह विभाजन एक परिचालन जोखिम पैदा करता है: कुछ कॉन्फ़िगरेशन में, मध्यम या निम्न-स्तरीय तीन से पचास प्रीफिल नोड्स एक डिकोड नोड को सेवा दे सकते हैं, जिसका अर्थ है कि डिकोड नोड की विफलता बड़ी संख्या में प्रीफिल नोड्स को रोक सकती है। इस जोखिम को कम करने के लिए, SenseCore त्वरित स्विचिंग के लिए प्रीफिल पूल में उच्च श्रेणी के कार्ड का एक छोटा रिजर्व बनाए रखता है, और नोड्स को लोड के आधार पर प्रीफिल और डिकोड दोनों भूमिकाओं को गतिशील रूप से बदलने की अनुमति देता है।

एक परीक्षण परिदृश्य के दौरान, जिसमें मूल कॉन्फ़िगरेशन के समान संख्या में प्रमुख उच्च-प्रदर्शन GPU का उपयोग किया गया था, कंपनी ने विषम PD शेड्यूलिंग को लागू करने के बाद कुल टोकन थ्रूपुट में लगभग पांच गुना वृद्धि की सूचना दी। इसके अलावा, कंपनी क्रॉस-डोमेन PD की संभावना का अध्ययन कर रही है, जिसमें प्रीफिल कार्य को क्षेत्रीय मध्यम-स्तरीय क्षमताओं पर और डिकोड कार्य को उच्च बैंडविड्थ वाले दूरस्थ क्लस्टरों पर निर्देशित किया जाता है।

यह संदर्भ में दस लाख टोकन के लिए KV कैश आकार में कमी के मद्देनजर प्रासंगिक हो जाता है - यह कुछ मॉडलों पर लगभग 100 जीबी से घटकर लगभग 1 जीबी हो जाता है, साथ ही डिकोड प्रक्रिया के भीतर अटेंशन/FFN के विभाजन के कारण भी।

SenseCore का दावा है कि उनका प्लेटफॉर्म वर्तमान में प्रतिदिन लगभग 6 ट्रिलियन टोकन संसाधित करता है और 2026 की चौथी तिमाही तक प्रतिदिन 10 ट्रिलियन टोकन तक पहुंचने का लक्ष्य रखता है, जिसमें प्रति वर्ष कुल टोकन वॉल्यूम में लगभग 25 गुना वृद्धि का अनुमान है। यह ध्यान रखना महत्वपूर्ण है कि ये थ्रूपुट और गति वृद्धि के आंकड़े कंपनी के दावे हैं। प्रस्तुति के दौरान इस बात पर जोर दिया गया कि घरेलू चिप्स डिकोड के लिए उपयोग किए जाने वाले उच्च प्रदर्शन वाले GPU को पूरी तरह से बदलने के बजाय प्रीफिल और मिश्रित आउटपुट कार्यों में एक बड़ा हिस्सा लेने के लिए डिज़ाइन किए गए हैं।

Tencent ने AI एजेंटों के लिए वर्कफ़्लो और कोड मेमोरी के साथ Hy Memory 2.0 का ओपन-सोर्स संस्करण जारी किया
और पढ़ें
pandaily.com

Tencent ने AI एजेंटों के लिए वर्कफ़्लो और कोड मेमोरी के साथ Hy Memory 2.0 का ओपन-सोर्स संस्करण जारी किया

Tencent Hunyuan ने AI एजेंटों के लिए अपनी मेमोरी फ्रेमवर्क का दूसरा संस्करण, Hy Memory 2.0, पेश किया है और इसके तीनों स्तरों को ओपन-सोर्स बना दिया है। इन स्तरों में एक विशेष मेमोरी मॉडल, स्वयं फ्रेमवर्क और MemHub नामक एक स्थानीय मेमोरी एप्लिकेशन शामिल है। उपयोगकर्ता इन घटकों को अलग-अलग या संयोजन में लागू कर सकते हैं।

Tencent कंपनी ने बताया कि Hy Memory का उपयोग पहले से ही वित्त, समाचार एजेंसियों, ज्ञान प्रबंधन, कार्यालय एजेंटों, सोशल मनोरंजन और गेमिंग जैसे क्षेत्रों में आंतरिक टीमों द्वारा किया जा रहा है।

यह फ्रेमवर्क चैट, वर्कफ़्लो और कोड के तीन प्रकार की मेमोरी को संग्रहीत करने, अद्यतन करने और विकसित करने के लिए जिम्मेदार है। डेवलपर्स इसे अपने एजेंटों में एक SDK के माध्यम से एकीकृत करते हैं, जो PyPI पर hy-memory 2.0.2 नाम से उपलब्ध है। संस्करण 2.0 की नई सुविधाएँ - वर्कफ़्लो और कोड मेमोरी। वे कार्य के लक्ष्य, लिए गए निर्णयों, मध्यवर्ती परिणामों और उपयोगी सीखों के साथ-साथ इन सीखों पर लागू होने वाली शर्तों को रिकॉर्ड करते हैं। किसी लंबी अवधि के कार्य को फिर से शुरू करने से पहले, सिस्टम पहले वर्तमान कार्य की पहचान करता है, फिर प्रासंगिक समाधानों, मौजूदा अनुभव और पिछली कार्य इतिहास को निकालता है।

चैट मेमोरी अब बिखरे हुए तथ्यों को घटनाओं में समूहित करती है, जिसमें समय, स्थान और प्रतिभागियों का उल्लेख होता है, डुप्लिकेट को जोड़ती है और संदर्भ को मॉडल में भेजने से पहले विरोधाभासों को हल करती है।

फ्रेमवर्क के परीक्षण परिणाम

Tencent ने चार विभिन्न परीक्षणों में Mem0, MemOS और EverOS सहित ओपन-सोर्स फ्रेमवर्क में पहले स्थान पर रहने का दावा किया है। कंपनी के आंकड़ों के अनुसार, MemoryArena प्लेटफॉर्म पर यात्रा और खरीदारी की योजना बनाने वाले कार्यों में वर्कफ़्लो मेमोरी ने औसतन 55.31% का परिणाम दिखाया। CodeMemoryBench पर प्रश्नों के उत्तर देने में कोड मेमोरी ने 64.2% सटीकता और SWE-ContextBench पर 35.6% कार्य समाधान हासिल किया, साथ ही 28.3% कार्य समाधान भी किया। चैट मेमोरी ने LoCoMo पर 72.6% सटीकता प्रदर्शित की, जबकि प्रति प्रश्न टोकन की संख्या को 1159 से घटाकर 703 कर दिया, जो 39.3% की कमी है।

Hy-Memory-30B-A3B नामक लेयर मॉडल एक 'एक्सपर्ट मिक्स' प्रकार का मॉडल है जिसमें लगभग 3 बिलियन सक्रिय पैरामीटर हैं, जिसे मेमोरी निकालने और संघर्षों को संसाधित करने के लिए प्रशिक्षित किया गया है। इस मॉडल का मूल्यांकन सभी चार मेमोरी सिस्टम पर 20% बेंचमार्क के एक निश्चित नमूने पर तकनीकी रिपोर्ट में किया गया है। इस नमूने पर इसने 55.49 का मैक्रो औसत स्कोर दिखाया, जो Claude Opus 5 (54.62) और DeepSeek V4.1 Flash (53.64) के प्रदर्शन से थोड़ा अधिक है। मॉडल वेट Hugging Face पर उपलब्ध हैं।

MemHub एप्लिकेशन एक स्थानीय रूप से केंद्रित उपकरण है, जिसमें कमांड लाइन और मैक के लिए क्लाइंट शामिल है। कनेक्टेड उपकरणों को अधिकृत करने के बाद, उपयोगकर्ता पिछले सत्रों को एक एकीकृत स्थानीय मेमोरी स्टोरेज में आयात करता है और नए डेटा के सिंक्रनाइज़ेशन का समर्थन करता है। Tencent отмечает कि MemHub वर्तमान में 10 AI उपकरणों के साथ एकीकृत हो रहा है, जिनमें WorkBuddy, Cursor, Codex, Qwen Code, OpenCode और DeepSeek Harness शामिल हैं।

GitHub पर रिपॉजिटरी की लाइसेंस फ़ाइल में उल्लेख किया गया है कि Hy-Memory Apache 2.0 लाइसेंस के तहत जारी किया गया है।

लोकप्रिय