Tencent Hunyuan ने लगभग 3 सेकंड की देरी के साथ भाषण का एक साथ अनुवाद करने के लिए Hy-SimulMT मॉडल जारी किया
और पढ़ें
Pandaily
pandaily.com

Tencent Hunyuan ने लगभग 3 सेकंड की देरी के साथ भाषण का एक साथ अनुवाद करने के लिए Hy-SimulMT मॉडल जारी किया

Tencent Hunyuan ने Hy-SimulMT मॉडल जारी किया और इसे सार्वजनिक रूप से उपलब्ध कराया है - एक सिमुल्टेनियस ट्रांसलेशन सिस्टम जो वक्ता के बोलते रहने के दौरान चीनी भाषण का अंग्रेजी में और इसके विपरीत अनुवाद करता है। यह मॉडल वास्तविक समय में वक्ता की आवाज को पुन: प्रस्तुत करता है, जिससे श्रोता मूल आवाज के बहुत करीब अनुवाद सुन सकते हैं।

IT Home से मिली जानकारी, साथ ही GitHub और Hugging Face पर परियोजना के पेजों के अनुसार, यह मॉडल शुरू में Hy Translate ऐप में मुफ्त में उपलब्ध है। मुख्य पैरामीटर विलंबता है; Tencent इसे स्ट्रीमिंग ट्रांसलेशन के लिए मानक मीट्रिक StreamLAAL का उपयोग करके मापता है और लंबी बेंचमार्क RealSI पर लगभग 3 सेकंड का मान बताता है, जो तुलना की गई प्रणालियों में सबसे कम है। हालांकि, परियोजना स्पष्ट करती है कि StreamLAAL पहले अनुवादित कथन को सुनने में लगने वाले समय से अलग है।

तुलना के लिए, IT Home इंगित करता है कि पेशेवर मानव अनुवादकों की विशिष्ट विलंबता 4 से 5 सेकंड होती है। गुणवत्ता के संबंध में, लंबी बातचीत में Hy-SimulMT मॉडल का GEMBA स्कोर तुलना में खुली मॉडलों और पांच में से चार परीक्षण किए गए वाणिज्यिक API से बेहतर था। छोटे डेटासेट पर, इसने FLEURS पर 90.3, CoVoST2 पर 75.5, ACL6060 पर 81.2 और RealSI-Sentence पर 84.7 परिणाम दिखाए, जिसमें अंतिम स्कोर सूचीबद्ध सभी प्रणालियों में उच्चतम था।

टीम ने 10 विभिन्न क्षेत्रों में सितंबर 2026 से रिकॉर्ड किए गए प्रत्येक लगभग छह मिनट के 18 रिकॉर्डिंग पर मॉडल की तुलना मानव अनुवादकों से भी की। अध्ययन में छह अनुवादकों ने भाग लिया: तीन के पास चीन में मान्यता प्राप्त CATTI स्तर 1 प्रमाणन था, और तीन के पास स्तर 2 था, और प्रत्येक स्तर से सर्वश्रेष्ठ परिणाम का उपयोग किया गया। Tencent इसे एक छोटे पैमाने का मूल्यांकन कहता है। ग्वांग्डोंग यूनिवर्सिटी ऑफ फॉरेन लैंग्वेजेज के इंटरप्रिटेशन एंड ट्रांसलेशन स्टडीज स्कूल के उप डीन वान ज़ीवेई ने प्रकाशन के साथ जारी बयान में उल्लेख किया कि प्रणाली पहले बोलती है और फिर मानव अनुवादक की तरह खुद को ठीक करती है, और एआई अनुवाद समझ में सहायता से लेकर कम जोखिम वाली स्थितियों में उपयोग योग्य संचार की ओर बढ़ रहा है।

जारी किया गया मॉडल 30B-A3B के साथ एक मिक्सचर-ऑफ-एक्सपर्ट्स प्रकार की प्रणाली है, जो FP8 और GGUF बिल्ड में उपलब्ध है, साथ ही एक इंटरलीव विकल्प भी है जो मूल प्रतिलेख भी प्रदान करता है। Hugging Face पेज पर Apache 2.0 लाइसेंस सूचीबद्ध है। Tencent दो उपकरणों के साथ आता है: SimulInfer, एक वेब इंटरफ़ेस, WebSocket API और वैकल्पिक टेक्स्ट-टू-स्पीच के साथ vLLM पर बनाया गया एक सेवा स्टैक, और विषयगत डेटा पर आगे प्रशिक्षण के लिए SimulTrain। llama.cpp के साथ एकीकरण अभी तक पूरा नहीं हुआ है।

यह रिलीज़ Hunyuan से पहले के खुले अनुवाद मॉडल के बाद आती है और पाठ प्रारूप से लाइव स्पीच में बदलाव का प्रतीक है - एक ऐसा वातावरण जहां विलंबता सबसे महत्वपूर्ण होती है।

समान कहानियाँ

Tencent Hunyuan ने तकनीकी रिपोर्ट Hy-Nomas प्रकाशित की और वैश्विक मॉडलों के लिए Hy-Nomas-Bench जारी किया
और पढ़ें
pandaily.com

Tencent Hunyuan ने तकनीकी रिपोर्ट Hy-Nomas प्रकाशित की और वैश्विक मॉडलों के लिए Hy-Nomas-Bench जारी किया

Tencent Hunyuan ने इंटरैक्टिव वर्ल्ड जनरेशन के लिए अपने ओपन मॉडल Hy-Nomas पर एक तकनीकी रिपोर्ट प्रस्तुत की, साथ ही इंटरैक्टिव वीडियो वर्ल्ड मॉडलों का मूल्यांकन करने के लिए Hy-Nomas-Bench नामक टेस्ट सूट भी जारी किया। यह रिपोर्ट 27 अक्टूबर को arXiv पर पोस्ट की गई थी, जो 21 अक्टूबर को कोड और वज़न जारी किए जाने के बाद हुई थी।

Hy-Nomas एक डिफ्यूजन कोर पर आधारित वीडियो वर्ल्ड मॉडल है जिसमें 8 बिलियन पैरामीटर हैं। उपयोगकर्ता इसे कई पुनरावृत्तियों के दौरान स्वतंत्र पाठ निर्देशों, निरंतर कैमरा नियंत्रण या दोनों तरीकों के संयोजन का उपयोग करके नियंत्रित कर सकते हैं। मॉडल दुनिया को खंड दर खंड उत्पन्न करता है, प्रत्येक नए खंड को वर्तमान इनपुट और संग्रहीत इतिहास के आधार पर कंडीशनिंग करके समय में दृश्य संगति सुनिश्चित करता है।

रिपोर्ट के अनुसार, मुख्य अवधारणा क्रियाओं को ध्यान में रखते हुए संरचित वीडियो कैप्शनिंग को कारण-प्रभाव ध्यान के साथ संरेखित करना है। वर्णनात्मक संदर्भ खंडों के बीच उपलब्ध रहता है, जबकि कार्रवाई से संबंधित निर्देश केवल प्रासंगिक समय विंडो पर लागू होते हैं। दृष्टि और भाषा पर आधारित प्रॉम्प्ट एनहांसर उपयोगकर्ता के प्रश्नों और इंटरैक्शन इतिहास को अगले खंड के लिए संरचित शर्तों में बदल देता है।

प्रशिक्षण प्रक्रिया एक बहु-चरणीय पाठ्यक्रम के माध्यम से होती है। यह कारण जनरेशन से शुरू होता है, फिर टेक्स्ट इंटरैक्शन और कैमरा नियंत्रण में जाता है, जिसके बाद मॉडल उन कहानियों पर प्रशिक्षित होता है जिन्हें उसने स्वयं उत्पन्न किया है, और डिफ़्यूजन डिस्टिलेशन चरण के साथ समाप्त होता है। डिस्टिल्ड मॉडल को केवल चार से आठ नॉइज़ रिडक्शन चरणों की आवश्यकता होती है। मानव मूल्यांकन के दौरान, टीम ने नोट किया कि Hy-Nomas मौजूदा वर्ल्ड मॉडलों से बेहतर प्रदर्शन करता है।

Hy-Nomas-Bench में 280 परीक्षण परिदृश्य शामिल हैं, जो चार कार्यों को कवर करते हैं: मल्टी-स्टेप फ्री टेक्स्ट इंटरेक्शन, कैमरा नेविगेशन, टेक्स्ट और कैमरा नियंत्रण का प्रत्यावर्तन, और स्थानिक स्मृति। यह सूट मॉडल की अनुक्रमिक निर्देशों का पालन करने, भौतिक रूप से विश्वसनीय उत्तर बनाने, कैमरा मूवमेंट को सटीक रूप से निष्पादित करने और दृश्य संगति बनाए रखने की क्षमता का परीक्षण करता है जब कैमरा पहले से देखे गए स्थान पर वापस आता है। इस संग्रह में प्रॉम्प्ट, संरचित कैप्शन, इंटरैक्शन सीक्वेंस और संदर्भ कैमरा ट्रेजेक्टरी शामिल हैं, और इसे Apache 2.0 लाइसेंस के तहत जारी किया गया है।

मॉडल स्वयं भी Apache 2.0 लाइसेंस के तहत वितरित किया जाता है। Tencent INT8 कॉन्फ़िगरेशन प्रदान करता है, जो स्लाइडिंग विंडो इतिहास और सीपीयू ऑफलोडिंग का उपयोग करके एक RTX 4090 पर चलता है, साथ ही Diffusers पाइपलाइन, LoRA फाइन-ट्यूनिंग कोड और एक इंटरैक्टिव वेब डेमो भी प्रदान करता है। जारी किए गए एडेप्टर में सिनेमैटिक LoRA और दो-हाथ वाले रोबोट के वास्तविक डेटा पर प्रशिक्षित रोबोटिक्स LoRA शामिल हैं।

बाहरी इकोसिस्टम डेवलपर्स ने पहले ही SGLang, ComfyUI और WanGP में समर्थन को एकीकृत कर लिया है, और एक सामुदायिक डेमो प्रोजेक्ट ने Google TPUs पर वास्तविक समय में 720p जनरेशन की सूचना दी है।

Tencent ने चीनी से अंग्रेजी में सिंक्रोनस अनुवाद के लिए ओपन-सोर्स आर्टिफिशियल इंटेलिजेंस मॉडल जारी किया
और पढ़ें
technode.com

Tencent ने चीनी से अंग्रेजी में सिंक्रोनस अनुवाद के लिए ओपन-सोर्स आर्टिफिशियल इंटेलिजेंस मॉडल जारी किया

Tencent कंपनी ने चीनी से अंग्रेजी भाषा में एक साथ अनुवाद के लिए डिज़ाइन किया गया ओपन-सोर्स मॉडल Hy-SimulMT पेश किया है। यह सिस्टम आने वाली आवाज़ को लगातार संसाधित करने और अनुवादित पाठ और भाषण दोनों का आउटपुट प्रदान करने में सक्षम है।

मॉडल में वास्तविक समय में वॉयस क्लोनिंग की सुविधा शामिल है, जिसे मूल वक्ता की मुखर विशेषताओं को बनाए रखने के लिए विकसित किया गया है। उपयोगकर्ता Tencent के Hy Translate ऐप के माध्यम से इस तकनीक का परीक्षण कर सकते हैं।

इस रिलीज़ में मॉडल वेट्स, इन्फेरेंस सॉफ्टवेयर और प्रशिक्षण उपकरण शामिल हैं। लंबी ऑडियो रिकॉर्डिंग पर RealSI बेंचमार्क पर परीक्षण करते समय, Tencent ने स्ट्रीमिंग अनुवाद में लगभग तीन सेकंड की देरी बताई। हालांकि, अनुवाद की गुणवत्ता के आंकड़े अन्य ओपन-सोर्स मॉडलों और तुलना में भाग लेने वाले पांच में से चार वाणिज्यिक एपीआई से बेहतर थे।

भाषण उत्पन्न करने और वॉयस क्लोनिंग के लिए एक कॉन्फ़िगर की गई टेक्स्ट-टू-स्पीच सेवा की आवश्यकता होती है। इस रिलीज़ में [Tencent Hunyuan] का भी उल्लेख किया गया है।

लोकप्रिय