Tencent Hunyuan ने इंटरैक्टिव वर्ल्ड जनरेशन के लिए अपने ओपन मॉडल Hy-Nomas पर एक तकनीकी रिपोर्ट प्रस्तुत की, साथ ही इंटरैक्टिव वीडियो वर्ल्ड मॉडलों का मूल्यांकन करने के लिए Hy-Nomas-Bench नामक टेस्ट सूट भी जारी किया। यह रिपोर्ट 27 अक्टूबर को arXiv पर पोस्ट की गई थी, जो 21 अक्टूबर को कोड और वज़न जारी किए जाने के बाद हुई थी।
Hy-Nomas एक डिफ्यूजन कोर पर आधारित वीडियो वर्ल्ड मॉडल है जिसमें 8 बिलियन पैरामीटर हैं। उपयोगकर्ता इसे कई पुनरावृत्तियों के दौरान स्वतंत्र पाठ निर्देशों, निरंतर कैमरा नियंत्रण या दोनों तरीकों के संयोजन का उपयोग करके नियंत्रित कर सकते हैं। मॉडल दुनिया को खंड दर खंड उत्पन्न करता है, प्रत्येक नए खंड को वर्तमान इनपुट और संग्रहीत इतिहास के आधार पर कंडीशनिंग करके समय में दृश्य संगति सुनिश्चित करता है।
रिपोर्ट के अनुसार, मुख्य अवधारणा क्रियाओं को ध्यान में रखते हुए संरचित वीडियो कैप्शनिंग को कारण-प्रभाव ध्यान के साथ संरेखित करना है। वर्णनात्मक संदर्भ खंडों के बीच उपलब्ध रहता है, जबकि कार्रवाई से संबंधित निर्देश केवल प्रासंगिक समय विंडो पर लागू होते हैं। दृष्टि और भाषा पर आधारित प्रॉम्प्ट एनहांसर उपयोगकर्ता के प्रश्नों और इंटरैक्शन इतिहास को अगले खंड के लिए संरचित शर्तों में बदल देता है।
प्रशिक्षण प्रक्रिया एक बहु-चरणीय पाठ्यक्रम के माध्यम से होती है। यह कारण जनरेशन से शुरू होता है, फिर टेक्स्ट इंटरैक्शन और कैमरा नियंत्रण में जाता है, जिसके बाद मॉडल उन कहानियों पर प्रशिक्षित होता है जिन्हें उसने स्वयं उत्पन्न किया है, और डिफ़्यूजन डिस्टिलेशन चरण के साथ समाप्त होता है। डिस्टिल्ड मॉडल को केवल चार से आठ नॉइज़ रिडक्शन चरणों की आवश्यकता होती है। मानव मूल्यांकन के दौरान, टीम ने नोट किया कि Hy-Nomas मौजूदा वर्ल्ड मॉडलों से बेहतर प्रदर्शन करता है।
Hy-Nomas-Bench में 280 परीक्षण परिदृश्य शामिल हैं, जो चार कार्यों को कवर करते हैं: मल्टी-स्टेप फ्री टेक्स्ट इंटरेक्शन, कैमरा नेविगेशन, टेक्स्ट और कैमरा नियंत्रण का प्रत्यावर्तन, और स्थानिक स्मृति। यह सूट मॉडल की अनुक्रमिक निर्देशों का पालन करने, भौतिक रूप से विश्वसनीय उत्तर बनाने, कैमरा मूवमेंट को सटीक रूप से निष्पादित करने और दृश्य संगति बनाए रखने की क्षमता का परीक्षण करता है जब कैमरा पहले से देखे गए स्थान पर वापस आता है। इस संग्रह में प्रॉम्प्ट, संरचित कैप्शन, इंटरैक्शन सीक्वेंस और संदर्भ कैमरा ट्रेजेक्टरी शामिल हैं, और इसे Apache 2.0 लाइसेंस के तहत जारी किया गया है।
मॉडल स्वयं भी Apache 2.0 लाइसेंस के तहत वितरित किया जाता है। Tencent INT8 कॉन्फ़िगरेशन प्रदान करता है, जो स्लाइडिंग विंडो इतिहास और सीपीयू ऑफलोडिंग का उपयोग करके एक RTX 4090 पर चलता है, साथ ही Diffusers पाइपलाइन, LoRA फाइन-ट्यूनिंग कोड और एक इंटरैक्टिव वेब डेमो भी प्रदान करता है। जारी किए गए एडेप्टर में सिनेमैटिक LoRA और दो-हाथ वाले रोबोट के वास्तविक डेटा पर प्रशिक्षित रोबोटिक्स LoRA शामिल हैं।
बाहरी इकोसिस्टम डेवलपर्स ने पहले ही SGLang, ComfyUI और WanGP में समर्थन को एकीकृत कर लिया है, और एक सामुदायिक डेमो प्रोजेक्ट ने Google TPUs पर वास्तविक समय में 720p जनरेशन की सूचना दी है।
