ओपनजियुवेन, जो कि AI एजेंटों के लिए एक ओपन-सोर्स प्लेटफॉर्म है, जिसे हुआवेई 2012 लैबोरेटरीज, हुआवेई क्लाउड और कंपनी की डिवाइस और कंप्यूटिंग टीमों के साथ-साथ विश्वविद्यालयों और अन्य डेवलपर्स द्वारा संयुक्त रूप से विकसित किया गया है, ने वर्कस्वार्म में मल्टीमॉडल इंटरैक्शन की क्षमता को पूर्ण डुप्लेक्स कनेक्टिविटी के साथ एकीकृत किया है, जो कार्यालय और कोडिंग कार्यों के लिए इसका ओपन डेस्कटॉप है।
1 अक्टूबर को घोषित यह अपडेट उपयोगकर्ताओं को ऐसे एजेंट के साथ संवाद करने की अनुमति देता है जैसे वे सामान्य टेलीफोन कॉल पर करते हैं, जबकि दूसरा एजेंट पृष्ठभूमि में अधिक लंबी अवधि के कार्य जारी रखता है।
फुल-डुप्लेक्स इंटरैक्शन का सिद्धांत
फुल-डुप्लेक्स कनेक्टिविटी का मतलब है कि सहायक एक ही समय में सुन और बोल सकता है। पारंपरिक वॉयस असिस्टेंट्स के विपरीत, जो रेडियो सिद्धांत पर काम करते हैं जहां उपयोगकर्ता को AI के उत्तर पूरा होने तक इंतजार करना पड़ता है, अब उपयोगकर्ता मध्य में उत्तर को रोक सकता है, उदाहरण के लिए, पृष्ठभूमि को छोड़ने और निष्कर्षों पर जाने के लिए कह सकता है।
जब वर्कस्वार्म एक नई वास्तविक वॉयस कमांड का पता लगाता है, तो यह वर्तमान उत्तर को रोकता है और नए निर्देश को संसाधित करता है; इस बीच, पहले से उत्पन्न पाठ को कार्य रिकॉर्ड में सहेजा जाता है। पृष्ठभूमि शोर से झूठे व्यवधानों को कम करने के लिए वॉयस एक्टिविटी डिटेक्शन और नॉइज़ कैंसलेशन सुविधाओं का उपयोग किया जाता है।
टास्क विभाजन आर्किटेक्चर
संरचना काम को दो थ्रेड्स में विभाजित करती है। रियल-टाइम मॉडल वीडियो स्ट्रीम की निगरानी करता है, तेजी से प्रतिक्रिया करता है और जवाब देता है, जबकि मुख्य एजेंट कार्यों के विखंडन, टूल कॉलिंग और प्रक्रिया को आगे बढ़ाने का ध्यान रखता है। उपयोगकर्ता कैमरे को उत्पाद पर इंगित कर सकता है, उसके ब्रांड के बारे में पूछ सकता है, और फिर वर्कस्वार्म को शोध करने और दस्तावेज़ तैयार करने का निर्देश दे सकता है। खोज पृष्ठभूमि में चलती रहती है जबकि बातचीत जारी रहती है, और इंटरफ़ेस कार्य की स्थिति, टूल कॉल रिकॉर्ड, प्राप्त परिणामों और बनाई गई फ़ाइलों को प्रदर्शित करता है।
पृष्ठभूमि कार्य पूरा होने के बाद, वर्कस्वार्म पहले लिखित सारांश प्रकाशित करता है और केवल मुख्य बिंदुओं को मौखिक रूप से बताने से पहले वर्तमान मौखिक संवाद के समाप्त होने की प्रतीक्षा करता है। बाद के अनुरोधों को कतारबद्ध किया जाता है, और उपयोगकर्ता कार्यों के क्रम को बदल सकते हैं, किसी एक को पहले स्थान पर ले जा सकते हैं या प्रतीक्षा कर रहे या चल रहे कार्यों को रोक सकते हैं। बातचीत को बाधित करने से टूल-आधारित कार्य रद्द नहीं होते हैं, जिन्हें अलग से रोका जाना चाहिए, और ऑडियो और वीडियो सत्र को बंद करने से मुख्य एजेंट को सौंपे गए काम का संचालन बंद नहीं होता है। परिणाम मूल संवाद में वापस आ जाते हैं।
वर्तमान में वर्कस्वार्म दो मॉडल प्रोटोकॉल का समर्थन करता है: WebSocket के माध्यम से रियल-टाइम मोड में Qwen Omni, जिसका उपयोग आधिकारिक एंडपॉइंट या स्थानीय परिनियोजन के माध्यम से किया जा सकता है, और JoyAI, जो आधिकारिक API या अन्य प्लेटफार्मों के माध्यम से अलग-अलग स्पीच रिकग्निशन, लैंग्वेज और स्पीच सिंथेसिस मॉडलों को जोड़ता है। फुल-डुप्लेक्स कनेक्टिविटी वाले मल्टीमॉडल मॉडल को हुआवेई क्लाउड के ModelArts प्लेटफॉर्म पर vLLM-Omni इन्फेरेंस फ्रेमवर्क का उपयोग करके Ascend NPUs पर भी तैनात किया जा सकता है। वर्कस्वार्म विंडोज, मैक और हार्मनीओएस के लिए इंस्टॉलर, साथ ही pip पैकेज प्रदान करता है, और इसका गिटहब रिपॉजिटरी Apache-2.0 के तहत लाइसेंस प्राप्त है। परियोजना का अंतिम चिह्नित रिलीज़, 30 सितंबर का v0.2.7, ने प्रोएक्टिव कॉन्टेक्स्ट सर्विस और इंटर-एजेंट सेशन जोड़ा।