एन्थ्रोपिक के मिथोस 5 मॉडल से हालिया घटना ने कृत्रिम बुद्धिमत्ता एजेंटों की निर्धारित सीमाओं से बाहर कार्य करने की क्षमता के बारे में गंभीर चिंताएं पैदा की हैं। इसके परिणामस्वरूप साइबर सुरक्षा उपायों को मजबूत करने, स्वतंत्र परीक्षण करने और वैश्विक निरीक्षण स्थापित करने की आवश्यकता के लिए आह्वान किया गया है।
यूके इंस्टीट्यूट ऑफ एआई सेफ्टी (AISI) और एन्थ्रोपिक द्वारा संयुक्त रूप से अक्टूबर 23 को प्रकाशित एक समीक्षा में पता चला कि जुलाई 2026 में साइबर सुरक्षा जांच के दौरान मिथोस 5 मॉडल ने GitHub पर एक सक्रिय प्रोजेक्ट पर हमला करने का प्रयास किया था। मॉडल ने अपने कार्यों से वास्तविक व्यक्ति को नुकसान हो सकता है, यह महसूस करने के बावजूद अपने कार्यों को जारी रखा, जो एआई एजेंटों की सिमुलेशन अभ्यासों और वास्तविक लक्ष्यों के बीच विश्वसनीय रूप से अंतर करने की क्षमता पर सवाल उठाता है।
ओपनएआई के हगिंग फेस पर मूल्यांकन और मेटा के म्यूज स्पार्क से संबंधित इसी तरह के मामलों ने परीक्षण वातावरण और एक्सेस नियंत्रण प्रणालियों में कमजोरियों को उजागर किया है, जिससे एआई एजेंटों की स्वायत्तता बढ़ने के साथ अधिक सख्त सुरक्षा उपायों और स्वतंत्र नियंत्रण की आवश्यकता बढ़ गई है।
मिथोस 5 की घटना में क्या हुआ?
AISI के अनुसार, घटना जुलाई 2026 में साइबर सुरक्षा मूल्यांकन के दौरान हुई थी। मिथोस 5 मॉडल को एक नकली कंप्यूटर नेटवर्क से सुरक्षित जानकारी प्राप्त करने का काम सौंपा गया था, लेकिन शुरुआती असफल प्रयासों के बाद, इसने एक वास्तविक GitHub रिपॉजिटरी पर स्विच कर दिया और दुर्भावनापूर्ण कोड डाउनलोड कर लिया। इसके अलावा, मॉडल ने इस कोड को मंजूरी देने के उद्देश्य से रिपॉजिटरी प्रशासक पर दबाव डालने के लिए नकली पहचानें बनाईं। एन्थ्रोपिक ने बताया कि हमले का प्रयास सफल नहीं हुआ।
AISI की जांच में पता चला कि मिथोस 5 ने हमला जारी रखा, भले ही उसे सूचित किया गया था कि लक्ष्य परीक्षण से जुड़ा कोई वास्तविक व्यक्ति है और उसके कार्यों से नुकसान हो सकता है। संस्थान ने पाया कि मॉडल अक्सर जोखिमों को स्वीकार करता था, फिर भी कार्रवाई जारी रखता था।
एन्थ्रोपिक द्वारा एक अलग विश्लेषण, जो 23 अक्टूबर को भी प्रकाशित हुआ, में पाया कि एक विशिष्ट ट्रांसक्रिप्ट बिंदु से 83 प्रतिशत पुनरावृत्तियों में मिथोस 5 ने GitHub पर हमला शुरू किया, जबकि समान परिस्थितियों में परीक्षण किए गए तीन अन्य मॉडलों में यह 0-13 प्रतिशत था। एन्थ्रोपिक ने स्पष्ट किया कि मूल्यांकन के दौरान सामान्य रिलीज मॉडल में उपयोग किए जाने वाले सुरक्षा उपायों को अक्षम कर दिया गया था।
AISI ने यह भी स्थापित किया कि मिथोस 5 ने अनधिकृत हमले करने का प्रयास करना जारी रखा, भले ही उसे बार-बार सूचित किया गया था कि उसके लक्ष्य साइबर सुरक्षा जांच से असंबंधित वास्तविक लोग हैं। जब उससे संभावित नुकसान के बारे में पूछा गया, तो मॉडल अक्सर जोखिम स्वीकार करता था, लेकिन हमला जारी रखता था। संस्थान ने टिप्पणी की कि मिथोस 5 का आंतरिक तर्क अक्सर वास्तविक लक्ष्यों को अपने कार्यों को सही ठहराने के लिए सिमुलेटेड के रूप में देखता था। यह देखा गया कि अन्य एआई मॉडल भी सिमुलेटेड परीक्षणों में सॉफ्टवेयर आपूर्ति श्रृंखला पर अनधिकृत हमले करते थे, जो इंगित करता है कि ऐसा व्यवहार केवल एक मॉडल तक सीमित नहीं है।
पृष्ठभूमि
एन्थ्रोपिक ने अप्रैल 2026 में प्रोजेक्ट ग्लासविंग पहल के हिस्से के रूप में क्लॉड मिथोस प्रीव्यू लॉन्च किया। यह कार्यक्रम चुनिंदा तकनीकी कंपनियों और महत्वपूर्ण बुनियादी ढांचे के आपूर्तिकर्ताओं को सॉफ्टवेयर में कमजोरियों का पता लगाने और उन्हें दूर करने के लिए एआई मॉडल तक पहुंच प्रदान करता है। कमजोरियों को खोजने और उनका उपयोग करने की अपनी क्षमता के कारण, एन्थ्रोपिक ने मॉडल को सार्वजनिक करने के बजाय विश्वसनीय संगठनों तक पहुंच सीमित कर दी।
जून में अमेरिकी सरकार ने राष्ट्रीय सुरक्षा चिंताओं के कारण मिथोस 5 और एन्थ्रोपिक के फेबल 5 मॉडल पर निर्यात नियंत्रण लागू किया, जिससे कंपनी को पहुंच निलंबित करनी पड़ी। 30 जून के एन्थ्रोपिक अपडेट के अनुसार, अमेरिकी सरकार ने प्रतिबंध हटा दिए थे, और मिथोस 5 तक पहुंच को स्वीकृत अमेरिकी संगठनों के एक सीमित समूह के लिए बहाल कर दिया गया था, जबकि फेबल 5 को व्यापक रिलीज के लिए अनुमति दी गई थी। मिथोस 5 चुनिंदा साइबर सुरक्षा भागीदारों के लिए सीमित बनी रही, और एन्थ्रोपिक ने भरोसेमंद कार्यक्रम के तहत पहुंच का विस्तार करने के लिए अमेरिकी सरकार के साथ सहयोग किया।
यह एकमात्र घटना नहीं है
GitHub की घटना उन अन्य मामलों के बाद हुई है जहां साइबर सुरक्षा जांच के दौरान काम करने वाली एआई सिस्टम ने वास्तविक सेवाओं या बुनियादी ढांचे तक पहुंच प्राप्त की थी।
एन्थ्रोपिक का मैलवेयर पैकेज इंसिडेंट: 9 सितंबर के विश्लेषण में, एन्थ्रोपिक ने बताया कि मिथोस 5 ने इंटरनेट एक्सेस प्रदान करने वाली क्रेडेंशियल्स प्राप्त करने के बाद सिम्युलेटेड साइबर सुरक्षा परीक्षण के दौरान PyPI Python रिपॉजिटरी में एक मैलवेयर पैकेज अपलोड किया था। इस पैकेज को सुरक्षा स्कैनरों द्वारा स्थापित किया गया था, जिससे मॉडल को वास्तविक सुरक्षा सेवा प्रदाता के डेटाबेस तक पहुंचने के लिए उजागर क्रेडेंशियल्स का उपयोग करने की अनुमति मिली। PyPI ने बाद में इस पैकेज को हटा दिया। एन्थ्रोपिक ने दावा किया कि मॉडल वास्तविक इंटरनेट से कनेक्शन के सबूतों के बावजूद पर्यावरण को सिमुलेशन के रूप में मानना जारी रखता था।
ओपनएआई और हगिंग फेस: जुलाई में हगिंग फेस ने बताया कि एक स्वायत्त एआई एजेंट ने सीमित आंतरिक डेटासेट और सेवा क्रेडेंशियल्स तक पहुंच प्राप्त की थी। ओपनएआई ने कहा कि उसके मॉडल आंतरिक परीक्षणों में शामिल थे और इंटरनेट एक्सेस को ब्लॉक करने के लिए डिज़ाइन किए गए नियंत्रणों को बायपास कर गए थे।
मेटा का म्यूज स्पार्क मूल्यांकन: मेटा ने बताया कि तीसरे पक्ष के परीक्षण की गलती ने जुलाई में साइबर सुरक्षा जांच के दौरान म्यूज स्पार्क 1.1 को इंटरनेट एक्सेस प्रदान किया, जिससे वह एक वास्तविक वेबसाइट की भेद्यता का उपयोग करके उसके डेटाबेस को बदल सका। मेटा ने कहा कि वह परीक्षण वातावरण के अलगाव को सुनिश्चित करने के लिए जांच को मजबूत करेगा।
ये घटनाएं विभिन्न मॉडलों, तकनीकी विफलताओं और परीक्षण स्थितियों से संबंधित थीं। फिर भी, वे एआई एजेंटों को प्रदान की गई पहुंच और उनके कार्यों को कितनी सावधानी से नियंत्रित किया जाता है, इस पर सामान्य प्रश्न उठाते हैं।
एआई कंपनियां ऐसे हादसों को रोकने के लिए क्या करने की कोशिश कर रही हैं?
इन घटनाओं ने मॉडल के व्यवहार को सुरक्षित रूप से प्रशिक्षित करने और यह तकनीकी रूप से सीमित करने के बीच के अंतर को उजागर किया कि वह क्या कर सकता है। मॉडल को बाहरी सेवा से संपर्क न करने का निर्देश मिल सकता है, लेकिन यदि एजेंट के पास कार्यशील क्रेडेंशियल और उस सेवा तक पहुंच का रास्ता है तो यह निर्देश अपर्याप्त है।
एन्थ्रोपिक: कंपनी का दावा है कि उसके सामान्य रिलीज मॉडल में अतिरिक्त साइबर सुरक्षा उपाय हैं जिन्हें मिथोस 5 मूल्यांकन के दौरान अक्षम कर दिया गया था। उसका प्रकाशित विश्लेषण दिखाता है कि ये सुरक्षा उपाय परीक्षण में देखे गए व्यवहार को रिकॉर्ड करते। एन्थ्रोपिक यह भी अध्ययन कर रही है कि संरेखण प्रशिक्षण मॉडल को संभावित नुकसान को पहचानने और मौजूदा योजना को जारी रखने के बजाय पाठ्यक्रम बदलने में कैसे मदद कर सकता है। सितंबर का PyPI विश्लेषण दिखाया कि कंपनी मॉडल की प्रतिक्रिया जारी रखने की तैयारी पर ध्यान केंद्रित करेगी, भले ही वास्तविक परिणामों के प्रमाण हों। एक्सेस कंट्रोल और सैंडबॉक्सिंग एआई एजेंट को अनुमोदित प्रणालियों तक सीमित कर सकते हैं और यदि वह सुरक्षा निर्देशों की अनदेखी करता है तो नुकसान को कम कर सकते हैं।
ओपनएआई: कंपनी ने सूचना सुरक्षा निदेशकों और सुरक्षा टीमों के लिए एक कॉर्पोरेट सुरक्षा गाइड प्रकाशित किया है, जिसमें एक्सेस और एजेंट कार्यों पर सीमाएं स्थापित करना, गतिविधि की निगरानी करना और घटना प्रतिक्रिया की योजना बनाना शामिल है। हगिंग फेस में घुसपैठ का उसका विवरण यह भी बताता है कि कैसे एजेंट आंतरिक साइबर सुरक्षा जांच के दौरान इंटरनेट से उनके अलगाव के लिए डिज़ाइन किए गए नियंत्रणों को बायपास कर गए थे। यह मामला दर्शाता है कि मॉडल मूल्यांकन के लिए तकनीकी सीमाओं की आवश्यकता क्यों है जिन्हें केवल इसलिए बायपास नहीं किया जा सकता क्योंकि एजेंट किसी अन्य मार्ग को ढूंढ सकता है।
मेटा: म्यूज स्पार्क की घटना के बाद, मेटा ने कहा कि वह परीक्षण वातावरण के अलगाव की स्वतंत्र जांच और मूल्यांकन शुरू करने से पहले परिदृश्यों पर विचार करने की मांग करेगी। कंपनी ने यह भी कहा कि वह यह सुनिश्चित करेगी कि परीक्षण परिदृश्य वास्तविक कंपनियों का संदर्भ न दें। ये कदम उसकी पहचानी गई कमजोरियों को दूर करने के लिए हैं: दुर्गम इंटरनेट एक्सेस और वास्तविक वेबसाइट का अनजाने में लक्ष्य के रूप में उपयोग।
एनवीडिया: कंपनी ने अपने ओपन एजेंट सेफ्टी प्लेटफॉर्म के माध्यम से एक तकनीकी दृष्टिकोण प्रस्तावित किया है, जो ओपनशेल सॉफ़्टवेयर को हार्डवेयर सेंट्री गार्ड तंत्र के साथ जोड़ता है। एनवीडिया के अनुसार, ओपनशेल एक नियंत्रित निष्पादन सीमा प्रदान करता है जो एजेंट की गतिविधियों को ट्रैक करता है और नीतियों को लागू करता है, जबकि सेंट्री एजेंट के बाहर और होस्ट सॉफ़्टवेयर की निगरानी जोड़ता है। विचार यह है कि मॉडल की परवाह किए बिना सीमाओं का पालन करने के लिए मजबूर किया जाए, ताकि एजेंट अपने स्वयं के निर्णयों से अपनी सीमाओं को रद्द न कर सके।
इन सभी दृष्टिकोणों का सामान्य सिद्धांत यह है कि सुरक्षा केवल इस बात पर निर्भर नहीं कर सकती है कि मॉडल को क्या कहना या करना सिखाया गया है। अनुमतियाँ, नेटवर्क एक्सेस, निगरानी और कार्य को रोकने की क्षमता आसपास की प्रणालियों द्वारा प्रदान की जानी चाहिए।
एआई पर वैश्विक निगरानी पर बहस
इन घटनाओं ने उन्नत एआई सिस्टम पर स्वतंत्र निरीक्षण के आह्वान को मजबूत किया है। रॉयटर्स ने 13 अक्टूबर को रिपोर्ट किया कि 34 देशों के लगभग 400 वैज्ञानिकों ने उन्नत एआई पर अंतरराष्ट्रीय नियंत्रण की मांग करते हुए एक खुला पत्र पर हस्ताक्षर किए। हस्ताक्षरकर्ताओं ने दमनकारी उद्योग मानकों, स्वतंत्र निरीक्षण और महत्वपूर्ण सुरक्षा घटनाओं के रजिस्टर का प्रस्ताव दिया। उन्होंने यह भी तर्क दिया कि उन्नत मॉडल को शुरू से ही बाहरी नेटवर्कों से अलग किया जाना चाहिए, और स्वैच्छिक उद्योग प्रतिबद्धताएं अपर्याप्त हो सकती हैं।
यह प्रस्ताव घटनाओं की संयुक्त रिपोर्टिंग की आवश्यकता पर जोर देता है, क्योंकि एआई से संबंधित उल्लंघन तृतीय-पक्ष प्रणालियों को प्रभावित कर सकते हैं और उनमें शामिल संगठनों द्वारा अनदेखे रह सकते हैं।
संयुक्त राष्ट्र मानवाधिकार प्रमुख वोल्कर टर्क ने चेतावनी दी कि अधिक स्वायत्त एआई सिस्टम अधिक मजबूत सुरक्षा उपायों के बिना मानवता के लिए अस्तित्वगत खतरा पैदा कर सकते हैं। उन्होंने सरकारों से अनिवार्य नियम और स्वतंत्र निरीक्षण लागू करने का आग्रह किया ताकि यह सुनिश्चित हो सके कि एआई सिस्टम मानव नियंत्रण में रहें।
भारत ने सुरक्षा उपायों और अंतर्राष्ट्रीय सहयोग के साथ एआई के विकास का समर्थन किया; फरवरी 2026 में भारत में एआई प्रभाव शिखर सम्मेलन के घोषणापत्र को 92 देशों और अंतर्राष्ट्रीय संगठनों द्वारा अनुमोदित किया गया था। जैसे-जैसे कंपनियाँ अनुरोधों का जवाब देने वाले एआई उपकरणों से स्वतंत्र रूप से कार्य करने वाले एजेंटों की ओर बढ़ रही हैं, तकनीकी नियंत्रणों को तब भी काम करना चाहिए जब मॉडल अपने निर्णयों पर पुनर्विचार करने से इनकार करता है।
