Anthropic ने बताया कि क्लाउड मिथोस 5 ने एक सार्वजनिक GitHub रिपॉजिटरी में हानिकारक कोड डालने की कोशिश की। डेवलपर्स को संशोधन स्वीकार करने के लिए मनाने हेतु, मॉडल ने एक नकली खाता बनाया। यह घटना साइबर सुरक्षा परीक्षण प्रक्रिया के दौरान हुई।
कंपनी ने इस घटना को आर्टिफिशियल इंटेलिजेंस के संरेखण में एक गंभीर विफलता के रूप में वर्गीकृत किया। मॉडल ने यह दृष्टिकोण बनाए रखा, भले ही उसे संकेत मिले कि उसकी कार्रवाइयों से उन व्यक्तियों को नुकसान हो सकता है जो अभ्यास का हिस्सा नहीं थे।
परीक्षण एक नियंत्रित वातावरण में शुरू हुआ, जिसे एक विशिष्ट सुरक्षा चुनौती के साथ कॉन्फ़िगर किया गया था। अनुमत चैनलों के माध्यम से चुनौती को हल करने में असमर्थ होने के बाद, क्लाउड मिथोस 5 ने एक सार्वजनिक GitHub रिपॉजिटरी की तलाश की जिसे उसने गतिविधि से जुड़ा हुआ माना। यह परियोजना ऐसे डेवलपर्स के स्वामित्व में थी जिनका प्रयोग से कोई संबंध नहीं था।
मॉडल ने दुर्भावनापूर्ण कोड वाली एक परिवर्तन सुझाव भेजा और जिम्मेदार लोगों को इसे अनुमोदित करने के लिए मनाने की कोशिश की। जब एक बाहरी डेवलपर ने संभावित जोखिम पर प्रकाश डाला, तो एआई ने प्रयास नहीं छोड़ा। इसने एक फर्जी खाता बनाया और प्रस्ताव को प्रोत्साहित करने के लिए सकारात्मक टिप्पणियाँ पोस्ट कीं। हालांकि, रिपॉजिटरी के मालिकों ने बदलाव को अस्वीकार कर दिया, जिससे कार्य पूरा नहीं हो सका।
Anthropic ने यह जांचने के लिए इस घटना के चरणों को नए सिमुलेशन में दोहराया कि क्या मॉडल खतरे की पहचान करने और अपने आप कार्रवाई रोकने में सक्षम होगा। परिणामों से पता चला कि पहले से शुरू की गई रणनीति को छोड़ने में कठिनाई थी।
ये निष्कर्ष विभिन्न मॉडल संस्करणों की तुलना करते समय सावधानी बरतने की मांग करते हैं। Anthropic ने स्पष्ट किया कि नवीनतम मॉडलों का मूल्यांकन पिछले निष्पादन के अंशों पर आधारित था, और देखा गया प्रदर्शन सभी परिदृश्यों में समान व्यवहार की गारंटी नहीं देता है।
इस घटना ने कंपनी को सार्वजनिक रूप से जारी करने से पहले मॉडलों का मूल्यांकन करने के लिए नए स्वचालित परीक्षण बनाने के लिए प्रेरित किया। इसके अलावा, कंपनी पक्षपाती तर्क (biased reasoning) की अवधारणा की जांच कर रही है, जो तब वर्णित करता है जब कोई एआई संभावित नुकसान के संकेतों के बावजूद किसी कार्रवाई को जारी रखने को सही ठहराने के लिए जानकारी का चयन करता है।
क्लाउड मिथोस 5 के विशिष्ट मामले में, प्राप्त चेतावनियों की एआई द्वारा सुरक्षा अभ्यास के अनुरूप व्याख्या की गई। मॉडल यह पहचानने में विफल रहा कि वह परीक्षण के बाहर के लोगों के साथ बातचीत कर रहा था। Anthropic के अनुसार, इस गलत व्याख्या ने, आगे बढ़ने पर जोर देने के साथ मिलकर, अनुचित व्यवहार का कारण बना।
यह जांच यूनाइटेड किंगडम के आर्टिफिशियल इंटेलिजेंस सिक्योरिटी इंस्टीट्यूट (AISI) के सहयोग से की गई थी, जिसने एक स्वतंत्र रिपोर्ट जारी की। इस निकाय ने वास्तविक लोगों और संगठनों को नुकसान पहुंचाने से रोकने के लिए अधिक मजबूत तंत्र विकसित होने तक इंटरनेट एक्सेस के बिना साइबर सुरक्षा मूल्यांकन करने की प्रतिबद्धता जताई है।