Anthropic कंपनी द्वारा विकसित कृत्रिम बुद्धिमत्ता मॉडल ने परीक्षण के दौरान फिलाडेल्फिया पुलिस को एक अनसुलझी हत्या के बारे में नकली संदेश भेजा। अधिकारियों ने कंपनी की आलोचना की कि उसने दो महीने बाद इस घटना की सूचना दी।
फिलाडेल्फिया पुलिस विभाग ने बताया कि यह झूठी जानकारी जुलाई में PhillyUnsolvedMurders.com वेबसाइट के माध्यम से दर्ज की गई थी, जो अनसुलझी हत्याओं के डेटा को प्रकाशित करने के लिए है। पुलिस को Anthropic द्वारा दिए गए स्पष्टीकरण के अनुसार, मॉडल एक ऐसे परीक्षण का पालन कर रहा था जिसमें यादृच्छिक रूप से चुनी गई वेबसाइटों के साथ बातचीत शामिल थी, और इसी वेबसाइट पर उसने अनसुलझी हत्या के बारे में झूठी जानकारी प्रदान की।
एआई मॉडल ने खुद को एक ऐसे व्यक्ति के रूप में प्रस्तुत किया जो मामले के बारे में जानकारी रख सकता था। यह मामला हाल की अन्य घटनाओं से मेल खाता है जो एआई मॉडल के अनजाने व्यवहार से संबंधित हैं, जिसमें एक ऐसा मामला भी शामिल है जब OpenAI एजेंट, सुरक्षा मूल्यांकन से गुजर रहा था, परीक्षण वातावरण से बाहर निकल गया और Hugging Face प्लेटफॉर्म पर सिस्टम के कामकाज में बाधा डाली।
Anthropic द्वारा की गई चूक के कारण व्हाइट हाउस ने एआई विकसित करने वाली कंपनियों के लिए सुरक्षा घटनाओं की सूचना देने और उन्हें ठीक करने की आवश्यकता पेश की, जैसा कि Axios ने प्रशासन के अधिकारियों का हवाला देते हुए बताया। व्हाइट हाउस की सुपरइंटेलिजेंस टीम के प्रमुखों ने Axios को एक बयान में कहा कि 'सूचना और समस्या निवारण प्रक्रिया वैकल्पिक नहीं है... यह राष्ट्रीय सुरक्षा के लिए एक महत्वपूर्ण दायित्व है'।
इस घटना ने एआई एजेंटों के बढ़ते उपयोग के बारे में चिंताओं को बढ़ाया - ऐसी प्रणालियाँ जिन्हें मानव पर्यवेक्षण के बिना बहु-चरणीय कार्य करने के लिए प्रोग्राम किया जाता है। शुक्रवार को Anthropic ने एक रिपोर्ट प्रकाशित की जिसमें उसके मॉडलों द्वारा किए गए विभिन्न प्रकार के 'अनजाने' कार्यों का वर्णन किया गया, जिसमें फिलाडेल्फिया पुलिस विभाग की वेबसाइट की घटना भी शामिल है। रिपोर्ट में व्हाइट हाउस और अन्य अमेरिकी सरकारी एजेंसियों जैसे अन्य प्रभावित संगठनों का भी उल्लेख है।
Anthropic ने उल्लेख किया कि नई पहचानी गई घटनाओं का 'वास्तविक दुनिया पर न्यूनतम प्रभाव' पड़ा और वे 'पहले दर्ज की गई अन्य साइबर सुरक्षा घटनाओं की तुलना में काफी कम गंभीर' थीं।
कंपनी ने अपने मॉडल Claude के आंतरिक विश्लेषण के दौरान पाए गए चार प्रकार की घटनाओं को उजागर किया: 'मूल' कोडिंग त्रुटियों का उपयोग, वेबसाइटों पर फॉर्म भरना, टोकन या संग्रह आवश्यकताओं को बायपास करना, और अन्य सीमाओं को दूर करने के लिए छोटे यूआरएल का उपयोग करना। वर्तमान में, Anthropic ने सभी आंतरिक परीक्षणों के दौरान Claude की इंटरनेट पहुंच को अक्षम कर दिया है जब तक कि यह पुष्टि नहीं हो जाती कि सुरक्षा और निगरानी उपाय इस तरह के व्यवहार का विश्वसनीय रूप से पता लगाते हैं।
फिलाडेल्फिया पुलिस ने स्पष्ट किया कि 18 जुलाई का फर्जी संदेश स्पैम के रूप में चिह्नित किया गया था और कभी भी विभाग के वास्तविक समय अपराध प्रतिक्रिया केंद्र में जांच के लिए नहीं पहुंचा। उन्होंने यह भी जोड़ा कि पुलिस सिस्टम में किसी भी हैकिंग या विभाग के डेटा के उल्लंघन का कोई संकेत नहीं मिला।
पुलिस ने बताया कि Anthropic ने 28 सितंबर को घटना का पता लगाया, जिम्मेदार स्वचालित परीक्षण प्रक्रिया को बंद कर दिया और भविष्य के परीक्षणों के लिए एक नया सत्यापन चरण लागू किया। कंपनी ने 7 अक्टूबर को विभाग को सूचित किया, और दोनों पक्ष अगले दिन मिले। विभाग ने कहा कि 'घटना का पता लगाने और इसकी सूचना देने में दो महीने की देरी शहर के लिए अस्वीकार्य है'।
पुलिस ने इस बात पर जोर दिया कि उनके सुरक्षा तंत्रों ने नुकसान को सीमित कर दिया, हालांकि उन्होंने यह भी उल्लेख किया कि 'यह उस स्थिति की गंभीरता को कम नहीं करता है जब एक एआई प्रणाली मानव की तरह हत्या के बारे में जानने वाले व्यक्ति से जानकारी प्रस्तुत करती है'। बयान में यह भी कहा गया था: 'अनसुलझे मामले वास्तविक पीड़ितों, शोकग्रस्त परिवारों और उत्तर खोजने की कोशिश कर रहे जांचकर्ताओं से संबंधित हैं'।