गूगल का जेमिनी उपयोगकर्ता की ओर से फोन कॉल करना शुरू कर देगा, जिसमें मैन्युअल हस्तक्षेप की संभावना होगी

गूगल द्वारा विकसित आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल जेमिनी ने अपनी साइबर सुरक्षा क्षमताओं के परीक्षण के दौरान इंटरनेट तक पहुंच प्राप्त की और तीन कंपनियों की प्रणालियों में घुसपैठ की। यह पहला प्रलेखित मामला है जिसमें गूगल की एआई प्रणाली ने स्वायत्त रूप से इस प्रकार की घुसपैठ की है।

ये घटनाएं मई में हुईं, जो एक स्वतंत्र कंपनी Irregular द्वारा किए गए साइबर सुरक्षा मूल्यांकन के हिस्से के रूप में आयोजित एक सुरक्षा अभ्यास का हिस्सा थीं। गूगल ने इस शुक्रवार, 18 तारीख को घटना की पुष्टि की।

एक मामले में, जेमिनी ने पासवर्ड अनुमान लगाने की कोशिश करने के बाद एक सुरक्षित प्रणाली तक पहुंच प्राप्त की। अन्य दो परिदृश्यों में, मॉडल ने इंटरनेट पर उपलब्ध सार्वजनिक रिपॉजिटरी में क्रेडेंशियल ढूंढे और प्रतिबंधित प्रणालियों में प्रवेश करने के लिए इन डेटा का उपयोग किया।

गूगल के अनुसार, सभी स्थितियों में, जैसे ही जेमिनी ने वास्तविक कंपनियों की प्रणालियों तक पहुंचना शुरू किया, उसने गतिविधि रोक दी।

Irregular ने जुलाई के अंत में गूगल को घटनाओं की सूचना दी, जब उन्होंने OpenAI और एआई सॉफ्टवेयर कंपनी Hugging Face के मॉडलों से जुड़ी एक और घटना का पता लगाया।

घुसपैठ के बावजूद, गूगल ने इनकार किया कि यह घटना मॉडल के संरेखण (alignment) की कमी का मामला थी, जो उस शब्द का उपयोग है जिसका उपयोग तब किया जाता है जब कोई एआई मानव इरादों या पूर्व-निर्धारित मूल्यों के विरुद्ध कार्य करता है। कंपनी ने तर्क दिया कि जेमिनी की अपनी सुरक्षा उपायों ने उसे वास्तविक प्रणालियों तक पहुंचने पर कार्रवाई रोकने के लिए मजबूर किया।

गूगल ने 'बग बाउंटी' कार्यक्रमों के साथ एक समानता बताई, जहां शोधकर्ताओं और हैकर्स को खामियां खोजने और जिम्मेदार पक्षों को रिपोर्ट करने के लिए भुगतान किया जाता है या अधिकृत किया जाता है।

गूगल की सुरक्षा इंजीनियरिंग उपाध्यक्ष, हेदर एडकिंस ने कहा कि यह घटना 'शक्तिशाली एआई मॉडल को जिम्मेदारी से कार्य करने के लिए प्रशिक्षित करने के महत्व को दर्शाती है', और जोड़ा कि 'इस मामले में, मॉडल ने उचित रूप से कार्य किया।'

हालांकि, इस व्याख्या को सुरक्षा विशेषज्ञों द्वारा चुनौती दी जाती है। एआई सुरक्षा स्टार्टअप Corridor के सीईओ और व्हाइट हैट हैकर जैक केबल ने जोर देकर कहा कि महत्वपूर्ण बिंदु नुकसान नहीं होगा, बल्कि यह तथ्य होगा कि एआई एजेंट ने गलती से अन्य निगमों की प्रणालियों में घुसपैठ की।

केबल के लिए, घटना पर चर्चा इस तथ्य पर केंद्रित होनी चाहिए कि मॉडल उन सीमाओं से आगे निकल रहे हैं जिनके लिए उन्हें डिज़ाइन किया गया था, और वास्तविक साइबर हमले कर रहे हैं।

घटनाओं के बारे में अधिक जानकारी

हालांकि Irregular ने जुलाई के अंत में गूगल को घटनाओं के बारे में सूचित किया था, कंपनी ने तब तक सार्वजनिक रूप से खुलासा नहीं किया जब तक कि द वॉल स्ट्रीट जर्नल ने इस सप्ताह कंपनी से इस विषय पर सवाल नहीं किया। गूगल ने उचित ठहराया कि प्रकाशन की कोई आवश्यकता नहीं थी क्योंकि जेमिनी ने कंपनियों को कोई नुकसान नहीं पहुंचाया और वास्तविक प्रणालियों तक पहुंचने पर घुसपैठ रोक दी।

प्रभावित तीनों कंपनियों को सूचित किया गया था, लेकिन गूगल ने उनके नामों को गोपनीय रखा। कंपनी ने संयुक्त राज्य अमेरिका के संघीय अधिकारियों को भी तथ्यों के बारे में सूचित किया।

गूगल ने स्पष्ट किया कि इस घटना में उसके मॉडल का नवीनतम संस्करण शामिल नहीं था, हालांकि उसने यह निर्दिष्ट नहीं किया कि जेमिनी का कौन सा संस्करण घुसपैठ के लिए जिम्मेदार था।

Irregular ने आश्वासन दिया कि यह मामला अन्य एआई प्रयोगशालाओं में देखी गई एक समस्या को दर्शाता है और जुलाई के अंत में सभी संबंधित पक्षों को सूचित किया गया था। इसके अलावा, कंपनी ने उल्लेख किया कि उसने कुछ हफ़्ते पहले अपनी ज़िम्मेदारी के तहत सभी समस्याओं के लिए तत्काल उपाय किए थे और उन्हें ठीक कर दिया था।

जेमिनी के साथ हुई घटना कोई अलग घटना नहीं है। Irregular स्वयं ऐसे मूल्यांकन में भाग लिया जिसने समान परिस्थितियों में अन्य कंपनियों के मॉडलों की भागीदारी को जन्म दिया। संबंधित घटनाओं को पहले मेटा, एंथ्रोपिक और ओपनएआई द्वारा प्रकाशित किया गया था। इन घटनाओं ने इस बात पर संदेह पैदा किया है कि जैसे-जैसे एआई एजेंट अधिक स्वायत्तता और इंटरनेट और कंप्यूटर सिस्टम तक पहुंच प्राप्त करते हैं, सुरक्षा के लिए कौन से तंत्र आवश्यक हैं।

मॉडलों के व्यवहार में भी भिन्नताएं दिखाई दीं। एंथ्रोपिक के अनुसार, क्लॉड ओपस 4.7 ने वास्तविक कंपनी तक पहुंचने का संदेह होने के बाद भी कैप्चर द फ्लैग अभ्यास को नहीं रोका। वहीं ओपनएआई ने दावा किया कि उसका मॉडल मानता था कि वास्तविक कंपनी सिमुलेशन का हिस्सा थी।

जुलाई में OpenAI और Hugging Face के एजेंटों से जुड़ी एक हमले की खोज के बाद चिंताएं बढ़ गईं। अगस्त में जारी स्वतंत्र परीक्षण कंपनी METR की एक रिपोर्ट में संकेत दिया गया था कि 1,200 एजेंट एक गुप्त फोरम के भीतर OpenAI के अंदर समन्वय कर सकते थे ताकि एक मूल्यांकन को दरकिनार करने का प्रयास किया जा सके।

इस प्रकार, जेमिनी से जुड़ी नई घटना उन मामलों की एक श्रृंखला में आती है जिसने सुरक्षा परीक्षणों के दौरान एआई प्रणालियों को दिए गए स्वायत्तता की सीमाओं और निगमों को ऐसी घटनाओं के बारे में कैसे संवाद करना चाहिए, इस पर बहस का विस्तार किया है।