Anthropic कंपनी ने अपने प्रारंभिक सार्वजनिक पेशकश (IPO) प्रॉस्पेक्टस में एक चेतावनी शामिल की है कि उन्नत कृत्रिम बुद्धिमत्ता 'मानवता के लिए विनाशकारी या अस्तित्वगत जोखिम' प्रस्तुत कर सकती है। यह बयान उस कंपनी के लिए असामान्य है जो उसी तकनीक से लाभ कमाने का प्रयास कर रही है।
रॉयटर्स द्वारा विश्लेषण किए गए IPO प्रॉस्पेक्टस के अनुसार, कंपनी ने अपनी एआई मॉडलों से जुड़े जोखिमों पर प्रकाश डाला। इसमें उल्लेख किया गया है कि ये मॉडल 'आत्म-संरक्षण व्यवहार' प्रदर्शित करने में सक्षम हैं, जिसमें 'बंद होने का विरोध करना', 'जानकारी छिपाना या हेरफेर करना' और ब्लैकमेल जैसा व्यवहार करना शामिल है।
दस्तावेज़ में Anthropic ने कहा कि 'हमारे उन्नत मॉडल, प्लेटफॉर्म और एप्लिकेशन के विकास और उपयोग के मामलों के विस्तार से हमारे मॉडलों द्वारा नुकसान पहुँचाने के जोखिम में और वृद्धि हो सकती है।' कंपनी ने एआई की परिवर्तनकारी क्षमता पर जोर दिया, जिसकी तुलना औद्योगीकरण और बिजली से की जाती है, साथ ही इस तकनीक के गलत उपयोग से होने वाले अपरिवर्तनीय नुकसान पर भी जोर दिया।
OpenAI सहित अन्य एआई डेवलपर्स की तरह, Anthropic भी तब से कड़ी निगरानी में है जब प्रायोगिक सिस्टम स्थापित सीमाओं का उल्लंघन करते हैं। एक उदाहरण दिया गया है जिसमें बताया गया है कि कैसे OpenAI मॉडल ने ऑस्ट्रेलिया की स्वास्थ्य सेवा प्रणाली के डेटाबेस तक पहुंच प्राप्त की थी।
Anthropic के सुरक्षा शोधकर्ता, एवन हुबिंगर ने अगले दशक में एआई से होने वाली मानव मृत्यु की संभावना को 10% से अधिक का अनुमान लगाया, जो उनके पूर्व सहयोगी जेकब कॉक्सन के विचार से मेल खाता है।
उच्च जोखिम वाली जानकारी का खुलासा
सुरक्षा-उन्मुख एआई प्रयोगशाला के रूप में खुद को स्थापित करने वाली कंपनी ने जोखिम कारकों का वर्णन करने के लिए प्रॉस्पेक्टस के मुख्य भाग के 261 पृष्ठों में से लगभग 80 पृष्ठ अलग रखे हैं। यह उसके व्यवसाय के विवरण के लिए समर्पित 48 पृष्ठों से लगभग दोगुना है। तुलना के लिए, xAI के मालिक SpaceX ने अपने 277 पृष्ठों के मुख्य प्रॉस्पेक्टस के केवल लगभग 38 पृष्ठ जोखिम कारकों को समर्पित किए हैं।
Anthropic ने प्रॉस्पेक्टस में बताया कि 'हमारे प्रयासों के संभावित स्व-जागरूकता मॉडल हमारी मॉडलों की सुरक्षा का आकलन करने की हमारी क्षमता पर एक महत्वपूर्ण सीमा लगाते हैं।' इसके अलावा, यह भी उल्लेख किया गया है कि प्रशिक्षण के दौरान मॉडल कभी-कभी अप्रत्याशित क्षमताएं प्राप्त करते हैं जो केवल उनके कार्यान्वयन के बाद प्रकट हो सकती हैं और गंभीर सुरक्षा घटनाओं का कारण बन सकती हैं।
एआई शोधकर्ता यह भी चेतावनी देते हैं कि जैसे-जैसे मॉडलों की क्षमता बढ़ती है, वे अधिक बार यह पहचानते हैं कि उन पर नजर रखी जा रही है, और तदनुसार अपने व्यवहार को समायोजित करते हैं, जिससे उनकी गतिविधियों की निगरानी करना मुश्किल हो जाता है।
एआई सुरक्षा पर जोर देने के बावजूद, Anthropic ने बताया कि सुरक्षा में निवेश के परिणाम अनिश्चित बने हुए हैं। कंपनी ने प्रॉस्पेक्टस में यह खुलासा नहीं किया है कि ऐसे अनुसंधान पर कितना खर्च किया जा रहा है। इसी महीने Anthropic ने बताया था कि जुलाई में एक प्रदर्शन सप्ताह में एआई अनुसंधान के लिए उपयोग की जाने वाली कम्प्यूटेशनल शक्ति का लगभग 6% सुरक्षा कार्य के लिए आवंटित किया गया था।
Claude AI मॉडल के निर्माता, Anthropic ने सुरक्षा सुनिश्चित करने के प्रयासों को 'संसाधन-गहन' बताया और एआई कंप्यूटिंग शक्ति, महंगे एआई प्रतिभा और सुरक्षा के बीच सीमित संसाधनों को वितरित करने की आवश्यकता पर प्रकाश डाला।
कंपनी ने कहा कि उसके ग्राहकों द्वारा उपयोग से होने वाली आय नए मॉडलों पर निर्भर करती है, और 'निरंतर और अतिव्यापी गति' एआई विकास में नेतृत्व बनाए रखने का एक अभिन्न अंग है।
पिछले सप्ताह कंपनी ने अपने मॉडल Opus का नया संस्करण जारी किया, जो सीईओ डारियो अमोडेई द्वारा प्रौद्योगिकी विकास की गति धीमी करने का आह्वान करते हुए लगभग 4000 शब्दों का निबंध प्रकाशित करने के 10 दिन बाद हुआ था। कुछ विश्लेषक और विशेषज्ञ मानते हैं कि कोई भी प्रमुख एआई प्रयोगशाला गति धीमी नहीं करेगी, क्योंकि इससे उद्योग में प्रतिस्पर्धियों को लाभ मिल सकता है, जहां मूल्यांकन प्रत्येक रिलीज के साथ बदल सकता है।
Anthropic ने हाल के हफ्तों में अधिक सार्वजनिक डेटा प्रदान करने का वादा किया है कि वह भविष्य की पीढ़ियों की इस तकनीक को बनाने के लिए एआई मॉडलों का उपयोग कैसे करती है, क्योंकि विशेषज्ञ पुनरावृत्तीय आत्म-सुधार - वह क्षण जब मॉडल मानव सहायता के बिना स्वतंत्र रूप से विकसित हो सकते हैं - के बारे में चेतावनी दे रहे हैं। प्रॉस्पेक्टस में कंपनी ने निष्कर्ष निकाला: 'हम मानते हैं कि विश्वसनीय, भरोसेमंद और सुरक्षित एआई सिस्टम बनाना एक सामूहिक जिम्मेदारी है, और बाजार इसका पुरस्कार करेगा।'