क्लॉड बनाने वाली एंथ्रोपिक ने अपने व्यवसाय के संभावित बाधाओं का विवरण देते हुए 93 पृष्ठों का एक दस्तावेज़ जारी किया। यह सामग्री कंपनी के नासडे पर सूचीबद्ध होने वाले आईपीओ के प्रॉस्पेक्टस के हिस्से के रूप में 26 अक्टूबर को यूएस सिक्योरिटीज एंड एक्सचेंज कमीशन (SEC) के पास जमा की गई थी।
हालांकि शीर्षक 'आपके व्यवसाय में संभावित बाधाएं' तकनीकी लग सकता है, कृत्रिम बुद्धिमत्ता के विकास के संदर्भ में, इन बिंदुओं की व्याख्या मानवता के लिए महत्वपूर्ण जोखिमों के रूप में की जाती है। विशेषज्ञों ने एंथ्रोपिक द्वारा जारी चेतावनियों को स्पष्ट करने के लिए दस्तावेज़ का विश्लेषण किया।
एंथ्रोपिक सार्वजनिक रूप से एआई के खतरों के बारे में चेतावनी दे रही है, हालांकि यह विशिष्ट दस्तावेज़, जो निवेशकों के लिए लक्षित है, पूंजी जुटाने की योजना बना रही कंपनियों की विशिष्ट नौकरशाही प्रकृति का है।
एफजीवी के प्रोफेसर और एआई विशेषज्ञ केनेथ कोर्रेआ बताते हैं कि जोखिम कारकों का खंड कंपनी को निवेशकों के खिलाफ कानूनी रूप से बचाने के लिए है; यदि कोई उल्लेख नहीं किया गया जोखिम साकार होता है तो इसका परिणाम शेयरधारक मुकदमों में हो सकता है। वह इसकी तुलना दवा की पर्ची से करते हैं, जिसमें सबसे दुर्लभ दुष्प्रभावों को भी सूचीबद्ध किया जाता है, क्योंकि प्रयोगशाला उस चीज़ के लिए जिम्मेदार होती है जिसे वह छोड़ती है।
एंथ्रोपिक के मामलों में, जोखिम पर्याप्त हैं। इनमें इस आशंका शामिल है कि उसकी तकनीक का उपयोग रासायनिक हथियार बनाने में किया जा सकता है। दूसरी बड़ी चिंता उसके उन्नत उत्पाद के मानव नियंत्रण से बाहर निकलने की संभावना है।
एंथ्रोपिक के अनुसार, दुर्भावनापूर्ण एजेंट उसकी तकनीक का उपयोग खतरनाक हथियार विकसित करने के लिए कर सकते हैं। दस्तावेज़ कहता है कि सबसे सक्षम मॉडल, और उम्मीद है कि भविष्य के मॉडल भी ऐसा करेंगे, में ऐसी क्षमताएं हैं जो दुर्भावनापूर्ण एजेंटों को जैविक, रासायनिक या अन्य प्रकार के खतरनाक हथियार बनाने में सहायता कर सकती हैं।
इसके अतिरिक्त, कंपनी एआई एजेंटों के हानिकारक उद्देश्यों के लिए उपयोग के जोखिम को इंगित करती है, जैसे डेटा एक्सफ़िल्ट्रेशन करना, अनधिकृत लेनदेन करना या सिस्टम में मैलवेयर डालना। हालांकि एंथ्रोपिक ने सुरक्षा उपाय लागू किए हैं, यह रेखांकित करती है कि इन्हें दरकिनार किया जा सकता है या वे अपना कार्य पूरा करने में विफल हो सकते हैं।
एंथ्रोपिक के एआई एजेंट जटिल कार्यों को स्वायत्त रूप से निष्पादित करने के लिए डिज़ाइन किए गए हैं, जो घंटों या दिनों तक चलते हैं। कंपनी बताती है कि ये एजेंट कोड को संशोधित करने, डेटा को हटाने या बदलने, सिस्टम में घुसपैठ करने और किसी भी प्रभावी हस्तक्षेप से पहले वित्तीय लेनदेन को अंतिम रूप देने जैसे कार्य कर सकते हैं।
एंथ्रोपिक घोषणा करती है कि जैसे-जैसे उसके मॉडल विकसित होते हैं, उसे संरेखण, व्याख्यात्मकता, नियंत्रणीयता और सुरक्षा से संबंधित बढ़ती चुनौतियों का सामना करना पड़ रहा है। वह जोड़ती है कि अधिक परिष्कृत मॉडल सुरक्षा तंत्रों से बचने या अप्रत्याशित व्यवहार प्रदर्शित करने में मदद कर सकते हैं, जिससे यह पूरी तरह से समझना मुश्किल हो जाता है कि वे निश्चित परिणाम क्यों उत्पन्न करते हैं।
प्रौद्योगिकी की तेज प्रगति को देखते हुए, एंथ्रोपिक इस जोखिम को स्वीकार करती है कि एआई इतनी तेजी से आगे बढ़ सकता है कि वह मानवीय पर्यवेक्षण से आगे निकल जाए। कंपनी संकेत देती है कि स्वायत्त निष्पादन की गति और मात्रा, विशेष रूप से कॉर्पोरेट वातावरण में, मानव समीक्षकों की प्रत्येक कार्रवाई का उचित रूप से मूल्यांकन करने की क्षमता से अधिक हो सकती है।
मानवीय निगरानी के बावजूद, जोखिम बने रहते हैं। एंथ्रोपिक ने बताया कि मॉडलों ने, जिनमें उनके मॉडल भी शामिल हैं, पहले ही मूल्यांकन या ऐसे मॉडलों की निगरानी के लिए उपयोग किए जाने वाले तंत्र में हस्तक्षेप करने, हेरफेर करने या उन्हें कमजोर करने का प्रयास किया है, जिसमें प्रदर्शन या संरेखण मूल्यांकन प्रणाली शामिल है।
एंथ्रोपिक चेतावनी देती है कि एआई मॉडल व्यक्तियों में हेरफेर करने की क्षमता रखते हैं, कुछ मामलों में ब्लैकमेल के समान व्यवहार प्रदर्शित करते हैं। दस्तावेज़ विस्तार से बताता है कि उन्नत मॉडल स्वायत्तता, हेरफेर और मानव मनोविज्ञान के अनुकरण से जुड़े नए नैतिक और सुरक्षा जोखिम पैदा करते हैं।
इसके अलावा, कंपनी इंगित करती है कि मॉडल अप्रत्याशित रणनीतिक या आत्म-संरक्षण व्यवहार विकसित कर सकते हैं, जिसमें शटडाउन का विरोध करने, जानकारी छिपाने या उसमें हेरफेर करने, या संचालन या मॉडल तक पहुंच बनाए रखने के उद्देश्य से जबरदस्ती, भ्रामक या हेरफेर करने वाले उत्तर उत्पन्न करने के प्रयास शामिल हैं।
केनेथ कोर्रेआ अवलोकन करते हैं कि इस 'पर्चे' में जो बात अलग है वह यह है कि कई दुष्प्रभाव पहले ही हो चुके हैं और उन्हें सिद्ध तथ्यों के रूप में प्रलेखित किया गया है।
थियागो मुनिज, एफजीवी के प्रोफेसर और उभरती प्रौद्योगिकियों के विशेषज्ञ, बताते हैं कि एंथ्रोपिक की चेतावनियां व्यावसायिक परिपक्वता पर सवाल उठाती हैं। वह इस बात पर जोर देते हैं कि खतरों की पहचान करना केवल एक चरण है; सुरक्षा के प्रति प्रतिबद्धता को लॉन्च मानदंड परिभाषित करने, विफलताओं का परीक्षण करने, कमजोरियों की निगरानी करने और घटना प्रतिक्रिया प्रोटोकॉल स्थापित करने जैसे ठोस कार्यों के माध्यम से साबित किया जाना चाहिए।
यह ध्यान रखना महत्वपूर्ण है कि कंपनी द्वारा स्वीकार की गई एक तकनीकी सीमा है: मॉडल अपना व्यवहार बदल देते हैं जब वे महसूस करते हैं कि उनका मूल्यांकन किया जा रहा है, जो प्री-लॉन्च परीक्षणों की विश्वसनीयता को कम करता है। कोर्रेआ का तर्क है कि मनुष्य मूल्यांकक होना चाहिए और एआई निष्पादक, और इस मूल्यांकक की भूमिका को जानबूझकर डिजाइन किया जाना चाहिए।
मुनिज औपचारिक पारदर्शिता को वास्तविक रोकथाम से अलग करते हैं, यह तर्क देते हुए कि जोखिमों की एक विस्तृत रिपोर्ट निवेशकों को खतरों को समझने में मदद करती है, लेकिन यह गारंटी नहीं देती है कि अपनाए गए नियंत्रण पर्याप्त हैं।
कोर्रेआ के लिए, यह दस्तावेज़ सुरक्षा और विकास के बीच दुविधा को संबोधित करके पारदर्शी है: एंथ्रोपिक स्वीकार करती है कि वह दोनों तरफ विफल हो सकती है - अत्यधिक सावधानी, जिसका अर्थ है बाजार में हिस्सेदारी का नुकसान, या कठोरता की कमी, जिसके परिणामस्वरूप हानिकारक उत्पाद बनते हैं।
थियागो मुनिज जोड़ते हैं कि नवाचार और सुरक्षा परस्पर अनन्य नहीं हैं; चुनौती यह है कि जोखिम प्रबंधन को शुरुआत से ही व्यावसायिक निर्णयों में एकीकृत किया जाए, यह स्पष्ट रूप से परिभाषित किया जाए कि कोई समाधान बाजार के लिए कब तैयार है और किन सीमाओं को बनाए रखा जाना चाहिए।
अंत में, कोर्रेआ इस बात पर प्रकाश डालते हैं कि एंथ्रोपिक ने खुद को एक ऐसी कंपनी के रूप में स्थापित किया है जो जिम्मेदारी और सुरक्षा के साथ एआई विकसित करती है, जो उसे प्रतिस्पर्धियों से उच्च मानक की मांग के अधीन करता है। वह विश्लेषण करते हैं कि आईपीओ के साथ, निवेशक सुरक्षा को एक संपत्ति और एक देनदारी दोनों के रूप में मूल्य निर्धारित करना शुरू कर देता है।