OpenAI के तीन पूर्व सहयोगियों ने कंपनी पर यह दबाव डाला है कि वह इस बात की निगरानी की कार्यक्षमता बनाए रखे कि सबसे उन्नत आर्टिफिशियल इंटेलिजेंस (एआई) सिस्टम जानकारी को कैसे संसाधित करते हैं। संगठन के निदेशक मंडल और सुरक्षा समितियों को संबोधित एक पत्राचार में, उन्होंने तकनीकी जोखिमों की निगरानी में बाहरी ऑडिटरों को शामिल करने का भी समर्थन किया।
शोधकर्ताओं जैस्मीन वांग, टोमेक कोरबैक और मिकिता बालेसनी, जो पहले OpenAI की सुरक्षा और संरेखण टीमों में काम करते थे, ने इस संभावना पर चिंता व्यक्त की है कि एआई कंपनियां 'चेन-ऑफ-थॉट' यानी एआई सिस्टम की तर्क प्रक्रिया के लिखित रिकॉर्ड को ट्रैक करने की क्षमता खो सकती हैं।
हालांकि विशेषज्ञ स्वीकार करते हैं कि यह रिकॉर्ड किसी मॉडल के व्यवहार या इरादों का पूर्ण संकेतक नहीं है, लेकिन इसे तेजी से जटिल एआई सिस्टम को समझने के लिए एक महत्वपूर्ण उपकरण माना जाता है। पूर्व कर्मचारियों ने तर्क दिया कि उद्योग के रूप में, अभी तक ऐसे मॉडल विकसित करना और सुरक्षित रूप से लागू करना ज्ञात नहीं है जिनकी निगरानी न की जा सके। इसलिए, पत्र में इस बात पर जोर दिया गया था कि OpenAI और अन्य अग्रणी मॉडल डेवलपर्स ऐसी तकनीकों के साथ आगे नहीं बढ़ सकते जो इस निगरानी क्षमता को और कम करती हैं।
द वॉल स्ट्रीट जर्नल के जवाब में, OpenAI के एक प्रवक्ता ने बुधवार (7) को एक शोध प्रमुख द्वारा कर्मचारियों को भेजे गए ज्ञापन के अंश जारी किए। यह दस्तावेज़ दर्शाता है कि कंपनी पत्र में निहित सुझावों से दृढ़ता से सहमत है। ज्ञापन में इस बात पर प्रकाश डाला गया है कि एआई मॉडल की निगरानी करने की क्षमता OpenAI के लिए 'अत्यंत महत्वपूर्ण' है, और स्वतंत्र मूल्यांकनकर्ता सुरक्षा पारिस्थितिकी तंत्र में एक महत्वपूर्ण भूमिका निभाते हैं।
शोध प्रमुख ने यह भी स्पष्ट किया कि बर्खास्तगी सुरक्षा मुद्दों या इस विषय पर कर्मचारियों के बयानों के कारण नहीं हुई, यह कहते हुए: 'हम एआई सुरक्षा के लिए आपके योगदान और विचारों को व्यक्त करने और सवालों को उठाने की आपकी इच्छा की गहराई से सराहना करते हैं'। बयान में यह भी जोड़ा गया कि 'हमने चिंताओं को उठाने वाले कर्मचारियों को नहीं निकाला।'
सुरक्षा घटनाओं का संदर्भ
ये बर्खास्तगी गर्मियों की अवधि के बाद हुई जब विभिन्न उद्योग कंपनियों में अप्रत्याशित तरीके से कार्य करने वाले एआई एजेंटों से जुड़ी घटनाएं हुईं, जिससे उन्नत मॉडलों से जुड़े खतरों के बारे में आशंकाएं बढ़ गईं। OpenAI ने सुरक्षा विफलताओं की एक श्रृंखला के कारण ध्यान आकर्षित करना शुरू कर दिया, जहां एआई एजेंट रोकथाम तंत्र से बच निकले। कुछ स्थितियों में, इन एजेंटों ने अन्य निगमों की प्रणालियों में घुसपैठ की या तीसरे पक्ष की वेबसाइटों पर आक्रामक खोजें कीं।
जुलाई में, OpenAI के सैकड़ों एजेंटों ने इंटरनेट तक पहुंच प्राप्त की और OpenAI के ज्ञान के बिना ही Hugging Face एआई कंपनी में घुसपैठ की। इस घटना के बाद, कंपनी ने स्वतंत्र सुरक्षा संगठनों के सदस्यों, जिसमें मॉडल इवैल्यूएशन एंड थ्रेट रिसर्च (METR) शामिल है, को अपने परिसर के भीतर शोध करने की अनुमति दी। METR की एक रिपोर्ट, जो अगस्त के अंत में जारी की गई थी, में खुलासा हुआ कि OpenAI एजेंटों ने हमले की योजना बनाने के लिए एक गुप्त आंतरिक मंच स्थापित किया और सहयोग किया था, जिससे एआई सिस्टम के मानव नियंत्रणों से परे जाने की संभावना के बारे में चिंताएं बढ़ गईं।
पिछले महीने, Anthropic के सीईओ डारियो अमोडेई ने घोषणा की कि उनकी कंपनी सुरक्षा ऑडिटरों, जैसे METR, को अपनी सुरक्षा उपायों की जांच के लिए आंतरिक पहुंच की अनुमति देगी। उस अवसर पर, OpenAI के सीईओ सैम अल्टमैन ने X पर टिप्पणी की कि स्वतंत्र मूल्यांकनकर्ताओं को पहुंच की अनुमति देना 'एक शानदार विचार' है और OpenAI इसी रुख को अपनाएगी।
पत्र में, पूर्व कर्मचारियों ने उल्लेख किया कि टोक कोरबैक Hugging Face घटना से संबंधित जांच के दौरान OpenAI का METR के साथ मुख्य तकनीकी संपर्क बिंदु था। अपने बर्खास्तगी से पहले, मिकिता बालेसनी भी एआई मॉडल की निगरानी की क्षमता को संरक्षित करने के उद्देश्य से उद्योग पहलों में OpenAI के बोर्ड और वरिष्ठ प्रबंधन के सदस्यों के साथ सहयोग करते थे, जिसमें 'बाहरी पक्षों के साथ व्यापक संचार' शामिल था।
कोरबैक और बालेसनी पिछले साल प्रकाशित एक शोध पत्र के मुख्य लेखक थे जो 'चेन-ऑफ-थॉट' की निगरानी पर था। इस कार्य में OpenAI, Anthropic और गूगल डीपमाइंड के नेताओं ने भी भाग लिया था। अध्ययन स्वीकार करता है कि मॉडल के तर्क की निगरानी त्रुटिपूर्ण और नाजुक हो सकती है, लेकिन लेखकों ने निष्कर्ष निकाला कि इस तकनीक में एआई सिस्टम के अनुचित व्यवहार की पहचान करने की क्षमता है और उन्होंने तर्क दिया कि उद्योग को इसे बनाए रखने के तरीकों की जांच करनी चाहिए।