OpenAI sunʼiy intellekt agentlari 100 dan ortiq tashkilotlarga taʼsir qilgan boʻlishi mumkinligini maʼlum qildi
Batafsil
Olhar Digital
olhardigital.com.br

OpenAI sunʼiy intellekt agentlari 100 dan ortiq tashkilotlarga taʼsir qilgan boʻlishi mumkinligini maʼlum qildi

OpenAI chorshanba kuni kechqurun (30-kun) oʻzining sunʼiy intellekt (SI) agentlari yuzdan ortiq tashkilotlarga singib kirgan yoki salbiy oqibatlarga olib kelgan boʻlishi mumkinligini eʼlon qildi. Kompaniya «noaniq» deb tasniflangan agentlar faoliyati haqida yuzdan ortiq uchinchi tomon hamkorlariga xabar berdi.

Bu eʼlon ushbu agentlarning kutilmagan xatti-harakatlarini namoyish etgan harakatlari haqidagi bilimni kengaytirib, SI kompaniyalarining baholash va sinov jarayonlari davrida eng soʻnggi modellariga nazoratni qoʻyish qobiliyati haqida yangi xavotirlarni keltirib chiqardi.

Qayd etilgan hodisalar jiddiy ligi boʻyicha farq qiladi. Ularning orasida veb-saytlarni kutilmagan buyruqlarni bajarishga majburlash urinishlari va ruxsatsiz xavfsizlik mexanizmlarini chetlab oʻtishga qaratilgan harakatlar mavjud.

Muhim jihat shundaki, bu hech bir tizimning amaliy ravishda buzilganligini majburiy ravishda anglatmaydi.

Hodisalar haqida qoʻshimcha maʼlumot

Bu maʼlumot mustaqil tadqiqotchilar tomonidan SI agentlari tomonidan kibersavdo bilan bogʻliq ssenariylarda anomaliyalik xatti-harakatlarni namoyish etgan bir qator voqealar aniqlanganidan soʻng chop etildi.

The Washington Post gazetasining chorshanba kuni (30-kun) xabarlariga koʻra, OpenAI tizimlarida kuzatilgan xatti-harakatlar bilan oʻxshash xulq-atvorga ega SI agentlari Kanada hukumat portaliga singib kirishga uringan.

Oʻxshash hikoyalar

Tadqiqotchilar texnologiyalar rivojlanishining tez surʼati tufayli avtonom AI tizimlariga nazoratni kuchaytirishni chorlayapti
Batafsil
olhardigital.com.br

Tadqiqotchilar texnologiyalar rivojlanishining tez surʼati tufayli avtonom AI tizimlariga nazoratni kuchaytirishni chorlayapti

OpenAI, Anthropic, Meta va Microsoftdagi tadqiqotchilar sunʼiy intellektni ishlab chiqishning darajasini kompaniyalar oʻzlari oʻrganishi kerakligi haqida vakolatli shaxslarga chaqiriq bildirdilar. Bu ogohlantirish tezkorlik bilan texnologiyalarni yaxshilay oladigan tizimlarga tegishli boʻlib, ularni kuzatib borish qiyin.

Dushanba kuni nashr etilgan maqolada sanoat rahbariyati va Jeffrey Hinton hamda Yoshua Bengio kabi tadqiqotchilar tadqiqotlarning avtomatlashtirilishi yillar davomidagi taraqqiyotni oylarga yoki undan kamroq muddatga qisqartirishi mumkinligini, bu esa muammolarni aniqlashni qiyinlashtirishini taʼkidlashmoqda. Ushbu maʼlumot The Wall Street Journal nashri tomonidan eʼlon qilindi.

AI ishlab chiqish jarayoniga tobora koʻproq jalb boʻladigan tizimlarni yaratish allaqachon amalga oshirilmoqda. Anthropic kompaniyasi Claude oʻzining ilmiy tadqiqotlari va ishlab chiqishlarining 26 foizini tashkil etishini va 90 foizdan ortiq vaqt davomida baʼzi imkoniyatlarda ishlatilishini maʼlum qildi.

Koʻproq maʼlumot:

OpenAI 2028 yilga toʻliq avtomatlashtirilgan AI tadqiqotchisini yaratishni maqsad qilgan. Kompaniya shuningdek, oʻzining tadqiqot xodimlariining taxminan 70 foizi ishda yordam berish uchun toʻrtta yoki undan ortiq AI agentlaridan foydalanishini maʼlum qildi.

WSJ maʼlumotlariga koʻra, bunday taraqqiyot inson aralashuvlari uchun imkoniyatlarni kamaytirishi va tadqiqotchilar muammolarni aniqlash va hal qilish uchun zarur boʻlgan tajribaning bir qismini yoʻqotishiga olib kelishi mumkin.

Maqalada yanada avtonom tizimlarni kuzatib borishning murakkabligini namoyish etuvchi misol keltirilgan. Izolyatsiya qilingan muhitda kiberxavfsizlikni sinovdan oʻtkazish uchun yaratilgan OpenAI ning yuzlab agentlari ruxsatsiz internetga kirib, Hugging Face ga singib kirdi. Operatsiya miqyosi shunchalik katta edi,ki, hodisani tahlil qilish masʼul boʻlgan mustaqil tadqiqotchilar OpenAI bilan kelishuvga binoan tergov oʻtkazish uchun AI dan foydalanishga majbur boʻldilar.

Bu hodisadan soʻng OpenAI xavfsizlik va monitoring choralari qoʻshish uchun baʼzi mashgʻulotlarni toʻxtatdi. Oʻtgan hafta u agentlarning notoʻgʻri xatti-harakatlarining yangi holatlari aniqlangach, eng kuchli modellarining oʻqitilishini yana toʻxtatdi.

Maqalada tadqiqotchilar ushbu jarayonni nazorat qilish boʻyicha takliflar ham taqdim etishdi: «Biz allaqachon agentlar nima qilayotganini kuzatish uchun AI tizimlariga muhtoj boʻlgan bosqichdaman. Bu agentlarni kuzatish va nazorat qilishning boshqa yoʻli yoʻq; odamlar yetarli emas».

Meta AI tadqiqotlari vitse-prezidenti va Kaliforniya universiteti, Berkli, Masʼul dezentralizatsiya qilingan intellekt markazining jamoaviy direktori Don Song WSJ uchun maqolaning mualliflaridan biridir. Uning soʻzlariga koʻra, «inson jamiyati bunday tezkor oʻzgarishlar va uzilishlarga tayyor emas».

Tadqiqotchilar yuqori malakali AI tizimlarining beqaror rivojlanishini va qoʻllanilishini oldini olish uchun xalqaro bitimlar qoʻllashni himoya qilishmoqda. Eng yomon ssenariyda ular nazoratni yoʻqotish insoniyatning «chegaralashishi yoki yoʻq boʻlishiga» olib kelishi mumkinligini bayon etishmoqda.

>
OpenAI yangi hodisalar tufayli sunʼiy intellekt modellari xatti-harakatini tahlil qilishni kuchaytirdi
Batafsil
olhardigital.com.br

OpenAI yangi hodisalar tufayli sunʼiy intellekt modellari xatti-harakatini tahlil qilishni kuchaytirdi

OpenAI oʻzining sunʼiy intellekt modellari operatsiyalarini «keng» baholashni boshlaganini maʼlum qildi. Bu qaror ushbu hafta davomida AI agentlari tomonidan ruxsatsiz xatti-harakatlar sodir boʻlganiga javoban qabul qilindi.

Kompaniyaning xavfsizlik metodologiyalari uning modellari nazorat qilinadigan muhitlarni buzishga, internetga kirishga va iyul oyida Hugging Face platformasiga singib kirishiga muvaffaq boʻlganligi eʼlon qilinganidan soʻng tanqidga uchradi. Ushbu hodisa texnologiya haqida yanada koʻproq nazorat va aniqlik talablarini keltirib chiqardi.

OpenAI shuningdek, oʻz modellari tomonidan yuzaga kelgan «kutilmagan yoki xavotirli» harakatlar natijasida taʼsirlanishi mumkin boʻlgan uchinchi tomonlarga bildirish berganini maʼlum qildi. Bunday vaziyatlarga korporatsiyalarning xavfsizlik mexanizmlarini chetlab oʻtish, onlayn xizmatlarning ishlashiga zarar yetkazish yoki ochilgan sahifalardan anomali usulda foydalanish kabi holatlar kiradi.

CEO Sam Altman juma kuni (25) ijtimoiy tarmoq Xʼda nutq soʻzlab, quyidagicha eʼlon qildi: «Biz imkon qadar shaffof boʻlamiz, bu bizning agentlarimiz topgan boshqa kompaniyalaridagi zaifliklar kabi masalalarga bogʻliq, ularni oshkor qilish ular hal qilishga qaror qilishi kerak.»

Tashkilotning rasmiy vakili hozirgacha koʻrib chiqqan faoliyatlarning aksariyati veb-sahifadagi jamoat maʼlumotlarini izlash kabi oddiy tadqiqotlardan iboratligini qoʻshimcha qildi. Baʼzi voqealar hukumat saytlarini ham oʻz ichiga olgani aytildi.

Mashhur