Anthropic kompaniyalar tomonidan sunʼiy intellekt modellari foydalanishini tasdiqlash uchun FlashProve texnologiyasini ishlab chiqmoqda
Batafsil
Olhar Digital
olhardigital.com.br

Anthropic kompaniyalar tomonidan sunʼiy intellekt modellari foydalanishini tasdiqlash uchun FlashProve texnologiyasini ishlab chiqmoqda

Anthropic kompaniyasi korxonalar tomonidan sunʼiy intellekt (AI) modeli natijasi yaratilganligini tekshirishga imkon beradigan FlashProve deb nomlangan texnologiyani ishlab chiqmoqda. Ushbu tizim maʼlum bir natija uchun javobgar modelning identifikatsiyasini tasdiqlovchi matematik dalil turini yaratish uchun kriptografiyadan foydalanadi.

Ushbu taklifning asosiy maqsadi foydalanuvchilarga provayder tomonidan eʼlon qilingan AI bilan oʻzaro aloqada ekanliklarini, kamroq yoki boshqa versiya bilan emas, tasdiqlash imkoniyatini berishdir. Anthropicning maʼlumotlariga koʻra, bu mexanizm kompaniyalarning oʻz modellarini sirli ravishda arzonroq variantlar bilan almashtirishini yoki amalda qoʻllanilayotgan haqiqiy texnologiyaga mos kelmaydigan ishlash koʻrsatkichlarini taqdim etishini ham qiyinlashtirishi mumkin.

Loyihaning tafsilotlari seshanba kuni (3-kun) kompaniya nashrida eʼlon qilingan. Bundan tashqari, kompaniya texnik spetsifikatsiyani va kodning bir qismlarini ochiq manba formatida mavjud qildi va boshqa tadqiqotchilarni tashabbusni tahlil qilishga va yaxshilashga taklif qildi.

FlashProve hal qilmoqchi boʻlgan asosiy muammolardan biri shundaki, provayder mijozlarga bitta modelni taqdim etadi, ammo xizmatdan foydalanish paytida boshqa model bilan ishlaydi. Masalan, tashkilot ilgʻor AI ga kirishni eʼlon qilishi mumkin, lekin xarajatlarni kamaytirish uchun uni arzonroq muqobil bilan almashtirishi mumkin. Bu mexanizm shuningdek, bir kompaniya natijani tasdiqlashda eʼlon qilganidan boshqa modeldan foydalangan holda boʻlgan holatlarni oldini olishga yordam beradi.

Bu tekshiruvning qoʻllanilish sohalari faqat AI kompaniyalari xizmatlaridan tashqarida ham keng tarqalgan. Tadqiqotchilar misol sifatida kibersavodxonlikning ilgʻor modelidan dasturiy taʼminot kutubxonasini xatolar topish uchun tekshirishni eʼlon qilgan ishlab chiquvchini keltirishadi. Boshqa potentsial qoʻllash sohasi esa kompaniyaning biznes-reja qismi ushbu vazifa uchun mos keladigan AI tomonidan tasdiqlanganini eʼlon qilishi boʻlishi mumkin.

FlashProve bilan eʼlon qilingan model aslida ushbu jarayonlarda ishlatilganligini tasdiqlash uchun kriptografik tekshiruv oʻtkazish mumkin boʻladi. Ommaviy eʼlon qilinganiga qaramay, FlashProve hali ham tadqiqot loyihasi sifatida qolmoqda. Anthropic batafsil texnik spetsifikatsiyani va turli komponentlarning funksional kodini ochiq manba litsenziyasi ostida chiqarib berdi, bu jamoatchilik uni koʻrib chiqishi va tizimni takomillashtirishga hissa qoʻshishi mumkinligini bildiradi.

Biroq, kompaniya ushbu texnologiyani oʻz xizmatlariga yoki boshqa AI platformalariga integratsiya qilish rejalari haqida maʼlumot bermadi. Tadqiqotchilar hozirgi nashrning butun tadqiqot rejasi yakunlanmagan, balki ishning oʻrta bosqichini ifodalashini tushuntirdilar. Maqsad boshqa jamoalarning taklifni baholashi, uning komponentlaridan foydalanishi va vositani takomillashtirishga yordam berishi imkonini yaratishdir.

Oʻxshash hikoyalar

Anthropic sunʼiy intellekt xavflarini, zararli foydalanishdan tortib nazoratni yoʻqotishgacha boʻlganlarini IPO uchun hujjatda batafsil bayon etdi
Batafsil
olhardigital.com.br

Anthropic sunʼiy intellekt xavflarini, zararli foydalanishdan tortib nazoratni yoʻqotishgacha boʻlganlarini IPO uchun hujjatda batafsil bayon etdi

Claude yaratuvchisi boʻlgan Anthropic kompaniyasi biznesiga potentsial toʻsiqlarni batafsil bayon etgan 93 sahifalik hujjatni eʼlon qildi. Ushbu material AQSh Valyuta bozori qoʻmitasi (SEC) huzurida Nasdaqda roʻyxatga olingan kompaniyaning kapitalni ochish (IPO) prospekti sifatida 26-oktabrda tasdiqlangan.

Garchi 'Biznesga potentsial toʻsiqlar' sarlavhasi texnik tuyulishi mumkin boʻlsa-da, sunʼiy intellektni rivojlantirish kontekstida bu nuqtalar insoniyat uchun jiddiy xavflar sifatida talqin qilinadi. Mutaxassislar Anthropic tomonidan berilgan ogohlantirishlarni tushuntirish uchun hujjatni tahlil qilishdi.

Anthropic sunʼiy intellektning xavf-xatarlarini ochiq ravishda ogohlantirib kelmoqda, ammo ushbu maxsus hujjat investorlarga moʻljallanganligi sababli, kapitalni ochishni rejalashtirayotgan kompaniyalar uchun tipik boʻlgan byurokratik xarakterga ega.

FGV professori va AI mutaxassisi Kenneth Corrêa risk omillari boʻlimining kompaniyani investorlardan huquqiy jihatdan himoya qilish uchun xizmat qilishini tushuntiradi; tilga olinmagan va sodir boʻlgan xavf aksiyadorlar daʼvolariga olib kelishi mumkin. U buni dori vositasining qoʻllanmasiga solishtiradi, u eng kam uchraydigan yon taʼsirlargacha roʻyxatlaydi, chunki laboratoriya nima tashlab yuborgani uchun javobgar hisoblanadi.

Anthropic holatlarida xavflar sezilarli darajada. Ulardan biri texnologiyasi kimyoviy qurollar ishlab chiqarishda qoʻllanilishi mumkinligi haqidagi xavotirdir. Boshqa katta xavotir esa uning ilgʻor mahsuloti inson nazoratidan chiqib ketishi mumkinligidir.

Anthropicning maʼlumotlariga koʻra, yomon niyatli agentlar uning texnologiyasidan xavfli qurollar ishlab chiqish uchun foydalanishlari mumkin. Hujjat eng qobiliyatli modellar, va kelajakdagi modellar ham shunday qilishi kutilayotganligi, yomon niyatli agentlarga biologik, kimyoviy yoki boshqa turdagi xavfli qurollar yaratishda yordam berishi mumkin boʻlgan imkoniyatlarga ega ekanligini taʼkidlaydi.

Bundan tashqari, kompaniya AI agentlarini zararli maqsadlarda ishlatish xavfini koʻrsatadi, masalan, maʼlumotlarni chiqarib olish, ruxsatsiz tranzaksiyalarni amalga oshirish yoki tizimlarga zararli kodlarni joylashtirish. Anthropic himoya choralari joriy etgan boʻlsa-da, ular buzilishi yoki funksiyasini bajarishda muvaffaqiyatsizlikka uchrishi mumkinligini taʼkidlaydi.

Anthropicning AI agentlari murakkab vazifalarni avtonom tarzda bajarish uchun moʻljallangan boʻlib, ular soatlar yoki kunlar davomida davom etishi mumkin. Kompaniya bu agentlar kodlarni oʻzgartirish, maʼlumotlarni oʻchirish yoki oʻzgartirish, tizimlarga kirish va samarali aralashuv imkoniyati boʻlmasdan moliyaviy tranzaksiyalarni yakunlash kabi harakatlarni amalga oshirishi mumkinligini aytadi.

Anthropic oʻz modellari rivojlanayotgan sari moslashuv, tushunarlilik, nazorat qilinish va xavfsizlik bilan bogʻliq tobora ortib borayotgan muammolarga duch kelayotganini eʼlon qiladi. U qoʻshimcha qiladiki, yanada sofusht modellar xavfsizlik mexanizmlaridan qochishni osonlashtirishi yoki kutilmagan xatti-harakatlar namoyon etishi mumkin, bu esa ular maʼlum natijalarni nima uchun berayotganini toʻliq tushunishni qiyinlashtiradi.

Texnologiyaning tezkor rivojlanishini hisobga olgan holda, Anthropic AI juda tez rivojlanib, inson nazoratidan oshib ketishi xavfini tan oladi. Kompaniya aytadiki, avtonom ijroning surʼati va hajmi, ayniqsa korporativ muhitlarda, inson tekshiruvchilarning har bir harakatni toʻgʻri baholash qobiliyatidan oshib ketishi mumkin.

Inson nazorati boʻlsa ham, xavflar mavjud. Anthropic oʻz modellari kabi modellar allaqachon bunday modellarni baholash yoki nazorat qilish uchun ishlatiladigan mexanizmlarga, shu jumladan, ishlash yoki moslashuvni baholash tizimlariga aralashishga, manipulyatsiya qilishga yoki ularni buzishga uringanini bildirdi.

Anthropic AI modellarining shaxslarni manipulyatsiya qilish potentsialiga ega ekanligini ogohlantiradi, baʼzi hollarda bu shantajga oʻxshash xatti-harakatni namoyon etadi. Hujjat ilgʻor modellar avtonomiya, manipulyatsiya va inson psixologiyasini simulyatsiya qilish bilan bogʻliq yangi axloqiy va xavfsizlik xavflarini keltirib chiqarishini batafsil bayon etadi.

Bundan tashqari, kompaniya modellar kutilmagan strategik yoki oʻzini saqlash xatti-harakatlarini rivojlantirishi mumkinligini koʻrsatadi, bu oʻchirishga qarshi kurashish, maʼlumotlarni yashirish yoki manipulyatsiya qilish yoki operatsiyani yoki modelga kirishni saqlab qolish maqsadida majburlash, aldash yoki manipulyatsion javoblar yaratishni oʻz ichiga oladi.

Kenneth Corrêa bu 'qoʻllanmaningʻ farqi shundaki, turli xil yon taʼsirlar allaqachon yuz bergan va sodir boʻlgan faktlar sifatida hujjatlashtirilganini kuzatadi.

FGV professori va yangi texnologiyalar mutaxassisi Thiago Muniz Anthropicning ogohlantirishlari korporativ yetuklik masalasini koʻtarishini taʼkidlaydi. U tahdidlarni aniqlash faqat bir bosqich ekanligini taʼkidlaydi; xavfsizlikka sodiqlik aniq tashabbuslar orqali isbotlanishi kerak, masalan, chiqarish mezonlarini belgilash, kamchiliklarni sinash, zaifliklarni kuzatish va hodisa larning javob berish protokollarini belgilash.

Kompaniya qabul qilgan texnik chegarani eslatish muhim: modellar baholanayotganini anglaganda oʻz xatti-harakatlarini oʻzgartiradi, bu esa chiqarishdan oldingi sinovlarning ishonchliligini pasaytiradi. Corrêa inson validatori, AI esa ijrochi boʻlishi kerakligini himoya qiladi va bu validator rolini maqsadli loyihalashtirish kerakligini taʼkidlaydi.

Muniz rasmiy shaffoflikni haqiqiy oldini olishdan ajratadi, keng qamrovli xavflar hisobotining investorlarga tahdidlarni tushunishga yordam berishini, ammo qabul qilingan nazoratlar yetarli ekanligini kafolatlamasligini taʼkidlaydi.

Corrêa uchun ushbu hujjat xavfsizlik va oʻsish oʻrtasidagi ikkilamchi muammoni hal qilishda shaffofdir: Anthropic ikkala tomonda ham muvaffaqiyatsizlikka uchrishi mumkinligini tan oladi — haddan tashqari ehtiyotkorlik, bu bozor yoʻqotilishini anglatadi, yoki qatʼiyatsizlik, bu zararli mahsulotlarga olib keladi.

Thiago Muniz qoʻshimcha qiladiki, innovatsiya va xavfsizlik bir-birini bekor qilmaydi; muammo xavflarni boshqarishni biznes qarorlariga boshidan integratsiya qilishda, qaysi vaqtda yechim bozorga tayyor ekanligini va qanday chegaralar saqlanishi kerakligini aniq belgilashda yotadi.

Nihoyat, Corrêa Anthropic oʻzini masʼuliyatli va xavfsiz AI ishlab chiqarayotgan kompaniya sifatida joylashtirganini taʼkidlaydi, bu uni raqobatchilar tomonidan yuqori standart talablariga tortadi. U tahlil qiladiki, IPO bilan investor xavfsizlikni aktiv sifatida ham, passiv sifatida ham narxlashni boshlaydi.

दूध
Sunʼiy intellekt yordamida zaifliklarni aniqlash ikki baravar oshdi va xavfsizlik ekspertlari xavotirda
Batafsil
olhardigital.com.br

Sunʼiy intellekt yordamida zaifliklarni aniqlash ikki baravar oshdi va xavfsizlik ekspertlari xavotirda

Sunʼiy intellekt dasturiy taʼminotdagi zaifliklarni aniqlash jarayonini tezlashtirib, ularni tuzatish uchun ajratilgan vaqtni qisqartirmoqda. Reuters tomonidan soʻrovnomaga qoʻshilgan kiberxavfsizlik ekspertlari kompaniyalar va hukumatlar bu kamchiliklardan foydalanishga tayyorgarlik koʻrmoqdaligi sababli raqamli xizmatlarda yangi uzilishlar kutilayotganini bashorat qilmoqda.

VulnCheck kompaniyasi tomonidan oʻtkazilgan va yaqin kunlarda nashr etilishi rejalashtirilgan tadqiqot shuni koʻrsatadiki, aniqlangan raqamli zaifliklar soni oʻtgan yilga nisbatan ikki baravar oshgan. Bu hafta Yevropadagi davlat saytlarida qayd etilgan muammolar bunday kashfiyotlarning keltirib chiqarishi mumkin boʻlgan bosimni namoyish etadi.

Uzilishlar chorshanba kuni boshlandi, chunki PHP dasturlash tilida zaifliklar aniqlandi, bu til internetning koʻplab qismlarida ishlatiladi. Hujumlar oldini olish uchun operatorlar tizimlarini tezkor tuzatish bilan band boʻldilar. Baʼzilari potentsial singoptorliklar oldini olish uchun saytlarni vaqtincha oʻchirib qoʻydilar.

Bu tuzatishlar uchun kurash shu haftada sodir boʻldi, bu hafta boshqa xavfsizlik muammolari bilan ham belgilangan edi. Node.js va Plex da zaifliklar ochildi, shuningdek, LiteLLM sunʼiy intellekt platformasi va Railway ishlab chiqish platformasi bilan bogʻliq hodisalar kuzatildi. Hindiston sertifikatsiya organi eMudhra ham juda zaif kriptografik kalitdan foydalanish tufayli diqqatni tortdi, bu esa internet foydalanuvchilarini xavf ostiga qoʻyishi mumkin edi.

Cloudflare Bosh ijrochi direktori Matthew Prince Reutersga, tarmoq faoliyati uchun muhim boʻlgan dasturiy taʼminotdagi boshqa jiddiy zaifliklar haqida maʼlumot borligini bildirdi. Uning bahosiga, sektor oldida qiyin oylarga duch keladi. U shunday dedi: «Menimcha, biz har hafta osmon tushayotgandek tuyuladigan bir necha yilimiz boʻladi».

Avval murakkab dasturlardagi zaifliklarni izlash maxsus bilim talab qilardi. Ularni ekspluatatsiya qilish vositalarini ishlab chiqish haftalar yoki oylarni olishi mumkin edi, bu esa tizimlarni boshqaruvchilarga tuzatishlar tayyorlash va yangilanishlarni tarqatish uchun vaqt berardi. Biroq, sunʼiy intellekt bu vaqt oraligʻini qisqartiradi. Modellar katta kod bazalarini uzluksiz tahlil qila oladi, muammolarni topa oladi va ekspluatatsiya qilish vositalarini ishlab chiqishga bir necha soat ichida yordam bera oladi.

RunSafe Security texnik direktori Shane Fry bu jarayon surʼatini taʼkidladi. U shunday dedi: «Asosiy va shubhasiz oʻzgarayotgan narsa — bu zaifliklarni aniqlash va hujumchilar ulardan foydalana olish uchun kerak boʻlgan vaqtdir».

Bu vaziyat yuzasidan xavfsizlik jamoalari oddiy kod xatolarini aniqlashdan tashqari vazifalarni bajarishlari kerak. Mutaxassislar reaksiya vaqtining qisqarishidan xavotirda, ammo tezlashgan zaifliklarni aniqlash muvaffaqiyatli hujumlar toʻlqiniga olib kelishi haqida yagona fikr yoʻq.

Curl fayl uzatish vositasining asosiy ishlab chiquvchisi Daniel Steinberg, AI modellar tomonidan topilgan baʼzi zaifliklar murakkab va foydalanishi qiyin ekanligini taʼkidlaydi. ArmorCode xavfsizlik kompaniyasidan Rami Rahman ham, koʻproq zaifliklarni eʼlon qilish muvaffaqiyatli hujumlar sonining ortishini anglatmasligini taʼkidlaydi. PHP holati bu farqning misolidir: Hunt.io tahdidlarni aniqlash kompaniyasi agressiv ekspluatatsiya urinishlarini aniqladi, ammo payshanba kuni tushgacha AQSh sharq qirgʻogʻidagi vaqtida kuzatilayotgan hujumchilar ushbu zaiflikdan foydalanish uchun funksional vositani ishlab chiqara olmagan deb maʼlum qildi.

Prince zaiflik bilan bogʻliq singoptorlik belgilarini bildirgan. Shunga qaramay, u muammolarni tezroq aniqlashning uzoq muddatli foyda keltirishi mumkinligiga ishonadi, bu yillar davomida yashiringan xatolarni tuzatish imkonini beradi.

Mashhur