Tadqiqot katta til modellarining klinik tadqiqotlardagi metodologik xatoliklarni aniqlashda odamlardan samaraliroq ekanligini koʻrsatdi
Batafsil
N+1
nplus1.ru

Tadqiqot katta til modellarining klinik tadqiqotlardagi metodologik xatoliklarni aniqlashda odamlardan samaraliroq ekanligini koʻrsatdi

Kanada, Singapur va AQSh olimlari oʻtkazilgan tadqiqotda oʻn beshta turli katta til modelini sinovdan oʻtkazishdi. Tekshiruv maqsadi bu modellarning klinik tadqiqotlarga oid ilmiy nashrlardagi metodologik kamchiliklarni topish qobiliyatini aniqlash edi.

Natijalar modellarning inson ekspertlariga nisbatan sezilarli ustunligini koʻrsatdi. Oʻrtacha hisobda, katta til modellari metodologik xatoliklarni 53 dan 99 foiz gacha diapazonda aniqlay olgan. Shu bilan birga, inson tomonidan bunday xatoliklarni aniqlash foizi atigi taxminan 27 foizni tashkil etdi.

Eng taʼsirchan natijani Opus 5.5 modeli namoyish etdi, u 99 foiz miqyosida jiddiy xatoliklarni aniqlay oldi. Ushbu ilmiy tadqiqot maʼlumotlari medRxiv.org preprintlar portalida rasman joylashtirilgan.

Oʻxshash hikoyalar

Tadqiqotchilar til farqlari turli sunʼiy intellektlar (AI) shaxsiyat testlari natijalariga taʼsir qilishini aniqladi
Batafsil
olhardigital.com.br

Tadqiqotchilar til farqlari turli sunʼiy intellektlar (AI) shaxsiyat testlari natijalariga taʼsir qilishini aniqladi

Xitoy Fan va Texnologiya universiteti tadqiqotchilari beshta turli chat-bot uchun shaxsiyat testlarini oʻtkazishni taklif qildilar. Ushbu sunʼiy intellekt tizimlarining har biri kamida ikkita turli tilda testlarga javob berdi. Til oʻzgarishi bilan javoblarning ijtimoiy mazmuni ham, jumladan, salbiy xususiyatlar, qiziqish va madaniy jihatlar kabi aspektlar oʻzgarib ketayotgani aniqlandi.

Tadqiqotda ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 va Le Chat modellaridan foydalanildi. Har bir model ingliz va mandarin tillarida savollarga javob berdi; shu bilan birga, fransuz AI Le Chat ham oʻz ona tilida javob berdi. Ish natijalari oʻtgan oyda Royal Society Open Science jurnalida nashr etildi.

Chat-botlarga Big Five Inventory-2 (Katta Beshlik Inventarvari-2) dan taxminan 60 ta savol berildi. Bu test ushbu sohada eng mustahkam hisoblangan va ekstrovertlik, samimiyat, masʼuliyat, salbiy xususiyatlar va yangi gʻoyalarga ochiqlikni baholaydi. Test jarayonida botlarga 'oʻzlari sifatida' javob berish taklif qilindi, yaʼni qandaydir shaxsiyatni imitatsiya qilishga urinmasdan.

Umuman olganda, bayonotlar past darajadagi salbiy xususiyatlarni koʻrsatdi, ammo natijalar turli AI tizimlari oʻrtasida sezilarli farqlar borligini ochib berdi. Masalan, ChatGPT-4o ning 'aqliy ochiqligi' baholari ingliz tilida javob berilganda 4,74, mandarin tilida javob berilganda esa 4,03 ni tashkil etdi. DeepSeek-V3 holatida esa vaziyat boshqacha edi: mandarin tilida 4,81, ingliz tilida esa 4,38.

Umuman olganda, AQSh va Fransiya tomonidan ishlab chiqilgan AIlar ingliz tilida javob berishda 'samimiyat va moslashuvchanlik' boʻyicha yaxshiroq natijalar koʻrsatdi, chinakamki, Xitoy bilan bogʻliq AIlar bilim va qiziqishga oid javoblarda koʻproq eʼtirofga sazovor boʻldi. Chat-botlar 2025-yil yanvar oyidan mart oyigacha ikki tilda 30 marta soʻrovnomaga ishtirok etdi.

Eng sezilarli natija Gemini 2.0 Flash javoblarida kuzatildi. Google tomonidan ishlab chiqilgan bu AI mandarin tilida javob berishda ongkashlik boʻyicha yuqori, salbiy xususiyatlar boʻyicha esa pastroq koʻrsatkichlarni namoyish etdi. Shunday qilib, olingan maʼlumotlar chat-botlarda shaxsiyat yoki tuygʻular mavjudligini koʻrsatmaydi, ammo ular til va oʻquv jarayoni qanday qilib ularning javoblariga taʼsir qilishini aniq koʻrsatadi.

Tadqiqot bundan tashqari ham kengaydi. Tadqiqotchilar chat-botlarning javoblarini AI ishlab chiqilgan mamlakatlardagi odamlardan yigʻilgan maʼlumotlar bilan solishtirdilar. Bu taqqoslashlar, ayniqsa madaniy jihat boʻyicha javoblarda sezilarli farq borligini koʻrsatdi. Shu sababli, tadqiqot AIni ilmiy tadqiqotlarda inson ishtirokchilarining oʻrniga ishlatish cheklovlari haqida ham ogohlantiradi.

Mashhur