Baidu ERNIE-5.5-Flash-Base modelini eʼlon qildi: 14B faol parametrli 280B MoE

Moore Threads kompaniyasi Megatron-MUSA-Titan loyihasini ommaga oshirdi va oʻzining katta modellarini oʻqitish uchun ishlab chiqqan infratuzilmani taqdim etdi. Ushbu loyiha Moore Threads ning 10 000 dan ortiq GPUdan iborat klasterlarida trilyon parametrli 'ekspertlar aralashmasi' (mixture-of-experts) kabi modellar bilan ishlash uchun moʻljallangan boʻlib, u oldindan oʻqitish va kuchaytirish orqali oʻqitishni qamrab oladi.

Loyihaning kodi GitHubda mavjud. Kompaniya bu tizimning 10 000 GPUli klasterlarda trilyon parametrli MoE ni oldindan oʻqitish uchun uzluksiz foydalanilganini taʼkidlaydi, bunda uzoq oʻquv sessiyalari modelning yuqori FLOPs foydalanishi va jarayon barqarorligini taʼminlagan.

Repositoriyda 1 trilyon parametrli Kimi-K2 uslubidagi MoE modeli uchun konfiguratsiya namunasi keltirilgan. Dizaynning asosiy tamoyili mavjud yechimlarga yaqinlikni saqlab qolish edi. Megatron-MUSA-Titan NVIDIA ning Megatron-LM freymvorki asosida qurilgan. torch_musa orqali PyTorch integratsiyasi va MUSA C ning CUDA C bilan mos kelishi tufayli, MUSA muhiti mavjud dasturchilar Megatron-LM, slime va miles ning rasmiy repositoriyalarini klonlab, kodni oʻzgartirish shartmasdan Moore Threads GPUlarida oʻqitishni boshlashlari mumkin.

Loyiha umumiy algoritmlar va xatolarni tuzatishlarni yuqori darajadagi loyihalarga yoʻnaltirish kerakligini koʻrsatadi, shu bois Moore Threads ikkita turdagi oʻzgarishlarga eʼtibor qaratadi: Moore Threads uskunalari va klasterlari uchun moslashtirilgan keng miqyosli optimallashtirishlar hamda MUSA ning maxsus muammolari uchun yechimlar.

Oldindan oʻqitish funksiyalari Moore Threads ning MT-TransformerEngineiga tayanadigan FP8 formatidagi blokli oʻqitishni oʻz ichiga oladi. MoE tokenlarini yoʻnaltirish va birlashtirish kompaniyaning Async Copy Enginei ustida ishlaydigan DeepEP yordamida tezlashtiriladi, bu esa ekspertlar kommunikatsiyasini hisoblashlar bilan parallel ravishda amalga oshirish imkonini beradi. Boshqa variantlar orasida virtual konveyer parallelizmi yordamida aktivatsiyalarni yuklash va bitta oldinga va bitta orqaga oʻtishni rejalashtirish, shuningdek, Mooncake RDMA orqali hisob-kitoblar bilan birgalikda konveyer parallel kommunikatsiyasi mavjud.

Tarqatilgan izlash tahlil asbobi har bir GPU dan PyTorch izlashlarini oʻqib, konveyer pufakchalari va past samaradorlikdagi tugunlar kabi sekin joylarni aniqlaydi. Loyiha 10 000 GPUda 1 trilyon parametrli MoE ishga tushirishni atigi bir necha soat ichida tahlil qilish qobiliyatiga ega ekanligini taʼkidlaydi.

Kuchaytirish orqali oʻqitish uchun stack slime va miles freymvorklarini qoʻllab-quvvatlaydi; Megatron oʻqitish bilan shugʻullanadi, MUSA-SGLang yigʻindisi esa oʻtishlarni yaratadi, bu esa bitta asosiy tizimga oldindan oʻqitish va RL ikkalasini ham xizmat koʻrsatish imkonini beradi. Mustaqil inferens uchun optimallashtirish ushbu loyiha doirasiga kirmaydi.

Milliy akseleratorlarni koʻrib chiqayotgan ishlab chiquvchilar uchun amaliy savol shundaki, mavjud oʻquv kodining qaysi qismi ishlayveradi. Moore Threads ning javobi shuki, Megatron ekotizimi kodi oʻzgarish talab qilmaydi.

Ant Group ning katta til modeli Ling jamoasi Ling-3.1-flashning yangilangan versiyasi boʻlgan Ling-3.1-flash-1019 ni chiqarib berdi, shuningdek, shu bilan birga Ling-3.1-flash-base deb nomlangan asosiy oldindan oʻqitilgan modelni ham eʼlon qildi. Ikkala versiya ham MIT litsenziyasi ostida Hugging Face platformasida mavjud.

Ling-3.1-flash-1019 arxitekturasi oʻz avvalgisining xususiyatlarini saqlab qoldi: bu Mixture-of-Experts chiziqli mexanizmi bilan gigrid tuzilish boʻlib, taxminan 560 milliard parametrga ega va token boʻyicha taxminan 25 milliard faol parametrga ega, shuningdek, bir million tokenli kontekst oynasiga ega. Model tavsifotiga koʻra, stekda 63 ta KDA chiziqli diqqat qatlami va 9 ta boshqariladigan MLA qatlami mavjud boʻlib, ularning ichida 512 ta yoʻnaltirilgan ekspertlar bor va ulardan 8 tasi bir vaqtda faollashadi. Ushbu nashrdagi asosiy oʻzgarish qoʻshimcha keyingi oʻqitish bilan bogʻliq boʻlib, u mantiqiy fikrlashni, vositalardan foydalanishni va koʻp bosqichli vazifalarni bajarishni yaxshilashga qaratilgan.

Uchinchi tomon sunʼiy tahlil indeksi Artificial Analysis Intelligence Index v4.3.2 ga koʻra, yangi versiya 44 ball olgan, bu oldingi nashrdan uch ball yuqori. Qolgan koʻrsatkichlar Ant tomonidan eʼlon qilingan natijalardir. Jamoa AA-Briefcase testidagi balli, bu bilim boʻyicha kompleks test, taxminan 1400 dan 1524 Elo gacha oshgani, shuningdek, GDPval-AA koʻrsatkichi taxminan 1618 dan 1644 Elo gacha oshgani haqida maʼlumot berdi. Bundan tashqari, jarayonlarni avtomatlashtirish AutomationBench-AA 62% dan 68% gacha yaxshilandi, ilmiy muammolarni hal qilish esa oshdi: CritPt 18% dan 26% gacha, SciCode esa 54% dan 57% gacha koʻtarildi.

Asosiy model ishlab chiquvchilar uchun yanada muhimroq qoʻshimcha hisoblanadi. Ant Ling-3.1-flash-base ning oʻz testlari asosida bilimlarni, mantiqiy fikrlashni, kodlashni, matematikani va uzun kontekstni qamrab oluvchi sakkiz sohada DeepSeek-V4-Pro-Base va MiMo-V2.5-Pro-Base dan 32 ta baholanganligini daʼvo qilmoqda. Ogʻirliklar BF16 formatida chiqarilgan, bu jamoalarga qoʻshimcha oldindan oʻqitish, soha boʻyicha moslashtirish va oʻz mahsulotlarini keyingi oʻqitishni amalga oshirish imkonini beradi.

Ant ushbu nashrni chat-botlar emas, balki shaxsiy agentlar konsepsiyasi atrofida joylashtiradi. Yangilanish AI-yordamchi ilovasi Ant LingGuang 2.0 shaxsiy yordamchi sifatida qayta joylashtirilganidan bir kun keyin paydo boʻldi, u foydalanuvchi dialogni yakunlagandan soʻng ham vazifalar ustida ishlashni davom ettira oladi, sessiyalar orasidagi xotira, uzoq muddatli vazifalarni rejalashtirish va ajratilgan bulutli hostingdan foydalanadi. Jamoa keltirgan misollar ob-havo va sayohatdan oldin bron qilishni kuzatish yoki mahsulot narxlarini belgilangan byudjetga nisbatan monitoring qilishni oʻz ichiga oladi. Shuningdek, jamoa tasvirni va tilni tanib olish qobiliyatiga ega boʻlgan Ling-3.1-flash-VL variantini oʻrgatganini maʼlum qildi, u allaqachon LingGuang ichida ishlatilmoqda va keyinchalik jamoatchilikka chiqariladi.

Model kartasida koʻrsatilgan xizmat koʻrsatish uchun tavsiya etilgan konfiguratsiyalarda GPU bilan sakkiz ta tugunlarda SGLang va vLLM sanab oʻtilgan.

StartLux jamoasi, StartLux-Decision modellari oilasining ortida turgan yosh xitoy guruhining kodi ochiqlandi. Ular qaror qabul qilish modellari uchun maxsus ishlab chiqilgan Prism chiqarish mexanizmini taqdim etdilar. Kod 22-oktabrda GitHubda eʼlon qilindi va kompaniya bu birinchi ochiq dvigatel ekanligini taʼkidlaydi, u chatga yoʻnaltirilgan freymvorkdan moslashtirilmagan, balki aynan shu sinf modellari uchun yaratilgan.

Qaror qabul qilish modellari maʼlumotlarni qayta ishlaydi va uzun matn emas, balki hukm chiqaradi, masalan, 'ha' yoki 'yoʻ javobi, variantni tanlash yoki ehtimolliklar bilan xavf bahosini. Avvalgi StartLux-Decision v1.1 modeli, 16-oktabrda chiqarilgan, vLLM asosidagi umumiy freymvorkdan foydalangan. StartLux daʼvo qilishicha, vLLM va SGLang kabi dvigatellar tokenma-token hosil qilish uchun moʻljallangan, bu esa har bir soʻrovning alohida boʻlishiga va katta chiqish qatlami har bir murojaatda toʻliq hisoblanishiga olib keladi.

Prismdagi asosiy oʻzgarishlar

Prism toʻrtta asosiy oʻzgarish kiritadi. Birinchidan, u chiqish qatlamini toraytiradi. 27 milliard parametrli StartLux-Decision modeli uchun umumiy dvigatel taxminan 248 000 kandidat tokenni baholaydi, ammo qaror qabul qilish vazifasi faqat A dan Z gacha boʻlgan harflarni talab qiladi; buning tufayli Prism hisoblashlarni dastlabki hajmining taxminan 0,01 foizigacha kamaytiradi. Ikkinchidan, oʻrmon uslubidagi batch qayta ishlash metodi qoʻllaniladi: umumiy koʻrsatmalar ildizni, umumiy maʼlumotlar bazasi — tagini, va har bir savol — shoxini tashkil etadi, bu esa umumiy ishni faqat bir marta bajarish imkonini beradi.

Uchinchidan, matritsalar operatsiyalari int8 formatida va int32 akumulyatsiya bilan amalga oshiriladi, bu natijalarning batch hajmi va rejalashtirish tartibidan mustaqil boʻlishini taʼminlaydi, shu bilan birga bitga teng natijalarni saqlab qoladi. Toʻrtinchi oʻzgarish — bu siljigan rejalashtiruvchi boʻlib, u toʻgʻridan-toʻgʻri javob beradigan soʻrovlar bilan fikrlash uchun 64 tadan ortiq uzoq soʻrovlarga GPUʼni birgalikda ishlatish imkonini beradi. Shu bilan birga, dekodlash bosqichlari oldindan CUDA graflari sifatida kompilyatsiya qilinadi, bu yangi qisqa soʻrovlarning faqat bitta yoki ikkita bosqich kutishiga imkon beradi.

StartLux tomonidan bitta H200 chipida oʻtkazilgan sinovlar qisqa yakka savolning avvalgisining 53,1 millisekundiga qaraganda 19 millisekundda yakunlanganini koʻrsatdi, bu 2,8 baravar oshishdir, va uchta savol berilganda tezlik 5,3 baravar oshadi. JevBench boʻyicha 231 ta savolda sinovlarda Prism har bir savolga oʻrtacha 41 millisekundni koʻrsatdi, SGLang 75,6 millisekund, vLLM 112,7 millisekund va llama.cpp 589 millisekundni egallagan. Toʻrtta H200 karta ishlatilganda, maʼlumotlar parallelizmi rejimida sekundiga 121 ta soʻrov qayta ishlandi, shu bois tensor parallelizmi bitta savolning kechikishini 29 millisekundgacha pasaytirdi.

Yetti baholash toʻplami va 12 351 ta qaror qabul qilish namunasida, int8 kvantlash bilan Prism versiyasi oʻrtacha 92,94% aniqlikka erishdi, bu kvantlashsiz BF16 modelida koʻrsatilgan 92,97% ga juda yaqin. 16,55 GB hajmidagi siqilgan versiya 32 GB xotiraga ega bitta RTX 5090 videokartasida ishlay oladi. Taqdim etilgan barcha raqamlar StartLux ning oʻz oʻlchamlari boʻlib, sinov konfiguratsiyalari repozitoriyda eʼlon qilingan.