Huawei Ascend Atlas A3 va Ascend 950 SuperPoD uchun Kimi K3.1 Pro qoʻllab-quvvatlashni qoʻshdi
Batafsil
Pandaily
pandaily.com

Huawei Ascend Atlas A3 va Ascend 950 SuperPoD uchun Kimi K3.1 Pro qoʻllab-quvvatlashni qoʻshdi

Huawei Ascend hisoblash tizimlari jamoasi 2,8 trillion parametrga ega boʻlgan Kimi K3.1 Pro modelining inferens uchun moslashtirilishining yakunlanganini maʼlum qildi. Ushbu modelning toʻliq vaznlari Moonshot AI tomonidan 4-noyabr kuni rasmiy Huawei Computing akkauntiga koʻra chiqarilgan, bu haqda IT Home va ifeng Tech xabar berdi.

vLLM Ascend va SGLang dan foydalanib, ishlab chiquvchilar endi ushbu modelni Atlas 800 A3, Atlas 900 A3 SuperPoD klasterida va uni chiqarilgan paytdan boshlab Ascend 950 SuperPoD seriyasidagi serverlarda joylashtira oladi.

Kimi K3.1 Pro Moonshot AI ning K3.1 seriyasidagi birinchi modeldir. Bu tabiiy vizual qayta ishlash va taxminan bir million token atrofidagi kontekst oynasiga ega boʻlgan mixture-of-experts turidagi model boʻlib, har bir inferens bosqichida taxminan 104 milliard parametrni faollashtiradi. Model Kimi Delta Attention (KDA) qatlamlariga asoslangan K3 gibridli chiziqli diqqatni saqlab qoladi va uzoq kontekst modellashtirish xarajatlarini kamaytirish uchun baʼzi toʻliq diqqat qatlamlari oʻrniga DSA (sparse attention) qatlamlarini qoʻshadi.

Moslashtirish boʻyicha ishning katta qismi aynan shu arxitektura bilan bogʻliq edi. Huawei aytganicha, uning inferens jamoasi Kimi K3 ning avvalgi moslashuviga tayanib, yangi modelni oldindan tahlil qilib va modelni integratsiya qilish, operatorlarni ishlab chiqish va xizmatlarni tasdiqlash ustida parallel ish olib bordi. KDA va MoE ning mavjud qoʻllab-quvvatlanishi tufayli, jamoa yangi sparse attention va multimodal inferens yoʻlini qoʻshdi, mavjud inferens freymvorklaridagi xizmat koʻrsatish funksiyalarini saqlab qoldi.

Huawei maʼlumotlariga koʻra, optimallashtirish tarixiy maʼlumotlarni tanlash, sparse attention hisob-kitoblari, old ishlov berish va qoldiq hisob-kitoblari uchun asosiy operatorlarni qamrab oldi, bu esa uzun kontekstli inferens va ishlab chiqarish xizmatini qoʻllab-quvvatlash uchun tarqatilgan keshlash va freymvork darajasidagi funksiyalar bilan birlashtirildi. Kompaniya foydalanuvchilar va ishlab chiquvchilar model chiqarilgan birinchi kuni ilovalarni sinovdan oʻtkazish va joylashtirishni boshlashi maqsadini qoʻydi.

vLLM Ascend hujjatlari Kimi K3.1 Pro ning vLLM Ascend 0.30.0 versiyasida eksperimental rejimda qoʻllab-quvvatlanishini koʻrsatadi. Uning standart tuzilmalari prefiks va dekodlashni sakkiz tugunga ajratadi, bunda toʻrtta prefiks va toʻrtta dekodlash tugunlari mavjud boʻlib, bir million tokenli uzun kontekst konfiguratsiyasini ham oʻz ichiga oladi. Atlas 800I A3 serverlari W4A8 kvantlangan nuqtasi bilan ishlaydi, shu bois 950DT mahsulotlari W4A8 MXFP variantidan foydalanadi; rahbariyat taʼkidlaydiki, Atlas A2 va 950PR mahsulotlari hali qoʻllab-quvvatlanmaydi.

Model hajmi apparat qoʻllab-quvvatlashni amaliy masalaga aylantiradi. IT Home eslatadiki, BF16 formatidagi vaznlar taxminan 5,6 TB egallaydi va INT4 kvantlashda ham taxminan 1,4 TB talab qiladi, bu bitta isteʼmolchi GPU dan foydalanishni istisno qiladi. Huawei oʻzining A3 va 950 SuperPoD tizimlarini bu trilyon parametrlik MoE inferens sinfi uchun joylashtirdi va Kimi K3.1 Pro ning chiqarilishi uni ishga tushirish kuni qoʻllab-quvvatlagan oxirgi ochiq model boʻldi.

Oʻxshash hikoyalar

HongYun kompaniyasi Huawei Ascend 950DT va Atlas 850E SuperPoDni qoʻllab-quvvatlash bilan HyperLM V2.5 ni chiqardi
Batafsil
pandaily.com

HongYun kompaniyasi Huawei Ascend 950DT va Atlas 850E SuperPoDni qoʻllab-quvvatlash bilan HyperLM V2.5 ni chiqardi

Pekin markazidagi sunʼiy intellekt (AI) kompaniyasi HongYun oʻzining katta modellarni birlashtirilgan oʻqitish va inferens uchun platformasi boʻlgan HyperLM V2.5 ning yangi versiyasini taqdim etdi. Bu haqda IT Home va ifeng Tech nashrlari 3-noyabr kuni xabar berdilar. Kompaniya oʻzini Huawei Ascend 950DT chipiga chuqur moslashtirishni amalga oshirgan birinchi kompaniya deb daʼvo qiladi, u havo sovutgichli Atlas 850E SuperPoD tizimi bilan toʻliq mos keladi va Ascend Native uchun Huawei tomonidan texnik sertifikatsiyalangan.

HongYun shuni taxmin qiladiki, model faqat tokenlar oʻrnatilgandan va hosil qilingandan soʻng qoʻllab-quvvatlanishi deb hisoblanganida, qoʻllab-quvvatlashni aniqlash koʻpincha juda noaniq boʻladi. Kompaniyaning maqsadi shundaki, u xususiy joylashtirishlardan foydalanadigan davlat va korporativ mijozlarga yangi tezlatgichlardan maksimal samaradorlikni olishga yordam beradi.

Kompaniya Ascend 950DT ni yuqori tranzit quvvati talab qiladigan vazifalar uchun flagman chip sifatida tasvirlaydi, masalan, chatlarda uzoq muloqot, uzun hujjatlarni qayta ishlash va agentlarning uzluksiz fikrlashi. Bundan tashqari, havo sovutgichli Atlas 850E tizimi infratuzilmani modernizatsiya qilish zarurati boʻlmagan holda mavjud maʼlumotlar bazasi markazlariga integratsiya qilinishi mumkinligi taʼkidlanadi.

HyperLM V2.5 bir nechta darajalarda moslashadi. Ulanishlar darajasida platforma Huawei ning UnifiedBus 2.0 texnologiyasini qoʻllab-quvvatlaydi, bu tizimaro ulanish tranzit quvvatini 13,4 TB/s ga taʼminlab, kartalar orasidagi trafik uzatilishi paytida togʻinlarni oldini oladi, bu uzun kontekstlar yoki oldingi toʻldirish va dekodlash bosqichlarini ajratish uchun muhimdir. Operator darajasida tizim mxFP4 inferensi uchun optimallashtirilgan boʻlib, bitta tugunning 14,2 PFLOPS dan foydalanish imkonini beradi.

Platforma Qwen, GLM va DeepSeek kabi eng soʻnggi ochiq kodli modellarni qoʻllab-quvvatlaydi va uning rejalashtiruvchisi 950DT ning xotira va tranzit quvvati profili hisobga olingan holda qayta qurilgan.

HyperLM V2.5 ning chiqarilishi beshta yangi imkoniyatni oʻz ichiga oladi. Oldingi toʻldirish va dekodlashni ajratish ikkita bosqichni mustaqil resurs puliga ajratish imkonini beradi, shunda ular yuqori yuklanish paytida raqobatlashmaydi. Koʻp darajali KV keshlash tizimaro yoʻl-yoʻriqlar, tez-tez uchraydigan kontekstlar va sessiya uchun fiksatsiya qilingan shablonlarni qayta ishlatib, takrorlanuvchi hisoblash hajmini kamaytiradi. vNPU virtualizatsiyasi Ascend 950DT, 910C va 910B chiplarini segmentatsiya qiladi, AI Core va HBM xotirasi uchun granulli kvotalar va izolyatsiyani taʼminlaydi, shuningdek, uskuna nosozligida issiq migratsiya va avtomatik qayta rejalashtirishni qoʻllab-quvvatlaydi.

Shuningdek, OpenAI protokoli bilan mos keladigan birlashtirilgan shlyuz modeli qoʻshildi, u marshrutlash, tezlikni cheklash, beta-chiqishlar va A/B-testlashni boshqaradi. Butun stekni kompleks monitoring yuklanish, xotira ishlatilishi, tranzit quvvati, kechikish va QPS ni kuzatib boradi, ogohlantirishlar va nosozliklarning avtomatik lokalizatsiyasini taʼminlaydi.

Davlat boshqaruvi, energiya, transport va moliya kabi tartibga solingan sohalar uchun platforma administrator, xavfsizlik xizmati va auditor rollarini ajratishni, koʻp darajali tasnif nazoratini va toʻliq operatsiya jurnalini nazarda tutadi, shuningdek, hisoblash quvvatlarini hisobga olish, modellarni chaqiruvlarni audit qilish va har bir loyiha boʻyicha foydalanish statistikasi.

HongYun Xitoy Fanlari Akademiyasi Tasbiqiy hisoblash texnologiyalari guruhida inkubatorlangan boʻlib, uning asosiy jamoasi Tasbiqiy hisoblash texnologiyalari instituti va Sugon xodimlaridan tashkil topgan. 2020 yilda kompaniya Huawei Ascend dasturi hamkorlik dasturiga qoʻshildi. Kompaniya Ascend va Hygon DCU apparat merosiga asoslanib rivojlanishni davom ettirishni rejalashtirmoqda, bunda heterogen rejalashtirish, inferensni tezlashtirish, keshlash va agentlar ilovalariga alohida eʼtibor qaratiladi.

Lenovo Zhaoxin KX-7000 protsessori va Houmo LQ50 NPU bilan 35B modellarini mahalliy ishga tushirish uchun Kaitian AI hostini taqdim etdi
Batafsil
pandaily.com

Lenovo Zhaoxin KX-7000 protsessori va Houmo LQ50 NPU bilan 35B modellarini mahalliy ishga tushirish uchun Kaitian AI hostini taqdim etdi

Lenovo Xinchuang IT sohasidagi innovatsiyalar uchun moʻljallangan Kaitian liniyasidagi birinchi AI host-tizimini ishlab chiqardi. Ushbu 1,6 litrlik stol kompyuteri Zhaoxin protsessorini Houmo AI NPU bilan birlashtirib, taxminan 35 milliard parametrli modellarini mahalliy ravishda ishga tushirish imkonini beradi.

Uskunaning ichida sakkiz yadroli Zhaoxin KX-7000 protsessori va Houmo Liqing LQ50 NPU joylashgan. Standart konfiguratsiyada tizim INT8 formatida 160 TOPS hisoblash quvvatini taʼminlaydi, NPU opsiyasi bilan esa bu quvvat 320 TOPS gacha yetishi mumkin. NPU 153,6 GB/s uzilish tezligi bilan 24 GB ajratilgan xotiraga ega.

Korxona qurilmani ochiq modellardan, jumladan Qwen3.5 va Qwen3.6-35B-A3B seriyalari yordamida sinovdan oʻtkazdi. 24 GB NPU va W4A8 kvantizatsiyasidan foydalanilganda, Qwen3.6-35B-A3B modeli mahalliy chiqarish paytida sekundiga taxminan 28,99 token tezligida matn hosil qildi. Tizim uzun hujjatlar va koʻp bosqichli vazifalarni qayta ishlash uchun 200 000 tokengacha maʼlumot kiritishni qoʻllab-quvvatlaydi. Houmo platformasi ishlab chiquvchilarga modellarni profilga olish, kompilyatsiya qilish, ijro vaqtini boshqarish va kvantizatsiya qilish uchun vositalarni taqdim etadi.

Lenovo ushbu hostni doimiy faol raqamli xodim sifatida joylashtiradi, u kun davomida ishlash uchun moʻljallangan. Bu agentlarga mahalliy bilimlarni izlash, hujjatlar tuzish va maʼlumotlarni umumlashtirish kabi rejalashtirilgan vazifalarni bajarish imkonini beradi, shu bilan birga natijalar qayta ishlash bulutli tokenlar orqali emas, balki toʻgʻridan-toʻgʻri qurilmada amalga oshiriladi va maʼlumotlar mahalliy saqlanadi. Tianxi AI Pro tadbirida sinovchilar mobil operator ilovasini tekshirish buyrugʻini berishdi va qurilma sinov qoʻngʻirogʻini amalga oshirdi, SMS tasdiqlash kodining kechikishini oʻlchadi va hisobot taqdim etdi.

Issiqlik tarqatish boʻyicha, protsessor va NPU geksagonal old panel ostidagi yuqori bosimli ventilyatorlar bilan alohida havo kanallariga ega. Lenovo maʼlumot berishicha, boʻsh ishlayotganda korpus harorati 25 darajadagi xonada taxminan 33 daraja Selsiy, toʻliq yuk ostida esa 41 darajagacha yetadi. 35 darajadagi xonada toʻliq yuk ostida harorat taxminan 46 darajagacha koʻtariladi. shovqin darajasi kutish rejimida 19,4 dB, NPU toʻliq inferensiya paytida esa taxminan 29,5 dB ni tashkil qiladi. Qurilma taxminan 1,5 kg ogʻirlikdagi va ikkita mustaqil 2,5GbE porti bilan jihozlangan.

Shuni taʼkidlash kerakki, Kaitian host Lenovo AI Host P7 dan farq qiladi, u oktyabr oyida Houmo M50 va CIX P1 chiplari bilan taqdim etilgan edi.

Ascend 950DT asosidagi 1024 ta NPU bilan birinchi SuperPoD klasteri Xangdonda faqat bir oyda ishga tushirildi
Batafsil
pandaily.com

Ascend 950DT asosidagi 1024 ta NPU bilan birinchi SuperPoD klasteri Xangdonda faqat bir oyda ishga tushirildi

Xangdonda Huawei tomonidan ishlab chiqarilgan 1024 ta Ascend 950DT kartasi asosida qurilgan birinchi hisoblash klasteri faollashtirildi. Ishga tushirish 2026 yilgi Huaweining Xitoy roʻd-shouining bir qismi sifatida Hubei provinsiya uchun oʻtkazilgan sunʼiy intellekt konferensiyasida 28-oktabrda amalga oshirildi.

Ushbu klasterga investitsiyalarni Hubei shtati davlat investorining boʻlgan Hubei fan va texnologiyalariga investitsiya boʻlimi taqdim etdi. Ushbu boʻlim maʼlumotlariga koʻra, loyihani ish boshlanganidan foydalanishga kiritilgunicha atigi bir oy davom etgan, bu bunday miqyosdagi tizim uchun nisbatan qisqa muddatdir.

Joylashtirish yagona suyuqlik bilan sovutiladigan SuperPoDni tashkil etadi. Bir tugun 1024 ta Ascend NPU tezlatuvchi kartasiga ega. Hisoblash va ulanish shkafchalari toʻliq suyuqlik sovutish tizimlari bilan jihozlangan. Tizim FP8 formatida 1 EFLOPS samaradorligini taʼminlash va 256 TB global birlashtirilgan xotiraga ega. Kartalar orasidagi uzatish quvvati sekundiga terabayt darajasiga yetadi, shu bilan birga toʻliq bogʻlanish kechikishi mikrosekundlarda boʻladi.

Dizayn arxitekturasi Huawei ning SuperPoD uchun ichki bogʻlanish arxitekturasi boʻlgan UnifiedBus asosida qurilgan. Bu texnologiya klasterdagi har bir karta boshqa kartalarga bevosita murojaat qilish imkonini beradi, bu esa 1024 ta NPU ni standart tarmoq orqali ulangan koʻplab alohida serverlar emas, balki bitta katta tezlatuvchi kabi ishlashiga imkon beradi. Huawei ushbu qurilmani trillion parametrlik modellarni oʻqitish va AI agentlari inferensini bajarish uchun joylashtiradi.

SuperPoD yondashuvining asosiy afzalligi bevosita kirish imkoniyatidir. Katta modellarni oʻqitishda vaqtning sezilarli qismi chiplar orasida maʼlumotlarni koʻchirishga sarflanadi. Butun pod boʻylab va uning ichidagi bogʻlanish arxitekturasi orqali birlashtirilgan xotirani saqlash, sekinroq kanallar orqali oʻtishi kerak boʻlgan trafik hajmini kamaytiradi.

Klaster mahalliy ehtiyojlarni qondirish uchun moʻljallangan. U Hubei dagi model ishlab chiquvchilari va kompaniyalarga katta modellarni mashq qilish uchun kirish nuqtasini, shuningdek, sanoat AI agentlarini yaratish, sozlash va ishga tushirish uchun hisoblash quvvatining kirish manbasini taqdim etishga qaratilgan. Mahalliy manbalar bu hududdagi yuqori samarali hisoblash yetishmovchiligini toʻldirishini taʼkidlaydilar.

Xangdondagi ishga tushirish Ascend 950 avlodining dastlabki amaliy joriy etilishini ham bildiradi. Bu yil boshida Huawei Ascend 950 asosidagi jismoniy SuperPoDni namoyish etgan va oʻsha paytda oldingi avlod Ascend 384 SuperPoDning 750 dan ortiq toʻplami tijoriy ravishda joylashtirilganini maʼlum qilgan edi. Xangdondagi 950DT klasteri yangi SuperPoD konstruksiyasining namoyish uskunalari dan mintaqaviy AI hisoblash markazlariga oʻtishini koʻrsatadi.

Huawei klasterning energiya isteʼmoli yoki batafsil foydalanish koʻrsatkichlari haqida maʼlumot bermadi; yuqorida keltirilgan raqamli qiymatlar tashishuv tadbirida eʼlon qilingan.

Mashhur