Xitoydagi MemTensor kompaniyasi oʻzining xotiraga yoʻnaltirilgan fundamental modellar seriyasini eʼlon qildi va uni jamoatchilikka ochiq qildi, bu MemT 1.0 deb nomlandi. Ushbu seriya ikkita modelni oʻz ichiga oladi: umumiy parametrlar soni 288 milliard boʻlgan va undan 17 milliard faol qoʻllaniladigan MemT-1.0-Flash hamda 36 milliard umumiy parametr va 3 milliard faolga ega MemT-1.0-Nano.
Bu modellar vaznlari Hugging Face platformasida mavjud, tegishli kod esa texnik hisobot bilan birga GitHubʼda joylashtirilgan.
Modellar uzoq suhbatlar bilan bogʻliq keng tarqalgan muammoni hal qilish uchun ishlab chiqilgan. Mavjud tizimlarning aksariyati butun tarixni kontekst oynasida saqlaydi, bu har bir yangi qadam bilan sekinlashish va inferens xarajatlarini oshirishga olib keladi. Buning oʻrniga, MemT modelning oʻziga oʻrganiladigan xotira modulini integratsiya qiladi.
Har bir oʻzaro aloqadan soʻng, model yangi maʼlumotni belgilangan xotira holatiga yozadi va zarur boʻlganda uni chaqiradi, har safar butun oldingi yozuvni qayta oʻqimasdan.
MemTensor kompaniyasi modellar oʻqitilishi 34 milliard token asosida ikki bosqichda oʻtganini maʼlum qiladi: avvalo, model maʼlumotni xotiraga yozishni oʻrgandi, keyin esa ushbu saqlangan maʼlumotdan foydalanib savollarga javob berishni oʻrgandi.
Ishlash natijalari va taqqoslash
Taʼkidlangan barcha ishlash koʻrsatkichlari kompaniyaning oʻz bahosiga asoslangan. MemTensor taʼkidlaydiki, toʻliq kontekst yondashuvi bilan 128 ming tokenli tarixda yakka inferens taxminan 1,86 marta tezroq ishlaydi va 256 ming tokenlarda taxminan 3,99 marta tezroq ishlaydi.
Birinchi token javob berish vaqti xotirali model uchun taxminan 104–112 millisekund, 256K uchun toʻliq kontekstda esa taxminan 445 millisekund deb baholanadi. Bundan tashqari, kompaniya 256K tarixda sessiya davomida xotira holati hajmi taxminan 40 MB ni tashkil etishini taʼkidlaydi, bu toʻliq kontekst keshiga talab qilinadigan 5,06 GB dan sezilarli darajada kamroq, yaʼni taxminan 130 barobar kamayishdir.
MemTensor 11 ta xotira benchmarklarida Flash uchun 50,6 va Nano uchun 47,0 oʻrtacha natijalarini eʼlon qiladi. Bu natijalar modellarini taqqoslanayotgan parametrik xotira usullari orasida birinchi va ikkinchi oʻringa qoʻyadi va soʻrov paytida tarixni chiqarib olishsiz ham, oʻrtacha ravishda qidiruv orqali kengaytirilgan yondashuvlarning natijalariga mos keladi.
Kompaniya shuningdek, xotirani qoʻshish Flash modelining umumiy imkoniyatlarini katta miqdordagi chalgʻituvchi omillar mavjud test sharoitida pasaytirmaganligini taʼkidlaydi.
Dasturchilar litsenziyalash shartlariga eʼtibor berishlari kerak: repozitoriyadagi kod nokommertsiya PolyForm litsenziyasi ostida joylashtirilgan, ammo modellar vaznlari mos ravishda Apache va MIT litsenziyalariga ega.
Jamoa uzoq muddatli xotirani yaxshilash, xotira sigʻimini oshirish va xotirani yangilash xarajatlarini kamaytirish yoʻnalishida yanada rivojlanishni rejalashtirmoqda, uzoq muddatli maqsad sifatida oʻzaro taʼsiri asosida doimiy oʻrganadigan agentlarni yaratishni nazarda tutmoqda.