Google 15 soniyagacha boʻlgan videolarni yaratish uchun Gemini Omni 1.2 Flashni ishga tushirdi

Huawei tomonidan qoʻllab-quvvatlanadigan ochiq kodli freymvork boʻlgan openJiuwen, AgentMemory modulining 0.2.0 versiyasida OmniMem-Lens — multimodal xotira funksiyasini chiqarib berdi. Bu funksiya AI agentlariga aniq vaqt oraligʻi boʻyicha emas, balki haqiqiy voqealar asosida uzoq videolarni eslab qolish imkonini beradi, deb QbitAI 4-noyabrda maʼlum qildi.

Jamoa standart yondashuv, yaʼni uzoq videolarni bir daqiqa segmentlariga ajratish va ularning har birini alohida saqlash agent xotirasiga ikki yoʻl bilan zarar yetkazishini taʼkidlaydi. Uzluksiz sahna oynalar orasida boʻlinayotganida, agent dalillarning faqat yarmini oladi, bu esa halyutsinatsiyalarga olib keladi. Bundan tashqari, muhim harakatning bir necha soniyalari, daqiqasik noaniq material bilan aralashib, shovqin ichida yoʻqolishi mumkin, bu esa qidiruv aniqligini pasaytiradi.

Voqealar segmentatsiyasining aksariyat usullari ham faqat bitta turdagi maʼlumotga tayanadi, natijada agar tasvir statik qolsa, mavzu almashinuvi yoki hech kim gapirmasa, sahna almashinuvi eʼtibordan chetda qoladi. OmniMem-Lens ikkala oqimni kuzatadi: vizual iz sahnalar oʻzgarishlarini belgilaydi, audio iz esa nutqni tanishishdan foydalanib, ekran oʻzgarmagan boʻlsa ham, gapiruvchining mavzu almashishini aniqlaydi. Ushbu ikki manbani kesish orqali haqiqiy voqealar chegaralariga aniq kesimlar qilish mumkin.

Bir misolda, ikki soatlik mahsulot sharhi koʻrsatilganida, 40 daqiqa davomida bir xil arxitektura sxemasi namoyish etilgan, shu bilan birga nutqchi uchta turli mavzuni yoritgan. Audio iz ularni uchta xotiraga ajratdi, bu esa keyingi yuk sinovi koʻrsatkichlari haqidagi savolga javob berishga imkon berdi.

Xotira uch bosqichda saqlanadi: L0 asl videoni saqlaydi, L1 voqealar darajasidagi xotiralarni oʻz ichiga oladi, L2 esa segmentlar darajasidagi batafsilroq xotiralarni saqlaydi. L1 va L2 darajalari toʻliq matn va vektorlarga aylantiriladi, bu esa ularni kam oʻzgartirishlar bilan mavjud kengaytirilgan tanlov generatsiya steklariga va asosiy vektorlar bazalariga integratsiya qilish imkonini beradi. Maʼlumotlarni tashkillashtirish boʻyicha asosiy ish oflayn amalga oshiriladi. Soʻrov paytida tizim soʻrovni L1 va L2 bilan moslashtiradi, faqat vizual tafsilotlarni tekshirish talab qilinganda L0 dan aniq kadrlarni chiqaradi.

OmniMem-Lensni Qwen3-VL-8B ning bevosita videodan javob berishi bilan solishtirib, Qwen3-VL-8B bilan sinovdan oʻtkazilganda, maʼlumotlarni chiqarish aniqligi Video-MME-L da 8% ga, LVBench da esa 6.4% ga oshdi. Eng katta oʻsish, 45.7% ni tashkil etgan, EgoLife-QA da erishildi, bu esa butun kunlik kundalik hayotni yozib turgan birinchi shaxs maʼlumotlar toʻplami boʻlib, bunda fiksatsiyalangan kesish koʻpincha muammoli boʻladi. LVBench da onlayn rejimdagi javob berish vaqti 34.5 soniyadan 1.72 soniyagacha kamaydi, bu taxminan 20 marta tezroq, va jamoa kechikishning maksimal 97% ga kamayishini baholaydi.

Loyihaning manba kodi GitCodeʼda, GitHubʼda esa Apache-2.0 litsenziyasi ostida mavjud. Jamoa openJiuwen WorkSwarm tez orada AgentMemoryni qoʻllab-quvvatlashni boshlayotganini maʼlum qilmoqda, bu esa keyingi muhokamalarda kundalik suhbatlarda almashinadigan videolarni eslab qolish va eslash imkonini beradi.

SenseTime kompaniyasi 2-noyabr kuni SenseNova 6.8 Flashning rasmiy versiyasini taqdim etdi va oʻzining multimodal agentining imkoniyatlarini ofis ilovalari va dizayn sohasidagi hamkorlik uchun kengaytirdi.

Bu model animatsiyali taqdimotlar, plakatlar, veb-saytlar, SVG formatidagi grafikalar yaratish qobiliyatiga ega, shuningdek, Blender kabi vositalardan foydalangan holda 3D modellashtirish bilan shugʻullanadi.

Bundan tashqari, kompaniya uzoq muddatli xotira va turli dialoglar oʻrtasidagi oʻzaro aloqa funksiyalariga alohida eʼtibor qaratmoqda. Ushbu imkoniyatlar agentlarga loyiha talablarini eslab qolishga, oldingi vazifalardagi maʼlumotlarni bogʻlashga va tegishli maʼlumotlar oʻzgarganda tuzatishlar taklif qilishga yordam berishga moʻljallangan.

Model SenseTime ning Raccoon yordamchisi orqali va SenseNova Token Plan boʻyicha mavjud. QbitAI kompaniyasi Raccoon mijozida veb-saytlar, plakatlar va taqdimotlar yaratilishini namoyish etdi; uzoq muddatli xotira va proaktiv hamkorlikni alohida sinovdan ichki ishlab chiqish versiyasi yordamida oʻtkazildi.

Chunchinda joylashgan va virtual kino ishlab chiqarish sohasidan kelib chiqqan Dawa Technology kompaniyasi real vaqtda dunyo modeli boʻlgan Scenes AI ni taqdim etdi. Ushbu tizim oddiy kamera bilan suratga olingan videoni tahrirlash mumkin boʻlgan va doimiy dunyoga aylantirishga qodir.

Mahsulot 15-oktabr kuni Suzhoudagi NVIDIA startaplarining oʻrtacha tadbirida ustunlik uchun mukofot olgan. Ushbu bosqichda 580 dan ortiq ishtirokchilar orasida NVIDIA Inceptionning oʻttiz nafar aʼzosi ishtirok etdi.

Koʻpgina video modellari keyingi kadrni bashorat qilishga qaratilgan. Biroq, Scenes AI dunyoning uzluksiz holatini qoʻllab-quvvatlaydi. Sahna, odamlar, kamera, yoritish, obʼektlar va fizika kabi elementlar alohida oʻzgaruvchilar sifatida saqlanadi va ular mustaqil ravishda oʻqilishi va oʻzgartirilishi mumkin. Oʻzgarish yuz berganda, faqat tegishli holat qismi yangilanadi, tasvirning toʻliq qayta chizilmasligi kerak.

Dawa namoyishlarda xona qoʻl bilan chizilgan dalaga aylanishini koʻrsatdi, shu bilan birga stul, peluş ayiq va shkaf oʻz oʻrnini saqlab qoladi. Devordagi yozuvlar oʻrnida qoladi, odamlar paydo boʻladi va yoʻqoladi, ob-havo esa qor va yomgʻir oʻrtasida oʻzgaradi.

Tizim murakkab boshqaruv qatlami va yengil generativ qatlamni oʻz ichiga oladi. Latent Stage modul atrofida qurilgan boshqaruv qatlami sahna, personaj, kamera, yoritish, kostyum va rekvizitni latent fazoda ajratib, qattiq jismonlar, mato, suyuqliklar va zarrachalarga jismoniy cheklovlarni qoʻllaydi. LiveStage renderlash qatlami faqat oʻzgarayotgan hududlarni tanlash uchun sabab-oqibatli kamroq diffuziyadan foydalanadi.

Model umumiy holda 34 milliard parametrga ega, ammo har bir qadamda taxminan 4 milliardini faollashtiradi, bu 11,8 foizni tashkil qiladi. Dawa buni GPU ishlatilishini 40–60 foizga kamaytiradi va anʼanaviy video diffuziyasiga nisbatan chiqarishni uch-besh baravar tezlashtiradi deb daʼvo qiladi.

Bitta isteʼmolchi NVIDIA GeForce RTX kartasida tizim 720p rezolyutsiyasi va 25 kadr/sekund chastotasida real vaqtda chiqarishga erishadi. Uzluksiz tahrirlash testlarida kompaniya maqsadli tahrirlashning 98,2 foiz muvaffaqiyatini va odamlarning identifikatsiyasini 93,3 foiz saqlashini maʼlum qiladi. Tizim CUDA, TensorRT va NVENC dan foydalanadi va bulutli hisoblashlarsiz mahalliy uskuna ustida ishlaydi.

Dawa oʻz maʼlumotlari 84 000 kvadrat metr maydonli studiya makonidan, 300 dan ortiq haqiqiy ishlab chiqarishlardan va 180 TB dunyo holati maʼlumotlaridan olinganini taʼkidlaydi. Kompaniyaning mahsulotlar bosh direktori Li Zongsin ushbu yondashuvni quyidagicha xulosa qildi: video tugashi mumkin, lekin dunyo ishlashda davom etishi kerak. Taqdim etilgan barcha samaradorlik koʻrsatkichlari kompaniya tomonidan taqdim etilgan maʼlumotlardir.