ByteDance консолидирует свои продукты искусственного интеллекта для видеоконтента

openJiuwen, фреймворк с открытым исходным кодом, поддерживаемый Huawei, выпустил OmniMem-Lens — мультимодальную функцию памяти в версии 0.2.0 своего модуля AgentMemory. Эта функция позволяет ИИ-агентам запоминать длинные видеоролики, основываясь на реальных событиях, а не на фиксированных временных интервалах, как сообщила QbitAI 4 ноября.

Команда утверждает, что стандартный подход, заключающийся в разделении длинных видео на одноминутные сегменты и хранении каждого отдельно, нарушает память агента двумя способами. Когда непрерывная сцена делится между окнами, агент получает лишь половину доказательств, что способствует галлюцинациям. Кроме того, несколько секунд ключевого действия, смешанные с минутами нерелевантного материала, могут быть потеряны в шуме, снижая точность поиска.

Большинство методов сегментации событий также полагаются только на один тип данных, из-за чего они пропускают смену тем, если изображение остается статичным, или смену сцен, если никто не говорит. OmniMem-Lens отслеживает оба потока: визуальный трек отмечает смены сцен, а аудиотрек использует распознавание речи для определения смены темы говорящим, даже если экран не изменился. Перекрестная проверка этих двух источников позволяет делать срезы именно по границам реальных событий.

В одном примере, где был показан двухчасовой обзор продукта, демонстрировалась одна и та же архитектурная схема в течение 40 минут, в то время как спикер освещал три разные темы. Аудиотрек разделил их на три воспоминания, что позволило ответить на последующий вопрос о показателях нагрузочного тестирования.

Память хранится в трех уровнях: L0 сохраняет исходное видео, L1 содержит воспоминания на уровне событий, а L2 — более детальные воспоминания на уровне сегментов. Уровни L1 и L2 полностью преобразуются в текст и векторы, что позволяет интегрировать их в существующие стеки генерации с дополненной выборкой и основные векторные базы данных с минимальными изменениями. Основная работа по организации данных выполняется офлайн. Во время запроса система сопоставляет запрос с L1 и L2, извлекая точные кадры из L0 только тогда, когда требуется проверка визуальных деталей.

При тестировании OmniMem-Lens в паре с Qwen3-VL-8B против прямого ответа Qwen3-VL-8B из видео, точность извлечения информации увеличилась на 8% на Video-MME-L и на 6.4% на LVBench. Наибольший прирост, составивший 45.7%, был достигнут на EgoLife-QA, на наборе данных первого лица, записывающем полный день повседневной жизни, где фиксированное нарезание часто дает сбой. На LVBench время отклика в режиме онлайн снизилось с 34.5 секунд до 1.72 секунды, что примерно в 20 раз быстрее, а команда оценивает максимальное снижение задержки в 97%.

Исходный код проекта доступен на GitCode с зеркалом на GitHub под лицензией Apache-2.0. Команда сообщает, что openJiuwen WorkSwarm скоро начнет поддерживать AgentMemory, что позволит запоминать и вспоминать видео, которыми обмениваются в повседневных беседах во время последующих обсуждений.

В период, который отраслевые эксперты назвали «Рампакалипсисом» — временем резкого удорожания компонентов памяти и хранилища из-за потребностей искусственного интеллекта (ИИ) — компания Xiaomi выделяется как бренд, предлагающий наибольшую ценность на рынке.

В эксклюзивном интервью изданию IOL Тианши Лв, менеджер по стране Xiaomi в Южной Африке, подчеркнула миссию компании: «Под всем этим лежит наша миссия: инновации для всех».

Современные задачи ИИ требуют огромных объемов памяти, что кардинально меняет подход к проектированию компьютеров, планшетов и смартфонов. Чтобы обеспечить плавный отклик в реальном времени, модели ИИ должны располагаться непосредственно в активной памяти устройства, что вынуждает производителей техники активно «обеспечивать будущее» своих флагманских устройств значительно увеличенной емкостью памяти для обработки новых, более тяжелых рабочих нагрузок.

Этот внезапный и непрерывный рост спроса привел к увеличению стоимости жизненно важных компонентов по всей глобальной цепочке поставок. Следовательно, высокие цены на оперативную память повышают розничные цены на все, от смартфонов и ноутбуков до медиастримеров и игровых консолей.

Тем не менее, Xiaomi справляется с этой сложной ситуацией благодаря своему операционному масштабу. Как объяснила Лв, преимущество Xiaomi заключается в значительных инвестициях в исследования и разработки. Компания разработала интеллектуальные производственные возможности не только для смартфонов, но и для электромобилей и бытовой техники для умного дома.

«Благодаря передовым исследованиям и разработкам, которые мы направляем на наши производственные возможности, мы получаем явное преимущество в эффективности — что позволяет нам не только поддерживать честные цены, но и одновременно гарантировать высокое качество продукции и постоянные инновации».

Несмотря на приверженность принципам ценности, бренд продолжает расширять аппаратные возможности. Этот баланс наглядно продемонстрирован в недавно выпущенном Redmi Note 17 Pro Max 5G. Эта модель, продающаяся за R9,999 на Takealot, оснащена батареей, обеспечивающей исключительную трехдневную автономность благодаря ячейке емкостью 10 000 мАч, которая является лидером отрасли.

Джаред Фернс, менеджер по национальному обучению Xiaomi в Южной Африке, рассказал, как инженерная команда достигла этого рубежа плотности энергии: «Все дело в 16% состава карбида кремния, интегрированного непосредственно в аккумуляторную ячейку. Благодаря этому мы смогли значительно уменьшить физический размер, одновременно минимизируя накопление тепла внутри корпуса».

Он добавил, что одной из главных проблем при работе с батареей такого размера было поддержание теплового режима во время интенсивных игровых сессий. Он отметил, что эта батарея не только обеспечивает исключительную продолжительность работы, но и имеет поразительно малое тепловыделение на задней панели устройства, что знаменует собой значительный прорыв в потребительской аккумуляторной технологии.

Компания ByteDance представила свою студию искусственного интеллекта Jimeng AI, предназначенную для производства коротких драматических сериалов. Эта платформа объединяет весь производственный цикл: от разработки сценария и создания персонажей и сцен до раскадровки, видеосъемки и последующей обработки.

В работе студии используются три собственные модели: DreamScript, которая отвечает за написание сценариев; Anycook, используемая для генерации изображений; и DreamShot, предназначенная для создания раскадровок.

Инструмент DreamScript способен работать как с оригинальными историями, так и с адаптациями, а также создавать сценарии, ориентированные на зарубежную аудиторию. При этом инструменты для работы с изображениями и раскадровками помогают создателям формировать визуальные элементы и планировать кадры.

Кроме того, студия позволяет заменять отдельные кадры, восстанавливать аудиодорожки и переделывать уже существующие драмы в визуальном стиле, подходящем для различных рынков. Таким образом, запуск этой студии расширяет возможности Jimeng за пределы простых задач генерации отдельных изображений или видео, выводя их на уровень скоординированного производства коротких драматических проектов.