Компания AIsphere, разработчик платформы для генерации видео PixVerse, выпустила PixVerse R2. Эта модель представляет собой универсальную систему мира в реальном времени, которая создает непрерывные интерактивные аудиовизуальные миры, вместо того чтобы генерировать фиксированные клипы.
R2 была представлена 23 сентября и следует за версией R1, которую компания анонсировала в январе. Теперь пользователи могут открывать демонстрационные пространства для игр, интерактивных фильмов и цифровых людей на сайте world.pixverse.video.
С помощью R2 пользователи способны создавать миры на основе текстовых описаний или изображений. Затем они могут управлять персонажем с помощью клавиш WASD, менять ракурс камеры и вводить запросы для замены персонажей, добавления объектов или изменения окружения, при этом сцена продолжает работать. Компания подчеркивает, что предыдущие введенные данные сохраняются: любое действие или запрос обновляет состояние мира и определяет последующее развитие событий, а не влияет только на текущий момент.
В рамках интерактивного игрового фильма Zero Mark, созданного автором Xiaolongbao, существо, блокирует путь игроку и требует подарка; выбор дракона или листа приводит к различным результатам, генерируемым вживую. Другой автор, Jade Wu, разработала историю вокруг цифрового персонажа по имени Eve, который поддерживает постоянную идентичность и память на протяжении множества взаимодействий.
AIsphere позиционирует R2 как решение давнего компромисса: обычно генерация в реальном времени требует небольшой и быстрой модели, тогда как широкие возможности требуют более крупной. R2 разделяет эту задачу на два уровня. Базовая модель Omni Causal AR, являющаяся причинно-авторегрессивным ядром, обучается непрерывно и усваивает короткие и длинные видео, мультимодальные ссылки, аудио и элементы управления действиями, масштабируясь по пяти направлениям: модель, данные, задачи, сигналы управления и временные горизонты.
Далее, слой ускорения в реальном времени берет эту же базовую модель и преобразует ее в ультрабыструю версию, которая работает в режиме реального времени, вместо того чтобы обучать отдельную быструю модель. Среди вспомогательных технологий — динамическое разбиение на чанки для обработки сигналов, действующих в разных временных масштабах, три канала памяти для сохранения правил мира, недавнего состояния движения и объектов, а также Банк ошибок, который воспроизводит собственные сбои модели во время обучения.
AIsphere сообщает, что Банк ошибок снизил метрику дрейфа яркости на длинном горизонте на 35,8% в ходе внутренних испытаний, в то время как разреженное внимание сохраняет качество почти неизменным при уровне разреженности выше 90%.
Компания откровенно говорит о границах: при строгих ограничениях по реальному времени и задержке, качество однопроходного вывода R2 все еще уступает ведущим моделям видео в автономном режиме. Игровой движок PixVerse, запущенный впервые в июле, теперь функционирует на базе R2. Основатель и генеральный директор Wang Changhu считает, что интерактивное видео в реальном времени — это не вся область моделирования мира, но это самый ранний путь, через который люди смогут получить опыт. Он ожидает, что R2 трансформируется из инструмента для создания контента в среду, в которую пользователи смогут войти в любой момент.
