A AIsphere, desenvolvedora da plataforma de geração de vídeo PixVerse, lançou o PixVerse R2. Este modelo representa um sistema universal de mundo em tempo real que cria mundos audiovisuais interativos contínuos, em vez de gerar clipes fixos.
O R2 foi apresentado em 23 de setembro e sucede a versão R1, anunciada pela empresa em janeiro. Agora, os usuários podem abrir espaços de demonstração para jogos, filmes interativos e avatares digitais no site world.pixverse.video.
Com o R2, os usuários são capazes de criar mundos com base em descrições de texto ou imagens. Em seguida, eles podem controlar um personagem usando as teclas WASD, mudar o ângulo da câmera e inserir solicitações para substituir personagens, adicionar objetos ou alterar o ambiente, enquanto a cena continua funcionando. A empresa enfatiza que os dados inseridos anteriormente são preservados: qualquer ação ou solicitação atualiza o estado do mundo e determina o desenvolvimento subsequente dos eventos, em vez de afetar apenas o momento atual.
No filme de jogo interativo Zero Mark, criado pelo autor Xiaolongbao, uma entidade bloqueia o caminho do jogador e exige um presente; a escolha entre dragão ou folha leva a resultados diferentes gerados em tempo real. Outro autor, Jade Wu, desenvolveu uma história em torno de um personagem digital chamado Eve, que mantém uma identidade e memória constantes ao longo de múltiplas interações.
A AIsphere posiciona o R2 como uma solução para um antigo compromisso: geralmente, a geração em tempo real requer um modelo pequeno e rápido, enquanto amplas capacidades exigem modelos maiores. O R2 divide essa tarefa em dois níveis. O modelo básico Omni Causal AR, que é um núcleo causalmente auto-regressivo, é treinado continuamente e absorve vídeos curtos e longos, links multimodais, áudio e comandos de ação, escalando em cinco direções: modelo, dados, tarefas, sinais de controle e horizontes temporais.
Em seguida, a camada de aceleração em tempo real pega esse mesmo modelo básico e o transforma em uma versão ultrarrápida que opera em tempo real, em vez de treinar um modelo rápido separado. Entre as tecnologias auxiliares estão a divisão dinâmica em blocos para processamento de sinais atuando em diferentes escalas de tempo, três canais de memória para preservar regras do mundo, estado recente de movimento e objetos, bem como um Banco de Erros que reproduz falhas próprias do modelo durante o treinamento.
A AIsphere relata que o Banco de Erros reduziu a métrica de desvio de brilho em longo horizonte em 35,8% em testes internos, enquanto a atenção esparsa mantém a qualidade quase inalterada em níveis de esparsidade acima de 90%.
A empresa admite abertamente as limitações: sob restrições rigorosas de tempo real e latência, a qualidade da saída de passagem única do R2 ainda fica aquém dos principais modelos de vídeo offline. O motor de jogo PixVerse, lançado pela primeira vez em julho, agora funciona com base no R2. O fundador e CEO Wang Changhu acredita que o vídeo interativo em tempo real não é todo o campo de modelagem de mundos, mas é o caminho mais precoce através do qual as pessoas poderão ter experiências. Ele espera que o R2 se transforme de uma ferramenta de criação de conteúdo em um ambiente no qual os usuários possam entrar a qualquer momento.
