Sistema openJiuwen da Huawei fornece memória de vídeo baseada em eventos para agentes, reduzindo o tempo de resposta em até 97%

A ByteDance está reestruturando seus projetos de vídeo generativo, unindo dois de seus produtos baseados em inteligência artificial.

Recentemente, a divisão CapCut da ByteDance integrou o Xiaoyunque ao Jimeng, mantendo a possibilidade de acesso ao Xiaoyunque como um produto separado. O Xiaoyunque especializa-se na produção automatizada de curtas-metragens dramáticos, transformando roteiros em storyboards e episódios prontos. Enquanto isso, o Jimeng é uma plataforma mais ampla para criação, edição e geração de imagens e vídeos.

As funcionalidades desses dois produtos começaram a se sobrepor, pois ambos visam a criação de conteúdo de vídeo de ponta a ponta. Agora, as capacidades de dramas curtos do Xiaoyunque foram absorvidas pelo Jimeng, e a gestão dessas operações será realizada pelo diretor de operações e marketing do Jimeng, embora a equipe de desenvolvimento permaneça a mesma.

A principal razão para este movimento é a concentração de recursos. Ambos os produtos continuam a crescer, mas o aumento no número de usuários ainda não gerou receita comparável aos investimentos, e a ampla disseminação dos produtos agentes de vídeo restringe o espaço para diferenciação.

Essa pressão é observada também no mercado: o Kling 4.0 da Kuaishou, lançado este mês, suporta geração mais longa, links multimodais e controle de quadros-chave. Da mesma forma, o H3 da MiniMax é orientado para uso comercial, incluindo publicidade, comércio eletrônico e jogos.

A fronteira da concorrência está mudando da geração básica de texto em vídeo para fluxos de trabalho de criação de conteúdo gerenciados de ponta a ponta. O Xiaoyunque se transformou em um fluxo de trabalho especializado para dramas curtos, enquanto o Jimeng passa de geração geral de imagens e vídeos para criação profissional.

A ByteDance também reposicionou o próprio Jimeng. Antes dos feriados chineses, a empresa reduziu os investimentos no aplicativo de consumo Jimeng e redirecionou recursos para seu produto web profissional, a versão internacional Dreamina, e sua comercialização.

Assim, a recente consolidação pode permitir que a ByteDance mantenha os recursos especializados do Xiaoyunque em dramas curtos, ao mesmo tempo que reduz a duplicação de funcionalidades entre dois produtos cada vez mais interligados.

Uma mudança mais significativa no cenário competitivo está relacionada ao Seedance. A ByteDance forneceu o Seedance 2.5 através da API Volcano Engine, permitindo que empresas e desenvolvedores integrem capacidades de geração de vídeo em seus próprios produtos. Este modelo aceita como entrada texto, imagem, vídeo e áudio, e também suporta edição e extensão de vídeo.

A documentação da Volcano Engine mostra que o modelo suporta entrada de texto, gráfico, vídeo e áudio, bem como edição e extensão de vídeo. A receita do negócio Seedance no modo de serviço como modelo (MaaS) através da Volcano Engine excede significativamente a receita do Jimeng e do Xiaoyunque.

Isso significa que alguns aplicativos que competem com as próprias ferramentas de criação de conteúdo da ByteDance também podem se tornar clientes de sua plataforma básica. Isso aumenta os requisitos para os próprios aplicativos da ByteDance: se o Seedance gera receita por meio de terceiros, cada produto interno deve justificar sua existência através de crescimento, retenção de usuários ou monetização.

Esta reestruturação não parece ser um recuo do vídeo, mas sim um redistribuição de apostas da ByteDance. Apesar da consolidação das ferramentas de IA para criação de conteúdo, a ByteDance continua a expandir a distribuição. Seu aplicativo estrangeiro de dramas curtos, PineDrama, entrou no top 10 de aplicativos gratuitos para iPhone nos EUA, Brasil e Tailândia, apoiado por um modelo de suporte a anúncios, tráfego do TikTok e ecossistema de conteúdo da ByteDance.

Esses passos podem indicar uma estratégia mais multifacetada: desenvolver plataformas de consumo para distribuição, focar as ferramentas de criação em fluxos de trabalho profissionais e monetizar o Seedance fornecendo sua tecnologia a outras empresas. À medida que os modelos de IA evoluem, torna-se mais fácil criar aplicativos separados, o que transfere grande parte do poder para as empresas por trás dos modelos. O desafio da ByteDance é determinar onde ela ainda conseguirá se destacar.

O filme 'Sanxingdui: Future Past', com 100 minutos de duração e criado através de um fluxo de trabalho totalmente gerenciado por inteligência artificial do início ao fim, estreou nos cinemas chineses em 23 de outubro. De acordo com a IT Home, este é o primeiro filme desse tipo a receber permissão de exibição pública da Administração Nacional do Cinema da China.

A produção do filme foi realizada pela Bona Film Group utilizando sua plataforma própria, a Boka Film Cloud Studio. Durante um período superior a dois anos, a equipe criou mais de 1,2 milhão de imagens base e realizou mais de cem iterações completas do filme. Os criadores enfatizam que cada personagem é uma criação digital original e que não há cópias digitais de atores reais no filme.

A Bona afirma que a IA é responsável principalmente pela geração e execução, enquanto as ideias, roteiro, design de cena e julgamentos estéticos vêm da equipe da AIGMS da empresa. O processo de produção foi organizado sob o princípio de uma equipe de filmagem tradicional, envolvendo cerca de 100 pessoas e 17 especialistas, incluindo roteiristas, diretores, produtores, cenógrafos, operadores de câmera, especialistas em iluminação, som e edição.

O enredo se desenrola em um futuro onde a humanidade delegou todas as decisões aos algoritmos, o que desencadeou uma crise global. As pistas para resolver esse problema estão em sete antigos símbolos do sítio arqueológico da Idade do Bronze de Sanxingdui, localizado na província de Sichuan. Os criadores descrevem essa estrutura como respostas do passado e uma crise no futuro.

A bilheteria do filme foi modesta. A publicação National Business Daily relatou baixo nível de ocupação nos primeiros dias de exibição. Especialistas em conteúdo de IA informaram à publicação que filmes longos criados por IA ainda enfrentam problemas de consistência de personagens, cenas e detalhes ao longo dos 100 minutos, bem como de realismo visual. Um especialista observou que os espectadores podem achar os personagens gerados por IA artificiais, o que dificulta a conexão emocional. Outro argumentou que o roteiro original determina o resultado final: trata-se de um mercado de conteúdo, e não de um mercado de produção.

A Bona declarou que outros projetos com participação de IA estão em desenvolvimento, incluindo a animação de ficção científica 'Unplanned: Operation Guanghan', que ainda não recebeu licença de exibição. Outros estúdios chineses, como Huayi Brothers e Huace, também anunciaram projetos de filmes e séries com aplicação de IA. Atualmente, o filme serve como um teste para saber se uma linha de produção completa baseada em IA pode criar um filme que o público prefira aos filmes tradicionalmente produzidos.

A Dawa Technology, sediada em Chunchin e originada do setor de produção virtual de cinema, apresentou o Scenes AI — um modelo de mundo em tempo real. Este sistema é capaz de transformar vídeos gravados por câmeras comuns em um mundo editável e persistente.

O produto recebeu um prêmio por excelência em um evento intermediário de startups da NVIDIA em Suzhou, em 15 de outubro. Trinta membros do NVIDIA Inception participaram deste estágio, juntamente com mais de 580 participantes.

A maioria dos modelos de vídeo se concentra na previsão do próximo quadro. No entanto, o Scenes AI suporta um estado contínuo do mundo. Elementos como cena, pessoas, câmera, iluminação, objetos e física são armazenados como variáveis separadas que podem ser lidas e modificadas independentemente. Ao mudar, apenas a parte correspondente do estado é atualizada, e não toda a imagem é redesenhada.

Em demonstrações, a Dawa mostrou como uma sala pode se transformar em um campo desenhado à mão, enquanto uma cadeira, um urso de pelúcia e um armário mantêm suas posições. As inscrições na parede permanecem no lugar, e as pessoas aparecem e desaparecem, enquanto o clima muda de neve para chuva.

O sistema inclui uma camada de controle complexa e uma camada generativa leve. A camada de controle, construída em torno do módulo Latent Stage, divide a cena, o personagem, a câmera, a iluminação, o traje e o adereço no espaço latente, aplicando restrições físicas para sólidos, tecidos, líquidos e partículas. A camada de renderização, LiveStage, utiliza difusão esparsa causal para amostrar apenas as áreas em mudança.

O modelo possui um total de 34 bilhões de parâmetros, mas ativa cerca de 4 bilhões a cada passo, o que representa aproximadamente 11,8%. A Dawa afirma que isso reduz o uso da GPU em 40% a 60% e acelera a inferência três a cinco vezes em comparação com a difusão de vídeo tradicional.

Em uma única placa de consumo NVIDIA GeForce RTX, o sistema atinge a inferência em tempo real em resolução de 720p e taxa de 25 quadros por segundo. Em testes de edição contínua, a empresa relata uma taxa de sucesso de edição alvo de 98,2% e uma retenção de identidade de pessoas de 93,3%. O sistema utiliza CUDA, TensorRT e NVENC e funciona em hardware local sem computação em nuvem.

A Dawa afirma que seus dados foram obtidos em um estúdio de 84.000 metros quadrados, mais de 300 produções reais e 180 TB de dados de estado do mundo. O Diretor de Produto da empresa, Li Zongxin, resumiu a abordagem da seguinte forma: o vídeo pode terminar, mas o mundo deve continuar funcionando. Todos os indicadores de desempenho apresentados são dados fornecidos pela própria empresa.