Agente de pesquisa Hyra 2.0 da Tencent Hunyuan cria autonomamente ferramentas para trabalho com proteínas, provas matemáticas e chips

Tencent Hunyuan apresentou um relatório técnico sobre Hy-Nomas, seu modelo aberto para geração interativa de mundos, e lançou o Hy-Nomas-Bench — um conjunto de testes para avaliar modelos de vídeo de mundo interativos. O relatório foi publicado no arXiv em 27 de outubro, após o lançamento inicial do código e dos pesos em 21 de outubro.

Hy-Nomas é um modelo de vídeo de mundo baseado em um núcleo de difusão com 8 bilhões de parâmetros. Os usuários podem controlá-lo por várias iterações usando instruções de texto livre, controle contínuo de câmera ou uma combinação de ambos os métodos. O modelo gera o mundo segmento por segmento, garantindo a coerência da cena ao longo do tempo condicionando cada novo segmento à entrada atual e ao histórico salvo.

De acordo com o relatório, o conceito chave reside no alinhamento de legendas de vídeo estruturadas com atenção causal que considera ações. O contexto descritivo permanece disponível entre os segmentos, enquanto as instruções relativas a ações são aplicadas apenas à janela de tempo correspondente. Um melhorador de prompts baseado em visão e linguagem transforma os pedidos do usuário e o histórico de interação em condições estruturadas para o próximo segmento.

O processo de treinamento segue um currículo multifásico. Ele começa com geração causal, depois passa para interação textual e controle de câmera, após o que o modelo é treinado em histórias que ele mesmo gerou, e termina com uma etapa de destilação de difusão. O modelo destilado requer apenas de quatro a oito passos de redução de ruído. Em avaliações humanas, a equipe observou que Hy-Nomas superou os modelos de mundo existentes.

O Hy-Nomas-Bench inclui 280 cenários de teste, cobrindo quatro tarefas: interação textual livre de múltiplas etapas, navegação por câmera, alternância de controle de texto e câmera, e memória espacial. Este conjunto testa a capacidade do modelo de seguir instruções sequenciais, gerar respostas fisicamente plausíveis, executar movimentos de câmera com precisão e manter a coerência da cena quando a câmera retorna a um local visitado anteriormente. O pacote inclui prompts, legendas estruturadas, sequências de interação e trajetórias de câmera de referência, e foi lançado sob a licença Apache 2.0.

O próprio modelo também é distribuído sob a licença Apache 2.0. A Tencent fornece uma configuração INT8 que funciona em uma única RTX 4090 usando histórico de janela deslizante e descarregamento para CPU, bem como um pipeline Diffusers, código para ajuste fino LoRA e uma demonstração web interativa. Entre os adaptadores lançados estão o LoRA cinematográfico e o LoRA para robótica, treinado em dados reais de um robô de dois braços.

Desenvolvedores fora do ecossistema já integraram suporte no SGLang, ComfyUI e WanGP, e um projeto de demonstração da comunidade relatou a geração de 720p em tempo real em TPUs do Google.

A equipe Qwen da Alibaba descreveu o processo de criação de um agente pessoal, afirmando que a próxima fase no desenvolvimento de assistentes de IA depende do trabalho coordenado de três componentes: modelo, memória e ecossistema de serviços. Jiang Guanjun, chefe do departamento de algoritmos de IA na unidade de negócios Qwen Alibaba, apresentou este conceito em 22 de outubro no Congresso Nacional Chinês de Computação (CNCC) em Chengdu.

Jiang dividiu a evolução dos aplicativos de IA em três estágios: chat, agente e assistente. No estágio de chat, a IA responde às solicitações dos usuários. No estágio de agente, o sistema executa as tarefas designadas. O assistente, para onde a indústria está caminhando, combina conhecimento profissional com o contexto pessoal do usuário, planeja ações em torno dos objetivos do usuário e detecta necessidades não percebidas por ele. Ele enfatizou que um verdadeiro agente pessoal deve agregar valor adicional e oferecer um serviço proativo e personalizado.

Ele supôs que, teoricamente, um agente pessoal é capaz de resolver quase todos os problemas cotidianos nas áreas de trabalho, estudo e vida pessoal. No entanto, o principal obstáculo é a capacidade do sistema de correlacionar suas capacidades com o caminho ótimo para resolver cada problema específico.

Abordagem ao desenvolvimento do modelo

Quanto ao modelo, a Qwen foca na execução estável de tarefas. A equipe desenvolveu o chamado mapa de necessidades do usuário, abrangendo mais de 30 grandes indústrias, e o detalhou em mais de 8000 requisitos atômicos de capacidade do modelo. Para avaliar e ajustar o modelo, especialistas do setor foram envolvidos.

Mecanismo de memória

Jiang observou que o agente pessoal deve garantir uma compreensão de longo prazo do usuário, evitando o simples acúmulo de histórico de conversas, o que aumenta o ruído e os custos computacionais. A Qwen constrói sua memória com base no grau de interconexão dos eventos, armazenando-os e recuperando-os em diferentes níveis. Por exemplo, um assistente que se lembra que um usuário idoso mencionou sua aposentadoria poderá dar um conselho mais apropriado quando a mesma família perguntar mais tarde sobre a busca de emprego de um filho.

Papel do ecossistema

Em relação ao ecossistema, Jiang afirmou que, à medida que os modelos e os métodos de gerenciamento melhoram, a habilidade de conectar e coordenar serviços externos torna-se decisiva. A Qwen cria um sistema aberto orientado a modelos de serviços que integra conhecimento profissional, ferramentas, habilidades setoriais e agentes de terceiros, além de se conectar ao comércio eletrônico, serviços locais, saúde e educação.

Em sua visão, esses três elementos se unem para fornecer atendimento proativo: a memória fornece informações pessoais, o modelo usa conhecimento especializado para determinar necessidades e planejamento, e o ecossistema executa a ação, por exemplo, monitorando o cronograma de reabilitação de um paciente ou sinalizando novos riscos nas finanças do usuário. Este relatório representa a descrição pública mais detalhada da concepção técnica por trás do Qwen Go! agente pessoal, que a Alibaba lançou para registro neste mês.

A Tongyan Lingzhi, uma subsidiária da plataforma industrial do Instituto de Inteligência Artificial Geral de Pequim (BIGAI), apresentou sua abordagem ao conceito de IA pessoal. Essa abordagem envolve a criação de modelos que aprendem continuamente com base nos dados de um indivíduo, projeto ou empresa específico, em vez de depender apenas de consultas e busca de informações.

A maioria dos sistemas de IA corporativos existentes hoje se adapta aos usuários externos. Eles usam consultas para estabelecer regras, extraem documentos através de busca, armazenam o estado na memória e empacotam etapas reutilizáveis. No entanto, os pesos do modelo raramente são alterados após a interação.

A Tongyan Lingzhi afirma que hábitos estáveis, como padrões de engenharia de uma equipe ou disciplina de gestão de riscos de um grupo de investimento, podem ser integrados diretamente nos parâmetros do modelo. A arquitetura da empresa prevê a manutenção de um modelo base geral para processar conhecimentos e raciocínios comuns, ao qual são adicionados adaptadores Personal LoRA leves para cada usuário, projeto ou organização individual. A empresa observa que essas capacidades individuais devem ser mantidas mesmo em caso de substituição do modelo base.

Para manter o treinamento desses adaptadores, a equipe desenvolve um mecanismo de autoaperfeiçoamento recursivo, ou RSI. Rastreamentos de tarefas, correções humanas e resultados obtidos tornam-se dados potenciais para treinamento. Um avaliador especial, configurado de acordo com os padrões de cada usuário ou empresa, seleciona os sinais que devem ser estudados antes de aplicar uma atualização incremental LoRA. O modelo atualizado é então executado nas mesmas tarefas da versão anterior, e apenas as melhorias são lançadas no ambiente de trabalho, enquanto as regressões são revertidas.

O diretor técnico Chu Bingbin enfatizou que uma variação desviada é apenas um sinal, e apenas padrões recorrentes devem se tornar dados de treinamento. Além disso, a empresa está trabalhando na criação de infraestrutura para tornar milhares desses adaptadores acessíveis. O sistema TIP executa treinamento e inferência paralelamente nos mesmos GPUs, e o Paged LoRA gerencia a memória do adaptador em páginas. Em uma fase de teste usando Qwen2.5-72B-Instruct em oito GPUs Nvidia H800 e um orçamento de memória de adaptador de 5,79 GB, o Paged LoRA demonstrou menor latência e melhor comportamento na 'cauda' em comparação com o layout plano, quando as consultas LoRA variavam de 1% a 30% do tráfego, embora o desempenho tenha diminuído ao atingir 50%.

A Tongyan Lingzhi reconhece que o trabalho ainda está em estágio inicial. Embora o caminho técnico do RSI e a arquitetura do produto estejam definidos, e os módulos estejam em fase de design, o ciclo de treinamento totalmente automatizado ainda está em desenvolvimento. Problemas abertos incluem esquecimento catastrófico, contaminação por feedback e deriva do modelo.