Pesquisadores da Universidade Tsinghua, Zhipu, Universidade Jiaotong de Xangai, University of Warwick e Kuaishou apresentaram o HarnessPro — um método que permite à inteligência artificial melhorar o ambiente em que opera. Este ambiente é um framework que define prompts, ferramentas, orçamentos e a sequência de execução das tarefas do agente.
Em um artigo científico publicado no arXiv em 19 de outubro, com a participação do cientista-chefe da Zhipu, Tan Ze, foi adicionado um segundo objetivo de autoaperfeiçoamento: aumentar a produtividade ao mesmo tempo em que se reduzem os custos operacionais.
Este projeto continua o trabalho da Zhipu desde setembro, quando foram apresentadas informações sobre o Agente de Infraestrutura baseado em GLM-5.3, que ajudou a criar e configurar a infraestrutura de inferência para GLM-5.3-Flash, aumentando o throughput de ponta a ponta em cerca de três vezes em comparação com o nível inicial em menos de duas semanas.
Como funciona o HarnessPro
O HarnessPro começa com uma configuração existente, coletando dados sobre chamadas de ferramentas, feedback do ambiente e uso de tokens. Em seguida, o agente de análise de trajetória estuda várias execuções da mesma tarefa para identificar as causas de falhas, bem como perdas, como busca repetida, exploração inútil e verificações excessivas.
Após isso, o agente planejador desenvolve três tipos de alterações, priorizando economia, equilíbrio ou desempenho. O agente de edição de framework implementa cada alteração em um espaço de trabalho separado, que é rastreado usando Git para fins de auditoria e reversão.
Para avaliar o progresso sem usar respostas de referência ou testes oficiais, o agente de geração de testes cria testes com base na descrição da tarefa e nas execuções iniciais, e esses testes são fixados para cada candidato. Essa abordagem aumentou significativamente a taxa de detecção de falhas de 41,7% para 83,3% em experimentos iniciais, em comparação com o método de consulta ao modelo de leitura de logs para determinar o sucesso da tarefa.
Candidatos que apresentam resultados piores do que o framework original, ou que são inferiores a outra versão em termos de custo e sucesso, são excluídos. As variantes Lite, Medium e Heavy passam para a próxima fase de teste.
Resultados dos testes
A equipe realizou testes nas plataformas Terminal-Bench 2, SWE-Bench Pro e ProgramBench, utilizando GPT-5.5 com Codex. Em comparação com o método RHO anterior, a variante Heavy aumentou a porcentagem média de aprovação em 2,0 pontos percentuais e reduziu o custo médio da tarefa em 26,1%.
No Terminal-Bench 2, a porcentagem de aprovação aumentou de 76,3% para 80,8%, e o custo da tarefa caiu de US$ 1,09 para US$ 0,72. No SWE-Bench Pro, a variante Medium alcançou 79,0% de aprovação contra 80,0% do RHO, com um custo de US$ 1,26 por tarefa em vez de US$ 2,68.
O principal ganho de eficiência foi alcançado através do alinhamento dos esforços de raciocínio e orçamentos de ferramentas com cada tarefa, o que incentivou o agente a parar de explorar, bem como pela compressão de logs e instruções repetitivas. Os indicadores financeiros apresentados consideram apenas a execução das tarefas, excluindo os processos de busca e avaliação que as precederam.



