Исследователи из Университета Цинхуа, Zhipu, Шанхайского университета Цзяотун, Университета Уоррика и Kuaishou представили HarnessPro — метод, который дает возможность искусственному интеллекту улучшать ту среду, в которой он работает. Эта среда представляет собой фреймворк, определяющий подсказки, инструменты, бюджеты и последовательность выполнения задач агента.
В научной работе, опубликованной на arXiv 19 октября с участием главного ученого Zhipu Тан Цзе, добавлена вторая цель самосовершенствования: повышение производительности при одновременном снижении эксплуатационных расходов.
Этот проект продолжает работу Zhipu от сентября, когда была представлена информация об Инфраструктурном Агенте на базе GLM-5.3, который помог создать и настроить инфраструктуру инференса для GLM-5.3-Flash, увеличив пропускную способность от начала до конца примерно в три раза по сравнению с исходным уровнем менее чем за две недели.
Как работает HarnessPro
HarnessPro начинает работу с существующей конфигурации, собирая данные о вызовах инструментов, обратной связи от окружения и использовании токенов. Затем агент траекторного анализа изучает несколько запусков одной и той же задачи, чтобы выявить причины неудач, а также потери, такие как повторный поиск, бесцерное исследование и избыточные проверки.
После этого планирующий агент разрабатывает три типа изменений, отдавая предпочтение экономии, балансу или производительности. Агент редактирования фреймворка реализует каждое изменение в отдельном рабочем пространстве, которое отслеживается с помощью Git для возможности аудита и отката.
Чтобы оценивать прогресс без использования эталонных ответов или официальных тестов, агент генерации тестов создает тесты на основе описания задачи и ранних запусков, после чего эти тесты фиксируются для каждого кандидата. Этот подход значительно повысил показатель обнаружения сбоев в ранних экспериментах с 41,7 процента до 83,3 процента, по сравнению с методом запроса к модели чтения логов для определения успеха задачи.
Кандидаты, которые показывают худшие результаты, чем исходный фреймворк, или которые уступают другой версии как по стоимости, так и по успеху, исключаются. Варианты Lite, Medium и Heavy проходят следующий этап тестирования.
Результаты тестирования
Команда провела тестирование на платформах Terminal-Bench 2, SWE-Bench Pro и ProgramBench, используя GPT-5.5 с Codex. По сравнению с более ранним методом RHO, вариант Heavy увеличил средний процент прохождения на 2,0 процентных пункта и сократил среднюю стоимость задачи на 26,1 процента.
На Terminal-Bench 2 процент прохождения вырос с 76,3 процента до 80,8 процента, а стоимость задачи снизилась с 1,09 доллара до 0,72 доллара. На SWE-Bench Pro вариант Medium показал 79,0 процента прохождения против 80,0 процента у RHO, при этом стоимость составляла 1,26 доллара за задачу вместо 2,68 доллара.
Основной прирост эффективности был достигнут за счет согласования усилий по рассуждению и бюджетов инструментов с каждой задачей, что побуждало агента прекращать исследование, а также за счет сжатия повторяющихся журналов и инструкций. Приведенные финансовые показатели учитывают только выполнение задач, исключая поисковые и оценочные процессы, которые предшествовали им.