Исследовательский агент Hyra 2.0 от Tencent Hunyuan самостоятельно создает инструменты для работы с белками, математическими доказательствами и чипами

Tencent Hunyuan представил технический отчет о Hy-Nomas, своей открытой модели для интерактивной генерации миров, а также выпустил Hy-Nomas-Bench — набор тестов для оценки интерактивных видеомоделей мира. Отчет был размещен на arXiv 27 октября, после первоначального выпуска кода и весов 21 октября.

Hy-Nomas представляет собой видеомодель мира, основанную на диффузионном ядре с 8 миллиардами параметров. Пользователи могут управлять ею в течение нескольких итераций, используя свободные текстовые инструкции, непрерывное управление камерой или комбинацию обоих методов. Модель генерирует мир сегмент за сегментом, обеспечивая согласованность сцены во времени путем обусловливания каждого нового сегмента текущим вводом и сохраненной историей.

Согласно отчету, ключевая концепция заключается в согласовании структурированных видеоподписей с причинно-следственным вниманием, учитывающим действия. Описательный контекст остается доступным между сегментами, тогда как инструкции, касающиеся действий, применяются только к соответствующему временному окну. Улучшитель запросов на основе зрения и языка преобразует запросы пользователя и историю взаимодействия в структурированные условия для следующего сегмента.

Процесс обучения проходит по многоэтапной учебной программе. Он начинается с причинной генерации, затем переходит к текстовому взаимодействию и управлению камерой, после чего модель обучается на историях, которые она сама сгенерировала, и завершается шагом дистилляции диффузии. Дистиллированная модель требует всего от четырех до восьми шагов шумоподавления. В ходе человеческой оценки команда отметила, что Hy-Nomas превзошла существующие мировые модели.

Hy-Nomas-Bench включает 280 тестовых сценариев, охватывающих четыре задачи: многоходовое свободное текстовое взаимодействие, навигация камерой, чередование текстового и камерного управления, а также пространственная память. Этот набор проверяет способность модели следовать последовательным указаниям, создавать физически правдоподобные ответы, точно выполнять движения камеры и поддерживать согласованность сцены, когда камера возвращается в ранее посещенное место. Комплект включает подсказки, структурированные подписи, последовательности взаимодействия и эталонные траектории камеры, и выпущен под лицензией Apache 2.0.

Сама модель также распространяется под лицензией Apache 2.0. Tencent предоставляет конфигурацию INT8, которая работает на одной RTX 4090 с использованием истории скользящего окна и выгрузки на ЦП, а также пайплайн Diffusers, код для тонкой настройки LoRA и интерактивную веб-демонстрацию. Среди выпущенных адаптеров есть кинематографический LoRA и LoRA для робототехники, обученная на реальных данных двухрукого робота.

Разработчики вне экосистемы уже интегрировали поддержку в SGLang, ComfyUI и WanGP, а один демонстрационный проект сообщества сообщил о генерации 720p в реальном времени на Google TPUs.

Команда Qwen от Alibaba описала процесс создания персонального агента, утверждая, что следующий этап развития AI-помощников зависит от слаженной работы трех компонентов: модели, памяти и экосистемы сервисов. Джан Гуаньджун, руководитель отдела алгоритмов ИИ в бизнес-подразделении Qwen Alibaba, представил эту концепцию 22 октября на Китайском национальном компьютерном конгрессе (CNCC) в Чэнду.

Джан разделил эволюцию приложений ИИ на три стадии: чат, агент и помощник. На этапе чата ИИ отвечает на запросы пользователей. На стадии агента система выполняет поставленные задачи. Помощник, куда, по его словам, движется отрасль, объединяет профессиональные знания с личным контекстом пользователя, планирует действия вокруг целей пользователя и обнаруживает незамеченные им потребности. Он подчеркнул, что настоящий персональный агент должен приносить дополнительную ценность и предлагать проактивный, индивидуализированный сервис.

Он предположил, что теоретически персональный агент способен решить почти все повседневные проблемы в сфере работы, учебы и личной жизни. Однако главным препятствием является способность системы соотнести свои возможности с оптимальным путем решения каждой конкретной проблемы.

Подход к разработке модели

Что касается модели, Qwen сосредоточен на стабильном выполнении задач. Команда разработала так называемую карту потребностей пользователя, охватывающую более 30 крупных отраслей, и детализировала ее до более чем 8000 атомарных требований к возможностям модели. При этом для оценки и настройки модели привлекались отраслевые эксперты.

Механизм памяти

Джан отметил, что персональный агент должен обеспечивать долгосрочное понимание пользователя, избегая простого накопления истории чатов, что увеличивает шум и затраты на вычисления. Qwen конструирует свою память на основе степени взаимосвязи событий, храня и извлекая их в различных уровнях. Например, помощник, запомнивший, что пожилой пользователь упоминал свою пенсию, сможет дать более подходящий совет, когда та же семья позже спросит о поиске работы ребенка.

Роль экосистемы

Относительно экосистемы, Джан заявил, что по мере совершенствования моделей и методов управления, решающим становится умение связывать и координировать внешние сервисы. Qwen создает модель-ориентированную открытую систему сервисов, которая интегрирует профессиональные знания, инструменты, отраслевые навыки и сторонних агентов, а также связывает с электронной коммерцией, местными услугами, здравоохранением и образованием.

В его представлении, эти три элемента объединяются для обеспечения проактивного обслуживания: память предоставляет личную информацию, модель использует экспертные знания для определения потребностей и планирования, а экосистема осуществляет работу, например, отслеживая график реабилитации пациента или сигнализируя о новых рисках в финансах пользователя. Данный доклад представляет собой наиболее подробное публичное описание технической концепции, стоящей за персональным агентом Qwen Go!, который Alibaba открыла для регистрации в этом месяце.

Компания Tongyan Lingzhi, которая является дочерней структурой индустриальной платформы Пекинского института общей искусственного интеллекта (BIGAI), представила свой подход к концепции персонального ИИ. Этот подход предполагает создание моделей, которые непрерывно обучаются на основе данных конкретного человека, проекта или компании, вместо того чтобы полагаться исключительно на запросы и поиск информации.

Большинство существующих корпоративных систем ИИ сегодня адаптируются к пользователям извне. Они используют запросы для установления правил, извлекают документы через поиск, хранят состояние в памяти и упаковывают многократно используемые шаги. Однако сами веса модели редко изменяются после взаимодействия.

Tongyan Lingzhi утверждает, что стабильные привычки, например, инженерные стандарты команды или дисциплина управления рисками инвестиционной группы, могут быть интегрированы непосредственно в параметры модели. Архитектура компании предусматривает сохранение общей базовой модели для обработки общих знаний и рассуждений, к которой добавляются легковесные адаптеры Personal LoRA для каждого отдельного пользователя, проекта или организации. Компания отмечает, что эти индивидуальные возможности должны сохраняться даже в случае замены базовой модели.

Для поддержания обучения этих адаптеров команда разрабатывает механизм рекурсивного самосовершенствования, или RSI. Трассировки задач, корректировки со стороны человека и полученные результаты становятся потенциальными данными для обучения. Специальный оценщик, настроенный под стандарты каждого пользователя или компании, отбирает сигналы, которые стоит изучить перед внесением инкрементального обновления LoRA. Обновленная модель затем запускается на тех же задачах, что и предыдущая версия, и в рабочую среду выводятся только улучшения, тогда как регрессии отменяются.

Технический директор Чу Бинбин подчеркнул, что один отклоненный вариант является лишь сигналом, и только повторяющиеся закономерности должны становиться обучающими данными. Кроме того, компания работает над созданием инфраструктуры, позволяющей сделать тысячи таких адаптеров доступными. Система TIP выполняет обучение и инференс параллельно на одних и тех же GPU, а Paged LoRA управляет памятью адаптера страницами. В одном тестовом этапе с использованием Qwen2.5-72B-Instruct на восьми GPU Nvidia H800 и бюджетом памяти адаптера в 5,79 ГБ, Paged LoRA продемонстрировала лучшую задержку и поведение в «хвосте» по сравнению с плоским макетом, когда запросы LoRA составляли от 1% до 30% трафика, однако производительность снизилась при достижении 50%.

Tongyan Lingzhi признает, что работа находится на ранней стадии. Хотя технический путь RSI и архитектура продукта определены, и модули находятся в стадии проектирования, полностью автоматизированный цикл обучения все еще находится в разработке. Среди открытых проблем остаются катастрофическое забывание, загрязнение обратной связью и дрейф модели.