Tencent выпустила модель Hy4 с возможностями компьютерного зрения и управления

Tencent Hunyuan представил технический отчет о Hy-Nomas, своей открытой модели для интерактивной генерации миров, а также выпустил Hy-Nomas-Bench — набор тестов для оценки интерактивных видеомоделей мира. Отчет был размещен на arXiv 27 октября, после первоначального выпуска кода и весов 21 октября.

Hy-Nomas представляет собой видеомодель мира, основанную на диффузионном ядре с 8 миллиардами параметров. Пользователи могут управлять ею в течение нескольких итераций, используя свободные текстовые инструкции, непрерывное управление камерой или комбинацию обоих методов. Модель генерирует мир сегмент за сегментом, обеспечивая согласованность сцены во времени путем обусловливания каждого нового сегмента текущим вводом и сохраненной историей.

Согласно отчету, ключевая концепция заключается в согласовании структурированных видеоподписей с причинно-следственным вниманием, учитывающим действия. Описательный контекст остается доступным между сегментами, тогда как инструкции, касающиеся действий, применяются только к соответствующему временному окну. Улучшитель запросов на основе зрения и языка преобразует запросы пользователя и историю взаимодействия в структурированные условия для следующего сегмента.

Процесс обучения проходит по многоэтапной учебной программе. Он начинается с причинной генерации, затем переходит к текстовому взаимодействию и управлению камерой, после чего модель обучается на историях, которые она сама сгенерировала, и завершается шагом дистилляции диффузии. Дистиллированная модель требует всего от четырех до восьми шагов шумоподавления. В ходе человеческой оценки команда отметила, что Hy-Nomas превзошла существующие мировые модели.

Hy-Nomas-Bench включает 280 тестовых сценариев, охватывающих четыре задачи: многоходовое свободное текстовое взаимодействие, навигация камерой, чередование текстового и камерного управления, а также пространственная память. Этот набор проверяет способность модели следовать последовательным указаниям, создавать физически правдоподобные ответы, точно выполнять движения камеры и поддерживать согласованность сцены, когда камера возвращается в ранее посещенное место. Комплект включает подсказки, структурированные подписи, последовательности взаимодействия и эталонные траектории камеры, и выпущен под лицензией Apache 2.0.

Сама модель также распространяется под лицензией Apache 2.0. Tencent предоставляет конфигурацию INT8, которая работает на одной RTX 4090 с использованием истории скользящего окна и выгрузки на ЦП, а также пайплайн Diffusers, код для тонкой настройки LoRA и интерактивную веб-демонстрацию. Среди выпущенных адаптеров есть кинематографический LoRA и LoRA для робототехники, обученная на реальных данных двухрукого робота.

Разработчики вне экосистемы уже интегрировали поддержку в SGLang, ComfyUI и WanGP, а один демонстрационный проект сообщества сообщил о генерации 720p в реальном времени на Google TPUs.

Высший исполнительный вице-президент Tencent, Доусон Тонг, сообщил на Конференции глобальной цифровой экосистемы Tencent, состоявшейся 29 октября, что компания планирует вскоре выпустить модели Hy4 и Hy4 flash, добавив в свой ряд моделей искусственного интеллекта функцию визуального понимания.

По сравнению с предварительной версией Hy4, представленной в августе, полная модель Hy4 продемонстрирует улучшение производительности в задачах, требующих продолжительного рассуждения и выполнения, включая рабочие процессы реальной продуктивности. Кроме того, Tencent стремится повысить эффективность рассуждений.

Модель Hy4 flash будет ориентирована на экономическую эффективность, сохраняя при этом возможности визуального понимания и функций ИИ-агента. Предварительная версия Hy4 имеет общее количество параметров в 770 миллиардов, при этом во время инференса активируется 49 миллиардов параметров, и она поддерживает контекстное окно в один миллион токенов. Тонг отметил, что Tencent совместно разрабатывает свои модели и продукты для повышения их эффективности в практическом применении.

Компания Tencent представила Hy-SimulMT, модель с открытым исходным кодом, предназначенную для одновременного перевода с китайского на английский язык. Эта система способна непрерывно обрабатывать входящую речь и обеспечивает вывод как переведенного текста, так и речи.

Модель включает функцию клонирования голоса в режиме реального времени, которая разработана таким образом, чтобы сохранять вокальные особенности оригинального говорящего. Пользователи могут протестировать эту технологию через приложение Hy Translate от Tencent.

Выпуск включает в себя веса модели, программное обеспечение для инференса и инструменты для обучения. При тестировании на бенчмарке RealSI для длинных аудиозаписей Tencent сообщила о задержке потокового перевода, составляющей около трех секунд. При этом показатели качества перевода превысили показатели других моделей с открытым исходным кодом, а также четырех из пяти коммерческих API, участвовавших в сравнении.

Для генерации речи и клонирования голоса требуется настроенный сервис преобразования текста в речь. В рамках этого выпуска также упоминается [Tencent Hunyuan].