Tencent Hunyuan представил технический отчет о Hy-Nomas, своей открытой модели для интерактивной генерации миров, а также выпустил Hy-Nomas-Bench — набор тестов для оценки интерактивных видеомоделей мира. Отчет был размещен на arXiv 27 октября, после первоначального выпуска кода и весов 21 октября.
Hy-Nomas представляет собой видеомодель мира, основанную на диффузионном ядре с 8 миллиардами параметров. Пользователи могут управлять ею в течение нескольких итераций, используя свободные текстовые инструкции, непрерывное управление камерой или комбинацию обоих методов. Модель генерирует мир сегмент за сегментом, обеспечивая согласованность сцены во времени путем обусловливания каждого нового сегмента текущим вводом и сохраненной историей.
Согласно отчету, ключевая концепция заключается в согласовании структурированных видеоподписей с причинно-следственным вниманием, учитывающим действия. Описательный контекст остается доступным между сегментами, тогда как инструкции, касающиеся действий, применяются только к соответствующему временному окну. Улучшитель запросов на основе зрения и языка преобразует запросы пользователя и историю взаимодействия в структурированные условия для следующего сегмента.
Процесс обучения проходит по многоэтапной учебной программе. Он начинается с причинной генерации, затем переходит к текстовому взаимодействию и управлению камерой, после чего модель обучается на историях, которые она сама сгенерировала, и завершается шагом дистилляции диффузии. Дистиллированная модель требует всего от четырех до восьми шагов шумоподавления. В ходе человеческой оценки команда отметила, что Hy-Nomas превзошла существующие мировые модели.
Hy-Nomas-Bench включает 280 тестовых сценариев, охватывающих четыре задачи: многоходовое свободное текстовое взаимодействие, навигация камерой, чередование текстового и камерного управления, а также пространственная память. Этот набор проверяет способность модели следовать последовательным указаниям, создавать физически правдоподобные ответы, точно выполнять движения камеры и поддерживать согласованность сцены, когда камера возвращается в ранее посещенное место. Комплект включает подсказки, структурированные подписи, последовательности взаимодействия и эталонные траектории камеры, и выпущен под лицензией Apache 2.0.
Сама модель также распространяется под лицензией Apache 2.0. Tencent предоставляет конфигурацию INT8, которая работает на одной RTX 4090 с использованием истории скользящего окна и выгрузки на ЦП, а также пайплайн Diffusers, код для тонкой настройки LoRA и интерактивную веб-демонстрацию. Среди выпущенных адаптеров есть кинематографический LoRA и LoRA для робототехники, обученная на реальных данных двухрукого робота.
Разработчики вне экосистемы уже интегрировали поддержку в SGLang, ComfyUI и WanGP, а один демонстрационный проект сообщества сообщил о генерации 720p в реальном времени на Google TPUs.
