Компания Tencent опубликовала загружаемые веса своей флагманской модели Hy4 20 ноября, сопроводив релизом новую Системную карту. Этот выпуск последовал за запуском сервиса 4 ноября и отличается от более ранних контрольных точек Hy4, которые были доступны на этой неделе.
В официальной карточке модели описана мультимодальная система типа 'mixture-of-experts' с языковым ядром, содержащим 770 миллиардов параметров. При активации для каждого текстового токена используется 49 миллиардов параметров, а окно контекста достигает 1 048 576 токенов. При этом подсчет ядра не включает кодировщик зрения, адаптер и компонент составления черновиков DFly2.
Tencent предоставила разработчикам различные отправные точки для дальнейшего обучения или внедрения, включив в список инструкции Hy4, Hy4-FP8 и базовые контрольные точки Hy4.
Pandaily подтвердила получение небольшого диапазона байтов из одного из шардов весов в каждом из трех репозиториев. Однако компания не скачивала полные контрольные точки и не проводила инференс.
Документация по развертыванию содержит рецепты для vLLM и SGLang с использованием тензорного параллелизма восьмиway; это значительные инфраструктурные развертывания, а не доказательство того, что флагманская модель работает на обычном ноутбуке.
Веса используют лицензию Tencent Hy License 1.0, а не Apache 2.0. Дополнительные коммерческие условия применяются к операторам, предоставляющим третьим сторонам общецелевой удаленный вывод модели или тонкую настройку. Такие операторы модели как услуга должны получить отдельное письменное разрешение, если их совокупный мировой валовой доход превышает 50 миллионов долларов в любой последовательный 12-месячный период, независимо от того, генерировала ли Hy4 этот доход, или до использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в любом календарном месяце.
Лицензия исключает рабочие процессы конечного пользователя с ограниченным функционалом и простые ретрансляции в независимо управляемые сервисы моделей из своего определения модели как услуги. Узкое исключение для внутреннего использования требует, чтобы модель, ее производные или результаты не предоставлялись третьим сторонам. Следовательно, эти пороги не следует представлять как всеобъемлющее ограничение для каждого коммерческого пользователя.
Tencent также указывает на фильтрацию вредоносного учебного материала по кибербезопасности и проведение внутренних аудитов безопасности специалистами. Эти оценки исходят от эмитента, а не являются независимыми гарантиями того, что модель не может быть использована ненадлежащим образом. Разработчики, оценивающие развертывание, по-прежнему должны проводить собственную оценку производительности задач, требований к ресурсам и мер безопасности.
Практическое изменение заключается в доступе к артефактам флагманской модели и условиям, регулирующим ее использование, а не в новом дебюте ранее анонсированных возможностей Hy4 в области зрения и компьютерного использования.



