Команда inclusionAI из Ant Group выпустила в открытый доступ Ming-3.0-tts — семейство моделей для генерации речи, целью которого является обеспечение детального контроля над голосом в моделях, достаточно компактных для локального развертывания. Код, руководство по задачам и таблицы оценки доступны на GitHub, а веса размещены на Hugging Face и ModelScope, при этом все материалы распространяются под лицензией MIT.
Релиз включает две модели. Ming-3.0-tts-0.5b представляет собой плотную модель с приблизительно полумиллиардом параметров. Ming-3.0-tts-tiny — это модель типа mixture-of-experts, построенная на архитектуре Ling V3 от Ant, которая имеет в общей сложности 7,9 миллиарда параметров, при этом 1,3 миллиарда активны на каждый токен. Обе модели используют единую генеративную структуру: языковая модель, управляемая токенами управления, специфичными для задачи и текстом, воздействует на патч-голову DiT и аудио-токенизатор.
Возможности этих моделей обширны. Пользователи могут клонировать референсный голос, создавать новый голос на основе текстового описания или выбирать из более чем 100 встроенных китайских голосов и пяти английских. Подача речи может регулироваться с помощью инструкций на естественном языке, а такие параметры, как эмоция, скорость, высота тона и громкость, могут настраиваться напрямую. Четырнадцать встроенных тегов позволяют вставлять смех, вздохи и другие вокальные звуки как на китайском, так и на английском языках. Модели поддерживают китайский, английский, немецкий, испанский, французский, корейский и японский языки, а также сичуаньский и кантонский.
Модель tiny дополнительно поддерживает диалоги с несколькими спикерами, генерируемые по сценарию и образцам голосов, что ориентировано на создание аудио в стиле длинных подкастов. Команда отмечает, что эти возможности функционируют как отдельные режимы задач, а не как произвольные комбинации.
Согласно репозиторию, Ming-3.0-tts заняла первое место среди моделей с открытыми весами в рейтинге Artificial Analysis Controlled Voice и первое место в общем зачете по Показателю устойчивости произношения, достигнув 93,2% корректно произнесенных выделенных сегментов по состоянию на октябрь 2026 года. Однако команда предупреждает, что эти рейтинги меняются по мере добавления новых моделей. На открытых бенчмарках модель демонстрирует передовые результаты среди перечисленных моделей с открытым исходным кодом по всем шести метрикам паралингвистики NVBench с одним тегом, по частоте ошибок на базовом наборе кантонского языка для модели 0.5b, а также по частоте ошибок слов на немецком и испанском языках для модели tiny.
В файле README также честно указаны слабые места. Сходство голосов в недавно добавленных языках в основном не попадает в тройку лидеров, контроль высоты тона является наименее точным атрибутом, частота ошибок корейской модели tiny значительно отстает от меньшей модели, а качество аудио для подкастов все еще уступает более раннему релизу Ming-omni-tts. В дорожной карте следующими шагами указаны ускоренный вывод vLLM-Omni и технический отчет. Проект призывает пользователей не клонировать голоса реальных людей без согласия и маркировать синтезированную речь там, где она может быть принята за реальную запись.
