Moore Threads добавила поддержку Kimi K3.1 Pro на GPU MTT S5000

Alibaba Cloud сообщила, что ее система Lingjun Zhenwu M890 SuperPoD завершила адаптацию модели Kimi K3.1 Pro от Moonshot AI в режиме day-zero. Также была проведена полная проверка стека на фреймворках инференса vLLM и SGLang. Об этом стало известно 5 ноября по данным IT Home, ссылавшемуся на облачного провайдера.

Компания также открыла пригласительное тестирование нового региона SuperPoD в Чжунвэй, Нинся, расширяя список мест, где могут размещаться большие модели с открытым весом на собственных ускорителях компании.

Характеристики модели и совместная адаптация

Модель Kimi K3.1 Pro представляет собой разреженную модель типа mixture-of-experts с 2,8 триллионами параметров и окном контекста около миллиона токенов. Она использует гибридное внимание Kimi Delta Attention и разреженное внимание DSA, а также многотокеновую предсказательную способность. Эти особенности создают значительные требования к пропускной способности памяти и высокоскоростным межсоединениям для масштабирования.

Alibaba Cloud, T-Head и команда Kimi совместно адаптировали эту модель на программном стеке SAIL от T-Head. Работа над операторами FlashMLA, DeepGEMM MoE, MegaMoE и MoonEP позволила клиентам развертывать инференс либо на экземплярах SuperPoD bare-metal, либо через сервис интеллектуального движка REIN. Кроме того, модель доступна через API платформы Qwen AI от Alibaba.

Поддержка в фреймворках и новые возможности

Независимые отчеты о поддержке day-zero от проектов SGLang и vLLM описывают поддержку Zhenwu PPU для Kimi K3.1 Pro на конфигурациях M890 и 810E. Этот релиз отмечается как первая поддержка крупной открытой модели в рамках аппаратного бэкенда в дереве разработки Zhenwu. Документация Alibaba Cloud публикует рецепты prefill-decode для экземпляров Zhenwu M890 SuperPoD, включая настройки тензорного и экспертного параллелизма для нескольких узлов.

Приглашение в SuperPoD в Чжунвэй включает в себя интеллектуальную сетевую карту Panmai 920 от T-Head поверх ранее существовавших высокопроизводительных конфигураций. Alibaba утверждает, что данная карта использует PCIe 5.0 и Ethernet PAM4 со скоростью 112G, достигая пиковой пропускной способности в 400 Гбит/с и 400 миллионов пакетов в секунду. Она поддерживает RDMA с мультипутем и программируемый контроль перегрузки, а также интегрирует коммутатор PCIe на самой карте, что позволяет GPU и SSD подключаться с меньшей зависимостью от внешнего коммутатора — дизайн, который, по словам компании, может снизить системные затраты примерно на 30%.

Экземпляры SuperPoD day-zero для крупных моделей доступны в центрах обработки данных Уланбаба и Чжунвэй. Alibaba Cloud отмечает, что экземпляры Lingjun Zhenwu M890 SuperPoD уже обслуживают более 100 крупных клиентов в сферах больших моделей, автономного вождения и воплощенного ИИ. Компания также повторила, что ожидается, что экземпляр SuperPoD следующего поколения Zhenwu V900 обеспечит примерно в три раза большую производительность по сравнению с текущим поколением. Это объявление совпадает с отдельной поддержкой Kimi K3.1 Pro в режиме day-zero от Huawei Ascend, о которой было сообщено в ту же неделю, предоставляя две отечественные пути запуска для модели на стеках SuperPoD.

Команда вычислительных систем Huawei Ascend сообщила о завершении адаптации для инференса модели Kimi K3.1 Pro, которая имеет 2,8 триллиона параметров. Полные веса этой модели были выпущены Moonshot AI 4 ноября, согласно официальному аккаунту Huawei Computing, как это сообщили IT Home и ifeng Tech.

Используя vLLM Ascend и SGLang, разработчики теперь могут развернуть эту модель на серверах Atlas 800 A3, в кластере Atlas 900 A3 SuperPoD и в серии Ascend 950 SuperPoD с момента ее выпуска.

Kimi K3.1 Pro является первой моделью в серии K3.1 от Moonshot AI. Это модель типа mixture-of-experts с нативной визуальной обработкой и окном контекста около миллиона токенов, активирующей примерно 104 миллиарда параметров на каждом шаге инференса. Модель сохраняет гибридное линейное внимание K3, основанное на слоях Kimi Delta Attention (KDA), и добавляет слои разреженного внимания DSA вместо некоторых слоев полного внимания для снижения затрат на моделирование длинного контекста.

Большая часть работы по адаптации была связана именно с этой архитектурой. Huawei заявила, что ее команда инференса опиралась на предыдущую адаптацию Kimi K3, предварительно анализируя новую модель и параллельно работая над интеграцией модели, разработкой операторов и валидацией сервисов. Благодаря уже имеющейся поддержке KDA и MoE, команда добавила новый путь разреженного внимания и мультимодальный инференс, сохранив при этом существующие функции обслуживания в фреймворках инференса.

Согласно информации от Huawei, оптимизация охватила основные операторы для выбора исторической информации, вычислений разреженного внимания, предварительной обработки и остаточных вычислений, что было объединено с распределенным кэшированием и функциями на уровне фреймворка для поддержки инференса с длинным контекстом и производственного обслуживания. Компания определила цель в том, чтобы пользователи и разработчики могли начать тестирование приложений и развертывание в первый день выхода модели.

Документация vLLM Ascend указывает, что Kimi K3.1 Pro поддерживается в экспериментальном режиме в версии vLLM Ascend 0.30.0. Ее эталонные конструкции используют разделение префилла и декодирования на восемь узлов с четырьмя узлами префилла и четырьмя узлами декодирования, включая конфигурацию с длинным контекстом в один миллион токенов. Серверы Atlas 800I A3 работают с квантованной контрольной точкой W4A8, в то время как продукты 950DT используют вариант W4A8 MXFP; руководство отмечает, что продукты Atlas A2 и 950PR пока не поддерживаются.

Размер модели делает аппаратную поддержку практическим вопросом. IT Home отмечает, что веса в формате BF16 занимают около 5,6 ТБ и все еще требуют около 1,4 ТБ при квантовании INT4, что исключает использование одного потребительского графического процессора. Huawei позиционировала свои системы A3 и 950 SuperPoD для этого класса инференса MoE с триллионными параметрами, и выпуск Kimi K3.1 Pro стал последней открытой моделью, которую она поддержала в день запуска.

Компания Moore Threads сделала проект Megatron-MUSA-Titan общедоступным, представив инфраструктуру для обучения больших моделей, которую она разработала для использования на собственных графических процессорах. Этот проект предназначен для работы с моделями типа 'смесь экспертов' (mixture-of-experts) с триллионом параметров на кластерах, состоящих из более чем 10 000 GPU от Moore Threads, и охватывает как предварительное обучение, так и обучение с подкреплением.

Код проекта доступен на GitHub. Компания утверждает, что данная система непрерывно использовалась для предварительного обучения MoE с триллионом параметров на кластерах мощностью 10 000 GPU, где длительные сессии обучения обеспечивали высокую утилизацию FLOPs модели и стабильность процесса.

В репозитории представлен пример конфигурации для модели MoE в стиле Kimi-K2 с 1 триллионом параметров. Центральным принципом проектирования стало сохранение близости к существующим решениям. Megatron-MUSA-Titan построен на основе фреймворка Megatron-LM от NVIDIA. Благодаря интеграции PyTorch через torch_musa и совместимости MUSA C с CUDA C, разработчики, имеющие среду MUSA, могут клонировать официальные репозитории Megatron-LM, slime и miles и запускать обучение на GPU Moore Threads без необходимости модификации исходного кода.

Проект указывает, что общие алгоритмы и исправления ошибок следует направлять в вышестоящие проекты, тогда как Moore Threads фокусируется на двух типах изменений: крупномасштабных оптимизациях, адаптированных под оборудование и кластеры Moore Threads, а также на обходных решениях для специфических проблем MUSA.

Функции предварительного обучения включают блочное обучение в формате FP8, которое опирается на MT-TransformerEngine от Moore Threads. Диспетчеризация и объединение токенов MoE ускоряются с помощью DeepEP, работающего поверх Async Copy Engine компании, который также позволяет коммуникации экспертов параллельно с вычислениями. Среди других опций — выгрузка активаций с использованием виртуального параллелизма конвейера и планирование одного прямого прохода и одного обратного прохода, а также параллельная коммуникация конвейера, совмещенная с вычислениями, благодаря Mooncake RDMA.

Инструмент анализа распределенной трассировки считывает трассировки PyTorch с каждого GPU для обнаружения узких мест, таких как пузырьки конвейера и узлы с низкой производительностью. Проект заявляет, что он способен анализировать запуск MoE с 1 триллионом параметров на 10 000 GPU всего за несколько часов.

Для обучения с подкреплением стек поддерживает фреймворки slime и miles; Megatron занимается обучением, а MUSA-сборка SGLang генерирует прогоны, что позволяет одной базовой системе обслуживать как предварительное обучение, так и RL. Оптимизация для автономного инференса не входит в сферу действия данного проекта.

Для разработчиков, рассматривающих отечественные ускорители, практический вопрос заключается в том, какая часть существующего кода обучения останется работоспособной. Ответ Moore Threads состоит в том, что код экосистемы Megatron не требует изменений.