Moore Threads adiciona suporte ao Kimi K3.1 Pro na GPU MTT S5000

A Alibaba Cloud anunciou que seu sistema Lingjun Zhenwu M890 SuperPoD concluiu a adaptação do modelo Kimi K3.1 Pro da Moonshot AI no modo day-zero. Uma verificação completa da pilha nos frameworks de inferência vLLM e SGLang também foi realizada. Isso foi divulgado em 5 de novembro, segundo a IT Home, citando o provedor de nuvem.

A empresa também abriu testes convidados para uma nova região SuperPoD em Zhongwei, Ningxia, expandindo a lista de locais onde grandes modelos de código aberto podem ser hospedados nos aceleradores próprios da empresa.

Características do Modelo e Adaptação Conjunta

O modelo Kimi K3.1 Pro é um modelo esparso do tipo mixture-of-experts com 2,8 trilhões de parâmetros e uma janela de contexto de cerca de um milhão de tokens. Ele utiliza atenção híbrida Kimi Delta Attention e atenção esparsa DSA, além de capacidade preditiva multi-token. Essas características criam exigências significativas de largura de banda de memória e interconexões de alta velocidade para escalonamento.

Alibaba Cloud, T-Head e a equipe Kimi adaptaram conjuntamente este modelo na pilha de software SAIL da T-Head. O trabalho nos operadores FlashMLA, DeepGEMM MoE, MegaMoE e MoonEP permitiu que os clientes implantassem a inferência tanto em instâncias SuperPoD bare-metal quanto através do serviço de motor inteligente REIN. Além disso, o modelo está disponível através da API da plataforma Qwen AI da Alibaba.

Suporte em Frameworks e Novos Recursos

Relatórios independentes sobre o suporte day-zero dos projetos SGLang e vLLM descrevem o suporte ao Zhenwu PPU para Kimi K3.1 Pro nas configurações M890 e 810E. Este lançamento é marcado como o primeiro suporte a um grande modelo de código aberto dentro do backend de hardware na árvore de desenvolvimento Zhenwu. A documentação da Alibaba Cloud publica receitas de prefill-decode para instâncias Zhenwu M890 SuperPoD, incluindo configurações de paralelismo tensorial e de especialista para múltiplos nós.

O convite para o SuperPoD em Zhongwei inclui a placa de rede inteligente Panmai 920 da T-Head sobre as configurações de alto desempenho anteriormente existentes. A Alibaba afirma que este cartão utiliza PCIe 5.0 e Ethernet PAM4 a 112G, atingindo uma largura de banda de pico de 400 Gbps e 400 milhões de pacotes por segundo. Ele suporta RDMA multipath e controle programável de congestionamento, além de integrar um switch PCIe no próprio cartão, permitindo que GPUs e SSDs se conectem com menor dependência de um switch externo — um design que, segundo a empresa, pode reduzir os custos do sistema em cerca de 30%.

As instâncias SuperPoD day-zero para grandes modelos estão disponíveis nos data centers de Ulan Bator e Zhongwei. A Alibaba Cloud observa que as instâncias Lingjun Zhenwu M890 SuperPoD já atendem mais de 100 grandes clientes nos campos de grandes modelos, direção autônoma e IA incorporada. A empresa também reiterou que espera que a instância SuperPoD de próxima geração Zhenwu V900 forneça aproximadamente três vezes mais desempenho em comparação com a geração atual. Este anúncio coincide com o suporte separado ao Kimi K3.1 Pro no modo day-zero da Huawei Ascend, relatado na mesma semana, fornecendo dois caminhos domésticos de lançamento para o modelo nas pilhas SuperPoD.

A equipe de sistemas de computação da Huawei Ascend anunciou a conclusão da adaptação para inferência do modelo Kimi K3.1 Pro, que possui 2,8 trilhões de parâmetros. Os pesos completos deste modelo foram lançados pela Moonshot AI em 4 de novembro, de acordo com a conta oficial da Huawei Computing, conforme relatado pelo IT Home e ifeng Tech.

Usando vLLM Ascend e SGLang, os desenvolvedores agora podem implantar este modelo nos servidores Atlas 800 A3, no cluster Atlas 900 A3 SuperPoD e na série Ascend 950 SuperPoD desde seu lançamento.

O Kimi K3.1 Pro é o primeiro modelo da série K3.1 da Moonshot AI. É um modelo do tipo mixture-of-experts com processamento visual nativo e uma janela de contexto de cerca de um milhão de tokens, ativando aproximadamente 104 bilhões de parâmetros em cada etapa de inferência. O modelo mantém a atenção linear híbrida K3, baseada nas camadas Kimi Delta Attention (KDA), e adiciona camadas de atenção esparsa DSA em vez de algumas camadas de atenção completa para reduzir os custos de modelagem de contexto longo.

Grande parte do trabalho de adaptação estava relacionada especificamente a essa arquitetura. A Huawei declarou que sua equipe de inferência se baseou na adaptação anterior do Kimi K3, analisando previamente o novo modelo e trabalhando paralelamente na integração do modelo, desenvolvimento de operadores e validação de serviços. Graças ao suporte já existente para KDA e MoE, a equipe adicionou um novo caminho de atenção esparsa e inferência multimodal, mantendo as funções de serviço existentes nos frameworks de inferência.

De acordo com informações da Huawei, a otimização abrangeu operadores principais para seleção de histórico, cálculos de atenção esparsa, pré-processamento e cálculos residuais, que foram combinados com cache distribuído e funcionalidades em nível de framework para suportar inferência de contexto longo e manutenção de produção. A empresa estabeleceu como meta que usuários e desenvolvedores pudessem começar a testar aplicativos e implantações no primeiro dia de lançamento do modelo.

A documentação do vLLM Ascend indica que o Kimi K3.1 Pro é suportado em modo experimental na versão vLLM Ascend 0.30.0. Suas configurações de referência utilizam a divisão de prefixo e decodificação em oito nós, com quatro nós de prefixo e quatro nós de decodificação, incluindo a configuração de contexto longo de um milhão de tokens. Os servidores Atlas 800I A3 operam com o checkpoint quantizado W4A8, enquanto os produtos 950DT usam a variante W4A8 MXFP; a liderança observa que os produtos Atlas A2 e 950PR ainda não são suportados.

O tamanho do modelo torna o suporte de hardware uma questão prática. O IT Home observa que os pesos no formato BF16 ocupam cerca de 5,6 TB e ainda exigem cerca de 1,4 TB após a quantização INT4, o que exclui o uso de uma única GPU de consumidor. A Huawei posicionou seus sistemas A3 e 950 SuperPoD para esta classe de inferência MoE com parâmetros trilionários, e o lançamento do Kimi K3.1 Pro foi o último modelo aberto que ela suportou no dia do lançamento.

A empresa Moore Threads tornou o projeto Megatron-MUSA-Titan público, apresentando uma infraestrutura para treinamento de grandes modelos que ela desenvolveu para uso em suas próprias unidades de processamento gráfico. Este projeto é destinado ao trabalho com modelos do tipo 'mistura de especialistas' (mixture-of-experts) com um trilhão de parâmetros em clusters compostos por mais de 10.000 GPUs da Moore Threads, abrangendo tanto o pré-treinamento quanto o treinamento por reforço.

O código do projeto está disponível no GitHub. A empresa afirma que este sistema foi usado continuamente para pré-treinar MoE com um trilhão de parâmetros em clusters de 10.000 GPUs, onde sessões de treinamento prolongadas garantiram alta utilização de FLOPs do modelo e estabilidade do processo.

O repositório apresenta um exemplo de configuração para um modelo MoE no estilo Kimi-K2 com 1 trilhão de parâmetros. O princípio central do design foi manter a proximidade com soluções existentes. O Megatron-MUSA-Titan é construído sobre o framework Megatron-LM da NVIDIA. Graças à integração do PyTorch via torch_musa e à compatibilidade MUSA C com CUDA C, os desenvolvedores que possuem o ambiente MUSA podem clonar os repositórios oficiais Megatron-LM, slime e miles e iniciar o treinamento nas GPUs Moore Threads sem a necessidade de modificar o código-fonte.

O projeto indica que algoritmos gerais e correções de erros devem ser direcionados aos projetos superiores, enquanto a Moore Threads se concentra em dois tipos de alterações: otimizações em larga escala adaptadas ao hardware e clusters da Moore Threads, e soluções alternativas para problemas específicos do MUSA.

Os recursos de pré-treinamento incluem treinamento em bloco no formato FP8, que depende do MT-TransformerEngine da Moore Threads. A roteamento e agregação de tokens MoE são acelerados com o DeepEP, que opera sobre o Async Copy Engine da empresa, permitindo também a comunicação dos especialistas em paralelo com os cálculos. Outras opções incluem o descarregamento de ativações usando paralelismo de pipeline virtual e o agendamento de uma passagem direta e uma passagem reversa, além da comunicação paralela de pipeline combinada com cálculos, graças ao Mooncake RDMA.

A ferramenta de análise de rastreamento distribuído lê os rastreamentos PyTorch de cada GPU para detectar gargalos, como bolhas de pipeline e nós de baixo desempenho. O projeto afirma ser capaz de analisar uma execução de MoE com 1 trilhão de parâmetros em 10.000 GPUs em apenas algumas horas.

Para o treinamento por reforço, o stack suporta os frameworks slime e miles; o Megatron cuida do treinamento, e a compilação MUSA-SGLang gera as passagens, permitindo que um único sistema base atenda tanto ao pré-treinamento quanto ao RL. A otimização para inferência autônoma não faz parte do escopo deste projeto.

Para desenvolvedores que consideram aceleradores domésticos, a questão prática é qual parte do código de treinamento existente permanecerá funcional. A resposta da Moore Threads é que o código do ecossistema Megatron não requer modificações.