Baidu lança o modelo Unlimited OCR 2 para análise de documentos de qualquer comprimento em uma única passagem

A Beijing Academy of Artificial Intelligence (BAAI) apresentou o FlagOS 2.2, a versão mais recente de seu stack de software de código aberto projetado para executar modelos de inteligência artificial em diversas arquiteturas de chips. Este lançamento ocorreu em 30 de setembro e foi demonstrado na Conferência de Computação Aberta de IA em Pequim em 17 de outubro de 2026. A BAAI caracteriza esta atualização como uma transição da adaptação de modelos para múltiplos chips para a otimização do código geral para eles.

O principal feito é a escala. O FlagOS 2.2 abrange nove bibliotecas de operadores, e o número de operadores públicos no FlagGems e bibliotecas relacionadas aumentou de 564 para 1454, representando um aumento de 890 unidades. A nova biblioteca FlagGems-SGLang adicionou 40 operadores multi-chip que cobrem funções como atenção, atualizações de estado Mamba, método de mistura de especialistas, LoRA, amostragem e quantização. A BAAI afirma que, graças a mais de mil operadores em 10 tipos de hardware de IA, o desempenho geral dos operadores aumentou em aproximadamente 27%.

Uma parte significativa desse crescimento é devida à automação. O gerador de operadores KernelGen da BAAI agora suporta nove tipos de chips de IA e criou 765 novos operadores neste trimestre. Desses, 416 passaram por testes de precisão em pelo menos cinco chips domésticos, atingindo mais de 80% do desempenho dos operadores nativos. Além disso, a ferramenta de depuração e perfilamento unificado FlagPrism conecta dados de código-fonte Triton, representação intermediária do compilador e dados de execução no dispositivo, suportando Huawei Ascend, Iluvatar CoreX, Moore Threads, Nvidia e Enflame.

O lançamento também inclui o FlagOS-Compressor para conversão de pesos e quantização entre chips. A BAAI relatou que a aplicação de W8A8 ao modelo Qwen3.5-397B-A17B permitiu reduzir o tamanho dos arquivos do modelo de 751,41 GB para 382,45 GB, o que representa uma redução de 49,1%, enquanto o modelo alcançou 84,85% no GPQA-Diamond. Em combinação com plugins de frameworks para vLLM, Megatron-LM, SGLang e outros, novos modelos podem ser adaptados para até 12 plataformas de chips em apenas um dia após o lançamento.

Pesquisas em equipamentos antigos demonstram sucessos. Em servidores Ascend 910B, a BAAI observou que a largura de banda de serviço lógico do modelo GLM-5.3-Flash no teste de reprodução de agente aumentou 2,04 vezes em comparação com o nível antes da otimização, subindo de 8,52 mil para 17,36 mil tokens por segundo. O modelo Xing4.0-29B-A4B da China Telecom foi adaptado para 10 plataformas de chips, resultando em uma redução de 19,87% no tempo de primeiro token em testes de entrada longa em comparação com os operadores nativos.

A BAAI acredita que o problema reside nos prazos: mais de 80% dos cálculos de IA implantados pertencem a gerações não mais recentes, enquanto os modelos mudam rapidamente. Vale ressaltar que todos os números apresentados são baseados em testes internos da BAAI, e a empresa enfatiza que o desempenho real durante o serviço ainda depende da carga de trabalho.

No 10º Simpósio CSDI em Shenzhen, em 16 de outubro, Xuan Shanming, vice-presidente e diretor técnico da SenseTime SenseCore, falou sobre como a empresa está reestruturando sua infraestrutura de inferência para a era dos agentes. Nesta nova era, a demanda por tokens excede significativamente as capacidades dos chatbots devido aos fluxos de trabalho multiagentes e às tarefas longas executadas sem supervisão constante.

O foco principal da apresentação não foi na quantidade de aceleradores no centro de dados, mas sim na capacidade desse centro de produzir tokens de alta qualidade de forma estável dentro das restrições de custo e nível de serviço estabelecidas.

A solução da SenseCore baseia-se na separação dos processos Prefill e Decode (PD) dentro de clusters heterogêneos de 10.000 GPUs localizados em seu AIDC em Lingang. O processo Prefill é responsável pelo processamento dos tokens de entrada e é computacionalmente intensivo, enquanto o Decode gera os tokens de saída, acessando constantemente o cache de contexto e exigindo alta largura de banda de memória.

Na arquitetura SenseCore, os aceleradores domésticos estão concentrados na execução do Prefill, e as GPUs de alto desempenho são responsáveis pelo Decode. Estas etapas trocam estados através de canais KV Cache, que abrangem fábricas mistas com largura de banda de 800G, 400G e 200G dentro de um único cluster.

Essa separação cria um risco operacional: em algumas configurações, de três a cinquenta nós de Prefill de nível médio ou baixo podem servir um nó de Decode, o que significa que uma falha no nó de Decode pode parar um grande grupo de nós de Prefill. Para minimizar esse risco, a SenseCore mantém uma pequena reserva de placas de ponta no pool de Prefill para troca rápida, além de permitir que os nós alterem dinamicamente os papéis de Prefill e Decode dependendo da carga.

Em um cenário de teste, utilizando o mesmo número de GPUs de alto desempenho de ponta da configuração básica, a empresa relatou um aumento de aproximadamente cinco vezes na largura de banda total de tokens após a implementação do agendamento PD heterogêneo. Além disso, a empresa está estudando a possibilidade de PD cross-domain, direcionando o trabalho de Prefill para capacidades regionais de nível médio e o trabalho de Decode para clusters remotos de alta largura de banda.

Isso se torna relevante diante da redução do tamanho do cache KV Cache para contextos de um milhão de tokens — ele diminui de quase 100 GB para cerca de 1 GB em alguns modelos, bem como devido à separação Attention/FFN dentro do processo Decode.

A SenseCore afirma que sua plataforma atualmente processa cerca de 6 trilhões de tokens diariamente e visa atingir 10 trilhões de tokens por dia até o quarto trimestre de 2026, com uma previsão de crescimento do volume total de tokens em cerca de 25 vezes em um ano. Deve-se notar que essas métricas de largura de banda e aumento de velocidade são declarações da empresa. Durante a apresentação, foi enfatizado que os chips domésticos visam ocupar uma grande parte das tarefas de Prefill e inferência mista, e não substituir completamente as GPUs de alto desempenho usadas para Decode.