Baidu выпустила модель Unlimited OCR 2 для парсинга документов любой длины за один проход

Beijing Academy of Artificial Intelligence (BAAI) представила FlagOS 2.2 — последнюю версию своего открытого программного стека, предназначенного для запуска моделей искусственного интеллекта на различных архитектурах чипов. Этот релиз вышел 30 сентября и был продемонстрирован на Конференции по открытым вычислениям ИИ в Пекине 17 октября 2026 года. BAAI характеризует это обновление как переход от адаптации моделей под множество чипов к оптимизации общего кода для них.

Основным достижением является масштаб. FlagOS 2.2 охватывает девять библиотек операторов, а количество публичных операторов в FlagGems и связанных библиотеках увеличилось с 564 до 1454, что составляет прирост в 890 единиц. Новая библиотека FlagGems-SGLang добавила 40 многочиповых операторов, которые покрывают такие функции, как внимание, обновления состояния Mamba, метод смешивания экспертов, LoRA, сэмплирование и квантование. BAAI утверждает, что благодаря более чем тысяче операторов на 10 типах аппаратного обеспечения ИИ, общая производительность операторов возросла примерно на 27%.

Значительная часть этого роста обусловлена автоматизацией. Генератор операторов KernelGen от BAAI теперь поддерживает девять типов ИИ-чипов и за этот квартал создал 765 новых операторов. Из них 416 прошли проверку точности как минимум на пяти отечественных чипах, достигнув более 80% производительности нативных операторов. Кроме того, инструмент для унифицированной отладки и профилирования FlagPrism связывает данные исходного кода Triton, промежуточное представление компилятора и данные выполнения на устройстве, поддерживая Huawei Ascend, Iluvatar CoreX, Moore Threads, Nvidia и Enflame.

Релиз также включает FlagOS-Compressor для преобразования весов и квантования между чипами. BAAI сообщила, что применение W8A8 к модели Qwen3.5-397B-A17B позволило уменьшить размер файлов модели с 751,41 ГБ до 382,45 ГБ, что является снижением на 49,1%, при этом модель показала 84,85% на GPQA-Diamond. В сочетании с плагинами фреймворков для vLLM, Megatron-LM, SGLang и других, новые модели могут быть адаптированы для до 12 платформ чипов всего за один день после выпуска.

Исследования на примере старого оборудования демонстрируют успехи. На серверах Ascend 910B BAAI отметила, что пропускная способность логического обслуживания модели GLM-5.3-Flash в тесте агентского воспроизведения увеличилась в 2,04 раза по сравнению с уровнем до оптимизации, поднявшись с 8,52 тыс. до 17,36 тыс. токенов в секунду. Модель Xing4.0-29B-A4B от China Telecom была адаптирована для 10 платформ чипов, что привело к снижению времени получения первого токена на 19,87% в тестах с длинным вводом по сравнению с нативными операторами.

BAAI считает, что проблема заключается во временных рамках: более 80% развернутых вычислений ИИ относятся к неновейшему поколению, в то время как модели быстро меняются. Стоит отметить, что все представленные цифры основаны на собственных тестах BAAI, и компания подчеркивает, что фактическая производительность при обслуживании по-прежнему зависит от рабочей нагрузки.

На 10-м саммите CSDI в Шэньчжэне 16 октября вице-президент и технический директор SenseTime SenseCore, Сюань Шаньмин, рассказал о том, как компания перестраивает инфраструктуру вывода для эпохи агентов. В этой новой эре спрос на токены значительно превышает возможности чат-ботов из-за многоагентных рабочих процессов и длительных задач, выполняемых без постоянного контроля.

Основной акцент в презентации сделан не на количестве ускорителей в центре обработки данных, а на способности этого центра стабильно производить высококачественные токены в рамках заданных ограничений по стоимости и уровню обслуживания.

Решение SenseCore основано на разделении процессов Prefill и Decode (PD) внутри гетерогенных кластеров масштаба 10 000 GPU, расположенных в их AIDC в Линганге. Процесс Prefill занимается обработкой входных токенов и является вычислительно интенсивным, тогда как Decode генерирует выходные токены, постоянно обращаясь к кэшу контекста и требуя высокой пропускной способности памяти.

В архитектуре SenseCore отечественные ускорители сосредоточены на выполнении Prefill, а высокопроизводительные GPU отвечают за Decode. Эти этапы обмениваются состоянием через каналы KV Cache, которые охватывают смешанные фабрики с пропускной способностью 800G, 400G и 200G в пределах одного кластера.

Такое разделение создает операционный риск: в некоторых конфигурациях от трех до пятидесяти узлов Prefill среднего или низкого уровня могут обслуживать один узел Decode, что означает, что сбой узла Decode может остановить большую группу узлов Prefill. Чтобы минимизировать этот риск, SenseCore поддерживает небольшой резерв высококлассных карт в пуле Prefill для быстрого переключения, а также позволяет узлам динамически менять роли Prefill и Decode в зависимости от нагрузки.

В ходе одного из тестовых сценариев, использующего такое же количество флагманских высокопроизводительных GPU, как и в базовой конфигурации, компания сообщила о примерно пятикратном увеличении общей пропускной способности токенов после внедрения гетерогенного планирования PD. Кроме того, компания изучает возможность кросс-доменного PD, направляя работу Prefill на региональные мощности среднего уровня, а работу Decode — на удаленные кластеры с высокой пропускной способностью.

Это становится актуальным на фоне уменьшения размера кэша KV Cache для контекстов в миллион токенов — он сокращается с почти 100 ГБ до примерно 1 ГБ на некоторых моделях, а также благодаря разделению Attention/FFN внутри процесса Decode.

SenseCore утверждает, что их платформа в настоящее время обрабатывает около 6 триллионов токенов ежедневно и ставит целью достичь 10 триллионов токенов в день к четвертому кварталу 2026 года, при этом прогнозируется рост общего объема токенов за год примерно в 25 раз. Следует отметить, что эти показатели по пропускной способности и увеличению скорости являются заявлениями компании. В ходе выступления было подчеркнуто, что отечественные чипы призваны занять большую долю в задачах Prefill и смешанном выводе, а не полностью заменить высокопроизводительные GPU, используемые для Decode.