Alibaba Cloud добавила поддержку Kimi K3.1 Pro на платформе Lingjun Zhenwu M890 SuperPoD

Команда вычислительных систем Huawei Ascend сообщила о завершении адаптации для инференса модели Kimi K3.1 Pro, которая имеет 2,8 триллиона параметров. Полные веса этой модели были выпущены Moonshot AI 4 ноября, согласно официальному аккаунту Huawei Computing, как это сообщили IT Home и ifeng Tech.

Используя vLLM Ascend и SGLang, разработчики теперь могут развернуть эту модель на серверах Atlas 800 A3, в кластере Atlas 900 A3 SuperPoD и в серии Ascend 950 SuperPoD с момента ее выпуска.

Kimi K3.1 Pro является первой моделью в серии K3.1 от Moonshot AI. Это модель типа mixture-of-experts с нативной визуальной обработкой и окном контекста около миллиона токенов, активирующей примерно 104 миллиарда параметров на каждом шаге инференса. Модель сохраняет гибридное линейное внимание K3, основанное на слоях Kimi Delta Attention (KDA), и добавляет слои разреженного внимания DSA вместо некоторых слоев полного внимания для снижения затрат на моделирование длинного контекста.

Большая часть работы по адаптации была связана именно с этой архитектурой. Huawei заявила, что ее команда инференса опиралась на предыдущую адаптацию Kimi K3, предварительно анализируя новую модель и параллельно работая над интеграцией модели, разработкой операторов и валидацией сервисов. Благодаря уже имеющейся поддержке KDA и MoE, команда добавила новый путь разреженного внимания и мультимодальный инференс, сохранив при этом существующие функции обслуживания в фреймворках инференса.

Согласно информации от Huawei, оптимизация охватила основные операторы для выбора исторической информации, вычислений разреженного внимания, предварительной обработки и остаточных вычислений, что было объединено с распределенным кэшированием и функциями на уровне фреймворка для поддержки инференса с длинным контекстом и производственного обслуживания. Компания определила цель в том, чтобы пользователи и разработчики могли начать тестирование приложений и развертывание в первый день выхода модели.

Документация vLLM Ascend указывает, что Kimi K3.1 Pro поддерживается в экспериментальном режиме в версии vLLM Ascend 0.30.0. Ее эталонные конструкции используют разделение префилла и декодирования на восемь узлов с четырьмя узлами префилла и четырьмя узлами декодирования, включая конфигурацию с длинным контекстом в один миллион токенов. Серверы Atlas 800I A3 работают с квантованной контрольной точкой W4A8, в то время как продукты 950DT используют вариант W4A8 MXFP; руководство отмечает, что продукты Atlas A2 и 950PR пока не поддерживаются.

Размер модели делает аппаратную поддержку практическим вопросом. IT Home отмечает, что веса в формате BF16 занимают около 5,6 ТБ и все еще требуют около 1,4 ТБ при квантовании INT4, что исключает использование одного потребительского графического процессора. Huawei позиционировала свои системы A3 и 950 SuperPoD для этого класса инференса MoE с триллионными параметрами, и выпуск Kimi K3.1 Pro стал последней открытой моделью, которую она поддержала в день запуска.

Lenovo выпустила первую AI хост-систему в линейке Kaitian, предназначенную для китайского рынка инноваций в области ИТ (Xinchuang). Этот настольный компьютер объемом 1,6 литра объединяет процессор Zhaoxin с AI NPU от Houmo, позволяя локально запускать модели размером около 35 миллиардов параметров.

Устройство оснащено восьмиядерным процессором Zhaoxin KX-7000 и NPU Houmo Liqing LQ50. В стандартной конфигурации система обеспечивает вычислительную мощность 160 TOPS в формате INT8, а с опцией NPU эта мощность может достигать 320 TOPS. NPU имеет 24 ГБ выделенной памяти с пропускной способностью 153,6 ГБ/с. Хост работает под управлением Kylin OS и предустановлен агентом Tianxi AI Pro от Lenovo.

Компания провела тестирование устройства с использованием открытых моделей, включая серии Qwen3.5 и Qwen3.6-35B-A3B. При использовании 24 ГБ NPU и квантизации W4A8 модель Qwen3.6-35B-A3B генерировала текст со скоростью примерно 28,99 токенов в секунду при локальном выводе. Система поддерживает ввод данных объемом до 200 000 токенов для обработки длинных документов и многоходовых задач. Платформа Houmo предоставляет разработчикам инструменты для профилирования, компиляции, управления временем выполнения и квантизации моделей.

Lenovo позиционирует этот хост как постоянно действующего цифрового сотрудника, спроектированного для круглосуточной работы. Это позволяет агентам выполнять запланированные задачи, такие как поиск локальных знаний, составление документов и обобщение информации, при этом обработка выводов происходит непосредственно на устройстве, а не через облачные токены, сохраняя данные локально. На мероприятии Tianxi AI Pro тестировщики дали одной инструкции проверить приложение мобильного оператора, и устройство выполнило тестовый звонок, измерило задержку SMS-кода верификации и предоставило отчет.

Что касается теплоотвода, процессор и NPU имеют отдельные воздушные каналы за гексагональной передней панелью с вентиляторами высокого давления. Lenovo сообщает, что при холостом ходе температура корпуса составляет около 33 градусов Цельсия в комнате с температурой 25 градусов, а под полной нагрузкой — 41 градус. В комнате с температурой 35 градусов под полной нагрузкой температура достигает примерно 46 градусов. Уровень шума составляет 19,4 дБ в режиме ожидания и около 29,5 дБ во время полной инференции NPU. Устройство весит около 1,5 кг и оборудовано двумя независимыми портами 2,5GbE.

Стоит отметить, что Kaitian хост отличается от Lenovo AI Host P7, который был представлен в октябре с чипами Houmo M50 и CIX P1.

Компания Moonshot AI выпустила комплексное решение для создания игр и творческих работ, основанное на серии моделей Kimi K3.1, продуктах Kimi Code и Kimi Work, а также плагинах для профессиональных инструментов, включая Unity, Unreal Engine и Blender.

Согласно заявлению компании, этот пакет призван помочь студиям быстрее проверять игровые концепции, продвигать инженерное и художественное производство, а также интегрировать отзывы игроков, полученные во время запуска и операционной деятельности, обратно в следующий этап разработки.

В описании Kimi модель способна анализировать дизайн-документы, скриншоты, программный код и трехмерные активы, после чего планирует необходимую работу. Продукт Kimi Code занимается реализацией изменений внутри существующей кодовой базы, тогда как Kimi Work берет на себя многоэтапные производственные задачи, охватывающие несколько файлов.

Благодаря плагинам и вызовам инструментов, Kimi может напрямую работать с уже имеющимися проектами, возвращая пользователю редактируемые файлы вместе с отчетом о выполненных действиях. В средах Unity и Unreal Engine, получив необходимые права доступа и файлы проекта, система сначала картирует структуру кода, иерархию сцен и зависимости модулей, затем вносит изменения через плагины редактора, и в конце проверяет результат по шагам воспроизведения, журналам и данным времени выполнения. Для инженеров сохраняются отчеты о различиях в коде и записи верификации.

Для работы в Unity модели Kimi используют агент Tuanjie Codely Agent, который является игровым агентом от Unity China и встроен в Tuanjie Engine. Kimi интерпретирует намерения разработчика, пишет код и анализирует результаты тестирования и записи экрана, в то время как агент Codely выполняет операции внутри движка посредством скриптов редактора и времени выполнения. В ходе одной демонстрации Kimi показал, что смог работать в течение 20 часов без вмешательства человека, воссоздавая существующую игру и создавая нативный проект, который можно дальнейшее развивать.

На странице запуска представлены несколько демонстрационных сборки, созданных с помощью Kimi K3.1 Pro. В Blender была построена внутренняя джунглевая долина, и был отрендерен пролет продолжительностью 17,5 секунд в разрешении 1920x1080 при частоте 60 кадров в секунду, а также интерьер собора в браузере, содержащий около 3,3 миллиона треугольников и 8368 анимированных компонентов. В Unreal Engine 5.8 была создана сцена небесного дворца с колоннадой из 36 арок на радиусе 1750 метров и процедурно смоделированным драконом, общим количеством 36 миллионов треугольников, отрендеренных с использованием Nanite и Lumen. Kimi также утверждает, что дизайнеры, не обладающие опытом программирования, могут создать играбельные прототипы в Godot за один-два дня.

Помимо производственных задач, данное решение включает пакетное создание рекламных креативов, интеграцию внутриигровых помощников через API Kimi, сортировку отзывов сообщества с привязкой источников, подготовку черновиков локализации с проверкой обратным переводом и первичный отбор пользовательского контента. Kimi советует командам начинать с одной четко ограниченной задачи и оценивать пилотные проекты по таким критериям, как сэкономленное время, качество результата и объем требуемой человеческой доработки.