AI-компания HongYun, базирующаяся в Пекине, представила HyperLM V2.5 — новую версию своей платформы для комбинированного обучения и инференса больших моделей. Об этом сообщили издания IT Home и ifeng Tech 3 ноября. Компания утверждает, что стала первой, кто осуществил глубокую адаптацию к чипу Huawei Ascend 950DT, полностью совместима с системой Atlas 850E SuperPoD с воздушным охлаждением и прошла техническую сертификацию Huawei для Ascend Native.
HongYun считает, что определение поддержки часто бывает слишком расплывчатым, когда модель считается поддерживаемой лишь после установки и генерации токенов. Целью компании является помощь государственным и корпоративным клиентам, использующим частные развертывания, в получении максимальной производительности от новых ускорителей.
Компания описывает Ascend 950DT как флагманский чип для задач, требующих высокой пропускной способности, таких как длительное взаимодействие в чатах, обработка длинных документов и непрерывное рассуждение агентов. Кроме того, отмечается, что система Atlas 850E с воздушным охлаждением может быть интегрирована в существующие центры обработки данных без необходимости модернизации инфраструктуры.
HyperLM V2.5 адаптируется на нескольких уровнях. На уровне межсоединений платформа поддерживает технологию UnifiedBus 2.0 от Huawei, которая обеспечивает пропускную способность системного межсоединения в размере 13,4 ТБ/с, предотвращая узкие места при передаче трафика между картами, что важно для длинных контекстов или разделения этапов предварительного заполнения и декодирования. На уровне оператора система оптимизирована для инференса mxFP4, позволяя использовать 14,2 PFLOPS одного узла.
Платформа поддерживает последние модели с открытым исходным кодом, включая Qwen, GLM и DeepSeek, а ее планировщик был перестроен с учетом профиля памяти и пропускной способности 950DT.
Выпуск HyperLM V2.5 включает пять новых возможностей. Разделение предварительного заполнения и декодирования позволяет изолировать два этапа в независимые пулы ресурсов, чтобы они не конкурировали во время пиковых нагрузок. Многоуровневое кэширование KV повторно использует системные подсказки, часто встречающиеся контексты и фиксированные шаблоны сессий для снижения объема повторяющихся вычислений. Виртуализация vNPU сегментирует чипы Ascend 950DT, 910C и 910B, предоставляя гранулированные квоты и изоляцию для вычислений AI Core и памяти HBM, а также поддерживает горячую миграцию и автоматическое перепланирование при сбое оборудования.
Также добавлена унифицированная шлюзовая модель, совместимая с протоколом OpenAI, которая управляет маршрутизацией, ограничением скорости, бета-релизами и A/B-тестированием. Комплексный мониторинг всего стека отслеживает нагрузку, использование памяти, пропускную способность, задержку и QPS, предоставляя оповещения и автоматическую локализацию сбоев.
Для регулируемых отраслей, таких как государственное управление, энергетика, транспорт и финансы, платформа предусматривает разделение ролей администратора, службы безопасности и аудитора, многоуровневый контроль классификации и полные журналы операций, а также учет вычислительных мощностей, аудит вызовов моделей и статистику использования по каждому проекту.
HongYun была инкубирована Западным институтом вычислительных технологий при Китайской академии наук, а ее основная команда сформирована сотрудниками Института вычислительных технологий и Sugon. В 2020 году компания присоединилась к партнерской программе Ascend от Huawei. Компания планирует продолжать развитие на базе аппаратного обеспечения Ascend и Hygon DCU, уделяя особое внимание гетерогенному планированию, ускорению инференса, кэшированию и приложениям для агентов.
