Ant Group совместно с сообществом vLLM опубликовали Humming — библиотеку ядер GEMM, которая предназначена для инференса квантованных моделей больших языковых моделей (LLM) с использованием метода Just-In-Time (JIT) компиляции.
Этот проект выпущен под лицензией Apache 2.0 через организацию inclusionAI от Ant Group и зеркалируется в проекте vLLM. Humming решает общую проблему в сфере квантованного обслуживания, заключающуюся в необходимости создания специализированного ядра для каждой комбинации ширины бита весов, формата активации, схемы масштабирования, структуры плотного или Mixture-of-Experts (MoE) расположения и генерации GPU.
Библиотека преобразует поддерживаемые форматы экспорта в общее описание квантования, а затем выполняет JIT-компиляцию ядер из повторно используемых компонентов CUDA для заданной целевой формы, устройства и вычислительных опций.
Согласно описанию проекта, одна архитектура поддерживает целочисленные веса от INT1 до INT8 и веса с плавающей запятой от FP4 до FP8, в сочетании с активациями FP16, BF16, FP8, FP4, INT8 или INT4, при условии совместимости форматов. Она поддерживает как плотный GEMM, так и MoE GEMM, и ориентирована на графические процессоры NVIDIA начиная с архитектуры Turing.
Зависимости библиотеки ограничены PyTorch и NVCC, а пакет pip имеет размер около 100 КБ. Важным аспектом является расширение аппаратной поддержки за пределы NVIDIA: Humming полностью поддерживает ускоритель ИИ T-Head Zhenwu 810E, который совместим с CUDA, позволяя использовать те же ядра и пути настройки на этом устройстве. T-Head является подразделением Alibaba, а Zhenwu 810E ранее использовался в китайских развертываниях ИИ.
Результаты производительности, представленные в совместном объявлении, основаны на собственных микробенчмарках и тестах обслуживания команд. При малых размерах пакетов, плотное W4A16 показало прирост примерно в 3–4 раза по сравнению с cuBLAS на нескольких устройствах. На B300, соотношение W4A8 к базовому DeepGEMM оценивается примерно в 1,6 раза в некоторых случаях с небольшими и средними размерами пакетов.
В ходе сквозного тестирования DeepSeek-V4.1-Flash на восьми GPU H20, переход от MoE Marlin W4A16 к Humming W4A8 увеличил пропускную способность вывода примерно на 14%–43% и сократил среднее время до первого токена на 25%–32%, причем наибольший прирост наблюдался при более высокой параллельности. Эти результаты еще не прошли независимую проверку.
Начиная с версии vLLM 0.29.0, установки vLLM с CUDA включают Humming в качестве зависимости. Операторы могут активировать его с помощью флагов --linear-backend humming и --moe-backend humming. Стоит отметить, что Humming является совместным проектом Ant Group и сообщества vLLM, а не исключительно продуктом Ant Group.