Команда MNN компании Taobao открыла для общественности модель MNN-Pocket-0.3B. Эта языковая модель, содержащая около 300 миллионов параметров, разработана для функционирования непосредственно внутри мобильных приложений. Согласно сообщению IT Home от 6 ноября, модель построена на базе движка инференса MNN и предназначена для крупных универсальных сервисных и торговых приложений, таких как Taobao, где на устройстве ограниченные ресурсы вычислительной мощности, памяти и заряда батареи должны распределяться между множеством функций.
Команда установила четыре ключевые цели для своей модели, которую они назвали приложение-нативной крупной моделью. Эти цели включали достижение скорости декодирования более 200 токенов в секунду на определенных устройствах. Пиковое потребление памяти должно оставаться ниже 300 МБ, оставляя запас в рамках общего бюджета модели около 500 МБ для роста контекста и интеграционных накладных расходов. Кроме того, один типичный процесс инференса не должен расходовать более одной десятитысячной доли заряда батареи эталонного телефона, что означает, что 100 запусков будут стоить менее 1%. Наконец, при выполнении заданных бизнес-задач модель должна демонстрировать результаты, сравнимые с моделями класса 8B.
Тестирование показало, что MNN-Pocket-0.3B полностью работает в автономном режиме на iPhone 18 Pro с использованием движка MNN, достигая средней скорости декодирования около 350 токенов в секунду. Пакет развертывания INT4, который включает веса, токенизатор, граф вычислений и конфигурацию инференса, имеет размер 173 МБ. На iPad Pro с чипом M5 и использованием бэкенда Metal команда зафиксировала скорость декодирования 466 токенов в секунду и скорость предварительного заполнения 8721 токен в секунду, при этом пиковая память увеличилась на 228 МБ относительно базового уровня. На телефоне Snapdragon 8 Gen 5 с использованием бэкенда ЦП было зафиксировано 251 токен в секунду, а дополнительная стоимость энергии для 100 запусков на OnePlus 13 составила около 0,3% от заряда батареи.
Модель была обучена с нуля, уделяя особое внимание китайскому и английскому языкам. После тестирования плотных конфигураций в диапазоне от 50 миллионов до 1,3 миллиарда параметров, команда определила, что размер около 300 миллионов является самым большим, который удовлетворяет одновременно требованиям к памяти и скорости. Было принято решение использовать 28 слоев с групповым вниманием (grouped-query attention), поскольку переход к 36 слоям не повысил средние показатели, но замедлил декодирование. Словарный запас был сокращен с примерно 151 000 токенов из токенизатора Qwen3 до 64 000, что позволило снизить затраты на эмбеддинги и выходной слой.
Команда сообщает об уровне IFEval 73,20, китайском IFEval 74,59 и среднем значении 50,00 по 11 китайским и английским бенчмаркам, опережая аналогичные по размеру и более крупные модели, включая Qwen3-0.6B. В карточке модели отмечается, что, как и другие модели с параметрами меньше миллиарда, она не рекомендуется для сложных математических задач или генерации кода на длинных горизонтах.
Варианты, опубликованные на Hugging Face, включают базовую модель для продолженного предварительного обучения, контрольную точку тонкой настройки с учителем, модель с настройкой инструкций, сборку GGUF, сборку MNN INT4 и модель с головой принятия решений для выбора среди кандидатов. Выпуск также содержит черновик спекулятивной декодирующей модели DFlash2, которая, по словам команды, способна удвоить пропускную способность декодирования в определенных задачах.
