Ant Digital Technologies, подразделение компании Ant Group, специализирующееся на корпоративных технологиях, представила модель LingDT-Decision-1.0. Эта модель разработана специально для структурированного принятия бизнес-решений, а не для генерации свободного текста. Модель доступна в двух версиях — 4B и 27B параметров — и размещена на платформе DTMaaS компании, где разработчики могут протестировать ее бесплатно в течение ограниченного времени.
Основная идея заключалась в выделении определенного типа задач из общего ряда больших языковых моделей. Многие корпоративные операции сводятся к выбору из заранее известных вариантов. В качестве примера, Ant Digital Technologies привела сценарий обслуживания клиентов: сообщение о том, что заказ не отправлен в течение трех дней, требует от системы определения, является ли это запросом на возврат средств, напоминанием или жалобой, какова его срочность, какой отдел должен его обработать и требуется ли вмешательство человека.
Обычные большие языковые модели обычно работают, рассуждая по одному токену, генерируя текст, который затем парсится для получения решения. Компания отмечает, что такой процесс является долгим и затратным, а также более подвержен ошибкам. Модель для принятия решений спроектирована так, чтобы напрямую оценивать варианты в рамках заданного набора опций. Это делает ее подходящей для высокочастотных шагов в рабочих процессах агентов, таких как определение намерения, выбор инструмента, классификация правил и оценка.
Согласно испытаниям, проведенным Ant Digital Technologies в сферах обслуживания клиентов, контроля рисков и финансовых сценариев, LingDT-Decision-1.0 снизила потребление токенов более чем на 90% по сравнению с большими языковыми моделями при выполнении аналогичных задач. Кроме того, она отвечала до в 10 раз быстрее и демонстрировала лучшие результаты. Помимо простых суждений «да» или «нет», выбора одного варианта, классификации и рейтинга, компания утверждает, что эта модель является первой, поддерживающей нативную множественный выбор и последовательные решения, организованные в виде ориентированного ациклического графа (DAG), что соответствует многоэтапным бизнес-процессам.
На 23 бенчмарках с открытым исходным кодом компания заявила, что LingDT-Decision-1.0 превзошла другие модели принятия решений, включая Microsoft-Decision-1 и Jev 1.13, при этом версия 27B достигла самой высокой точности среди моделей своего размера. Следует отметить, что эти результаты являются собственными компанией и не проходили независимую проверку.
Выпуск этой модели не означает отмены использования общих больших языковых моделей. Вместо этого, модель предназначена для работы параллельно с ними, беря на себя множество мелких, повторяющихся суждений в корпоративном агенте, чтобы более крупные модели могли сосредоточиться на генерации и рассуждениях, требующих свободной формы. Для команд, создающих агентов в большом масштабе, такое разделение может существенно повлиять на стоимость и задержку.
