Новая семейство арабских моделей искусственного интеллекта, Jais 3, было представлено в Абу-Даби в октябре. Эти модели разработаны Институтом фундаментальных моделей (IFM) Университета искусственного интеллекта имени Мохаммеда бин Заида и Inception42 от G42. Технология знаменует собой изменение подхода ОАЭ к развитию арабского ИИ.
Предыдущие версии Jais в основном фокусировались на генерации и понимании языка. Однако новые модели объединяют распознавание арабской речи с возможностью следовать инструкциям, использовать программные инструменты и выполнять последовательности задач.
По мнению старшего научного сотрудника IFM Хаонана Ли, это различие критически важно, поскольку носителям арабского языка не следует менять свой способ общения только ради того, чтобы технология их поняла. Ли отметил, что арабский язык значительно различается в разных регионах, и люди свободно переходят между диалектами, современным стандартным арабским и другими языками.
Он приводит пример, когда человек может говорить на эмиратском арабском, переключиться на английский для использования технического термина, а затем вернуться к арабскому. Модель должна уметь понимать всю эту сложную перекличку в контексте, а не рассматривать каждое такое переключение как проблему.
Арабский язык говорят более 400 миллионов человек, но он далеко не однороден. Формальный арабский, используемый в официальных документах и газетах, может сильно отличаться от повседневной речи в таких городах, как Абу-Даби, Каир или Касабланка. Это создает трудности для систем арабского ИИ, которые обучаются преимущественно на формальных письменных материалах или данных, переведенных с английского языка.
Исследования, опубликованные в текущем году на Конференции по ресурсам и оценке языка, проанализировали 19 открытых моделей ИИ по пяти арабским диалектам, включая эмиратский, саудовский, египетский, сирийский и марокканский. Ученые обнаружили существенные различия в производительности между диалектами, что подчеркивает, насколько далеко находится данная область от достижения стабильного понимания.
Jais 3 направлена на решение этой проблемы путем обучения, сфокусированного на арабских диалектах, культурных знаниях и способах переключения между языками. Ее сопутствующая модель речи, Jais Speech, спроектирована для транскрибирования различных вариантов арабского языка, используемых в 19 арабских странах. Она способна определять диалекты и сохранять английскую или французскую терминологию в ее оригинальном написании при смене языка говорящим.
Для жителей и организаций в ОАЭ это может сделать инструменты ИИ более полезными в рабочих местах, где одновременно используются арабский и английский языки. Однако точная транскрипция — лишь часть разработки. Хаонан Ли привел пример, когда государственный служащий завершает совещание, проведенное на эмиратском арабском. Сотрудник может поручить Jais 3 транскрибировать разговор, выявить принятые решения, назначить задачи соответствующим командам и подготовить презентацию с обобщением результатов.
Система может координировать работу через связанные программные инструменты, вместо того чтобы обрабатывать каждый этап отдельно. Ли объяснил, что это демонстрирует направление агентного ИИ: переход от простого ответа на вопрос к выполнению целой последовательности задач. Он добавил, что точные шаги зависят от доступных инструментов и интеграций при внедрении, а также от требуемого уровня проверки человеком.
Jais 3 доступна в шести размерах, варьирующихся от 900 миллионов до 375 миллиардов параметров, что является числовыми значениями, усвоенными моделью во время обучения. Меньшие версии предназначены для более скромного оборудования, потенциально включая мобильные телефоны, в то время как более крупные системы ориентированы на требовательные организационные приложения. Ли отметил, что этот диапазон дает организациям возможность выбирать между вычислительными затратами, производительностью и местом обработки информации. Локально развернутая модель также может обеспечить больший контроль над конфиденциальными данными, в зависимости от мер защиты.
Модели, их контрольные точки обучения и код оценки были опубликованы общественности, что позволяет разработчикам адаптировать технологию и самостоятельно проверять ее эффективность. Такой подход особенно актуален в свете национального плана ОАЭ по внедрению агентного ИИ в 50 процентов федеральных государственных секторов, услуг и операций в течение двух лет.
Конкуренция теперь не ограничивается одной эмиратской моделью. В регионе существуют несколько арабских ИИ-систем, включая ALLaM из Саудовской Аравии, Fanar из Катара и Falcon Arabic из ОАЭ, наряду с все более способными международными моделями. IFM и Inception42 сообщают, что Jais 3 показывает сильные результаты по сравнению с конкурирующими открытыми моделями в области понимания арабского языка и выполнения задач. Исследователи также аудировали существующие арабские бенчмарки и опубликовали оценочные материалы для изучения другими.
Тем не менее, их опубликованные сравнения показывают, что некоторые ведущие проприетарные модели все еще превосходят Jais 3 в сложных задачах. В одном тесте по обработке арабских файлов самая большая модель Jais 3 набрала около 64 процентов, по сравнению с примерно 96 процентами для ведущей закрытой модели. Ли признал, что оставшиеся пробелы значительны. Он подчеркнул, что прогресс в арабском ИИ не означает, что все недостатки устранены; передовые закрытые модели все еще лидируют в сложных агентных задачах, таких как работа с арабскими документами и файлами, а также в глубине культурных знаний. Диалекты остаются самой сложной границей для любой модели, а надежность — еще одной открытой проблемой в этой сфере.
Для исследователей это поднимает вопрос: действительно ли модель понимает арабский, или она просто научилась воспроизводить знакомые языковые паттерны? Ли считает, что оценка этого различия требует вопросов, изначально написанных на арабском языке, включая региональные и диалектные материалы, а не полагаться исключительно на переведенные тесты на английском языке. Практические последствия выходят за рамки бенчмарков. Помощник ИИ, который иногда неправильно понимает диалект, может быть неудобен в непринужденной беседе. Такое же недопонимание становится более серьезным, когда оно влияет на государственный документ, медицинскую запись или деловую инструкцию. Поэтому, по мнению Ли, прогресс будет зависеть не меньше от повышения надежности и оценки, чем от создания более крупных моделей. Цель состоит не просто в создании большего количества арабских моделей, а в разработке систем, которые надежно работают для носителей арабского языка в реальном мире. Следующий этап развития арабского ИИ, следовательно, может оцениваться не столько по тому, насколько естественно машина может поддерживать разговор, сколько по тому, могут ли люди доверять ей в понимании их инструкций и выполнении работы.



