Doubao Work предоставляет доступ к моделям Kimi, GLM и DeepSeek для корпоративных клиентов

Компания AgiBot выпустила модель GO-3 Preview 29 октября. Эта воплощенная модель искусственного интеллекта способна продолжать обучение в масштабе на всех этапах: во время предварительного обучения, после него и уже после внедрения в работу. AgiBot намерена сделать полную модель общедоступной к концу 2026 года.

GO-3 Preview основан на архитектуре, которую AgiBot называет WRAM, или Моделью Действий Рассуждения о Мире. Эта архитектура связывает рассуждение о задаче, прогнозирование будущих событий и генерацию действий, позволяя роботу понять инструкцию, предвидеть результат и выполнять соответствующие движения.

Модель недавно завоевала первое место в трех рейтингах для воплощенного ИИ: RoboDojo, RoboTwin и RoboColiseum. AgiBot утверждает, что модель масштабируется по двум направлениям. С одной стороны, богатые примеры обработки объектов и развития задач предоставляются видеозаписями людей от первого лица, а траектории роботов связывают наблюдения с действиями и физическими результатами.

С другой стороны, более высокая обучающая способность модели превращает этот разрозненный опыт в навыки, которые могут быть применены к новым задачам. После предварительного обучения компания отмечает, что роботы могут выполнять незнакомые задачи в домах, на кухнях, в системах с несколькими роботами и осуществлять тонкую манипуляцию без дополнительной тонкой настройки.

При помощи нескольких демонстраций модель способна осваивать длительные и деликатные операции, например, приготовление дзяньбина — китайского пикантного блинчика. После тонкой настройки и координации шагов агентом, робот также может собирать детали Лего.

Для этапа после обучения AgiBot разработала систему распределенного обучения Genie Evolver, которая объединяет около ста реальных роботов с симуляцией физики и моделями мира. В игре по керлингу на столе робот обошел среднего протестированного человека после четырех часов онлайн-тренировок. В игре с башнями из блоков он смог вытащить пять блоков подряд, сохраняя устойчивость башни.

После внедрения агентская структура Genie Master обеспечивает связь между суждением, исполнением и обратной связью, позволяя роботам непрерывно совершенствоваться в процессе работы. Робот AgiBot G2, работавший в реальном круглосуточном магазине, самостоятельно обнаружил причины собственных сбоев, скорректировал свой подход и сохранил полученные знания без участия человека или настройки. Успешность этого робота на полном рабочем процессе возросла с 28,6 процента в первый день до стабильных 85,7 процента через пять дней.

В задаче, подобной повешению небольших крючков, AgiBot заявляет, что этот метод повысил успех выполнения отдельной задачи на 17,7 процентных пункта по сравнению с традиционной контролируемой тонкой настройкой, и процесс обучения продолжается онлайн.

Компания ByteDance представила свою студию искусственного интеллекта Jimeng AI, предназначенную для производства коротких драматических сериалов. Эта платформа объединяет весь производственный цикл: от разработки сценария и создания персонажей и сцен до раскадровки, видеосъемки и последующей обработки.

В работе студии используются три собственные модели: DreamScript, которая отвечает за написание сценариев; Anycook, используемая для генерации изображений; и DreamShot, предназначенная для создания раскадровок.

Инструмент DreamScript способен работать как с оригинальными историями, так и с адаптациями, а также создавать сценарии, ориентированные на зарубежную аудиторию. При этом инструменты для работы с изображениями и раскадровками помогают создателям формировать визуальные элементы и планировать кадры.

Кроме того, студия позволяет заменять отдельные кадры, восстанавливать аудиодорожки и переделывать уже существующие драмы в визуальном стиле, подходящем для различных рынков. Таким образом, запуск этой студии расширяет возможности Jimeng за пределы простых задач генерации отдельных изображений или видео, выводя их на уровень скоординированного производства коротких драматических проектов.

На мероприятии Global 1024 Developer Festival компания iFLYTEK обозначила свою стратегию перехода от голосового взаимодействия к мультимодальному, а затем и к воплощенному мультимодальному взаимодействию для роботов. Этот план закреплен двумя ключевыми разработками: языковой моделью SparkAudio 1.0 и платформой Robot Super Brain Platform 3.0, как сообщают Sina Tech, IT Home и транскрипт выступления председателя Лю Цинфэна, опубликованный iFLYTEK на Tencent News.

Модель SparkAudio 1.0 объединяет в одной базовой структуре машинный перевод, распознавание речи и семантическое понимание, позволяя этим задачам взаимно обучаться. Помимо распознавания, iFLYTEK утверждает, что система способна осуществлять одновременный перевод и голосовое взаимодействие, а также обрабатывать разделение говорящих в реальном времени, понимать окружающие звуки, анализировать аудио и распознавать эмоции.

Компания заявляет, что в шумной городской среде ее система может идентифицировать звуки клаксонов, торговцев и шин, разделять накладывающиеся голоса и делать выводы об окружающей обстановке на основе звука.

Технический отчет iFLYTEK предоставляет более детальную информацию: модель сочетает плотный аудиокодировщик с 0,65 миллиарда параметров и языковую модель типа mixture-of-experts с 30B-A3B. Она была обучена на 13 миллионах часов аудиоданных в дополнение к большим текстовым корпусам. Модель поддерживает распознавание речи на 99 языках и 202 диалектах, а обучение проводилось на отечественных ускорителях, включая чипы Huawei Ascend 910B и Hygon BW1000.

Лю Цинфэн выделил три технических улучшения: полуавтоматический аудиодекодер, который повышает точность на 20%; динамическое сегментированное сквозное моделирование, сокращающее время отклика на 15%; и совместное декодирование с двойной парадигмой, снижающее затраты на 60%. Эти показатели являются собственными данными iFLYTEK, однако в отчете отмечается, что следование инструкциям и сложное аудиорассуждение все еще требуют доработки.

SparkAudio 1.0 уже интегрирована в iFLYTEK Input Method 16.0, iFLYTEK Hearing, а также в интеллектуальные блокноты и переводчики компании. Кроме того, было продемонстрировано кольцо для записи с искусственным интеллектом, которое магнитно крепится к задней панели телефона и способно транскрибировать два часа аудио всего за две минуты.

Для робототехники iFLYTEK представила технологию воплощенного мультимодального взаимодействия Spark. Эта технология ориентирована на снижение шума в сложных пространствах, распознавание того, кто из нескольких людей обращается к роботу, совместное планирование речи и движений (например, махание рукой при прощании) и начало диалога, когда камера фиксирует что-либо значимое.

Платформа Robot Super Brain Platform 3.0 упаковывает эти рабочие решения. С аппаратной точки зрения она включает плату Spark super brain, модуль мультимодального взаимодействия и комплект для разработки воплощенного ИИ. В программном обеспечении harness воплощенного мультимодального взаимодействия координирует задачи между устройством и облаком, а также фронтенд и бэкенд, что позволяет роботу продолжать общение, выполняя фоновые задачи. Платформа поддерживает модульную, настраиваемую адаптацию для различных отраслей. На мероприятии iFLYTEK продемонстрировала ее работу в магазине, управляемом роботом круглосуточно и без персонала.