Microsoft подала заявку на патент на искусственный интеллект, способный в реальном времени изменять содержание речи во время видеотрансляций. Эта концепция также включает возможность корректировать движение губ в соответствии с новой сгенерированной речью.
Система, о которой говорится в сервисе Patentlyze, будет работать с небольшой задержкой и имеет множество потенциальных применений. Ее можно использовать для перевода речей, устранения слов-паразитов и цензуры неуместных терминов, а также для замены информации, представленной во время выступления.
В документации Microsoft описывает эту технологию как механизм «почти реального времени улучшения», предназначенный для презентаций на мероприятиях. Работа системы включает одновременный анализ аудио- и видеоматериалов трансляции для выявления сегментов, требующих модификации.
Обнаружив выражение, соответствующее заранее заданным правилам, ИИ создаст альтернативную версию аудио и скорректирует область рта для сохранения синхронности. Хотя аналогичные функции уже существуют в инструментах AI-дубляжа на таких платформах, как Instagram, система Microsoft обещает работать с задержкой от 1 до 10 секунд.
Патентные притязания охватывают как мелкие исправления, такие как автоматическое удаление запинок или неправильного произношения, так и фильтрацию нецензурной лексики и оскорблений в соответствии с предпочтениями зрителя, а также мгновенный перевод речи.
Кроме того, документ описывает функцию, которая помещает технологию в сферу дипфейков: возможность замены информации, произнесенной оратором. По данным Microsoft, эта замена будет основана на данных, полученных в результате поиска в интернете во время самой трансляции.
Эта возможность вызывает опасения относительно подлинности, поскольку система может генерировать несколько версий заявления, которое никогда не было произнесено оригинальным докладчиком. Microsoft подала заявку 29 апреля прошлого года, и документ был опубликован патентным ведомством США на прошлой неделе. Однако, по данным Patentlyze, при первоначальной предварительной оценке заявка была отклонена, хотя это не прекращает процесс, поскольку компания имеет право пересмотреть заявку.
Нет указаний на то, что эта технология разрабатывается для конкретного продукта. Как и в случае с другими объектами интеллектуальной собственности, само существование патента не гарантирует коммерческого выпуска описанной системы.
