Платформа агентов искусственного интеллекта WorkBuddy от Tencent выпустила функцию удаленного управления, которая поддерживается командой Tencent Edge One. Эта новая возможность позволяет пользователям подключаться к компьютеру, авторизованному под тем же аккаунтом, используя мобильное приложение. Пользователи могут в режиме реального времени просматривать рабочий стол и вмешиваться в операции при необходимости.
В отличие от традиционных инструментов удаленного рабочего стола, которые в основном сосредоточены на доступе между устройствами, функция WorkBuddy разработана специально для рабочих процессов агентов ИИ. Пользователи получают возможность следить за действиями агента в реальном времени и вмешиваться, если задачи отклоняются от курса или требуют ручного подтверждения.
Для использования этой функции требуется обновление мобильного приложения до версии 2.7.0 или более поздней, а также настольного клиента для macOS до версии 5.9.3 или выше. После подключения экран компьютера отображается во всплывающем окне на главной странице приложения или в верхней части диалога, позволяя мониторить агента, не покидая текущий чат.
Если агент сталкивается с проблемой при выполнении задания, пользователи могут вмешаться непосредственно со своих телефонов. Например, если учетная запись не авторизована или истек срок действия авторизации коннектора, пользователи могут попытаться решить проблему на мобильных устройствах вместо возвращения к своим компьютерам.
Для ручного управления пользователи могут нажать кнопку полноэкранного режима, что переводит интерфейс телефона в альбомную ориентацию и активирует возможность управления рабочим столом через сенсорное управление. Интерфейс предоставляет три опции: Управление, Клавиатура и Мышь, которые поддерживают такие действия, как переключение окон, возврат на рабочий стол и ввод текста. Также доступна виртуальная мышь для более точного кликанья и прокрутки в небольших областях экрана.
В вопросах безопасности Tencent утверждает, что функция ограничивает каждое устройство одним аутентифицированным мобильным устройством одновременно. Данные экрана и команды управления передаются по зашифрованному каналу. Платформа не записывает ввод пользователя и не хранит видеозаписи с сессий удаленного управления. Сетевой трафик, генерируемый удаленным управлением, списывается с использования данных устройства и не расходует квоту токенов агента ИИ WorkBuddy.
Чтобы начать работу, пользователям необходимо включить опцию удаленного подключения для устройств, авторизованных под одним аккаунтом, в настройках WorkBuddy, установить необходимый компонент удаленного управления и предоставить разрешения на запись экрана и доступность. После настройки пользователи могут подключаться удаленно, пока компьютер остается включенным, а WorkBuddy находится в сети.
На практике эта функция помогает решить распространенную проблему в рабочих процессах агентов ИИ — необходимость человеческого вмешательства во время выполнения задач. Агенты ИИ уже способны выполнять многоэтапные задачи, такие как организация документов и сбор данных, однако они все еще могут сталкиваться с требованиями авторизации, запросами разрешений или операционными ошибками. Удаленное управление дает пользователям возможность контролировать прогресс и вносить коррективы со своих телефонов, не оставаясь за столами.
Однако эта функция может предложить нечто большее, чем просто способ управления компьютерами с телефона. Она потенциально может ввести более гибкую модель сотрудничества человека и ИИ, при которой ИИ берет на себя рутинную работу, а пользователи вмешиваются для принятия решений и исправления ошибок в критические моменты. Вместо того чтобы стремиться к полностью автономному выполнению любой ценой, сохранение человеческого надзора может быть более практичным подходом для инструментов повышения производительности ИИ на текущем этапе разработки.
Тем не менее, смартфон не может полностью воспроизвести опыт работы на компьютере. Удаленный доступ может быть удобен для простых задач, таких как утверждение разрешений или переключение окон, но его эффективность в более сложных рабочих процессах, связанных с обработкой данных и несколькими окнами, еще предстоит проверить. Функция в настоящее время доступна для пробного использования всем пользователям. Tencent сообщает, что будущие версии будут включать более ориентированные на корпоративный сектор возможности, включая управление разрешениями по уровням и журналы аудита.
