Компания Knowin, специализирующаяся на воплощенном ИИ, опубликовала технический отчет 24 сентября о GLOW, который является сокращением от Generative Learning of World. Этот фреймворк разработан для того, чтобы бытовые роботы могли осваивать новую задачу, основываясь всего на одной полной демонстрации человека. Компания утверждает, что полученный навык затем можно применять к различным объектам, средам и задачам без необходимости повторного обучения или изменения параметров модели.
GLOW состоит из четырех основных компонентов. KnowinGLOW представляет собой унифицированную мультимодальную авторегрессионную модель, которая объединяет понимание визуальной информации, пространственное рассуждение, планирование задач и генерацию действий, напрямую выдавая команды для захвата и позы конечного эффектора. KnowinDream создает физически обоснованный опыт в бытовых условиях, превращая повседневные рутины в симуляции 3D-сцен, после чего варьируются освещение, материалы, объекты и ракурсы камеры. KnowinWorld оценивает вероятные результаты предложенных действий, ранжируя их по прогрессу выполнения задачи, физической согласованности, достижимости и риску. Агент KnowinAgent, также известный как Harness, выступает в роли среды выполнения, управляя памятью, вызовами инструментов, пространственными запросами, обратной связью об исполнении и перепланированием при выполнении длительных задач.
Метод обучения по одному примеру опирается на обучение в контексте. Кодировщик демонстрации сжимает видео одного показа в многократно используемый контекст навыка, который модель комбинирует с текущими видами с камеры, языковыми инструкциями, состоянием робота и историей задачи, при этом веса модели остаются неизменными. Knowin продемонстрировала применение этой технологии в таких сценариях, как хранение коробок, полив растений, протирание стола и смешивание напитков, при этом роботы адаптировались к изменениям в расположении предметов или их положению. Обратная связь по исполнению играет существенную роль: при задаче в одном ящике робот запросил движение на 24,3 мм, но достиг лишь 1,6 мм, обнаружил препятствие и изменил свой подход.
Knowin приводит ряд результатов тестирования на собственных эталонных настройках. На 18 симулированных задачах RoboDojo GLOW показал средний процент успеха 62,2% и балл 71,1, что значительно выше показателей базовой модели на основе GPT-6 (22,2% и 29,8 соответственно). При шести условиях возмущения LIBERO-Pro он достиг среднего показателя 86,7% как единая политика, что является наивысшим среди моделей с одной политикой в сравнительной таблице, хотя некоторые системы агентов с несколькими политиками показали лучшие результаты. Модель KnowinBrain-1.5 занимает первое место среди 20 моделей в рейтинге ответов на воплощенные вопросы Embodied Arena с общим баллом 65,62 по девяти бенчмаркам.
В отчете также отмечены ограничения, включая случаи срабатывания проверок успешности, когда объект все еще находился в захвате, а также то, что подсчет шагов не позволяет проводить строгие сравнения скорости. Knowin была основана в августе 2025 года и занимается разработкой обобщенных воплощенных моделей для потребительского домашнего использования. В ее исследовательской команде работает более 200 человек, а первый продукт компании, Knowin-X1, проходит валидацию перед массовым производством.