A PHANES AI lançou o SeePhys Hub, um sistema abrangente de coleta de dados multimodais projetado para converter atividades humanas cotidianas em dados de treinamento para robôs. De acordo com um comunicado da QbitAI, o lançamento, realizado em 14 de outubro, foi resultado de uma colaboração com a Tinno Mobile, que contribuiu com sua experiência em controle de custos, cadeia de suprimentos e garantia de qualidade, enquanto a PHANES AI se concentrou no desenvolvimento de algoritmos e design do produto.
O conjunto inclui quatro câmeras fixadas em uma faixa de cabeça, dois braceletes de pulso, três rastreadores de movimento presos na cintura e nas canelas, e um par de luvas táteis. Esses componentes capturam conjuntamente a visão em primeira pessoa com campo de visão de 360 graus, a postura das mãos e o impacto tátil de alta densidade, bem como a postura e a força de todo o corpo.
O argumento principal da empresa é que os dados egocêntricos obtidos pelas câmeras montadas na cabeça tornaram-se uma fonte importante para treinar robôs devido à sua facilidade de escalabilidade. No entanto, tais dados muitas vezes não refletem todas as ações do corpo. Uma câmera posicionada ao nível dos olhos vê as mãos, mas frequentemente omite cotovelos ou pernas, e também não registra com que força a pessoa pressiona um objeto. Tarefas que exigem caminhada, inclinações e coordenação de dois braços necessitam dessas informações ausentes.
O SeePhys Hub utiliza uma abordagem de nós esparsos. Três rastreadores combinam sinais de movimento IMU com dados de distância obtidos por UWB entre os nós, e algoritmos integram esses dados com informações visuais da cabeça e dos pulsos para estimar a postura corporal completa. A faixa de cabeça pesa no máximo 220 gramas, e cada bracelete pesa no máximo 75 gramas; ambos os dispositivos podem operar continuamente por 24 horas. O erro de sincronização entre as câmeras da faixa, IMU e UWB é inferior a 0,5 milissegundos.
As luvas são um elemento opcional. Yang Shu, fundador e CEO, relatou que os operadores de coleta de dados pediram à equipe para não equipar os trabalhadores com luvas, pois elas podem interferir na execução de tarefas delicadas, como lavar louça, e introduzir ruído dos sensores. Os clientes podem escolher configurações dependendo da tarefa específica, e a equipe está pesquisando métodos para avaliar o impacto tátil com base em dados de vídeo.
A plataforma associada é responsável pelo parsing, limpeza, segmentação e rotulagem semântica dos dados, além de fornecer conectividade com a reconstrução de cenas, estimativa de postura, rastreamento de mãos e transferência de movimentos para corpos de robôs. Yang, que aos 26 anos se tornou professor no Instituto Tecnológico de Harbin (Shenzhen), descreveu o dispositivo como uma ferramenta para trabalhar com um nível médio de dados, situado entre a internet de vídeo e sistemas de captura de movimento de alta precisão ou dados de robôs reais.
