DreamX-Phi 1.0, modelo de mundo de vídeo condicionado a ação para manipulação robótica, foi publicado no arXiv em 13 de agosto de 2026. O sistema prevê observações futuras a partir de um frame observado, uma instrução em linguagem e uma sequência prescrita de poses do efetor final e estados do gripper. O modelo venceu o Track 1 e ficou em segundo lugar no Track 2 do WorldArena 2.0 Challenge. Código e pesos ficarão disponíveis ao público.
Arquitetura e mecanismos de fidelidade
O artigo destaca que realismo não garante fidelidade: um rollout convincente pode mover o braço errado ou perder o objeto. Para garantir que a previsão respeite o caminho comandado de cada braço, o modelo injeta transformações SE(3) por braço na atenção, usando codificação geométrica no estilo PRoPE, preservando identidade do braço e estrutura de movimento rígido.
O controle de ação sozinho não restringe totalmente a geometria da cena nem a evolução de objetos pequenos manipulados. Por isso, os autores adicionam uma ramificação de profundidade leve para geometria em nível de cena e usam máscaras SAM3 com um professor V-JEPA congelado para manter a consistência do objeto durante a preensão. O gerador multi-passo é destilado em um aluno de poucos passos via distilação de correspondência de distribuição para implantação eficiente.
Resultados no benchmark
Na data de submissão, DreamX-Phi 1.0 ocupa a primeira posição no Track 1 e a segunda no Track 2 do WorldArena 2.0 Challenge. O artigo não detalha métricas numéricas nem o número de concorrentes.
O que ainda não foi divulgado
- Métricas quantitativas por track (success rate, precisão de pose, consistência de objeto)
- Número de equipes participantes do WorldArena 2.0
- Data de liberação do código e dos pesos do modelo
- Requisitos de hardware para inferência do modelo destilado
- Detalhes do dataset de treinamento e custo computacional
