机器人 / 具身智能

Hierarchical Planning with Latent World Models

基于潜在世界模型的分层规划

Wancong Zhang, Basile Terver, Artem Zholus, Soham Chitnis, Harsh Sutaria, Mido Assran, Randall Balestriero, Amir Bar, Adrien Bardes, Yann LeCun, Nicolas Ballas

机构 * FAIR at Meta（Meta旗下的FAIR） ； New York University（纽约大学） ； Mila - Québec AI Institute（魁北克AI研究院） ； Brown University（布朗大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；navigation(abstract)；分类 cs.LG

AI总结 提出HWM架构，通过多时间尺度潜在世界模型和潜在匹配实现分层模型预测控制，解决长时域任务中单层规划失败和计算爆炸问题。

ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model

ThinkJEPA：赋予潜在世界模型大型视觉-语言推理能力

Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu

机构 * Northeastern University（东北大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Maryland（马里兰大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Washington（华盛顿大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 提出ThinkJEPA框架，结合密集JEPA分支与稀疏VLM思考者分支，通过分层金字塔表示提取模块，实现细粒度运动建模与长程语义引导，在手部操作轨迹预测任务上超越基线。

Comments 10 pages, 5 figures

World Model Self-Distillation: Training World Models to Solve General Tasks

世界模型自蒸馏：训练世界模型以解决通用任务

Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；robotic(abstract)；分类 cs.CV

AI总结 提出结合自蒸馏与强化学习的框架，从预训练视频生成器中提取任务解决能力，无需配对任务视频，在基准测试中超越原始模型。

Towards Interactive Video World Modeling: Frontiers, Challenges, Benchmarks, and Future Trends

迈向交互式视频世界建模：前沿、挑战、基准与未来趋势

Jiuming Liu, Chaojun Ni, Mengmeng Liu, Chensheng Peng, Fangjinhua Wang, Sitian Shen, Marc Pollefeys, Masayoshi Tomizuka, Ayush Tewari, Per Ola Kristensson

机构 * Department of Engineering, University of Cambridge, U.K.（剑桥大学工程系） ； Peking University（北京大学） ； University of Twente（埃因霍温理工大学） ； Mechanical Systems Control Laboratory, University of California, Berkeley, USA（加州大学伯克利分校机械系统控制实验室） ； ETH Zurich（苏黎世联邦理工学院） ； Microsoft（微软公司） ； University of Oxford（牛津大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；embodied AI(abstract)；分类 cs.CV

AI总结 本文系统综述了交互式世界建模的研究趋势、技术挑战、评估基准，并提出了未来方向，重点在于动作条件可控性、长程交互与记忆以及实时响应性。

Comments Under review. The GitHub repository is publicly available at: https://github.com/liujiuming123/Awesome-Interactive-World-Model

3D-Belief: Embodied Belief Inference via Generative 3D World Modeling

3D-Belief：通过生成式3D世界建模实现具身信念推断

Yifan Yin, Zehao Wen, Suyu Ye, Jieneng Chen, Zehan Zheng, Nanru Dai, Haojun Shi, Aydan Huang, Zheyuan Zhang, Alan Yuille, Jianwen Xie, Ayush Tewari, Tianmin Shu

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Lambda ； University of Cambridge（剑桥大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；embodied agent(abstract)；navigation(abstract)；分类 cs.CV

AI总结 提出3D-Belief，一种生成式3D世界模型，通过在线更新显式3D信念，使具身智能体能够在部分可观测环境中想象场景补全并推理，在2D/3D想象质量和下游物体导航任务上优于现有方法。

WM-DAgger: Enabling Efficient Data Aggregation for Imitation Learning with World Models

WM-DAgger: 通过世界模型实现模仿学习中的高效数据聚合

Anlan Yu, Zaishu Chen, Peili Song, Zhiqing Hong, Haotian Wang, Desheng Zhang, Tian He, Yi Ding, Daqing Zhang

机构 * Peking University（北京大学） ； JD Logistics（京东物流） ； Nankai University（南开大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Rutgers University（罗格斯大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Institut Polytechnique de Paris（巴黎综合理工学院） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 本文提出WM-DAgger框架，利用世界模型合成OOD恢复数据，无需人工干预，提升机器人模仿学习效率，实验表明在少样本下显著提高任务成功率。

RoboStereo: Dual-Tower 4D Embodied World Models for Unified Policy Optimization

RoboStereo: 双塔4D具身世界模型用于统一策略优化

Ruicheng Zhang, Guangyu Chen, Zunnan Xu, Zihao Liu, Zhizhou Zhong, Mingyang Zhang, Jun Zhou, Xiu Li

机构 * Tsinghua University（清华大学） ； X Square Robot ； HKUST（香港科技大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；embodied AI(abstract)；manipulation(abstract)；分类 cs.CV

AI总结 本文提出RoboStereo，通过双塔4D具身世界模型实现统一策略优化，解决几何幻觉和缺乏统一优化框架的问题，实验显示在细粒度操作任务中平均相对提升超过97%。

AstraNav-World: World Model for Foresight Control and Consistency

AstraNav-World：面向前瞻性控制与一致性的世界模型

Jintao Chen, Junjun Hu, Haochen Bai, Minghua Luo, Xinda Xue, Botao Ren, Chengyu Bai, Shichao Xie, Ziyi Chen, Fei Liu, Zedong Chu, Xiaolong Wu, Mu Xu, Shanghang Zhang

机构 * Amap Alibaba（高德阿里巴巴） 纠错

专题命中 具身推理 ：world model(title,abstract)；embodied agent(abstract)；navigation(abstract)；分类 cs.CV

AI总结 本文提出AstraNav-World，通过统一的概率框架联合推理未来视觉状态与动作序列，提升开放动态环境中的导航轨迹精度与成功率，实验表明其在真实场景中具备零样本适应能力。

DreamPlan: Efficient Reinforcement Fine-Tuning of Vision-Language Planners via Video World Models

DreamPlan: 通过视频世界模型高效强化微调视觉语言规划器

Emily Yue-Ting Jia, Weiduo Yuan, Tianheng Shi, Vitor Guizilini, Jiageng Mao, Yue Wang

机构 * USC Physical Superintelligence Lab（USC物理超智能实验室） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 DreamPlan通过视频世界模型高效强化微调视觉语言规划器，利用零样本VLM生成探索数据训练动作条件视频生成模型，再通过ORPO在虚拟环境中微调VLM，提升物体 manipulation 成功率。

Grounding Generated Videos in Feasible Plans via World Models

通过世界模型将生成视频接地到可行计划中

Christos Ziakas, Amir Bar, Alessandra Russo

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；navigation(abstract)；分类 cs.LG

AI总结 本文提出GVP-WM方法，通过学习动作条件的世界模型，将生成视频计划接地为可行动作序列，解决视频生成计划在时间一致性和物理约束上的问题。

From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

从像素到谓词：通过预训练视觉-语言模型学习符号世界模型

Ashay Athalye, Nishanth Kumar, Tom Silver, Yichao Liang, Jiuguang Wang, Tomás Lozano-Pérez, Leslie Pack Kaelbling

机构 * MIT（麻省理工学院） ； Princeton University（普林斯顿大学） ； University of Cambridge（剑桥大学） ； RAI Institute（RAI研究院） 纠错

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 通过预训练视觉-语言模型学习符号世界模型，以实现复杂机器人领域中长周期决策制定的零样本泛化。

Comments A version of this paper appears in the official proceedings of RA-L, Volume 11, Issue 4

Seeing Across Views: Benchmarking Spatial Reasoning of Vision-Language Models in Robotic Scenes

跨视角视觉：评估视觉-语言模型在机器人场景中的空间推理能力

Zhiyuan Feng, Zhaolu Kang, Qijie Wang, Zhiying Du, Jiongrui Yan, Shubin Shi, Chengbo Yuan, Huizhi Liang, Yu Deng, Qixiu Li, Rushuai Yang, Arctanx An, Leqi Zheng, Weijie Wang, Shawn Chen, Sicheng Xu, Yaobo Liang, Jiaolong Yang, Baining Guo

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 具身推理 ：robotic(title,abstract)；embodied AI(abstract)；manipulation(abstract)；分类 cs.CV

AI总结 本文提出MV-RoboBench基准，评估视觉-语言模型在机器人场景中的多视角空间推理能力，揭示其在多视角机器人感知中的挑战。

Comments Accepted to ICLR 2026. Camera-ready version. Project page: https://aaronfengzy.github.io/MV-RoboBench-Webpage/

Journal ref International Conference on Learning Representations (ICLR), 2026

GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning

GigaBrain-0.5M*: 基于世界模型强化学习的VLA

GigaBrain Team, Boyuan Wang, Bohan Li, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Jie Li, Jindi Lv, Jingyu Liu, Lv Feng, Mingming Yu, Peng Li, Qiuping Deng, Tianze Liu, Xinyu Zhou, Xinze Chen, Xiaofeng Wang, Yang Wang, Yifan Li, Yifei Nie, Yilong Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu

机构 * GigaBrain Team（GigaBrain团队） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.CV

AI总结 GigaBrain-0.5M*通过基于世界模型的强化学习提升VLA模型的跨任务适应能力，实现复杂操作任务的可靠执行。

Comments https://gigabrain05m.github.io/

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

DreamDojo：从大规模人类视频中学习通用机器人世界模型

Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi "Jim" Fan

机构 * NVIDIA ； HKUST（香港科技大学） ； UC Berkeley（加州大学伯克利分校） ； Stanford（斯坦福大学） ； KAIST（韩国科学技术院） ； UofT（多伦多大学） ； UCSD（加州大学圣地亚哥分校） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 DreamDojo通过大规模人类视频学习通用机器人世界模型，解决动作标签稀缺问题，实现高精度物理理解和实时交互。

Comments Project page: https://dreamdojo-world.github.io/

WorldPlanner: Monte Carlo Tree Search and MPC with Action-Conditioned Visual World Models

R. Khorrambakht, Joaquim Ortiz-Haro, Joseph Amigo, Omar Mostafa, Daniel Dugas, Franziska Meier, Ludovic Righetti

机构 * Center for Robotics and Embodied Intelligence, Tandon School of Engineering, New York University, Brooklyn, NY（机器人与具身智能中心，工程学院，纽约大学，布鲁克林，纽约） ； FAIR at Meta（Meta的FAIR） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO

FantasyWorld: Geometry-Consistent World Modeling via Unified Video and 3D Prediction

Yixiang Dai, Fan Jiang, Chiyu Wang, Mu Xu, Yonggang Qi

机构 * AMAP, Alibaba Group（阿里集团AMAP） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；navigation(abstract)；robotic(abstract)；分类 cs.CV

More than A Point: Capturing Uncertainty with Adaptive Affordance Heatmaps for Spatial Grounding in Robotic Tasks

Xinyu Shao, Yanzhe Tang, Pengwei Xie, Kaiwen Zhou, Yuzheng Zhuang, Xingyue Quan, Jianye Hao, Long Zeng, Xiu Li

机构 * Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） ； Noah’s Ark Lab, Huawei, China（华为诺亚实验室） 纠错

专题命中 具身推理 ：robotic(title,abstract)；manipulation(abstract)；navigation(abstract)；分类 cs.RO

Comments More details and videos can be found at https://robo-map.github.io

LongScape: Advancing Long-Horizon Embodied World Models with Context-Aware MoE

Yu Shang, Lei Jin, Yiding Ma, Xin Zhang, Chen Gao, Wei Wu, Yong Li

机构 * Tsinghua University（清华大学） ； Manifold AI 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.CV

Comments 13 pages, 8 figures

DSG-World: Learning a 3D Gaussian World Model from Dual State Videos

Wenhao Hu, Xuexiang Wen, Xi Li, Gaoang Wang

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； ZJU-UIUC Institute, Zhejiang University（浙江大学-伊利诺伊大学联合研究所） 纠错

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；manipulation(abstract)；分类 cs.CV

Knowledge Graphs as World Models for Semantic Material-Aware Obstacle Handling in Autonomous Vehicles

Ayush Bheemaiah, Seungyong Yang

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；embodied AI(abstract)；分类 cs.AI

VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning

Yichao Liang, Nishanth Kumar, Hao Tang, Adrian Weller, Joshua B. Tenenbaum, Tom Silver, João F. Henriques, Kevin Ellis

专题命中 具身推理 ：world model(title,abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments ICLR 2025 (Spotlight)

SAILOR: Perceptual Anchoring For Robotic Cognitive Architectures

Miguel Á. González-Santamarta, Francisco J. Rodríguez-Lera, Vicente Matellán Olivera, Virginia Riego Del Castillo, Lidia Sánchez-González

专题命中 具身推理 ：robotic(title,abstract)；robotics(abstract)；world model(abstract)；分类 cs.RO

Comments 16 pages, 5 figures, 7 tables, 3 algorithms, Submitted to Scientific Reports

Journal ref Scientific Reports 15, 113 (2025)

SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection

Tim Engelbracht, René Zurbrügg, Marc Pollefeys, Hermann Blum, Zuria Bauer

专题命中 具身推理 ：robotic(title,abstract)；robotics(abstract)；robot learning(abstract)；分类 cs.RO

Comments timengelbracht.github.io/SpotLight/

ManipVQA: Injecting Robotic Affordance and Physically Grounded Information into Multi-Modal Large Language Models

Siyuan Huang, Iaroslav Ponomarenko, Zhengkai Jiang, Xiaoqi Li, Xiaobin Hu, Peng Gao, Hongsheng Li, Hao Dong

专题命中 具身推理 ：robotic(title,abstract)；robotics(abstract)；manipulation(abstract)；分类 cs.RO

Comments Code and dataset are publicly available at https://github.com/SiyuanHuang95/ManipVQA. Accepted by IROS2024

ReCoRe: Regularized Contrastive Representation Learning of World Model

Rudra P. K. Poudel, Harit Pandya, Stephan Liwicki, Roberto Cipolla

专题命中 具身推理 ：world model(title,abstract)；navigation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Accepted at CVPR 2024. arXiv admin note: text overlap with arXiv:2209.14932

LanGWM: Language Grounded World Model

Rudra P. K. Poudel, Harit Pandya, Chao Zhang, Roberto Cipolla

专题命中 具身推理 ：world model(title,abstract)；navigation(abstract)；分类 cs.RO、cs.AI、cs.CV

Structured World Models from Human Videos

Russell Mendonca, Shikhar Bahl, Deepak Pathak

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments RSS 2023. Website at https://human-world-model.github.io

Contrastive Unsupervised Learning of World Model with Invariant Causal Features

Rudra P. K. Poudel, Harit Pandya, Roberto Cipolla

专题命中 具身推理 ：world model(title,abstract)；navigation(abstract)；分类 cs.RO、cs.AI、cs.CV

Binding Actions to Objects in World Models

Ondrej Biza, Robert Platt, Jan-Willem van de Meent, Lawson L. S. Wong, Thomas Kipf

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.LG

Comments Published at the ICLR 2022 workshop on Objects, Structure and Causality

Tracking and Planning with Spatial World Models

Baris Kayalibay, Atanas Mirchev, Patrick van der Smagt, Justin Bayer

专题命中 具身推理 ：world model(title,abstract)；robotics(abstract)；navigation(abstract)；分类 cs.LG