世界模型

Mind Dreamer: Untethering Imagination via Active Causal Intervention on Latent Manifolds

Mind Dreamer: 通过潜在流形上的主动因果干预释放想象力

Shaojun Xu, Xiaoling Zhou, Yihan Lin, Yapeng Meng, Xinglong Ji, Luping Shi, Rong Zhao

机构 * Center for Brain-Inspired Computing Research, Department of Precision Instrument, Tsinghua University, Beijing, China（脑启发计算研究中心，精密仪器系，清华大学，北京，中国） ； College of Computer Science and Technology, Zhejiang University, Hangzhou, China（计算机科学与技术学院，浙江大学，杭州，中国） ； Pen-Tung Sah Institute of Micro-Nano Science and Technology, Xiamen University, Xiamen, China（彭途萨微纳米科学与技术研究院，厦门大学，厦门，中国） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；model-based reinforcement learning(abstract)；分类 cs.LG、cs.RO

AI总结 针对基于模型的强化学习中历史束缚导致策略优化滞后的问题，提出Mind Dreamer框架，通过主动因果干预生成非连续潜在跳跃，并推导中继价值函数与中继不确定性函数，实现样本效率提升。

Comments 34 pages, 7 figures, ICML 2026 accepted

DARIL: When Imitation Learning outperforms Reinforcement Learning in Surgical Action Planning

Maxence Boels, Harry Robertshaw, Thomas C Booth, Prokar Dasgupta, Alejandro Granados, Sebastien Ourselin

机构 * Surgical and Interventional Engineering, King's College London, London, UK（外科与介入工程，伦敦国王学院，伦敦，英国） ； Interventional Engineering, King's College London, London, UK（介入工程，伦敦国王学院，伦敦，英国） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；model-based RL(abstract)；分类 cs.AI、cs.CV

Comments Paper accepted at the MICCAI2025 workshop proceedings on COLlaborative Intelligence and Autonomy in Image-guided Surgery (COLAS)

When in Doubt, Think Slow: Iterative Reasoning with Latent Imagination

Martin Benfeghoul, Umais Zahid, Qinghai Guo, Zafeirios Fountas

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；model-based reinforcement learning(abstract)；分类 cs.AI、cs.LG

Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning

学习多时间尺度抽象以进行分层组合规划

Vivienne Huiling Wang, Tinghuai Wang, Joni Pajarinen

机构 * Department of Electrical Engineering（电气工程系） ； Automation, Aalto University, Finland（自动化，艾尔沃斯大学，芬兰） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；latent dynamics(abstract)；分类 cs.LG

AI总结 本文提出了一种基于模型的分层框架，用于解决序列随机组合决策问题，通过多时间尺度目标结构化潜在动态，实现高效的前瞻规划，并联合学习子目标条件预算策略以支持上下文感知的资源分配。

Comments 34 pages, 8 figures, 23 tables

Enter the Void - Planning to Seek Entropy When Reward is Scarce

进入虚无 - 在奖励稀缺时规划以寻求熵

Ashish Sundar, Chunbo Luo, Xiaoyang Wang

机构 * Department of Computer Science University of Exeter（计算机科学系埃克塞特大学） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；model-based reinforcement learning(abstract)；分类 cs.AI

AI总结 本文提出了一种基于世界模型的分层规划方法，在奖励稀缺时主动寻找信息丰富的状态，提升样本效率，应用于Dreamer时在迷宫任务中效率提升50%。

Comments 10 pages without appendix, 15 Figures, preprint

V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning

Mido Assran, Adrien Bardes, David Fan, Quentin Garrido, Russell Howes, Mojtaba, Komeili, Matthew Muckley, Ammar Rizvi, Claire Roberts, Koustuv Sinha, Artem Zholus, Sergio Arnaud, Abha Gejji, Ada Martin, Francois Robert Hogan, Daniel Dugas, Piotr Bojanowski, Vasil Khalidov, Patrick Labatut, Francisco Massa, Marc Szafraniec, Kapil Krishnakumar, Yong Li, Xiaodong Ma, Sarath Chandar, Franziska Meier, Yann LeCun, Michael Rabbat, Nicolas Ballas

机构 * FAIR at Meta ； Mila -- Quebec AI Institute 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.CV

Comments 48 pages, 19 figures

Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning

Guangxiang Zhu, Minghao Zhang, Honglak Lee, Chongjie Zhang

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；model-based reinforcement learning(abstract)；分类 cs.LG

Comments Published on 34th Conference on Neural Information Processing Systems (NeurIPS 2020)

Decoupling Planning and Control for Instructable Agents

可指令智能体的规划与控制解耦

Zineng Tang, Kelsey R. Allen, Sjoerd van Steenkiste, Ishita Dasgupta, Alane Suhr

机构 * UC Berkeley（加州大学伯克利分校） ； UBC（不列颠哥伦比亚大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 仿真与规划 ：world-model(abstract)；world-model(abstract)；分类 cs.AI、cs.RO、cs.MA

AI总结 本研究提出Instruct-to-Act系统，将VLM规划器与世界模型控制器解耦，在七个具身环境中验证其性能优于仅控制器、直接VLM动作生成等基线，可替换VLM规划器且保持快速控制。

Comments Published as a conference paper at COLM 2026. Project page: https://zinengtang.github.io/instruct-to-act/

Efficient Agentic Reasoning Through Self-Regulated Simulative Planning

通过自我调节模拟规划实现高效的代理推理

Mingkai Deng, Jinyu Hou, Lara Sá Neves, Varad Pimpalkhute, Taylor W. Killian, Zhengzhong Liu, Eric P. Xing

机构 * Institute of Foundation Models (IFM)（基础模型研究所） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

AI总结 本文提出通过分解决策过程为三个系统：模拟推理、自我调节和反应执行，来提升代理推理的效率，并展示了SR$^2$AM模型在不同任务中的表现。

Comments Code and model artifacts are available at https://github.com/sailing-lab/sr2am

Thinking with Patterns: Breaking the Perceptual Bottleneck in Visual Planning via Pattern Induction

基于模式的思考：通过模式诱导突破视觉规划中的感知瓶颈

Yichang Jian, Boyuan Xiao, Zhenyuan Huang, Yifei Peng, Yao-Xiang Ding

机构 * State Key Lab of CAD& CG（CAD与CG国家重点实验室） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.CV

AI总结 本文提出通过模式诱导的方法，利用模式推理和模式诱导策略，使视觉语言模型在视觉规划任务中实现更高效和准确的感知与推理，解决传统模型在复杂输入下的感知瓶颈问题。

Efficient Robotic Policy Learning via Latent Space Backward Planning

Dongxiu Liu, Haoyi Niu, Zhihao Wang, Jinliang Zheng, Yinan Zheng, Zhonghong Ou, Jianming Hu, Jianxiong Li, Xianyuan Zhan

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

Comments Accepted by ICML 2025

NEUSIS: A Compositional Neuro-Symbolic Framework for Autonomous Perception, Reasoning, and Planning in Complex UAV Search Missions

Zhixi Cai, Cristian Rojas Cardenas, Kevin Leo, Chenyuan Zhang, Kal Backman, Hanbing Li, Boying Li, Mahsa Ghorbanali, Stavya Datta, Lizhen Qu, Julian Gutierrez Santiago, Alexey Ignatiev, Yuan-Fang Li, Mor Vered, Peter J Stuckey, Maria Garcia de la Banda, Hamid Rezatofighi

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination

Lu Wen, Songan Zhang, H. Eric Tseng, Huei Peng

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

Deep Hierarchical Planning from Pixels

Danijar Hafner, Kuang-Huei Lee, Ian Fischer, Pieter Abbeel

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

Comments Website: https://danijar.com/director

Latent Skill Planning for Exploration and Transfer

Kevin Xie, Homanga Bharadhwaj, Danijar Hafner, Animesh Garg, Florian Shkurti

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

Comments First two authors contributed equally. Published as a conference paper in ICLR 2021

Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space

Wilko Schwarting, Tim Seyde, Igor Gilitschenski, Lucas Liebenwein, Ryan Sander, Sertac Karaman, Daniela Rus

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

Comments Wilko, Tim, and Igor contributed equally to this work; published in Conference on Robot Learning 2020

The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

多轮长期规划的物理学：通过单教师和多教师策略蒸馏从预训练到训练后

Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 研究多轮长期规划问题，通过引入统一可控环境，利用预训练、GRPO、OPD及MOPD等方法，研究规划能力在不同阶段的获取、塑造与整合，展示了多教师策略蒸馏对跨环境能力整合的作用。

Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States

关系隐藏状态强化学习中作为涌现行为的规划

Armin Sommer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。

ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?

ImageWAM：世界动作模型真的需要视频生成，还是只需要图像编辑？

Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, Jingbo Zhang, Yao Mu, Xiaokang Yang, Wenjun Zeng, Xin Jin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（东方理工学院） ； Tencent Robotics X（腾讯机器人X） ； Tsinghua University（清华大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.CV、cs.RO

AI总结 提出ImageWAM框架，利用预训练图像编辑模型替代视频生成进行机器人动作预测，通过编辑去噪的KV缓存作为世界动作上下文，在多个模拟和真实实验中优于基线，计算量降至1/6，延迟降至1/4。

Comments Project Page: https://zhangwenyao1.github.io/ImageWAM/

HOLO-MPPI: Multi-Scenario Motion Planning via Hierarchical Policy Optimization

HOLO-MPPI：通过分层策略优化的多场景运动规划

Youngjae Min, Jovin D'sa, Faizan M. Tariq, David Isele, Navid Azizan, Sangjae Bae

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Honda Research Institute, USA（本田研究所（美国）） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.RO

AI总结 提出HOLO-MPPI框架，结合离线高层策略学习与在线低层随机最优控制，实现多场景运动规划，无需针对每个场景重新调整参数，在自动驾驶中优于MPPI和端到端RL基线。

Fact-Augmented Lookahead Planning for LLM Agents

面向LLM智能体的事实增强前瞻规划

Samuel Holt, Max Ruiz Luyten, Thomas Pouplin, Mihaela van der Schaar

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 仿真与规划 ：world-model(abstract)；world-model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LWM-Planner框架，通过从轨迹中提取关键事实并用于条件化动作提议、世界模型模拟和状态值估计，实现无需参数更新的在线规划改进，在多个环境上优于ReAct/Reflexion和纯搜索基线。

Comments Accepted at the 29th International Conference on Artificial Intelligence and Statistics (AISTATS 2026). Camera-ready version. 9-page main text plus appendices (63 pages total), 1 figure

MemoryVLA++: Temporal Modeling via Memory and Imagination in Vision-Language-Action Models

MemoryVLA++：通过记忆与想象在视觉-语言-动作模型中进行时间建模

Hao Shi, Weiye Li, Bin Xie, Yulin Wang, Renping Zhou, Tiancai Wang, Xiangyu Zhang, Ping Luo, Gao Huang

机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； Dexmal ； StepFun 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.CV、cs.RO

AI总结 提出MemoryVLA++框架，通过工作记忆、感知-认知记忆库和想象未来状态的世界模型，实现完整时间建模，在模拟和真实机器人任务上显著提升长时域和依赖记忆与想象的任务性能。

Comments The project is available at https://shihao1895.github.io/MemoryVLA-PP-Web

Dyna-Style Planning with Linear Function Approximation and Prioritized Sweeping

具有线性函数逼近和优先级扫描的Dyna风格规划

Richard S. Sutton, Csaba Szepesvari, Alborz Geramifard, Michael P. Bowling

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于模型的Dyna风格规划方法，扩展至线性函数逼近，证明其收敛性，并引入线性Dyna的优先级扫描算法。

Comments Appears in Proceedings of the Twenty-Fourth Conference on Uncertainty in Artificial Intelligence (UAI2008)

IFPV: An Integrated Multi-Agent Framework for Generative Operational Planning and High-Fidelity Plan Verification

IFPV：一种用于生成性操作规划和高保真计划验证的集成多智能体框架

Zhigao Huang, Zhengqing Hu, Dong Chen, Shaohan Zhang, Zhao Jin, Bo Zhang, Han Wu, Mingliang Xu

机构 * School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院） ； Engineering Research Center of Intelligent Swarm Systems, Ministry of Education（教育部智能群体系统工程研究中心） ； National Supercomputing Center in Zhengzhou（郑州国家超算中心） ； Henan Research Center for Large Model Technology（河南省大模型技术与新质软件工程研究中心） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.MA

AI总结 IFPV通过多视角分层智能体和对抗认知仿真引擎，提升复杂战场环境下的规划准确性和验证严格性，实验显示其在任务成功率和运营成本上有显著提升。

Comments Submitted to Neurocomputing

Xiaomi OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation

小米OneVL：基于视觉-语言解释的一步潜在推理与规划

Jinghui Lu, Jiayi Guan, Zhijian Huang, Jinlong Li, Guang Li, Lingdong Kong, Yingyan Li, Han Wang, Shaoqing Xu, Yuechen Luo, Fang Li, Chenxu Dang, Junli Wang, Tao Xu, Jing Wu, Jianhua Wu, Xiaoshuai Hao, Wen Zhang, Tianyi Jiang, Lingfeng Zhang, Lei Zhou, Yingbo Tang, Jie Wang, Yinfeng Gao, Xizhou Bu, Haochen Tian, Yihang Qiu, Feiyang Jia, Lin Liu, Yigu Ge, Hanbing Li, Yuannan Shen, Jianwei Cui, Hongwei Xie, Bing Wang, Haiyang Sun, Jingwei Zhao, Jiahui Huang, Pei Liu, Zeyu Zhu, Yuncheng Jiang, Zibin Guo, Chuhong Gong, Hanchao Leng, Kun Ma, Naiyan Wang, Guang Chen, Kuiyuan Yang, Hangjun Ye, Long Chen

机构 * Xiaomi Embodied Intelligence Team（小米具身智能团队） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.CV、cs.RO

AI总结 OneVL通过双重辅助解码器监督的紧凑潜在标记，实现了视觉-语言解释的一步潜在推理与规划，首次在延迟条件下超越了显式推理方法。

Comments Technical Report; 49 pages, 22 figures, 10 tables; Project Page at https://xiaomi-embodied-intelligence.github.io/OneVL GitHub at https://github.com/xiaomi-research/onevl

World-Value-Action Model: Implicit Planning for Vision-Language-Action Systems

世界价值-动作模型：面向视觉-语言-动作系统的隐式规划

Runze Li, Hongyin Zhang, Junxi Jin, Qixin Zeng, Zifeng Zhuang, Yiqi Tang, Shangke Lyu, Donglin Wang

机构 * Westlake University（西湖大学） ； Nanjing University Suzhou Campus（南京大学苏州校区） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.LG、cs.RO

AI总结 本文提出World-Value-Action模型，通过隐式规划提升视觉-语言-动作系统在长时域决策中的性能，通过学习潜在表示和价值函数实现高效规划。

SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models

SIMPACT：基于视觉-语言模型的仿真增强动作规划

Haowen Liu, Shaoxiong Yao, Haonan Chen, Jiawei Gao, Jiayuan Mao, Jia-Bin Huang, Yilun Du

机构 * UMD（马里兰大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Harvard（哈佛大学） ； Amazon FAR（亚马逊FAR） ； UPenn（宾夕法尼亚大学） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.CV、cs.RO

AI总结 SIMPACT通过仿真循环世界建模赋予视觉-语言模型物理推理能力，实现高效动作规划，优于现有通用机器人操作模型，在五个复杂真实世界任务中表现优异。

Comments Accepted to CVPR 2026; camera-ready version

IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning

IPD: 通过离线规划蒸馏提升序列策略

Yihao Qin, Yuanfei Wang, Hang Zhou, Peiran Liu, Hao Dong, Yiding Ji

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 IPD通过引入离线规划蒸馏技术，提升离线强化学习中序列策略的决策稳定性和性能。

Budget-Constrained Agentic Large Language Models: Intention-Based Planning for Costly Tool Use

预算约束下的代理型大语言模型：基于意图的规划以应对昂贵的工具使用

Hanbing Liu, Chunhao Tian, Nan An, Ziyuan Wang, Pinyan Lu, Changyuan Yu, Qi Qi

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Shanghai University of Finance（上海财经大学） ； Baidu Inc.（百度公司） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出INTENT框架，通过意图感知的分层世界模型，在预算约束下提升工具使用任务的成功率并保持鲁棒性。

Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

Cosmos Policy: 为视觉运动控制和规划微调视频模型

Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu

机构 * NVIDIA ； Stanford University（斯坦福大学） 纠错

专题命中 仿真与规划 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.RO

AI总结 Cosmos Policy通过单阶段后训练将预训练视频模型转化为高效机器人策略，实现视觉运动控制与规划的先进性能。