世界模型

H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models

H2R-Bench：面向世界模型的人到机器人操作视频生成基准测试

Dingyi Rong, Yue Shi, Chaofan Ma, Jiezhang Cao, Zongrui Wang, Zeyu Zhang, Yao Mu, Guangtao Zhai, Ning Liu

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 该研究推出H2R-Bench基准测试，评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力，发现现有模型在实体一致性等方面存在局限，为相关模型评估提供诊断框架。

Energy-Structured Latent World Models with Neural Time Fields for Physically Constistent Open-World Motion Planning

用于物理一致性开放世界运动规划的能量结构化潜在世界模型与神经时间场

Yapeng Liu, Yuanzhao Zhai, Bo Ding, Huaimin Wang, Lin Wang

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 针对开放世界运动规划的物理一致性挑战，提出能量结构化潜在世界模型ELWM，结合物理条件神经时间场PC-NTF，显著提升了运动预测精度与导航成功率，降低了碰撞率与残差。

Comments 9 pages, 5 figures

Embodied Multi-Agent Coordination by Aligning World Models Through Dialogue

通过对话对齐世界模型实现具身多智能体协调

Vardhan Dongre, Dilek Hakkani-Tür

机构 * Siebel School of Computing & Data Science（计算机与数据科学学院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 研究通过对话机制探索具身智能体的世界模型对齐，发现对话能减少冲突但降低任务成功率，提出评估世界模型对齐的框架。

Medical world models: representing medical states, modelling clinical dynamics and guiding intervention policies

医疗世界模型：表示医疗状态、建模临床动态与指导干预策略

Ke Liu, Mengxuan Li, Yanyi Bao, Tianyun Zhang, Chong Chu, Jiajun Bu, Haishuai Wang

机构 * College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Medicine, Zhejiang University（浙江大学医学院） ； Department of Biomedical Informatics, Harvard University（哈佛大学生物医学信息学系） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出医疗世界模型框架，通过构建患者状态、建模临床动态和支持干预决策，推动医疗AI从静态诊断向动态模拟演进。

EV-WM: Event-Verified World Models for Long-Horizon Robotic Manipulation

EA-WM: 基于任务规范基础的事件感知世界模型用于长时域操作

Kailin Wang, Haoxiang Jie, Yaoyuan Yan, Jiacheng Zhou, Zhiyou Heng

机构 * AI Lab, Country Garden Services Group（碧桂园服务集团AI实验室） ； Fudan University（复旦大学） ； Omni AI 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 提出EA-WM框架，通过事件预测和验证增强预训练特征世界模型，实现长时域操作中任务进展信号的可靠评估与规划。

Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention

快速自回归视频扩散与世界模型：基于时间缓存压缩与稀疏注意力

Dvir Samuel, Issar Tzachor, Matan Levy, Michael Green, Gal Chechik, Rami Ben-Ari

机构 * Hebrew University of Jerusalem（特拉维夫大学） ； Google Research（谷歌研究） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 提出FAST-AR框架，通过TempCache压缩KV缓存、AnnCA加速交叉注意力、AnnSA稀疏化自注意力，实现自回归视频扩散模型5-10倍加速，同时保持视觉质量并稳定GPU内存使用。

Comments Accepted to ICML 2026. Project Page: https://dvirsamuel.github.io/fast-auto-regressive-video/

When and How Much to Imagine: Adaptive Test-Time Scaling with World Models for Visual Spatial Reasoning

何时想象以及想象多少：基于世界模型的自适应测试时缩放用于视觉空间推理

Shoubin Yu, Yue Zhang, Zun Wang, Jaehong Yoon, Huaxiu Yao, Mingyu Ding, Mohit Bansal

机构 * University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出自适应测试时框架AVIC/AVIC-R，通过世界模型选择性调用和缩放视觉想象，在空间推理中平衡准确性与效率，超越GPT-4o等基线。

Comments the first two authors are equally contributed. Project page: https://adaptive-visual-tts.github.io/

VRAG: Learning World Models for Interactive Video Generation

VRAG：面向交互式视频生成的世界模型学习

Taiye Chen, Xun Hu, Zihan Ding, Chi Jin

机构 * Peking University（北京大学） ； University of Oxford（牛津大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 针对自回归视频生成中累积误差和记忆机制不足的问题，提出视频检索增强生成（VRAG）方法，通过显式全局状态条件降低长期累积误差并提升时空一致性。

Comments Published at NeurIPS 2025. Project page: https://sites.google.com/view/vrag

Latent Video Prediction Learns Better World Models

潜在视频预测学习更好的世界模型

Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar

机构 * The University of Melbourne（墨尔本大学） ； Monash University（莫纳什大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文系统研究了潜在预测模型在世界模型中的鲁棒性，发现其在特征可区分性、抗污损性、细粒度辨别、遮挡鲁棒性和时间方向敏感性等方面表现优异，优于其他视频基础模型。

RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation

RoboWM-Bench：用于评估机器人操作中世界模型的基准

Feng Jiang, Yang Chen, Kyle Xu, Yuchen Liu, Haifeng Wang, Zhenhao Shen, Jasper Lu, Shengze Huang, Yuanfei Wang, Chen Xie, Ruihai Wu

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） ； Lightwheel 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出RoboWM-Bench，用于评估视频世界模型在机器人操作中的执行能力，发现视觉合理性与实际执行性不一致，并分析了影响执行性能的因素。

Infrastructure-Centric World Models: Bridging Temporal Depth and Spatial Breadth for Roadside Perception

以基础设施为中心的世界模型：弥合时间深度与空间广度以实现道路感知

Siyuan Meng, Chengbo Ai

机构 * Department of Civil and Environmental Engineering, University of Massachusetts Amherst（土木与环境工程系，马萨诸塞大学阿默斯特分校） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出以基础设施为中心的世界模型，通过时空互补性提升道路感知能力，提出三阶段框架和双层架构，结合多模态数据引擎和开放源代码基础，推动基础设施理解交通。

Comments 18 pages, 7 tables, 1 figure, vision paper

Rethinking Driving World Model as Synthetic Data Generator for Perception Tasks

重新思考驾驶世界模型作为感知任务的合成数据生成器

Kai Zeng, Zhanqian Wu, Kaixin Xiong, Xiaobao Wei, Xiangyu Guo, Zhenxin Zhu, Kalok Ho, Lijun Zhou, Bohan Zeng, Ming Lu, Haiyang Sun, Bing Wang, Guang Chen, Hangjun Ye, Wentao Zhang

机构 * Peking University（北京大学） ； Xiaomi EV（小米电动车） ； Huazhong University of Science and Technology（华中科技大学） ； Beijing Key Laboratory of Data Intelligence and Security (Peking University)（北京数据智能与安全重点实验室（北京大学）） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；driving world model(title,abstract)；world model(title,abstract)；driving world model(title,abstract)

AI总结 Dream4Drive通过生成高质量的合成数据提升自动驾驶感知任务性能

Journal ref ICLR 2026

Discrete World Models via Regularization

通过正则化构建离散世界模型

Davide Bizzaro, Luciano Serafini

机构 * University of Padua（帕多瓦大学） ； Fonadazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 DWMR通过正则化方法实现无监督布尔世界模型学习，提高表示准确性和转换性能。

Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments

为能够学习、验证和在动态环境中适应的智能体构建基础世界模型

Florent Delgrange

机构 * AI Lab, Vrije Universiteit Brussel \& Flanders Make Brussels Belgium ； AI Lab, Vrije Universiteit Brussel \& Flanders Make 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出基础世界模型，通过可学习奖励模型、自适应形式验证、在线抽象校准和测试时合成，使智能体在动态环境中可靠学习、验证和适应。

Comments AAMAS 2026, Blue Sky Idea Track. 4 pages, 1 Figure

PhysicsMind: Sim and Real Mechanics Benchmarking for Physical Reasoning and Prediction in Foundational VLMs and World Models

PhysicsMind: 为基础多模态大语言模型和世界模型中的物理推理和预测进行仿真与现实力学基准测试

Chak-Wing Mak, Guanyu Zhu, Boyi Zhang, Hongji Li, Xiaowei Chi, Kevin Zhang, Yichen Wu, Yangfan He, Chun-Kai Fan, Wentao Lu, Kuangzhi Ge, Xinyu Fang, Hongyang He, Kuan Lu, Tianxiang Xu, Li Zhang, Yongxin Ni, Youhua Li, Shanghang Zhang

机构 * Peking University（北京大学） ； Mohamed bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能学院） ； National University of Singapore（新加坡国立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Science and Technology of China（中国科学技术大学） ； Cornell University（康奈尔大学） ； Hong Kong Polytechnic University（香港理工大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 PhysicsMind是一个结合现实和仿真环境的统一基准，用于评估基础多模态大语言模型和世界模型在物理推理和预测中的能力。

Understanding World or Predicting Future? A Comprehensive Survey of World Models

理解世界还是预测未来？世界模型的全面综述

Jingtao Ding, Yunke Zhang, Yu Shang, Jie Feng, Yuheng Zhang, Zefang Zong, Yuan Yuan, Hongyuan Su, Nian Li, Jinghua Piao, Yucheng Deng, Nicholas Sukiennik, Chen Gao, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（电子工程系，信息科学与技术国家研究中心（BNRist），清华大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文综述了世界模型在理解与预测方面的功能，探讨了其在多个领域的应用及未来研究方向。

Comments Extended version of the original ACM CSUR paper, 49 pages, 6 figures, 8 tables

Other Vehicle Trajectories Are Also Needed: A Driving World Model Unifies Ego-Other Vehicle Trajectories in Video Latent Space

Jian Zhu, Zhengyu Jia, Tian Gao, Jiaxin Deng, Shidi Li, Lang Zhang, Fu Liu, Peng Jia, Xianpeng Lang

机构 * Project Leader（项目负责人） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；driving world model(title,abstract)；world model(title,abstract)；driving world model(title,abstract)

Comments 8 pages, 7 figures

Generative World Models of Tasks: LLM-Driven Hierarchical Scaffolding for Embodied Agents

Brennen Hill

机构 * Department of Computer Science University of Wisconsin-Madison（计算机科学系威斯康星大学麦迪逊分校） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments In the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Embodied World Models for Decision Making (EWM)

FOLIAGE: Towards Physical Intelligence World Models Via Unbounded Surface Evolution

Xiaoyi Liu, Hao Tang

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control

Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； Li Auto Inc.（利亚德公司） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；driving world model(title,abstract)；world model(title,abstract)；driving world model(title,abstract)

Comments code will be released at https://github.com/antonioo-c/GeoDrive

WorldModelBench: Judging Video Generation Models As World Models

Dacheng Li, Yunhao Fang, Yukang Chen, Shuo Yang, Shiyi Cao, Justin Wong, Michael Luo, Xiaolong Wang, Hongxu Yin, Joseph E. Gonzalez, Ion Stoica, Song Han, Yao Lu

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability

Shenyuan Gao, Jiazhi Yang, Li Chen, Kashyap Chitta, Yihang Qiu, Andreas Geiger, Jun Zhang, Hongyang Li

专题命中 通用世界模型 ：world model(title,abstract)；driving world model(title,abstract)；world model(title,abstract)；driving world model(title,abstract)

Comments NeurIPS 2024. Code and model: https://github.com/OpenDriveLab/Vista, demo page: https://vista-demo.github.io

DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model

Yuqi Wang, Ke Cheng, Jiawei He, Qitai Wang, Hengchen Dai, Yuntao Chen, Fei Xia, Zhaoxiang Zhang

专题命中 通用世界模型 ：world model(title,abstract)；driving world model(title,abstract)；world model(title,abstract)；driving world model(title,abstract)

Comments Accepted to NeurIPS 2024. Project page: https://drivingdojo.github.io/

Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning

Jialong Wu, Haoyu Ma, Chaoyi Deng, Mingsheng Long

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments NeurIPS 2023. Code is available at https://github.com/thuml/ContextWM

Predicting Closed-Loop Performance of Latent World Models: Offline Checkpoint Selection for MPC and Model-Based RL Under Non-Markovian Rewards in LunarLander

预测潜在世界模型的闭环性能：用于MPC和基于模型的强化学习的离线检查点选择，在非马尔可夫奖励的LunarLander中

Nikolai Smolyanskiy

专题命中 通用世界模型 ：world model(title,abstract)；world models(title)；world model(title,abstract)；world models(title)

AI总结 提出一套基于最优控制理论的结构化验证时诊断指标，用于从离线检查点中预测潜在世界模型的闭环性能，其中复合奖励可观测性分数（CROF）在LunarLander任务上有效选择检查点，显著提升MPC和基于模型的强化学习性能。

Comments Preprint, 19 pages (16 main text + 3 pages appendix), 7 figures, 4 tables. Video: https://youtu.be/4PxHFW_TYUw , Code: https://github.com/nsmoly/LunarLander_RSSM

Where World Models Break: Natural-Input Failure Discovery

世界模型何时失效：自然输入的故障发现

Zhanpeng Shi, Zi Liang, Rong Feng, Shiqin Tang, Xuyang Chen, Hongzong Li

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） ； The Hong Kong Polytechnic University（香港理工大学） ； City University of Hong Kong（香港城市大学） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系） ； Generative AI Research and Development Center, The Hong Kong University of Science and Technology（香港科技大学生成式人工智能研发中心） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文针对现有世界模型评估忽略灾难性故障风险的问题，提出 BasinLens 方法，可在有限查询预算下发现自然输入引发的可复现、局部持续的世界模型故障，暴露常规基准未覆盖的漏洞。

Reinforced Planning with Latent World Models

基于潜世界模型的强化规划

Armin Sommer, Jannik Schilling

机构 * Pantheon Industries（万神殿工业公司） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 该研究提出RP1方法，将良好搜索规则强化到神经规划器中，可改进多步计划，在多个机器人任务中性能优于手工搜索算法，且效率更高。

Comments Preprint

WorldBench: Benchmarking Physical Understanding of World Models by Isolating Physics Concepts

WorldBench: 为世界模型诊断评估进行物理辨析

Rishi Upadhyay, Howard Zhang, Jim Solomon, Ayush Agrawal, Yunhao Ba, Alex Wong, Celso M de Melo, Achuta Kadambi

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Sony AI（索尼人工智能） ； Yale University（耶鲁大学） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 WorldBench通过概念特定的解耦评估，提升世界模型的物理推理能力评估的准确性和可扩展性。

Comments Webpage: https://world-bench.github.io/

PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives

PlayWorld：基于智能体玩家的长程目标世界模型基准测试

Kaixin Ding, Xi Chen, Minghong Cai, Zhiyuan Xu, Yiyang Wang, Yuxiang Lu, Junyi Li, Shuyang Chen, Yuan Gao, Xin Tao, Pengfei Wan, Hengshuang Zhao

机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 该研究针对现有世界模型跨模型公平比较的难题，推出含171个场景的PlayWorld基准，通过多模态智能体玩家从多维度评估9种先进世界模型，发现其长程交互式目标表现仍不可靠。

Comments project page: https://kxding.github.io/project/PlayWorld/

MASS: Multiplayer World Models with Authoritative Shared State

MASS：具有权威共享状态的多人世界模型

Ziqi Cai, Siqi Yang, Yimu Wang, Zixian Gao, Yunheng Liu, Shuchen Weng, Erwin Wu, Kaipeng Zhang, Boxin Shi

机构 * Alaya Lab（Alaya实验室） ； Peking University（北京大学） ； Institute of Science Tokyo（东京科学大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 该研究提出MASS模型，通过将世界动态与视图渲染解耦，解决现有视频世界模型在多人环境中的缺陷，在多人Snake基准测试中实现更优状态精度，为多智能体世界模拟提供实用基础。

Comments Project Page: https://alaya-lab.github.io/MASS/