世界模型

Weakly-supervised Latent Models for Task-specific Visual-Language Control

弱监督潜在模型用于任务特定的视觉语言控制

Xian Yeow Lee, Lasitha Vidyaratne, Gregory Sin, Ahmed Farahat, Chetan Gupta

机构 * Industrial AI Lab, Hitachi America, Ltd.（日立美国有限公司工业人工智能实验室） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

AI总结 本文提出了一种任务特定的潜在动态模型，利用目标状态监督学习动作诱导位移，以提高空间定位任务中的视觉语言控制性能。

Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling

Haoyu Wu, Diankun Wu, Tianyu He, Junliang Guo, Yang Ye, Yueqi Duan, Jiang Bian

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.CV

Comments 18 pages, project page: https://GeometryForcing.github.io

CQM: Curriculum Reinforcement Learning with a Quantized World Model

Seungjae Lee, Daesol Cho, Jonghae Park, H. Jin Kim

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.LG

Comments Accepted to NeurIPS 2023

Uncertainty-aware hybrid paradigm of nonlinear MPC and model-based RL for offroad navigation: Exploration of transformers in the predictive model

Faraz Lotfi, Khalil Virji, Farnoosh Faraji, Lucas Berry, Andrew Holliday, David Meger, Gregory Dudek

专题命中 通用世界模型 ：model-based RL(title,abstract)；predictive model(title,abstract)；environment model(abstract)；model-based reinforcement learning(abstract)

Learning Robust Dynamics through Variational Sparse Gating

Arnav Kumar Jain, Shivakanth Sujit, Shruti Joshi, Vincent Michalski, Danijar Hafner, Samira Ebrahimi-Kahou

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial Connector Insertion

Ryo Okumura, Nobuki Nishio, Tadahiro Taniguchi

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

Comments 7 pages, 4 figures

Multi-View Dreaming: Multi-View World Model with Contrastive Learning

Akira Kinose, Masashi Okada, Ryo Okumura, Tadahiro Taniguchi

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.RO

Comments 7 pages, 8 figures

Maintaining a Reliable World Model using Action-aware Perceptual Anchoring

Ying Siu Liang, Dongkyu Choi, Kenneth Kwok

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV、cs.RO

Comments 7 pages, 3 figures

Journal ref 2021 International Conference on Robotics and Automation (ICRA 2021)

AlayaWorld: Interactive Long-Horizon World Modeling - Full Technical Report (v1.1)

AlayaWorld：交互式长时世界建模——完整技术报告（v1.1）

AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Mingliang Zhai, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao

机构 * Alaya Lab（Alaya实验室） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI

AI总结 本报告改进AlayaWorld，通过调整条件信号设计等六项修改优化交互式长时世界建模，保留原有架构等核心部分。

Comments Authors are listed alphabetically by the first name and their role. See the contribution section for details

MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

MemoBench: 动态变化环境中的世界建模基准测试

Haoyu Chen, Kaichen Zhou, Hang Hua, Kaile Zhang, Jingwen Qian, Wufei Ma, Haonan Chen, Chunjiang Liu, Yizhou Zhao, Xiaoyuan Wang, Weiyue Li, Alan Yuille, Paul Pu Liang, Yilun Du

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Boston University（波士顿大学） ； Google（谷歌） ； JHU（约翰霍普金斯大学） ； CMU（卡内基梅隆大学） ； Kempner Institute（肯普纳研究所） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

AI总结 提出MemoBench基准，通过目标消失-重现范式评估视频生成模型在动态环境中的记忆一致性，涵盖合成与真实场景，揭示现有模型的关键挑战。

Reinforcement Learning with a Bilevel World-Model Architecture for Scan-Order Optimisation in Laser Directed Energy Deposition

激光增材制造扫描顺序优化的强化学习：用于奖励和世界模型诊断的双层代理-有限元分析诊断框架

Xian Wu, Haoran Li, Yuanqi Chu, Dongbin Zhao, Bin Wang

机构 * College of Engineering, Design and Physical Sciences, Brunel University London（布鲁内尔大学伦敦工程、设计与物理科学学院） ； Pattern Recognition Laboratory, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别实验室） ； ISIS Neutron and Muon Source, Science and Technology Facilities Council, Rutherford Appleton Laboratory（Rutherford Appleton实验室，科学与技术设施委员会ISIS中子与μ子源） 纠错

专题命中 通用世界模型 ：world-model(title)；world-model(title)；分类 cs.LG

AI总结 本文提出一个双层代理-有限元分析诊断框架，通过轻量代理和稀疏有限元模拟，诊断强化学习在激光增材制造扫描顺序优化中的奖励和世界模型保真度问题。

Comments 31 pages, 7 figures, 3 tables

Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling

新时代的视觉生成：从原子映射到智能世界建模的演进

Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang, Haonan Wang, Hang Zhou, Yifan Pu, Xingxuan Li, Fangneng Zhan, Bo Li, Lidong Bing, Yuxin Song, Ziwei Liu, Wenhu Chen, Jingdong Wang, Xinchao Wang, Xiaojuan Qi, Shijian Lu, Bin Wang

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； University of Hong Kong（香港大学） ； National University of Singapore（新加坡国立大学） ； University of Waterloo（滑铁卢大学） ； StepFun ； MiroMind ； Baidu（百度） ； Fudan University（复旦大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

AI总结 提出五级分类法（原子生成、条件生成、上下文生成、智能生成、世界建模生成），分析流匹配、统一理解与生成模型等关键技术，并指出现有评估高估感知质量而忽视结构、时序和因果缺陷。

Comments Project Page: https://github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation

From Static Risk to Dynamic Trajectories: Toward World-Model-Inspired Clinical Prediction

从静态风险到动态轨迹：迈向世界模型启发的临床预测

Pujun Feng, Xiaoyu Guo, Seyed Ehsan Saffari, Min Hun Lee, Siew-Kei Lam, Erik Cambria, Xibin Sun, Yangtao Zhou, Tong Yang, Xiaoyu Zhang, Tao Tan, Yue Sun, Bin Cui

机构 * Faculty of Applied Sciences, Macao Polytechnic University（澳门理工学院应用科学学院） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息系统学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Public Health, Peking University（北京大学公共卫生学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； School of Computer, Peking University（北京大学计算机学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Centre for Biomedical Data Science, Duke-NUS Medical School, National University of Singapore（新加坡国立大学杜克-国立新加坡医学学院生物医学数据科学中心） ； Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School（杜克-国立新加坡医学学院AI+医学科学计划） 纠错

专题命中 通用世界模型 ：world-model(title)；world-model(title)；分类 cs.AI

AI总结 本文探讨了临床AI中干预感知的疾病轨迹建模方法，提出了统一框架，结合了预测、反事实轨迹和政策评估，以解决治疗分配、时间变化混杂和观察偏差问题，推动临床预测向决策级证据发展。

Express Your Doubts -- Probabilistic World Modeling Should not be Based on Token logprobs

表达怀疑——概率世界建模不应基于token logprobs

Eitan Wagner, Omri Abend

机构 * Eitan Wagner ； Omri Abend 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI

AI总结 本文探讨了大型语言模型作为概率估计器在世界概率估计中的应用问题，指出基于token logprobs的局限性，并提倡第二阶预测方法以提高概率合理性。

Comments Accepted to ICML 2026 (position track)

SparseWorld-TC: Trajectory-Conditioned Sparse Occupancy World Model

SparseWorld-TC: 基于轨迹的稀疏占用世界模型

Jiayuan Du, Yiming Zhao, Zhenglong Guo, Yong Pan, Wenbo Hou, Zhihui Hao, Kun Zhan, Qijun Chen

机构 * Tongji University（同济大学） ； Li Auto Inc（力汽车公司） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

AI总结 本文提出了一种基于轨迹的未来3D场景占用预测新架构，通过端到端方式直接从原始图像特征预测多帧占用，避免了离散token化和BEV表示的限制，实现了nuScenes基准上的1-3秒占用预测最优性能。

Comments Accepted by CVPR2026 as an oral

VoxelCodeBench: Benchmarking 3D World Modeling Through Code Generation

VoxelCodeBench：通过代码生成进行3D世界建模的基准测试

Yan Zheng, Florian Bordes

机构 * FAIR at Meta（Meta FAIR） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.LG

AI总结 本文提出VoxelCodeBench基准，通过代码生成评估3D空间推理能力，发现生成可执行代码易，但生成空间正确输出难，尤其在几何构造和多物体组合上挑战大。

FOCUS: Optimal Control for Multi-Entity World Modeling in Text-to-Image Generation

FOCUS：多实体世界建模中的最优控制

Eric Tillmann Bill, Enis Simsar, Thomas Hofmann

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

AI总结 本文提出FOCUS框架，通过将流匹配转化为随机最优控制，解决文本生成图像中多实体场景的属性泄露和身份纠缠问题，提出两种算法提升多实体对齐性能。

Comments Project Page: https://ericbill21.github.io/FOCUS/

Hierarchical Latent Action Model

层次化潜在动作模型

Hanjung Kim, Lerrel Pinto, Seon Joo Kim

机构 * Yonsei University（延世大学） ； New York University（纽约大学） 纠错

专题命中 通用世界模型 ：world model(abstract,comments)；world models(abstract,comments)；world model(abstract,comments)；world models(abstract,comments)

AI总结 HiLAM通过建模长期时间信息，从无动作视频中发现高层次潜在技能，提升了动态技能发现的鲁棒性。

Comments ICLR 2026 Workshop - 2nd Workshop on World Models: Understanding, Modelling and Scaling

Martian World Model: Controllable Video Synthesis with Physically Accurate 3D Reconstructions

火星世界模型：可控视频合成与物理准确的3D重建

Longfei Li, Zhiwen Fan, Wenyan Cong, Xinhang Liu, Yuyang Yin, Matt Foutter, Panwang Pan, Chenyu You, Yue Wang, Zhangyang Wang, Yao Zhao, Marco Pavone, Yunchao Wei

机构 * BJTU（北京工业大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； HKUST（香港科技大学） ； Stanford University（斯坦福大学） ； XMU（厦门大学） ； SBU（雪城大学） ； USC（南加州大学） ； NVIDIA（英伟达） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

AI总结 本文提出M3arsSynth和MarsGen，通过物理准确的3D重建生成逼真的火星视频，提升任务模拟与机器人训练的可视化效果。

Comments Project Page: https://marsgenai.github.io

3D4D: An Interactive, Editable, 4D World Model via 3D Video Generation

Yunhong He, Zhengqing Yuan, Zhengzhong Tu, Yanfang Ye, Lichao Sun

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

Comments Accepted by AAAI 2026 Demo Track

Generalized Dynamics Generation towards Scannable Physical World Model

Yichen Li, Zhiyi Li, Brandon Feng, Dinghuai Zhang, Antonio Torralba

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Microsoft（微软公司） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

Tracking World States with Language Models: State-Based Evaluation Using Chess

Romain Harang, Jason Naradowsky, Yaswitha Gujju, Yusuke Miyao

机构 * University of Tokyo（东京大学） 纠错

专题命中 通用世界模型 ：world model(abstract,comments)；world models(abstract,comments)；world model(abstract,comments)；world models(abstract,comments)

Comments Spotlight presentation at ICML 2025 Workshop on Assessing World Models

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI

Comments Website: https://mcp-universe.github.io

TD-MPC-Opt: Distilling Model-Based Multi-Task Reinforcement Learning Agents

Dmytro Kuzmenko, Nadiya Shvai

机构 * Department of Multimedia Systems, NaUKMA（多媒体系统系，NaUKMA） ； Department of Mathematics, NaUKMA（数学系，NaUKMA） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

Comments Preprint of a manuscript submitted for peer review

Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins

Chuanruo Ning, Kuan Fang, Wei-Chiu Ma

机构 * Cornell University（康奈尔大学） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.RO

StoryWeaver: A Unified World Model for Knowledge-Enhanced Story Character Customization

Jinlu Zhang, Jiji Tang, Rongsheng Zhang, Tangjie Lv, Xiaoshuai Sun

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV

World Model on Million-Length Video And Language With Blockwise RingAttention

Hao Liu, Wilson Yan, Matei Zaharia, Pieter Abbeel

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.LG

Bounded Exploration with World Model Uncertainty in Soft Actor-Critic Reinforcement Learning Algorithm

Ting Qiao, Henry Williams, David Valencia, Bruce MacDonald

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.LG

Comments 8 pages, 7 figures. Accepted as a poster presentation in the Australian Robotics and Automation Association (2023)

Journal ref ISBN: 978-0-6455655-2-2 ISSN: 1448-2053

The brain versus AI: World-model-based versatile circuit computation underlying diverse functions in the neocortex and cerebellum

Shogo Ohmae, Keiko Ohmae

专题命中 通用世界模型 ：world-model(title)；world-model(title)；分类 cs.AI

DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting

Eric Hanchen Jiang, Zhi Zhang, Dinghuai Zhang, Andrew Lizarraga, Chenheng Xu, Yasi Zhang, Siyan Zhao, Zhengjie Xu, Peiyu Yu, Yuer Tang, Deqian Kong, Ying Nian Wu

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)