世界模型

Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics

混合世界模型：通过模块化潜在动态扩展多任务强化学习

Boxuan Zhang, Weipu Zhang, Zhaohan Feng, Wei Xiao, Jian Sun, Jie Chen, Gang Wang

机构 * School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； Jiangxing Intelligence Inc.（江行智能有限公司） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 混合世界模型通过模块化架构和任务聚类策略，在多任务强化学习中实现了高效的参数利用和样本效率，展示了在Atari和Meta-World基准上的卓越性能。

The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey

世界模型在塑造自动驾驶中的作用：全面综述

Sifan Tu, Xin Zhou, Dingkang Liang, Xingyu Jiang, Yumeng Zhang, Xiaofan Li, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Baidu Inc（百度公司） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title)；world model(title,abstract)；world models(title)

AI总结 本文综述了驾驶世界模型在自动驾驶中的作用，分析了其生态系统、分类方法及性能表现，探讨了当前研究的局限性与未来发展方向。

Comments For continuous updates, please follow the repository: https://github.com/LMD0311/Awesome-World-Model

From Perception to Action: Spatial AI Agents and World Models

从感知到行动：空间AI代理与世界模型

Gloria Felicia, Nolan Bryant, Handi Putra, Ayaan Gazali, Eliel Lobo, Esteban Rojas

机构 * AtlasPro AI 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出了一种统一的三轴分类法，将代理能力与空间任务联系起来，强调空间定位与符号定位的区别，并指出世界模型对跨尺度安全部署的重要性。

Comments 61 pages, 742 citations, 1 figure, 3 tables. Survey paper on spatial AI agents, embodied AI, graph neural networks, and world models

DISK: Dynamic Inference SKipping for World Models

DISK：用于世界模型的动态推理跳过

Anugunj Naman, Gaibo Zhang, Ayushman Singh, Yaguang Zhang

机构 * Purdue University, West Lafayette, United States（普渡大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 DISK通过动态推理跳过技术，在无需训练的情况下提升自回归世界模型的视频和轨迹预测效率，同时保持预测精度和视觉质量。

Parallel Stochastic Gradient-Based Planning for World Models

并行随机梯度规划用于世界模型

Michael Psenka, Michael Rabbat, Aditi Krishnapriyan, Yann LeCun, Amir Bar

机构 * University of California, Berkeley（加州大学伯克利分校） ； Meta FAIR ； New York University（纽约大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 GRASP是一种基于世界模型的并行随机梯度规划方法，通过引入随机性和软约束，有效解决长时间跨度的控制任务，优于现有规划算法。

Comments 23 pages, 7 figures

Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks

世界模型的研究并非仅仅是将世界知识注入特定任务

Bohan Zeng, Kaixin Zhu, Daili Hua, Bozhou Li, Chengzhuo Tong, Yuran Wang, Xinyi Huang, Yifan Dai, Zixiang Zhang, Yifan Yang, Zhou Liu, Hao Liang, Xiaochen Ma, Ruichuan An, Tianyi Bai, Hongcheng Gao, Junbo Niu, Yang Shi, Xinlong Chen, Yue Ding, Minglei Shi, Kai Zeng, Yiwen Tang, Yuanxing Zhang, Pengfei Wan, Xintao Wang, Wentao Zhang

机构 * Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出统一的世界模型设计规范，强调其应整合交互、感知、符号推理和空间表示，以实现更通用和稳健的世界模型。

Comments 13 pages, 4 figures

World Models as an Intermediary between Agents and the Real World

世界模型作为智能体与现实世界之间的中介

Sherry Yang

机构 * New York University（纽约大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出利用世界模型作为中介，以解决高成本领域中智能体性能提升的瓶颈问题，通过动态、奖励和任务分布模型克服样本效率低和非策略学习的挑战。

SafePred: A Predictive Guardrail for Computer-Using Agents via World Models

SafePred: 通过世界模型为计算机使用代理构建一种预测性防护措施

Yurun Chen, Zeyi Liao, Ping Yin, Taotao Xie, Keting Yin, Shengyu Zhang

机构 * Zhejiang University, China（浙江大学） ； The Ohio State University, USA（俄亥俄州立大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title)；world model(title,abstract)；world models(title)

AI总结 SafePred通过世界模型预测未来风险，构建风险到决策的循环，提升计算机使用代理的安全性和任务效率。

World-Gymnast: Training Robots with Reinforcement Learning in a World Model

World-Gymnast: 在世界模型中用强化学习训练机器人

Ansh Kumar Sharma, Yixiang Sun, Ninghao Lu, Yunzhe Zhang, Jiarao Liu, Sherry Yang

机构 * New York University（纽约大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world model(title,abstract)；world models(abstract)；video world model(abstract)

AI总结 World-Gymnast通过在世界模型中进行强化学习微调，有效提升真实机器人性能，比监督学习和软件模拟更具优势。

Comments https://world-gymnast.github.io/

An Empirical Study of World Model Quantization

世界模型量化经验研究

Zhongqian Fu, Tianyi Zhao, Kai Han, Hang Zhou, Xinghao Chen, Yunhe Wang

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world model(title,abstract)；world models(abstract)；world models(abstract)

AI总结 本研究通过DINO-WM案例系统探讨世界模型量化的影响，发现量化方法对模型稳定性、精度和任务成功率有显著影响，揭示了不同量化策略下的失败模式及部署指导。

UniDriveDreamer: A Single-Stage Multimodal World Model for Autonomous Driving

UniDriveDreamer: 一种用于自动驾驶的单阶段多模态世界模型

Guosheng Zhao, Yaozeng Wang, Xiaofeng Wang, Zheng Zhu, Tingdong Yu, Guan Huang, Yongchen Zai, Ji Jiao, Changliang Xue, Xiaole Wang, Zhen Yang, Futang Zhu, Xingang Wang

机构 * GigaAI ； CASIA ； BYD 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world model(title,abstract)；world models(abstract)；world models(abstract)

AI总结 UniDriveDreamer是一种用于自动驾驶的单阶段多模态世界模型，通过统一的多模态生成方法提升视频和激光雷达数据合成的性能。

Comments 16 pages, 7 figures

Mirage2Matter: A Physically Grounded Gaussian World Model from Video

Mirage2Matter: 从视频构建一个物理基础的高斯世界模型

Zhengqing Gao, Ziwen Li, Xin Wang, Jiaxin Huang, Zhenyang Ren, Mingkai Shao, Hanlue Zhang, Tianyu Huang, Yongkang Cheng, Yandong Guo, Runqi Lin, Yuanyuan Wang, Tongliang Liu, Kun Zhang, Mingming Gong

机构 * MBZUAI ； AI$^2$Robotics（AI²Robotics） ； The University of Sydney（悉尼大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world model(title,abstract)；分类 cs.AI、cs.CV

AI总结 Mirage2Matter通过视频重建物理基础的世界模型，利用3D高斯点云和生成模型实现高保真具身训练数据生成，提升具身智能的可扩展性和实用性。

NetWorld: Communication-Based Diffusion World Model for Multi-Agent Reinforcement Learning in Wireless Networks

NetWorld: 基于通信的扩散世界模型用于无线网络中的多智能体强化学习

Kechen Meng, Rongpeng Li, Yansha Deng, Zhifeng Zhao, Honggang Zhang

专题命中 通用世界模型 ：world model(title,abstract)；world model(title,abstract)；dynamics model(abstract)

AI总结 NetWorld通过通信增强的扩散世界模型，实现无线网络中多智能体强化学习的少样本泛化和高效轨迹规划。

Scalable Generative Game Engine: Breaking the Resolution Wall via Hardware-Algorithm Co-Design

可扩展的生成游戏引擎：通过硬件-算法协同设计突破分辨率限制

Wei Zeng, Xuchen Li, Ruili Feng, Zhen Liu, Fengwei An, Jian Zhao

机构 * School of Microelectronics, Southern University of Science and Technology (SUSTech)（南方科技大学电子学院） ； Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； University of Waterloo（滑铁卢大学） ； School of Marxism, Tsinghua University（清华大学马克思主义学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

AI总结 本文提出硬件-算法协同设计框架，通过优化资源分配和减少内存带宽使用，实现高分辨率实时生成游戏，提升像素吞吐量50倍，达到26.4 FPS和48.3 FPS的流畅性能。

Comments Preprint, Under Review

InterDreamer: Zero-Shot Text to 3D Dynamic Human-Object Interaction

InterDreamer: 零样本文本到3D动态人-物交互

Sirui Xu, Ziyin Wang, Yu-Xiong Wang, Liang-Yan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV

AI总结 InterDreamer通过结合预训练模型和物理模拟，实现零样本生成3D动态人-物交互。

Comments NeurIPS 2024. Project Page: https://sirui-xu.github.io/InterDreamer/

Choice-Model-Assisted Q-learning for Delayed-Feedback Revenue Management

基于选择模型的Q学习用于延迟反馈收益管理

Owen Shen, Patrick Jaillet

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 本文提出基于选择模型的Q学习方法，用于解决延迟反馈下的收益管理问题，通过部分世界模型提升决策鲁棒性并减少偏差。

HueManity: Probing Fine-Grained Visual Perception in MLLMs

HueManity: 探索 MLLMs 中的细粒度视觉感知

Rynaa Grover, Jayant Sravan Tamarapalli, Sahiti Yerramilli, Nilay Pande

机构 * Google（谷歌） ； Waymo 纠错

专题命中 通用世界模型 ：world model(journal_ref)；world models(journal_ref)；分类 cs.AI、cs.LG、cs.CV；world model(journal_ref)

AI总结 HueManity 通过细粒度视觉感知基准测试揭示 MLLMs 在捕捉细粒度视觉细节方面的显著缺陷。

Journal ref ICML 2025 Workshop on Assessing World Models

LatentTrack: Sequential Weight Generation via Latent Filtering

LatentTrack: 通过潜在过滤实现序列权重生成

Omer Haq

机构 * Independent Researcher, Baltimore, MD, USA（独立研究者） 纠错

专题命中 通用世界模型 ：latent dynamics(abstract)；分类 cs.AI、cs.LG、cs.RO；predictive model(abstract)

AI总结 LatentTrack通过潜在过滤实现序列权重生成，利用轻量级超网络在低维潜在空间中进行因果贝叶斯过滤，有效应对非平稳动态下的分布偏移问题。