arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

共收录 6482 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 4334 篇

2405.04390 2024-05-08 cs.CV 93%

DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving

Chen Min, Dawei Zhao, Liang Xiao, Jian Zhao, Xinli Xu, Zheng Zhu, Lei Jin, Jianshu Li, Yulan Guo, Junliang Xing, Liping Jing, Yiming Nie, Bin Dai

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Accepted by CVPR2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2306.11335 2024-03-21 cs.RO cs.AI cs.CV cs.LG 93%

Surfer: Progressive Reasoning with World Models for Robotic Manipulation

Pengzhen Ren, Kaidong Zhang, Hetao Zheng, Zixuan Li, Yuhang Wen, Fengda Zhu, Mas Ma, Xiaodan Liang

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2310.09615 2023-12-27 cs.LG 93%

STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning

Weipu Zhang, Gang Wang, Jian Sun, Yetian Yuan, Gao Huang

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2205.01435 2022-05-11 cs.LG 93%

RLFlow: Optimising Neural Network Subgraph Transformation with World Models

Sean Parker, Sami Alabed, Eiko Yoneki

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments 14 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2110.09514 2021-10-19 cs.LG cs.AI cs.CV cs.RO stat.ML 93%

Discovering and Achieving Goals via World Models

Russell Mendonca, Oleh Rybkin, Kostas Daniilidis, Danijar Hafner, Deepak Pathak

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments NeurIPS 2021. First two authors contributed equally. Website at https://orybkin.github.io/lexa/

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.04553 2026-03-06 cs.LG 93%

Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling

潜在粒子世界模型:自监督的以对象为中心的随机动态建模

Tal Daniel, Carl Qi, Dan Haramati, Amir Zadeh, Chuan Li, Aviv Tamar, Deepak Pathak, David Held

机构 * Carnegie Mellon University(卡内基梅隆大学) UT Austin(德克萨斯大学奥斯汀分校) Brown University(布朗大学) Lambda Technion(技术学院)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 LPWM通过自监督学习实现现实世界多对象数据的随机动态建模,并在决策制定中展现卓越性能。

Comments ICLR 2026 Oral. Project webpage: https://taldatech.github.io/lpwm-web

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08713 2026-08-19 cs.AI cs.CV cs.RO 版本更新 93%

Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight

通过记忆增强的规划和前瞻性构建视觉导航的统一世界模型

Yifei Dong, Fengyi Wu, Guangyu Chen, Lingdong Kong, Qiyu Hu, Yuxuan Zhou, Xu Zhu, Jingdong Sun, Jun-Yan He, Qi Dai, Alexander G. Hauptmann, Zhi-Qi Cheng

机构 * University of Washington(华盛顿大学) National University of Singapore(新加坡国立大学) Apple(苹果公司) Microsoft Research(微软研究院) Carnegie Mellon University(卡内基梅隆大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出UniWM,一种整合视觉前瞻性与规划的统一世界模型,通过记忆机制提升导航鲁棒性和泛化能力,在多个基准测试中显著提升导航成功率。

Comments Accepted to ECCV 2026. 22 pages, 12 figures, code: https://github.com/UWMILab/UniWM

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13438 2026-08-14 cs.RO cs.AI cs.CV 新提交 93%

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

ContactGuard:基于动作条件潜世界模型的接触前执行监控器

Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

机构 * College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院) School of Computer Science, The University of Sydney(悉尼大学计算机学院) Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 ContactGuard是基于动作条件潜世界模型的接触前执行监控器,通过预测接触前动作的潜态后果判断是否失败,能准确预测接触型操纵任务失败,可迁移至真实机器人且无需修改底层策略。

Comments 14 pages, 5 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20653 2026-07-24 cs.RO cs.CV cs.LG 新提交 93%

PhysCoRe: Physics-Corrected Residual World Models for Material-Aware Deformable Dynamics

PhysCoRe:用于材料感知可变形动力学的物理校正残差世界模型

Haocheng Yin, Shuohan Tao, Yongsheng Chen, Lu Gan

机构 * Georgia Institute of Technology(佐治亚理工学院)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 针对可变形物体操作演变预测难题,提出PhysCoRe模型,结合可微MPM模拟器与两个前馈神经网络,通过MfM和RfD模块实现物理校正与残差学习,提升预测精度,其置信度分布为未来探索提供信号。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02154 2026-07-03 cond-mat.stat-mech 新提交 93%

Path-Measure Dynamics of Attention-Driven World Models: A Nonlocal Onsager--Machlup Approach

注意力驱动世界模型的路径测度动力学:非局部Onsager-Machlup方法

Gunn Kim

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文通过非局部Onsager-Machlup作用量研究注意力引入记忆导致的非马尔可夫潜动力学,证明路径测度是隐线性马尔可夫增广的投影,并建立短记忆极限下的局部理论。

Comments 8 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21672 2026-06-23 cs.RO cs.AI cs.LG 新提交 93%

Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models

使用基于接地潜在动作世界模型的异构演示模仿学习

Tianyou Wang, Anson Lei, Joe Watson, Ingmar Posner

机构 * University of Oxford(牛津大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 提出GLAM方法,通过共享潜在动作空间对齐异构数据源,学习接地潜在动作世界模型,在数据稀缺时提升模仿学习性能,平均任务成功率提高48%。

Comments 17 pages, 8 figures. Project page: https://viccccciv.github.io/glam/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20764 2026-06-23 cs.CV cs.AI cs.GR cs.LG 新提交 93%

One Image is All You Need: Agentic One-Shot Image Generation via Text-Based World Models for Long-Tail Spatial Perception

一图足矣:基于文本世界模型的智能体单样本图像生成用于长尾空间感知

Keqin Zeng, Shuting Su, Shihao Lin, Ziyue Li, Rui Zhao

机构 * Tsinghua University(清华大学) SenseTime Research(商汤科技研究院) Sun Yat-Sen University(中山大学) Technical University of Munich(慕尼黑工业大学) Heilbronn Data Science Center(海尔布隆数据科学中心) Munich Data Institute(慕尼黑数据研究所)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 提出WMGen-v1框架,利用单张参考图像通过LVLM构建结构化场景表示,LLM进行物理合理的场景扩展,再由扩散模型生成多样化的长尾训练数据,缓解空间感知中的数据稀缺问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15594 2026-06-16 cs.RO cs.AI cs.CV cs.LG cs.SY eess.SY 新提交 93%

Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC

从像素到证明:通过并行保形鲁棒MPC实现概率安全的潜在世界模型控制

Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

机构 * Georgia Institute of Technology(佐治亚理工学院)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world-model(abstract)

AI总结 提出SLS^2框架,结合保形预测与鲁棒模型预测控制,在学习的潜在世界模型中实现基于视觉的安全运动规划,提升目标到达性能与安全性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11618 2026-06-11 cs.IT math.IT 新提交 93%

Vision-Language-Action Models Meet World Models: Embodied Agentic AI for Low-Altitude Wireless Networks

视觉-语言-动作模型遇见世界模型:面向低空无线网络的具身智能体AI

Feibo Jiang, Li Dong, Lei Mao, Kezhi Wang, Cunhua Pan, Dong In Kim, Naofal Al-Dhahir

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 提出具身智能体无人机框架,以VLA模型为核心实现端到端决策,引入世界模型建模环境动态,通过记忆与反射机制形成闭环优化,实现低空无线网络的鲁棒自主控制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.23773 2026-05-22 cs.AI cs.CL cs.LG cs.RO 93%

General Agentic Planning Through Simulative Reasoning with World Models

通过世界模型的模拟推理实现通用代理规划

Mingkai Deng, Jinyu Hou, Zhiting Hu, Eric Xing

机构 * Institute of Foundation Models (IFM)(基础模型研究所) Carnegie Mellon University(卡内基梅隆大学) UC San Diego(南加州大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出通过模拟推理实现通用代理规划,利用世界模型进行未来状态预测,提升决策能力,通过SiRA架构在不同任务中取得更高任务完成率。

Comments Winner of Berkeley LLM Agents Hackathon (Fundamentals Track); code available at https://github.com/sailing-lab/sira

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.24497 2026-05-19 cs.AI cs.LG cs.RO stat.ML 93%

What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?

在联合嵌入预测世界模型中成功因素是什么?

Basile Terver, Tsung-Yen Yang, Jean Ponce, Adrien Bardes, Yann LeCun

机构 * Meta FAIR Inria Paris(巴黎理工院) Ecole normale supérieure / PSL(巴黎高等师范学院 / PSL) New York University(纽约大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文研究了在物理规划中使用联合嵌入预测世界模型(JEPA-WMs)的成功因素,通过分析模型架构、训练目标和规划算法对规划成功的影响,提出了一种在导航和操作任务中优于现有基线方法的模型。

Comments V2 of the article: - Added AdaLN-zero - Added table comparing JEPA-WMs with baselines with std translating per-seed variability only, no variability across epochs - Reordered figures in main body of the paper V3: added data scaling experiments, theoretical appendix section on autoregressive rollout, acceptance at TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.05927 2026-03-12 cs.CV cs.AI cs.RO 93%

World Models That Know When They Don't Know - Controllable Video Generation with Calibrated Uncertainty

能识别不确定性的世界模型 - 可控视频生成中的校准不确定性

Zhiting Mei, Tenny Yin, Micah Baker, Ola Shorinwa, Anirudha Majumdar

机构 * Princeton University(普林斯顿大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 提出C3方法,通过校准不确定性量化提升可控视频生成的可靠性与可信度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.03176 2026-01-12 cs.CV cs.AI cs.LG 93%

seq-JEPA: Autoregressive Predictive Learning of Invariant-Equivariant World Models

seq-JEPA: 自回归预测学习不变-等变世界模型

Hafez Ghaemi, Eilif Muller, Shahab Bakhtiari

机构 * Université de Montréal(蒙特利尔大学) Mila - Quebec AI Institute(魁北克人工智能研究所) CHU Sainte-Justine(圣约斯特医院)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 seq-JEPA通过引入架构归纳偏置,解决SSL中不变性与等变性任务间的性能权衡,同时学习两种独立表示以提升下游任务表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03782 2026-01-08 cs.RO cs.AI cs.CV 93%

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

PointWorld: 为真实世界机器人操作扩展3D世界模型

Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu, Dieter Fox, Kaichun Mo, Li Fei-Fei

机构 * Stanford University(斯坦福大学) NVIDIA(英伟达)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 PointWorld通过统一状态和动作的3D点流模型,实现了在真实世界中机器人操作的高效预测与控制,无需额外演示或训练。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.19584 2025-12-03 cs.LG cs.CV cs.RO 93%

Learning Massively Multitask World Models for Continuous Control

学习大规模多任务世界模型用于连续控制

Nicklas Hansen, Hao Su, Xiaolong Wang

机构 * University of California San Diego(加州大学圣地亚哥分校)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 Newt通过大规模预训练和在线交互,实现智能体在数百个任务上的多任务学习,提升连续控制的效率和适应性。

Comments Webpage: https://www.nicklashansen.com/NewtWM

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.15836 2025-09-03 cs.LG cs.AI cs.MA 93%

Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models

Yang Zhang, Chenjia Bai, Bin Zhao, Junchi Yan, Xiu Li, Xuelong Li

机构 * Tsinghua University(清华大学) Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信) Shanghai AI Laboratory(上海人工智能实验室) Shanghai Jiaotong University(上海交通大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Accepted by Transactions on Machine Learning Research

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.03645 2025-08-06 cs.RO cs.CV cs.LG 93%

DiWA: Diffusion Policy Adaptation with World Models

Akshay L Chandra, Iman Nematollahi, Chenguang Huang, Tim Welschehold, Wolfram Burgard, Abhinav Valada

机构 * University of Freiburg(弗赖堡大学) University of Technology Nuremberg(纽伦堡技术大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Accepted at the 2025 Conference on Robot Learning (CoRL)

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.18418 2025-05-16 cs.LG cs.CV cs.RO 93%

Hierarchical World Models as Visual Whole-Body Humanoid Controllers

Nicklas Hansen, Jyothir S, Vlad Sobal, Yann LeCun, Xiaolong Wang, Hao Su

机构 * UC San Diego(UC圣地亚哥大学) New York University(纽约大学) Meta AI

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Code and videos at https://nicklashansen.com/rlpuppeteer

详情

展开后加载摘要…

URL PDF HTML 收藏
2404.10775 2025-04-17 cs.CV cs.AI cs.MA 93%

COMBO: Compositional World Models for Embodied Multi-Agent Cooperation

Hongxin Zhang, Zeyuan Wang, Qiushi Lyu, Zheyuan Zhang, Sunli Chen, Tianmin Shu, Behzad Dariush, Kwonjoon Lee, Yilun Du, Chuang Gan

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Published at ICLR 2025. 24 pages. The first three authors contributed equally

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.14174 2025-04-11 cs.CV cs.AI cs.LG 93%

Dreamweaver: Learning Compositional World Models from Pixels

Junyeob Baek, Yi-Fu Wu, Gautam Singh, Sungjin Ahn

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.02252 2025-04-04 cs.LG cs.AI cs.RO 93%

Adapting World Models with Latent-State Dynamics Residuals

JB Lanier, Kyungmin Kim, Armin Karamzade, Yifei Liu, Ankita Sinha, Kat He, Davide Corsi, Roy Fox

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments 15 pages, 11 figures. Project website at https://redraw.jblanier.net/

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.10370 2025-03-14 cs.RO cs.CV cs.LG 93%

LUMOS: Language-Conditioned Imitation Learning with World Models

Iman Nematollahi, Branton DeMoss, Akshay L Chandra, Nick Hawes, Wolfram Burgard, Ingmar Posner

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Accepted at the 2025 IEEE International Conference on Robotics and Automation (ICRA)

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.15998 2024-11-26 cs.AI cs.LG cs.MA 93%

PIANIST: Learning Partially Observable World Models with LLMs for Multi-Agent Decision Making

Jonathan Light, Sixue Xing, Yuanzhe Liu, Weiqin Chen, Min Cai, Xiusi Chen, Guanzhi Wang, Wei Cheng, Yisong Yue, Ziniu Hu

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Published at Language Gamification Workshop 2024 @ NeurIPS

详情

展开后加载摘要…

URL PDF HTML 收藏
2307.07176 2024-08-09 cs.LG cs.AI cs.CV 93%

SafeDreamer: Safe Reinforcement Learning with World Models

Weidong Huang, Jiaming Ji, Chunhe Xia, Borong Zhang, Yaodong Yang

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments ICLR 2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2404.17350 2024-04-29 cs.LG cs.CV cs.MA 93%

On the Road to Clarity: Exploring Explainable AI for World Models in a Driver Assistance System

Mohamed Roshdi, Julian Petzold, Mostafa Wahby, Hussein Ebrahim, Mladen Berekovic, Heiko Hamann

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments 8 pages, 6 figures, to be published in IEEE CAI 2024

详情

展开后加载摘要…

URL PDF HTML 收藏