arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-06-03 至 2026-06-03 共收录 18 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 9 篇

2602.18690 2026-06-03 q-bio.NC cs.CV cs.LG 94%

Neural Fields as World Models

神经场作为世界模型

Joshua Nunley

机构 * Luddy School of Informatics, Computing, and Engineering, Indiana University, Bloomington(信息学、计算与工程学院,印第安纳大学,布卢明顿) Cognitive Science Program, Indiana University, Bloomington(认知科学项目,印第安纳大学,布卢明顿)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出同构世界模型,利用运动门控神经场在空间图中进行物理预测,实现离线任务学习和身体相关表征。

Comments 6 pages, 6 figures. Annual Meeting of the Cognitive Science Society (CogSci 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06219 2026-06-03 cs.RO cs.AI 94%

Coupled Local and Global World Models for Efficient First Order RL

耦合局部与全局世界模型的高效一阶强化学习

Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard, Ludovic Righetti

机构 * Machines in Motion Laboratory, New York University, USA(纽约大学运动机器实验室) LAAS-CNRS, Université de Toulouse, CNRS, Toulouse, France(图卢兹大学LAAS-CNRS中心) Artificial and Natural Intelligence Toulouse Institute, Toulouse, France(图卢兹人工智能与自然智能研究所)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出一种通过解耦一阶梯度方法在数据驱动的世界模型内训练策略的方法,结合局部和全局世界模型实现高效梯度计算,在Push-T任务和四足机器人操作任务中显著优于PPO。

Comments Project website: https://coupled-global-local-wm-rl.pages.dev/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03603 2026-06-03 cs.CV cs.CL 93%

World Models Meet Language Models: On the Complementarity of Concrete and Abstract Reasoning

世界模型遇见语言模型:论具体推理与抽象推理的互补性

Yucheng Zhou, Wei Tao, Yiwen Guo, Jianbing Shen

机构 * Nanyang Technological University(南洋理工大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文提出受控具体推理框架及PF-OPSD方法,通过结合世界模型的视觉模拟与多模态大语言模型的抽象推理,在空间前瞻和开放域物理预测任务上提升性能与鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03252 2026-06-03 cs.RO cs.AI 93%

AirDreamer: Generalist Drone Navigation with World Models

AirDreamer: 基于世界模型的通用无人机导航

Zian Liu, Andong Yang, Chunkai Yang, Ruidong An, Chao Gao, Guyue Zhou

机构 * Institute for AI Industry Research, Tsinghua University, Beijing, China(人工智能产业研究院,清华大学,北京,中国) Department of Electronic Engineering, Tsinghua University, Beijing, China(电子工程系,清华大学,北京,中国) School of Remote Sensing and Information Engineering, Wuhan University, Wuhan, China(遥感与信息工程学院,武汉大学,武汉,中国)

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

AI总结 提出一种结合强化学习策略和世界模型理解的无人机导航框架,通过稀疏奖励函数避免局部最优,在复杂未知环境中实现优于基线5.3%的成功率,并支持零调参的仿真到现实迁移。

Comments 8 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29930 2026-06-03 cs.AI cs.CY cs.HC 92%

Toward AI That Understands Self and Others: A World-Model Theory of Cognitive Diversity and Alignment

迈向理解自我与他人的AI系统:人类认知多样性与世界模型对齐的多阶段推理框架

Toru Takahashi

机构 * Human Informatics and Systems Lab, Doshisha University(立命馆大学人机系统实验室) Linked Open Data Initiative, NPO Keio Research Institute at SFC(庆应义塾大学SFC研究所开放数据计划) Stroly Inc(Stroly公司)

专题命中 通用世界模型 :world-model(title,abstract);world-model(title,abstract);world model(abstract);world models(abstract)

AI总结 提出多阶段推理框架(MIM),通过阶段形成空间、前景化场、主体特定轮廓状态和状态表示对齐图,形式化异质世界模型的产生,并将世界模型对齐重新定义为使异质表示相互可处理的问题,而非强制一致。

Comments 87 pages. Revised version with a refined abstract emphasizing disagreement as a late-stage phenomenon, target admissibility, processability, and the methodological abstraction used to compare humans, AI systems, and institutional decision procedures under shared information-theoretic constraints

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02586 2026-06-03 cs.GR 90%

Fewer, Better Frames: A Compute-Normalized Proof of Concept for Coherence-First World-Model Rendering with Model-Guided FSR4 Frame Generation

更少但更好的帧:一种计算归一化的概念验证,采用一致性优先的世界模型渲染与模型引导的FSR4帧生成

Paweł Katarzyński

专题命中 通用世界模型 :world-model(title);world-model(title);world model(abstract);world models(abstract)

AI总结 本文提出一种一致性优先的渲染策略,通过生成高上下文锚定帧(15 FPS)并利用潜在增量运动引导和合成深度重建至30 FPS,在有限推理预算下比原生30 FPS基线更长时间保持场景几何、物体身份和深度层次,并通过LPIPS等指标验证了其有效性。

Comments 19 pages, 8 figures, independent systems proof of concept

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03685 2026-06-03 cs.LG cs.AI 88%

A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners

监督微调的大语言模型规划器中世界模型恢复的深入探究

Patrick Emami, Nan Qiang, Peter Graf

机构 * National Laboratory of the Rockies(落基山国家实验室)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.AI、cs.LG

AI总结 通过可解释性实验,研究监督微调如何影响大语言模型在经典规划任务中恢复世界模型的能力,发现微调使模型线性编码动作有效性和状态谓词,且更广泛的状态空间覆盖有助于更准确的世界模型恢复。

Comments 17 pages. Under review at TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03804 2026-06-03 cs.LG 50%

Easy-to-Use Shielding for Reinforcement Learning

易于使用的强化学习屏蔽技术

Stefan Pranger, Bettina Könighofer

机构 * Institute of Information Security, Graz University of Technology(信息安全研究所,格拉茨技术大学)

专题命中 通用世界模型 :environment model(abstract);分类 cs.LG

AI总结 提出tempestpy库,将形式化屏蔽合成集成到Gymnasium API中,降低强化学习安全探索的门槛,并扩展了随机多人博弈的屏蔽算法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02671 2026-06-03 cs.LG cs.AI 50%

Aligning Data-Driven Predictors with Allocation: A Decision-Focused Approach to Survival Analysis

对齐数据驱动预测器与分配:面向决策的生存分析方法

Itai Zilberstein, Ioannis Anagnostides, Tuomas Sandholm

机构 * Department of Computer Science, Carnegie Mellon University, Pittsburgh, PA(计算机科学系,卡内基梅隆大学,匹兹堡,PA) Strategy Robot, Inc.(策略机器人公司) Strategic Machine, Inc.(战略机器公司) Optimized Markets, Inc.(优化市场公司)

专题命中 通用世界模型 :分类 cs.AI、cs.LG;predictive model(abstract);predictive models(abstract)

AI总结 针对生存分析中预测模型与分配决策目标不一致的问题,提出基于归一化折现累积增益(NDCG)的决策聚焦学习方法,通过优化NDCG提升分配效果,在心脏移植数据上使基线模型NDCG提升50-100%。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 视频世界模型 1 篇

2606.02753 2026-06-03 cs.CV cs.AI 94%

MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data

MetaWorld: 从单视角视频数据扩展多智能体视频世界模型

Teng Hu, Mingchun Lu, Yating Wang, Jiangning Zhang, Jinkun Hao, Ye Pan, Ran Yi, Lizhuang Ma, Dacheng Tao

机构 * Shanghai Jiao Tong University(上海交通大学) Zhejiang University(浙江大学) Nanyang Technological University(南洋理工大学)

专题命中 视频世界模型 :world model(title,abstract);video world model(title,abstract);world model(title,abstract);video world model(title,abstract)

AI总结 提出MetaWorld框架,通过单目世界状态展开、主体感知世界生成器和世界状态对齐机制,从单视角视频构建多智能体视频世界模型,解决数据稀缺和世界状态对齐问题。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 具身与机器人 2 篇

2606.03297 2026-06-03 cs.RO 69%

SplitAdapter: Load-Aware Humanoid Loco-Manipulation via Factorized Adaptation

SplitAdapter: 通过因子化自适应的负载感知人形机器人移动操作

Jeonguk Kang, Hanbyel Cho, Sanghyun Kang, Donghan Koo

机构 * Future Robot AI Group, Samsung Electronics(三星电子未来机器人人工智能组)

专题命中 具身与机器人 :world-model(abstract);world-model(abstract);分类 cs.RO

AI总结 针对人形机器人在不同负载和高度下移动操作时负载变化与动力学不匹配的问题,提出SplitAdapter方法,通过冻结预训练策略并扩展负载与动力学感知编码器,结合分割世界模型目标、GRL交叉对抗正则化和分层特征线性调制,显著提升重载条件下的任务成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.20623 2026-06-03 cs.RO 69%

Latent Activation Editing: Inference-Time Refinement of Learned Policies for Safer Multirobot Navigation

潜在激活编辑:基于推理时策略精炼的安全多机器人导航

Satyajeet Das, Darren Chiu, Zhehui Huang, Lars Lindemann, Gaurav S. Sukhatme

机构 * Department of Computer Science, University of Southern California(南加州大学计算机科学系) Automatic Control Laboratory, ETH Zürich(苏黎世联邦理工学院自动控制实验室)

专题命中 具身与机器人 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 提出潜在激活编辑(LAE)框架,通过在推理时在线检测并编辑中间激活,在不修改权重或架构的情况下降低预训练策略的碰撞率,在四旋翼导航中实现近90%的碰撞减少。

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 3 篇

2606.03521 2026-06-03 cs.LG cs.AI 76%

Post-Hoc Robustness for Model-Based Reinforcement Learning

基于模型的强化学习的后验鲁棒性

Siemen Herremans, Ali Anwar, Siegfried Mercelis

机构 * Carnegie Mellon University(卡内基梅隆大学)

专题命中 模型式强化学习 :model-based reinforcement learning(title);model-based RL(abstract);分类 cs.AI、cs.LG

AI总结 提出一种在推理时利用学习模型和名义策略进行鲁棒策略改进的后验鲁棒化方法,通过对抗性展开的模型预测控制提升鲁棒性,无需额外训练神经网络。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.13899 2026-06-03 q-bio.NC cs.CE cs.LG 74%

A Factorized Low-Rank RNN Framework for Uncovering Independent Neural Latent Dynamics and Connectivity

一种分解低秩RNN框架用于揭示独立神经潜在动力学和连接性

Chengrui Li, Yunmiao Wang, Yule Wang, Weihan Li, Dieter Jaeger, Anqi Wu

机构 * University of California, San Diego(加州大学圣迭戈分校)

专题命中 模型式强化学习 :latent dynamics(title,abstract);分类 cs.LG

AI总结 提出FacRNN框架,通过组间独立假设和部分相关惩罚,在低秩循环神经网络中实现潜在动力学的解耦与可解释性提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
1203.1007 2026-06-03 cs.LG cs.AI cs.SY eess.SY stat.ML 70%

Agnostic System Identification for Model-Based Reinforcement Learning

基于模型的强化学习的不可知系统辨识

Stephane Ross, J. Andrew Bagnell

专题命中 模型式强化学习 :model-based reinforcement learning(title);分类 cs.AI、cs.LG

AI总结 针对模型类可能不包含真实系统的不可知情况,提出一种利用无遗憾在线学习算法获得近优策略的迭代方法,并在离散和连续域上验证其有效性。

Comments 8 pages, published in ICML 2012

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 仿真与规划 3 篇

1206.3285 2026-06-03 cs.AI cs.LG cs.SY eess.SY 71%

Dyna-Style Planning with Linear Function Approximation and Prioritized Sweeping

具有线性函数逼近和优先级扫描的Dyna风格规划

Richard S. Sutton, Csaba Szepesvari, Alborz Geramifard, Michael P. Bowling

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出一种基于模型的Dyna风格规划方法,扩展至线性函数逼近,证明其收敛性,并引入线性Dyna的优先级扫描算法。

Comments Appears in Proceedings of the Twenty-Fourth Conference on Uncertainty in Artificial Intelligence (UAI2008)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03188 2026-06-03 cs.RO 69%

GeoSem-WAM: Geometry- and Semantic-Aware World Action Models

GeoSem-WAM:几何与语义感知的世界动作模型

Fulong Ma, Daojie Peng, Wenjun Yue, Jiahang Cao, Bintao Wang, Qiang Zhang, Jun Ma

机构 * HKUST(GZ)(香港科技大学(广州)) HKU(香港大学) USTC(中国科学技术大学) SDU(山东大学) X-Humaniod

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 提出GeoSem-WAM框架,通过几何和语义监督增强潜在表示,在统一潜在空间中联合捕捉场景动态、空间几何和语义上下文,避免测试时显式未来展开或视频生成,提升动作预测准确性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.05031 2026-06-03 cs.LG 50%

Laplacian Representations for Decision-Time Planning

用于决策时规划的拉普拉斯表示

Dikshant Shehmar, Matthew Schlegel, Matthew E. Taylor, Marlos C. Machado

机构 * University of Cambridge(剑桥大学)

专题命中 仿真与规划 :model-based reinforcement learning(abstract);分类 cs.LG

AI总结 本文提出利用拉普拉斯表示作为决策时规划的潜在空间,通过多时间尺度捕捉状态空间距离,并基于此设计层次规划算法ALPS,在离线目标条件强化学习任务中优于常用基线。

Comments Accepted at ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏