arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-05-13 至 2026-05-13 共收录 15 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 11 篇

2603.15759 2026-05-13 cs.RO cs.AI cs.LG 94%

Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation

模拟蒸馏:在模拟中预训练世界模型以实现快速真实世界适应

Jacob Levy, Tyler Westenbroek, Kevin Huang, Fernando Palafox, Patrick Yin, Shayegan Omidshafiei, Dong-Ki Kim, Abhishek Gupta, David Fridovich-Keil

机构 * University of Texas at Austin(德克萨斯大学奥斯汀分校) University of Washington(华盛顿大学) FieldAI

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文提出SimDist框架,利用物理模拟器生成大量动作条件机器人经验,通过蒸馏结构先验提升世界模型性能,实现高效真实世界适应。

Comments Robotics: Science and Systems 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12289 2026-05-13 cs.LG cs.AI 94%

PriorZero: Bridging Language Priors and World Models for Decision Making

PriorZero:连接语言先验与世界模型以实现决策制定

Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

机构 * University of Science and Technology of China(中国科学技术大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Nanjing University of Aeronautics and Astronautics(南京航空航天大学) The Chinese University of Hong Kong MMLab(香港中文大学MMLab)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 PriorZero通过解耦的rollout训练设计,将LLM生成的语义先验整合到基于世界模型的规划中,提升探索效率和长期性能,适用于文本冒险游戏和指令遵循任务。

Comments 30 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12178 2026-05-13 cs.AI cs.CL cs.LG 94%

Do Enterprise Systems Need Learned World Models? The Importance of Context to Infer Dynamics

企业系统需要学习的世界模型吗?上下文对推断动态的重要性

Jishnu Sethumadhavan Nair, Patrice Bechard, Rishabh Maheshwary, Surajit Dasgupta, Sravan Ramachandran, Aakash Bhagat, Shruthan Radhakrishna, Pulkit Pattnaik, Johan Obando-Ceron, Shiva Krishna Reddy Malay, Sagar Davasam, Seganrasan Subramanian, Vipul Mittal, Sridhar Krishna Nemala, Christopher Pal, Srinivas Sunkara, Sai Rajeswar

机构 * ServiceNow Mila

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文探讨了在可配置的企业环境中,代理是否仍需学习动态规则,通过实验表明运行时发现动态比离线训练更鲁棒。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11557 2026-05-13 quant-ph 90%

Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability

小波方差等分作为世界模型质量的阈值及量子核TN可模拟性

Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

专题命中 通用世界模型 :world-model(title);world-model(title);world model(abstract);world models(abstract)

AI总结 本文基于小波方差等分提出世界模型质量评估标准,并揭示量子核经典模拟性的临界条件,通过张量网络理论证明潜在空间相变,结合VideoMAE分析展现空间与特征通道的二元性,最终推导出量子机器学习可扩展性的限制因素。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12255 2026-05-13 cs.AI cs.CY cs.LG 88%

Why Conclusions Diverge from the Same Observations: Formalizing World-Model Non-Identifiability via an Inference

结论为何从相同观察中分歧:通过推理正式化世界模型非识别性

Toru Takahashi

机构 * Human Informatics and Systems Laboratory, Doshisha University, Kyoto, Japan(大阪大学人文学与系统实验室,京都,日本) Linked Open Data Initiative, NPO, Tokyo, Japan(开放数据倡议,东京,日本) Keio Research Institute at SFC, Fujisawa, Japan(庆应义塾大学SFC研究所, Fujisawa,日本) Stroly Inc., Kyoto, Japan(Stroly公司,京都,日本)

专题命中 通用世界模型 :world-model(title);world-model(title);world model(abstract);world model(abstract)

AI总结 本文探讨了在相同观察下推理结论分歧的本质,提出非识别性是推理学习的固有属性,而非对方认知缺陷。通过θ-级和W-级非识别性分析,揭示了推理框架对数据暴露和模型学习的影响,并关联深度表示学习与监管辩论案例。

Comments 12 pages, 2 figures, 1 table. Extended English version of a paper accepted for presentation at JSAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.18780 2026-05-13 cs.RO cs.LG 88%

DreamPolicy: A Unified World-model Policy for Scalable Humanoid Locomotion

DreamPolicy: 一种统一的世界模型策略用于可扩展的人形机器人运动

Yahao Fan, Tianxiang Gui, Kaiyang Ji, Shutong Ding, Chixuan Zhang, Yifeng Xu, Ke Yang, Jiayuan Gu, Jingyi Yu, Jingya Wang, Ye Shi

机构 * ShanghaiTech University(上海科技大学) InstAdapt

专题命中 通用世界模型 :world-model(title);world-model(title);world model(abstract);world model(abstract)

AI总结 DreamPolicy通过整合离线数据与扩散式世界模型,实现单一策略掌握已知和未知地形。其地形感知世界模型能生成物理合理的未来轨迹,作为动态目标指导策略,避免手动奖励工程。实验表明,DreamPolicy在未知和复合地形上性能优于基线38%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02799 2026-05-13 cs.LG cs.AI 88%

Joint Learning of Hierarchical Neural Options and Abstract World Model

层级神经选项与抽象世界模型的联合学习

Wasu Top Piriyakulkij, Wolfgang Lehrach, Kevin Ellis, Kevin Murphy

机构 * Cornell University(康奈尔大学) Google Deepmind(谷歌DeepMind)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出AgentOWL方法,通过高效样本学习抽象世界模型和层级神经选项,使智能体在Object-Centric Ataris游戏中以更少数据学习更多技能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.02072 2026-05-13 cs.CL cs.AI 84%

Express Your Doubts -- Probabilistic World Modeling Should not be Based on Token logprobs

表达怀疑——概率世界建模不应基于token logprobs

Eitan Wagner, Omri Abend

机构 * Eitan Wagner Omri Abend

专题命中 通用世界模型 :world model(title);world model(title);分类 cs.AI

AI总结 本文探讨了大型语言模型作为概率估计器在世界概率估计中的应用问题,指出基于token logprobs的局限性,并提倡第二阶预测方法以提高概率合理性。

Comments Accepted to ICML 2026 (position track)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12500 2026-05-13 cs.CV 69%

SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture

SenseNova-U1:基于NEO-unify架构的多模态理解和生成统一范式

Haiwen Diao, Penghao Wu, Hanming Deng, Jiahao Wang, Shihao Bai, Silei Wu, Weichen Fan, Wenjie Ye, Wenwen Tong, Xiangyu Fan, Yan Li, Yubo Wang, Zhijie Cao, Zhiqian Lin, Zhitao Yang, Zhongang Cai, Yuwei Niu, Yue Zhu, Bo Liu, Chengguang Lv, Haojia Yu, Haozhe Xie, Hongli Wang, Jianan Fan, Jiaqi Li, Jiefan Lu, Jingcheng Ni, Junxiang Xu, Kaihuan Liang, Lianqiang Shi, Linjun Dai, Linyan Wang, Oscar Qian, Peng Gao, Pengfei Liu, Qingping Sun, Rui Shen, Ruisi Wang, Shengnan Ma, Shuang Yang, Siyi Xie, Siying Li, Tianbo Zhong, Xiangli Kong, Xuanke Shi, Yang Gao, Yongqiang Yao, Yves Wang, Zhengqi Bai, Zhengyu Lin, Zixin Yin, Wenxiu Sun, Ruihao Gong, Quan Wang, Lewei Lu, Lei Yang, Ziwei Liu, Dahua Lin

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.CV

AI总结 SenseNova-U1通过NEO-unify架构实现多模态理解与生成的统一,展示了在文本理解、视觉语言感知、知识推理、代理决策和空间智能等任务中的表现,同时在X2I合成、图文生成和视觉语言生成中表现出色。

Comments Project page: https://github.com/OpenSenseNova/SenseNova-U1

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12437 2026-05-13 cs.CV 56%

3D Gaussian Splatting for Efficient Retrospective Dynamic Scene Novel View Synthesis with a Standardized Benchmark

基于3D高斯点划的高效回顾性动态场景新视角合成与标准化基准

Yunxiao Zhang, Suryansh Kumar

机构 * Visual and Spatial AI Lab(视觉与空间人工智能实验室) VCCM Section College of PVFA(VCCM学院光电工程学院) Department of ECEN(电子工程系) Department of CSCE(计算机科学与工程系) Texas A&M University(德克萨斯A&M大学)

专题命中 通用世界模型 :world model(comments);world models(comments);分类 cs.CV;world model(comments)

AI总结 本文提出基于同步多视角动态场景的3D高斯点划方法,无需时间耦合约束即可实现高效回顾性动态场景新视角合成,并构建了标准化的动态多视角数据集框架以支持可重复的NeRF和3DGS研究。

Comments Accepted for publication at CVPR 2026; 4D World Models Workshop. Draft info: 14 pages, 4 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11284 2026-05-13 stat.ME cs.AI cs.LG 50%

Rethinking external validation for the target population: Capturing patient-level similarity with a generative model

重新思考目标人群的外部验证:利用生成模型捕捉患者层面的相似性

Mohammad Azizmalayeri, Ameen Abu-Hanna, Saskia Houterman, Marije M. Vis, Giovanni Cinà

机构 * Amsterdam UMC location University of Amsterdam, Dept of Medical Informatics(阿姆斯特丹大学医学中心(Amsterdam UMC)医学信息学系) Amsterdam Public Health Research Institute(阿姆斯特丹公共卫生研究所) Netherlands Heart Registration (NHR)(荷兰心脏登记处) Amsterdam UMC, Dept of Cardiology(阿姆斯特丹大学医学中心(Amsterdam UMC)心内科部) Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言和计算研究所)

专题命中 通用世界模型 :分类 cs.AI、cs.LG;predictive model(abstract);predictive models(abstract)

AI总结 本文提出利用生成模型量化外部患者与开发数据的相似性,以区分模型缺陷与病例混合效应,提升外部验证的可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 具身与机器人 1 篇

2605.12090 2026-05-13 cs.RO cs.CL cs.CV 83%

World Action Models: The Next Frontier in Embodied AI

世界动作模型:具身AI的下一个前沿

Siyin Wang, Junhao Shi, Zhaoyang Fu, Xinzhe He, Feihong Liu, Chenchen Yang, Yikang Zhou, Zhaoye Fei, Jingjing Gong, Jinlan Fu, Mike Zheng Shou, Xuanjing Huang, Xipeng Qiu, Yu-Gang Jiang

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) National University of Singapore(新加坡国立大学)

专题命中 具身与机器人 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文探讨了具身AI中的世界动作模型(WAMs),通过整合环境动态预测模型,统一预测状态建模与动作生成,提出结构化分类体系并分析数据生态,为该领域提供系统性综述。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 自动驾驶 1 篇

2605.11550 2026-05-13 cs.CV 81%

The DAWN of World-Action Interactive Models

世界-动作交互模型的黎明

Hongbo Lu, Liang Yao, Chenghao He, Haoyu Wang, Xiang Gu, Xianfei Li, Wenlong Liao, Tao He, Pai Peng

机构 * COWARobot Co. Ltd(COWARobot有限公司) Shanghai Jiao Tong University(上海交通大学) Hohai University(河海大学)

专题命中 自动驾驶 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文提出WAIMs,通过DAWN模型在语义潜在空间中实现世界预测与动作生成的交互,提升自动驾驶中的规划性能与安全性。

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 1 篇

2605.11711 2026-05-13 cs.LG cs.AI 56%

Debiased Model-based Representations for Sample-efficient Continuous Control

去偏的基于模型的表示用于样本高效的连续控制

Jiafei Lyu, Zichuan Lin, Scott Fujimoto, Kai Yang, Yangkun Chen, Saiyong Yang, Zongqing Lu, Deheng Ye

机构 * Tencent Hunyuan(腾讯文言) McGill University(麦吉尔大学) School of Computer Science, Peking University(北京大学计算机学院)

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.AI、cs.LG

AI总结 本文提出DR.Q算法,通过最大化当前状态-动作对表示与下一状态之间的互信息,并采用衰减优先经验回放,以减少表示和actor-critic学习中的偏差,从而在连续控制任务中取得优于现有方法的性能。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 仿真与规划 1 篇

2605.06732 2026-05-13 cs.LG 56%

On Training in Imagination

在想象中训练

Nadav Timor, Ravid Shwartz-Ziv, Micah Goldblum, Yann LeCun, David Harel

机构 * Weizmann Institute of Science(魏茨曼研究所) New York University(纽约大学) Columbia University(哥伦比亚大学) New York University AMI Labs(纽约大学AMI实验室)

专题命中 仿真与规划 :model-based reinforcement learning(abstract);分类 cs.LG;dynamics model(abstract)

AI总结 研究在想象中训练方法中,动态和奖励模型误差对回报和策略优化的影响,提出最优样本分配和表示需求。

详情

展开后加载摘要…

URL PDF HTML 收藏