arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-06-01 至 2026-06-01 共收录 19 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 12 篇

2601.01075 2026-06-01 cs.LG cs.AI cs.CV 94%

Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments

流等变世界模型:部分观测动态环境的记忆

Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

机构 * Kempner Institute, Harvard University(哈佛大学 Kempner 研究所) ML, Carnegie Mellon University(卡内基梅隆大学 ML 研究所) SEAS, Harvard University(哈佛大学 SEAS 研究所)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出流等变世界建模框架,利用时间参数化对称性在潜在记忆中实现长时程稳定准确的动力学预测,解决部分观测问题。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31361 2026-06-01 cs.MA cs.AI cs.LG 94%

Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

梦见他人:多智能体强化学习中世界模型内的潜在队友建模

Tomas Leroy-Stone

机构 * Tomas Leroy-Stone

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出一种将队友建模为世界模型中可学习组件的方法,通过分解潜在状态并引入心智理论头来推断队友行为,实现零样本和少样本协调。

Comments 5 pages, 2 figures. Accepted as a poster at the 2026 World Modeling Workshop. Conceptual workshop paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01985 2026-06-01 cs.LG cs.AI cs.RO 94%

World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry

World Action Verifier: 通过前向-反向不对称性自我改进世界模型

Yuejiang Liu, Fan Feng, Lingjing Kong, Weifeng Lu, Jinzhou Tang, Kun Zhang, Kevin Murphy, Chelsea Finn, Yilun Du

机构 * Stanford University(斯坦福大学) UC San Diego(加州大学圣地亚哥分校) Carnegie Mellon University(卡内基梅隆大学) Google DeepMind(谷歌DeepMind) Harvard University(哈佛大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出World Action Verifier (WAV)框架,利用状态合理性和动作可达性的独立验证以及前向-反向不对称性,通过视频语料库的多样子目标生成器和稀疏逆模型实现循环一致性,从而在欠探索区域自我改进世界模型,在多个任务中样本效率提升2倍且下游策略性能提升22%以上。

Comments Project Website: https://world-action-verifier.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31111 2026-06-01 cs.LG 93%

Subspace-Decomposed JEPAs: Disentangling Progression and Content in Latent World Models

子空间分解的JEPA:解耦潜在世界模型中的进展与内容

Lucas Thil, Jesse Read, Rim Kaddah, Guillaume Doquet

机构 * LIX, École Polytechnique(巴黎高等学院LIX实验室) IRT SystemX(系统X研究院) Safran Tech(萨弗兰科技)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出SD-JEPA方法,通过将JEPA潜在空间分解为正交的进展子空间和内容子空间,利用余弦边际三元组损失和SIGReg正则化分别约束,在控制基准上优于LeWM基线,并证明进展坐标可作为场景感知的指南针。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30542 2026-06-01 cs.AI 93%

Physically Viable World Models: A Case for Query-Conditioned Embodied AI

物理可行的世界模型:面向查询条件具身AI的案例

Adam J. Thorpe, Stepan Tretiakov, Cheng-Hsi Hsiao, Su Ann Low, Xingjian Li, Hassan Iqbal, Neel P. Bhatt, Ufuk Topcu, Krishna Kumar

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 针对具身AI中现有世界模型预测未来观测但物理不可行的问题,提出应构建基于查询条件、识别最简物理抽象的世界模型,通过模块化分解确保可解释性和可验证性。

Comments 21 pages; Adam J. Thorpe and Stepan Tretiakov contributed equally

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18803 2026-06-01 cs.LG cs.AI 93%

PROWL: Prioritized Regret-Driven Optimization for World Model Learning

PROWL: 基于优先遗憾驱动的世界模型学习优化

Ahmet H. Güzel, Jenny Seidenschwarz, Benjamin Graham, Jonathan Sadeghi, Jeffrey Hawke, Ilija Bogunovic

机构 * University College London AI Centre(伦敦大学学院人工智能中心) Odyssey University of Basel(巴塞尔大学)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world-model(abstract)

AI总结 提出一种KL约束的对抗课程,通过训练策略暴露扩散世界模型的高误差轨迹并持续微调,结合优先对抗轨迹缓冲区,解决被动数据中罕见关键转换的鲁棒性问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11367 2026-06-01 cs.CV 90%

3D-Belief: Embodied Belief Inference via Generative 3D World Modeling

3D-Belief:通过生成式3D世界建模实现具身信念推断

Yifan Yin, Zehao Wen, Suyu Ye, Jieneng Chen, Zehan Zheng, Nanru Dai, Haojun Shi, Aydan Huang, Zheyuan Zhang, Alan Yuille, Jianwen Xie, Ayush Tewari, Tianmin Shu

机构 * Johns Hopkins University(约翰霍普金斯大学) Lambda University of Cambridge(剑桥大学)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 提出3D-Belief,一种生成式3D世界模型,通过在线更新显式3D信念,使具身智能体能够在部分可观测环境中想象场景补全并推理,在2D/3D想象质量和下游物体导航任务上优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.10422 2026-06-01 cs.CV 90%

World2Act: Latent Action Post-Training from World Model Dynamics

World2Act:基于世界模型动力学的潜在动作后训练

An Dinh Vuong, Tuan Van Vo, Abdullah Sohail, Haoran Ding, Liang Ma, Xiaodan Liang, Anqing Duan, Ivan Laptev, Ian Reid

机构 * MBZUAI

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 提出World2Act框架,通过潜在空间对齐世界模型动力学与动作嵌入,避免像素级监督,在仿真和真实机器人上提升VLA策略的成功率。

Comments Updated version. Project page: https://wm2act.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31558 2026-06-01 cs.LG cs.AI 82%

Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization

位置注意力头与符号注意力头:学习动态、RoPE几何和长度泛化

Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas

机构 * CENIA & Faculty of Mathematics UC Santiago(CENIA与圣托里尼大学数学系) IMC UC & CENIA Santiago(UC IMC与圣托里尼CENIA)

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 通过控制实验研究Transformer注意力头在位置推理和符号推理任务中的学习动态,发现位置和符号注意力头的不同机制及其对长度泛化的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31336 2026-06-01 cs.CV 81%

DecMem: Towards Minute-Long Consistent World Generation with Decoupled Memory

DecMem:基于解耦记忆的分钟级一致世界生成

Zhenhao Yang, Xiaoshi Wu, Zhengyao Lv, Xiaoyu Shi, Xintao Wang, Pengfei Wan, Kun Gai, Kwan-Yee K. Wong

机构 * The University of Hong Kong(香港大学) Kling Team, Kuaishou Technology(快手科技 Kling 团队)

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 提出解耦记忆架构DecMem,通过稀疏全局记忆和锚定局部记忆解决长程视频生成中的时空一致性问题,实现分钟级可控长视频生成。

Comments Project page is available at https://jeffreyyzh.github.io/DecMem-Page

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.20732 2026-06-01 cs.LG cs.AI cs.SE 71%

FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

FEM-Bench:评估代码生成大语言模型的结构化科学推理基准

Saeed Mohammadzadeh, Erfan Hamdi, Joel Shor, Emma Lejeune

机构 * Boston University(波士顿大学) Move37 Labs(Move37实验室) Department of Mechanical Engineering(机械工程系)

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

AI总结 提出FEM-Bench基准,通过有限元方法相关编程任务评估大语言模型在科学计算中的结构化推理能力,实验表明现有模型尚不能稳定解决所有任务。

Comments 45 pages, 5 figures, 9 tables, 7 listings

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.19830 2026-06-01 cs.CV cs.AI 71%

Target-Agnostic Calibration under Distribution Shift with Frequency-Aware Gradient Rectification

分布偏移下基于频率感知梯度修正的目标无关校准

Yilin Zhang, Cai Xu, You Wu, Ziyu Guan, Wei Zhao

机构 * School of Computer Science and Technology, Xidian University, Xi'an, China(西安电子科技大学计算机科学与技术学院)

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.AI、cs.CV

AI总结 提出频率感知梯度修正(FGR)框架,通过对训练图像进行低通滤波减少虚假高频线索并学习域不变特征,同时利用几何投影确保分布内校准不退化,从而在无需目标域信息的情况下提升模型在分布偏移下的校准性能。

Comments 25 pages, Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 具身与机器人 2 篇

2605.31314 2026-06-01 cs.RO 90%

AR Forcing: Towards Long-Horizon Robot Navigation World Model

AR Forcing: 迈向长时域机器人导航世界模型

Yifei Yang, Zehua Fan, Huan Li, Aoqi Wang, Lida Huang, Haibao Yu, Haiyan Liu, Xuanyao Mao, Jason Bao, Liang Xu, Bingchuan Sun, Yan Wang

机构 * Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院) Shanghai Jiao Tong University(上海交通大学) School of Safety Science, Tsinghua University(清华大学安全科学学院) The University of Hong Kong(香港大学) Lenovo, Beijing, China(北京联想公司)

专题命中 具身与机器人 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 提出AR Forcing自回归训练策略,通过将扩散损失集成到自回归训练循环中,解决训练与推理分布偏移问题,提升长时域导航中图像一致性和轨迹预测精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30795 2026-06-01 cs.RO 69%

Feat2Go: Visual Feature-Grounded Value Estimation for Embodied Reinforcement Learning

Feat2Go: 面向具身强化学习的视觉特征基础价值估计

Junyang Shu, Zhiwei Lin, Bingqing Wei, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University, China(北京大学计算机科学技术研究院)

专题命中 具身与机器人 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 提出Feat2Go框架,通过预训练视觉世界模型提取补丁级子目标相似度并聚类语义阶段,训练具身价值模型预测结构进度以重塑终端奖励,显著提升VLA模型在单臂和双臂操作任务中的强化学习性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 自动驾驶 1 篇

2605.31476 2026-06-01 cs.RO 82%

IDOL: Inverse-Dynamics-Guided Future Prediction for End-to-End Autonomous Driving

IDOL: 逆动力学引导的未来预测用于端到端自动驾驶

Chenghao Zhang, Timin Li, Dongmei Li

机构 * Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)

专题命中 自动驾驶 :world model(abstract);world-model(abstract);world model(abstract);world-model(abstract)

AI总结 提出IDOL框架,通过逆动力学模型将BEV世界模型预测的未来潜在场景状态转化为规划相关的轨迹增量,实现未来预测与轨迹优化的紧密耦合,在NAVSIM基准上达到最优性能。

Comments 20 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 3 篇

2603.23977 2026-06-01 cs.LG cs.AI 58%

Circuit-Inspired High-Order Neural Networks with Unified Neural Dynamics Modeling for PDE Solving and Visual Perception

电路启发的具有统一神经动力学建模的高阶神经网络用于PDE求解与视觉感知

Tongfei Chen, Jingying Yang, Linlin Yang, Juan Zhang, Jinhu Lü, David Doermann, Chunyu Xie, Long He, Tian Wang, Guodong Guo, Baochang Zhang

机构 * Communication University of China(通信大学) AI Research, Qihoo 360(360人工智能研究院,奇虎360) Eastern Institute of Technology, Ningbo(宁波工程技术院)

专题命中 模型式强化学习 :dynamics model(title,abstract);分类 cs.AI、cs.LG

AI总结 提出电路启发的高阶神经网络(CHONN),通过基尔霍夫级联组合实现高阶动力学算子,在PDE求解、长期物理预测和ImageNet-1K识别中提升结构保真度和稳定性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26506 2026-06-01 q-bio.NC cs.LG 50%

Identifying Connectivity Distributions from Neural Dynamics Using Flows

利用流从神经动力学中识别连接分布

Timothy Doyeon Kim, Ulises Pereira-Obilinovic, Yiliu Wang, Eric Shea-Brown, Uygar Sümbül

机构 * Allen Institute, Seattle, WA, USA(艾伦研究所) University of Washington, Seattle, WA, USA(华盛顿大学)

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.LG

AI总结 针对低秩循环神经网络(lrRNN)中连接结构不可识别的问题,提出基于最大熵和连续归一化流(CNF)的推理框架,通过流匹配训练学习连接权重分布,以无偏方式匹配观测动力学,并应用于合成数据和真实神经记录。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.11911 2026-06-01 math.NA cs.LG cs.NA physics.comp-ph 50%

Reduced-order modeling of Hamiltonian dynamics based on symplectic neural networks

基于辛神经网络的哈密顿动力学降阶建模

Yongsheng Chen, Wei Guo, Qi Tang, Xinghui Zhong

机构 * School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院) Department of Mathematics and Statistics, Texas Tech University(德克萨斯理工大学数学与统计系) School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院)

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.LG

AI总结 提出一种数据驱动的辛诱导降阶建模框架,通过统一端到端神经架构同时发现潜空间和学习动力学,确保降阶模型精确保持辛结构,提升长期稳定性和保真度。

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 仿真与规划 1 篇

2604.27994 2026-06-01 cs.RO 69%

Dreaming Across Towns: Semantic Rollout and Town-Adversarial Regularization for Zero-Shot Held-Out-Town Fixed-Route Driving in CARLA

跨城镇驾驶:面向CARLA零样本未见城镇固定路线驾驶的语义展开与城镇对抗正则化

Feeza Khan Khanzada, Jaerock Kwon

机构 * Department of Electrical and Computer Engineering, University of Michigan–Dearborn(密歇根大学迪尔伯恩分校电子与计算机工程系)

专题命中 仿真与规划 :world-model(abstract);world-model(abstract);分类 cs.RO

AI总结 提出一种结合未来语义预测与城镇对抗正则化的训练方法,在仅使用Town05和Town06训练的情况下,提升CARLA驾驶代理在未见城镇Town03和Town04上的零样本迁移性能。

详情

展开后加载摘要…

URL PDF HTML 收藏