arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-05-20 至 2026-05-20 共收录 21 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 12 篇

2605.18813 2026-05-20 cs.LG cs.AI 94%

Composition of Memory Experts for Diffusion World Models

记忆专家的组合用于扩散世界模型

Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

机构 * Computer Vision Group(计算机视觉组) Department of Computer Science(计算机科学系) University of Bern(伯恩大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文提出了一种基于扩散的世界模型框架,通过组合专门化的记忆专家来解决记忆与效率之间的权衡问题,提升了时间一致性、过去观察的回忆和导航性能。

Journal ref Proceedings of the Fourteenth International Conference on Learning Representations (ICLR), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18847 2026-05-20 cs.LG cs.AI 93%

Transformers Linearly Represent Highly Structured World Models

Transformer 通过线性方式表示高度结构化的世界模型

Roman Kniazev, Nathanaël Fijalkow

机构 * LaBRI, CNRS University of Bordeaux(LaBRI、CNRS 波尔多大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 研究探讨了Transformer在训练过程中是否能构建任务的内部模型,并发现其内部表示结构与领域结构相匹配,通过Sudoku求解轨迹训练的Transformer展示了其内部计算机制和稀疏可解释的决策电路。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19341 2026-05-20 cs.CL cs.AI cs.LG stat.ML 91%

HalluWorld: A Controlled Benchmark for Hallucination via Reference World Models

HalluWorld: 一个用于通过参考世界模型控制幻觉的基准

Emmy Liu, Varun Gangal, Michael Yu, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

机构 * Carnegie Mellon University(卡内基梅隆大学) Patronus AI Independent Researcher(独立研究者) Stanford University(斯坦福大学) The Ohio State University(俄亥俄州立大学) DegenAI Labs(DegenAI实验室)

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

AI总结 本文提出HalluWorld基准,通过显式参考世界模型研究语言模型的幻觉问题,发现不同任务中幻觉表现不一致,表明幻觉源于多种失败模式而非单一能力。

Comments HalluWorld benchmark (code and data) at github.com/DegenAI-Labs/HalluWorld

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15975 2026-05-20 cs.AI cs.RO 91%

Learning Bilevel Policies over Symbolic World Models for Long-Horizon Planning

在符号世界模型上学习双层策略以实现长周期规划

Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

机构 * Vector Institute(向量研究所) University of Toronto(多伦多大学) LAAS-CNRS(Laas--cnrs) University of Toulouse(图卢兹大学) RWTH Aachen University(亚琛工业大学)

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

AI总结 本文提出了一种结合低层模仿学习和高层符号抽象的双层策略,用于解决长周期规划问题,通过BISON系统在扩展的MetaWorld基准上验证了其在处理大量物体和长周期任务上的优越性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19950 2026-05-20 cs.CV 91%

AffectVerse: Emotional World Models for Multimodal Affective Computing

AffectVerse: 多模态情感计算中的情感世界模型

Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

机构 * Great Bay University(大湾大学) Tencent(腾讯) Tsinghua University(清华大学) Shenzhen Technology University(深圳技术大学)

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

AI总结 本研究提出AffectVerse,一种基于Qwen2.5-Omni的多模态情感计算模型,通过引入情感世界模块实现短期潜在情感预测,利用未来预测作为自监督信号,提高了情感计算的准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.01529 2026-05-20 cs.LG 91%

Learning Abstract World Models with a Group-Structured Latent Space

通过组结构潜在空间学习抽象世界模型

Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

机构 * ISAE-SUPAERO ETH Zürich(瑞士联邦理工学院) Vrije Universiteit Amsterdam(阿姆斯特丹自由大学) Microsoft Research AI for Science(微软研究院人工智能科学部)

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

AI总结 该研究通过在低维表示流形上引入几何先验,改进了马尔可夫决策过程的抽象模型学习,从而提升有限数据下的泛化能力,并在具有旋转和翻译特征的环境中实现了更有效的强化学习任务学习。

Comments 20 pages, 18 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19242 2026-05-20 cs.CV cs.AI cs.ET cs.LG cs.MM 89%

PhyWorld: Physics-Faithful World Model for Video Generation

PhyWorld: 用于视频生成的物理忠实世界模型

Pu Zhao, Juyi Lin, Timothy Rupprecht, Arash Akbari, Chence Yang, Rahul Chowdhury, Elaheh Motamedi, Arman Akbari, Yumei He, Chen Wang, Geng Yuan, Weiwei Chen, Yanzhi Wang

机构 * Northeastern University(东北大学) University of Georgia(佐治亚大学) Tulane University(路易斯安那大学) EmbodyX

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.AI、cs.LG、cs.CV

AI总结 本文提出PhyWorld,一种通过两阶段训练提升视频生成模型的物理忠实性,以改进世界模拟器的性能,从而更有效地支持物理AI系统。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19600 2026-05-20 cs.RO 88%

FlyMirage: A Fully Automated Generation Pipeline for Diverse and Scalable UAV Flight Data via Generative World Model

FlyMirage: 一种用于生成多样化和可扩展的无人机飞行数据的完全自动化生成流程

Jinhan Li, Xijie Huang, Zhaoqi Wang, Yijin Wang, Weiqi Ge, Qiyi He, Mo Zhu, Fei Gao, Yuze Wu, Xin Zhou

机构 * State Key Laboratory of Industrial Control Technology, Zhejiang University, Hangzhou 310027, China(浙江大学工业控制技术状态重点实验室,杭州310027,中国) Differential Robotics, Hangzhou 311121, China(差分机器人,杭州311121,中国)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.RO

AI总结 本文提出FlyMirage,一种完全自动化的生成流程,通过生成世界模型生成大规模、多样化且逼真的无人机视觉-语言导航数据,支持下一代具身导航模型的发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17916 2026-05-20 cs.CV 88%

PanoWorld: A Generative Spatial World Model for Consistent Whole-House Panorama Synthesis

PanoWorld: 一种生成式空间世界模型,用于一致的整屋全景合成

Jinrang Jia, Zhenjia Li, Yijiang Hu, Yifeng Shi

机构 * Ke Holdings Inc.(凯控股有限公司)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.CV

AI总结 本文提出PanoWorld,一种生成式空间世界模型,通过自回归生成基于节点的360度全景图,实现一致的整屋全景合成,解决了纯2D生成器在视角变化时几何和材质重新想象的问题,以及单一3D生成在多房间尺度下的高成本和纹理丢失问题。

Comments 17

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19221 2026-05-20 hep-th gr-qc 80%

Thick branes and fermion localization in five-dimensional $f(T,T_G)$ gravity

厚膜与费米子局域化在五维$f(T,T_G)$引力中

A. R. P. Moreira, F. M. Belchior, Shi-Hai Dong, E. N. Saridakis

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文研究了五维$f(T,T_G)$修正Teleparallel引力中的厚膜配置,通过构造显式解,展示了$T_G$部分如何显著修改膜结构,并通过Yukawa耦合分析了费米子局域化,发现torsional Gauss-Bonnet项对有效势能和质量谱有重要影响。

Comments 16 pages and 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19378 2026-05-20 cs.CV 69%

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

视觉扩散变换器中稀疏专家混合路由的稀疏性:从路由崩溃到选择性死锁的诊断、边界校准和进化路线图

Haiying Sha

机构 * Haiying Sha(海ying Sha)

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.CV

AI总结 本文系统诊断了Token-Choice稀疏混合专家(MoE)在视频扩散变换器中的训练失败模式,通过分析超过6500万个标记的路由决策时间序列,提出了功能冗余假说,并总结了从视觉统一到世界模型的三步进化路线图。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.16814 2026-05-20 cs.LG cs.AI cs.CV 50%

Needles in the Landscape: Semi-Supervised Pseudolabeling for Archaeological Site Discovery under Label Scarcity

景观中的针:在标签稀缺条件下用于考古遗址发现的半监督伪标签方法

Simon Jaxy, Anton Theys, Patrick Willett, W. Chris Carleton, Ralf Vandam, Pieter Libin

机构 * Sensors, Royal Military Academy, Brussels, Belgium AMGC (Archaeology, Environmental Changes \& Geo-Chemistry), Vrije Universiteit Brussel Max Planck Institute of Geoanthropology, Jena, Germany Shared first author Shared last author

专题命中 通用世界模型 :分类 cs.AI、cs.LG、cs.CV;predictive model(abstract)

AI总结 本文提出了一种非对称双伪标签(DPL)方法,通过端到端深度学习直接从多波段遥感影像中学习稀疏正样本,无需人工特征工程或对遗址不存在的假设,在两个著名的考古数据集上进行了评估。DPL在Sagalassos数据集上优于LAMAP基线,在F1和召回率上分别提高了12%和29%,而在Cyprus数据集上,DPL在无确认负样本的纯PU设置中恢复了判别能力。DPL的集成产生可解释的概率表面,支持调查规划,从最小的标记数据中有效发现遗址。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 具身与机器人 3 篇

2605.19319 2026-05-20 cs.CV 90%

SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution

SWEET:基于图像编辑的稀疏世界建模用于具身任务执行

Yiren Song, Yihan Wang, Xiyao Deng, Zhuoran Yan, Mike Zheng Shou

机构 * Show Lab, National University of Singapore(新加坡国立大学Show实验室) Central South University(中南大学)

专题命中 具身与机器人 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 本文研究图像编辑模型能否作为稀疏视觉世界模型用于机器人操作,通过预测任务级未来状态而非密集视频生成,提出SWEET框架实现稀疏视觉规划,结合语言指令和空间引导生成关键帧,并通过扩散动作预测器生成可执行动作,实验表明其在不同场景中提升关键帧预测能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19957 2026-05-20 cs.CV cs.AI cs.RO 87%

World-Ego Modeling for Long-Horizon Evolution in Hybrid Embodied Tasks

为混合具身体验中的长时域演化构建世界-自我模型

Zuyao Lin, Jianhui Zhang, Peidong Jia, Xiaoguang Zhao, Shanghang Zhang, Xingyu Chen

机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) University of Chinese Academy of Sciences(中国科学院大学) Peking University(北京大学)

专题命中 具身与机器人 :world model(abstract);world models(abstract);embodied world model(abstract);world model(abstract)

AI总结 本文提出了一种新的世界-自我建模范式,通过分解未来演化为世界和自我组件,解决混合任务中长时域具身体验中的退化问题,并通过HTEWorld基准测试验证了其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19924 2026-05-20 cs.RO 69%

RoHIL: Robust Human-in-the-Loop Robotic Reinforcement Learning Against Illumination Variations

RoHIL: 面对光照变化的鲁棒人机协同机器人强化学习

Shuoqin Zhang, Yixin Xiong, Xiru Gao, Kai Liu, Ke Wang, Xichuan Zhou, Zhe Hu

机构 * Chongqing University(重庆大学) Chengdu Anu Intelligence(成都安努智能)

专题命中 具身与机器人 :world-model(abstract);world-model(abstract);分类 cs.RO

AI总结 本文提出RoHIL框架,通过离线微调方法解决机器人在不同工作间因光照变化导致的性能下降问题,保留原始工作间性能并避免重新收集数据和训练。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 自动驾驶 2 篇

2605.19631 2026-05-20 cs.RO cs.CV 93%

HEAT: Heterogeneous End-to-End Autonomous Driving via Trajectory-Guided World Models

HEAT: 基于轨迹引导的世界模型实现异构端到端自动驾驶

Hoonhee Cho, Giwon Lee, Jae-Young Kang, Hyemin Yang, Heejun Park, Kuk-Jin Yoon

机构 * KAIST(韩国科学技术院)

专题命中 自动驾驶 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出一种基于轨迹引导的学习方法,通过规划轨迹组织训练,使模型能够捕捉驾驶意图的领域不变表示,并结合预测未来潜在特征的世界模型,提高特征一致性并缓解领域偏见,从而在多个异构数据集上实现强性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19033 2026-05-20 cs.RO cs.AI cs.CV cs.LG cs.MA 60%

RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning

RLFTSim: 通过强化学习微调实现逼真且可控的多智能体交通仿真

Ehsan Ahmadi, Hunter Schofield, Behzad Khamidehi, Fazel Arasteh, Jinjun Shan, Lili Mou, Dongfeng Bai, Kasra Rezaee

机构 * University of Alberta(阿尔伯塔大学) Huawei Technologies Canada(华为加拿大技术有限公司) York University(约克大学) Canada CIFAR AI Chair, Amii(加拿大 CIFAR 人工智能主席,Amii)

专题命中 自动驾驶 :分类 cs.AI、cs.LG、cs.CV;simulation model(abstract)

AI总结 本文提出RLFTSim框架,通过强化学习微调提升交通仿真场景的真实感,并通过目标条件化方法实现对交通仿真可控性的提炼,实验表明其在真实感和可控性方面均优于其他启发式搜索方法。

Comments CVPR 2026 Highlight; Project page at https://ehsan-ami.github.io/rlftsim

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 4 篇

2605.19076 2026-05-20 cs.LG physics.flu-dyn 68%

The impact of observation density on Bayesian inversion of latent dynamics in shock-dominated flows

观测密度对冲击主导流动中潜变量动态贝叶斯反演的影响

Bipin Tiwari, Muhammad Abid, Omer San

机构 * Department of Mechanical and Aerospace Engineering, University of Tennessee, Knoxville(田纳西大学机械与航空航天工程系)

专题命中 模型式强化学习 :latent dynamics(title);分类 cs.LG

AI总结 本文提出了一种非侵入式降阶建模框架,用于高效贝叶斯初始状态反演与不确定性量化,通过卷积自编码器和学习的潜空间前向算子结合,以提高冲击主导流动中潜变量动态的反演精度和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16692 2026-05-20 cs.LG cs.AI cs.RO 64%

EfficientTDMPC: Improved MPC Objectives for Sample-Efficient Continuous Control

EfficientTDMPC: 改进的MPC目标以实现高效的连续控制

Thomas Evers, Cristian Meo, Wendelin Bohmer, Justin Dauwels, Yaniv Oren

机构 * TU Delft(代尔夫特理工大学) LatentWorlds AI

专题命中 模型式强化学习 :model-based reinforcement learning(abstract);分类 cs.AI、cs.LG、cs.RO;dynamics model(abstract)

AI总结 本文提出EfficientTDMPC,一种基于模型的强化学习方法,用于连续控制,通过减少误差和增加数据新鲜度来提高样本效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19469 2026-05-20 cs.LG cs.AI cs.RO 60%

Sampling-Based Safe Reinforcement Learning

基于采样的安全强化学习

Luca Vignola, Bruce D. Lee, Manish Prajapat, Manuel Wendl, Melanie Zeilinger, Andreas Krause, Yarden As

机构 * ETH Zurich(苏黎世联邦理工学院)

专题命中 模型式强化学习 :model-based RL(abstract);分类 cs.AI、cs.LG、cs.RO

AI总结 本文提出了一种基于采样的安全强化学习方法,通过在有限的动力学样本集上联合施加约束,确保学习过程中的安全性,并在连续域中提供实用的安全保证,同时通过限制认知不确定性实现了高效的探索。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19215 2026-05-20 cs.AI 50%

Not all uncertainty is alike: volatility, stochasticity, and exploration

并非所有不确定性都相同:波动性、随机性与探索

Payam Piray

机构 * Department of Psychology, University of Southern California(南加州大学心理学系)

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.AI

AI总结 本文研究了在生物和人工智能中适应性决策中波动性和随机性对探索的影响差异,提出了CAUSE方法以提升探索效率。

详情

展开后加载摘要…

URL PDF HTML 收藏