arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-03-17 至 2026-03-17 共收录 25 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 17 篇

2602.01960 2026-03-17 cs.LG 94%

Grounding Generated Videos in Feasible Plans via World Models

通过世界模型将生成视频接地到可行计划中

Christos Ziakas, Amir Bar, Alessandra Russo

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文提出GVP-WM方法,通过学习动作条件的世界模型,将生成视频计划接地为可行动作序列,解决视频生成计划在时间一致性和物理约束上的问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.08955 2026-03-17 cs.CL cs.AI cs.LG 94%

Imagine-then-Plan: Agent Learning from Adaptive Lookahead with World Models

想象后再计划:基于世界模型的自适应前瞻学习 agent 学习框架

Youwei Liu, Jian Wang, Hanlin Wang, Beichen Guo, Wenjie Li

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文提出Imagine-then-Plan框架,通过自适应前瞻机制提升agent在复杂任务中的推理能力,实验表明其优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13423 2026-03-17 cs.LG cs.CL 93%

From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

从梯度到里卡蒂几何:用于单次学习的卡尔曼世界模型

Andrew Kiruluta

机构 * UC Berkeley School of Information(伯克利大学信息学院)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 本文提出卡尔曼世界模型(KWM),通过递归贝叶斯滤波而非反向传播优化动态系统,实现无梯度的训练与适应,适用于序列建模任务,展示出竞争性能和增强的鲁棒性与持续适应性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13263 2026-03-17 cs.LG 92%

Beyond Attention: True Adaptive World Models via Spherical Kernel Operator

超越注意力:通过球面核算子构建真正的自适应世界模型

Vladimer Khasia

机构 * Independent Researcher(独立研究者)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出球面核算子,通过将数据流形投影到统一的高维球面并利用超球面多项式,解决传统注意力机制的饱和问题,提升世界模型的预测能力与收敛速度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14948 2026-03-17 cs.CV 92%

Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation

弥合场景生成与规划:通过统一视觉与运动表示进行驾驶世界模型

Xingtai Gui, Meijie Zhang, Tianyi Yan, Wencheng Han, Jiahao Gong, Feiyang Tan, Cheng-zhong Xu, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau(澳门大学SKL-IOTSC、CIS) Afari Intelligent Drive(Afari智能驾驶)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);driving world model(abstract)

AI总结 本文提出WorldDrive框架,通过统一视觉与运动表示弥合场景生成与规划之间的差距,利用轨迹感知驾驶世界模型和未来感知奖励器提升自动驾驶规划性能。

Comments 16 pages, 9 figures. The code is available at https://github.com/TabGuigui/WorldDrive

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13615 2026-03-17 cs.CV cs.RO 90%

Egocentric World Model for Photorealistic Hand-Object Interaction Synthesis

第一人称世界模型用于逼真手-物体交互合成

Dayou Li, Lulin Liu, Bangya Liu, Shijie Zhou, Jiu Feng, Ziqi Lu, Minghui Zheng, Chenyu You, Zhiwen Fan

机构 * Texas A&M University(德克萨斯A&M大学) University of Minnesota(明尼苏达大学) University of Wisconsin–Madison(威斯康星大学麦迪逊分校) University of California, Los Angeles(加州大学洛杉矶分校) University of Texas at Austin(得克萨斯大学奥斯汀分校) Amazon(亚马逊) State University of New York at Stony Brook(纽约州立大学石溪分校)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 本文提出EgoHOI模型,通过动作信号模拟物理一致的交互,克服了高速头部运动、严重遮挡和高自由度手部运动带来的挑战,实验验证其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13435 2026-03-17 cs.CV cs.AI cs.CR 88%

CtrlAttack: A Unified Attack on World-Model Control in Diffusion Models

CtrlAttack:一种针对扩散模型世界模型控制的统一攻击

Shuhan Xu, Siyuan Liang, Hongling Zheng, Yong Luo, Han Hu, Lefei Zhang, Dacheng Tao

机构 * Wuhan University(武汉大学) Nanyang Technological University(南洋理工大学) Beijing Institute of Technology(北京理工大学)

专题命中 通用世界模型 :world-model(title,abstract);world-model(title,abstract);分类 cs.AI、cs.CV

AI总结 本文提出CtrlAttack攻击方法,针对扩散模型中的时间动态建模漏洞,通过低维速度场干扰状态转移,提升攻击成功率并揭示模型在状态动态层面的安全风险。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14039 2026-03-17 cs.CV 88%

EyeWorld: A Generative World Model of Ocular State and Dynamics

EyeWorld: 一种眼态与动态的生成世界模型

Ziyu Gao, Xinyuan Wu, Xiaolan Chen, Zhuoran Liu, Ruoyu Chen, Bowen Liu, Bingjie Yan, Zhenhan Wang, Kai Jin, Jiancheng Yang, Yih Chung Tham, Mingguang He, Danli Shi

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.CV

AI总结 EyeWorld通过统一多模态解析与时间条件状态转移,实现对眼态的鲁棒多模态解释与临床预测模拟。

Comments 38 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13295 2026-03-17 cs.LG cs.AI 82%

ICPRL: Acquiring Physical Intuition from Interactive Control

ICPRL: 从交互控制中获取物理直觉

Xinrun Xu, Pi Bu, Ye Wang, Börje F. Karlsson, Ziming Wang, Tengtao Song, Qi Zhu, Jun Song, Shuo Zhang, Zhiming Ding, Bo Zheng

机构 * Institute of Software, Chinese Academy of Science(中国科学院软件研究所) University of Chinese Academy of Sciences(中国科学院大学) Alibaba Group(阿里巴巴集团) RUC(中国人民大学) PUC-Rio(里约热内卢联邦大学)

专题命中 通用世界模型 :world model(abstract);world-model(abstract);world model(abstract);world-model(abstract)

AI总结 ICPRL通过多轮组相对策略优化,使VLM在动态物理环境中获取物理直觉并适应策略,其世界模型预测潜在动作结果,提升物理谜题解决能力。

Comments 22 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14941 2026-03-17 cs.AI 81%

RS-WorldModel: a Unified Model for Remote Sensing Understanding and Future Sense Forecasting

RS-WorldModel:一种用于遥感理解与未来感知预测的统一模型

Linrui Xu, Zhongan Wang, Fei Shen, Gang Xu, Huiping Zhuang, Ming Li, Haifeng Li

机构 * Central South University(中南大学) Zhejiang University(浙江大学) National University of Singapore(新加坡国立大学) Guangming Laboratory(光明实验室) South China University of Technology(华南理工大学)

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 RS-WorldModel通过联合处理时空变化理解和文本引导的未来场景预测,提升遥感任务的跨任务迁移能力,其在1.1 million样本数据集上训练,参数仅2B即可超越多数开源模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13284 2026-03-17 cs.LG stat.ML 81%

Do Diffusion Models Dream of Electric Planes? Discrete and Continuous Simulation-Based Inference for Aircraft Design

扩散模型是否梦想着电动飞机?基于模拟的推断用于飞机设计

Aurelien Ghiglino, Daniel Elenius, Anirban Roy, Ramneet Kaur, Manoj Acharya, Colin Samplawski, Brian Matejek, Susmit Jha, Juan Alonso, Adam Cobb

机构 * Computer Science Laboratory, SRI(SRI计算机科学实验室) Aerospace Design Laboratory, Stanford University(斯坦福大学航空航天设计实验室)

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文基于模拟推断方法,生成电动垂直起降飞机的概念设计,引入两级概率模型,结合扩散模型加速设计生成并发现飞机设计中的物理规律。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05110 2026-03-17 cs.CV cs.LG 71%

BLINK: Behavioral Latent Modeling of NK Cell Cytotoxicity

BLINK:自然杀伤细胞杀伤行为的隐式建模

Iman Nematollahi, Jose Francisco Villena-Ossa, Alina Moter, Kiana Farhadyar, Gabriel Kalweit, Abhinav Valada, Toni Cathomen, Evelyn Ullrich, Maria Kalweit

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.LG、cs.CV

AI总结 BLINK通过轨迹基于的递归状态空间模型,从部分观测的NK-肿瘤相互作用序列中学习隐式相互作用动力学,预测凋亡增量并提升单细胞水平的NK细胞杀伤行为的定量评估与结构建模能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14087 2026-03-17 cs.LG cs.CL 69%

Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

理解下一token预测器中看似无用特征的出现

Mark Rofin, Jalal Naghiyev, Michael Hahn

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.LG

AI总结 研究探讨了训练中的Transformer模型如何计算看似冗余的抽象特征,并提出方法分析梯度信号对特定特征形成的影响,通过玩具任务和小型模型验证,揭示了预训练语言模型中形式推理领域特征的产生机制。

Comments ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13595 2026-03-17 cs.LG cs.AI cs.CV 56%

A Causal Framework for Mitigating Data Shifts in Healthcare

减轻医疗领域数据偏移的因果框架

Kurt Butler, Stephanie Riley, Damian Machlanski, Edward Moroshko, Panagiotis Dimitrakopoulos, Thomas Melistas, Akchunya Chanchal, Konstantinos Vilouras, Zhihua Liu, Steven McDonagh, Hana Chockler, Ben Glocker, Niccolo Tempini, Matthew Sperrin, Sotirios A Tsaftaris, Ricardo Silva

机构 * Causality in Healthcare AI Hub (CHAI)(医疗人工智能AI hub(CHAI)) The University of Edinburgh(爱丁堡大学) University of Manchester(曼彻斯特大学) Athena Research Center(阿塔尼亚研究中心) NKU Athens(雅典NKU) King’s College London(伦敦国王学院) Imperial College London(伦敦帝国学院) University of Exeter(埃克塞特大学) University College London(伦敦大学学院)

专题命中 通用世界模型 :分类 cs.AI、cs.LG、cs.CV;predictive model(abstract);predictive models(abstract)

AI总结 本文提出一种因果框架,用于设计预测模型以提高泛化能力,通过分析领域偏移的原因,提供更系统的策略应对偏移问题,推动临床相关AI解决方案的发展。

Comments 21 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.15110 2026-03-17 cs.LG cs.CV 50%

Sampling-guided exploration of active feature selection policies

基于采样引导的主动特征选择策略探索

Gabriel Bernardino, Anders Jonsson, Patrick Clarysse, Nicolas Duchateau

机构 * Department of Engineering, Universitat Pompeu Fabra(庞培法布拉大学工程学院) Univ Lyon, Université Claude Bernard Lyon 1, INSA-Lyon, CNRS, Inserm, CREATIS UMR 5220, U1294(里昂大学) Institut Universitaire de France (IUF)(法国国家科学研究中心)

专题命中 通用世界模型 :分类 cs.LG、cs.CV;predictive model(abstract);predictive models(abstract)

AI总结 本文提出基于强化学习的主动特征选择方法,通过启发式策略扩展框架以处理大规模数据,并引入后拟合正则化策略减少特征组合,提升分类性能和策略复杂度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.08478 2026-03-17 cs.RO cs.LG 50%

STRIDE: Structured Lagrangian and Stochastic Residual Dynamics via Flow Matching

STRIDE: 通过流匹配实现结构化拉格朗日和随机残差动力学

Prakrut Kotecha, Ganga Nair B, Shishir Kolathaya

专题命中 通用世界模型 :分类 cs.LG、cs.RO;predictive model(abstract);predictive models(abstract)

AI总结 本文提出STRIDE框架,结合拉格朗日神经网络与条件流匹配,分离保守刚体动力学与非保守随机交互效应,提升机器人在不确定环境中的预测精度与控制可靠性。

Comments 9 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.21328 2026-03-17 cs.LG cs.AI 50%

Deconfounded Time Series Forecasting: A Causal Inference Approach

去偏时间序列预测:一种因果推断方法

Wentao Gao, Xiaojing Du, Wenjun Yu, Xiongren Chen, Yifan Guo, Feiyu Yang

专题命中 通用世界模型 :分类 cs.AI、cs.LG;predictive model(abstract);predictive models(abstract)

AI总结 本文提出一种融合潜在混杂因素的时间序列预测方法,通过引入历史数据中的混杂因素表示,提升预测准确性和鲁棒性,在气候科学数据中验证了其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 具身与机器人 2 篇

2603.13825 2026-03-17 cs.RO 88%

Building Explicit World Model for Zero-Shot Open-World Object Manipulation

构建显式世界模型以实现零样本开放世界物体操控

Xiaotong Li, Gang Chen, Javier Alonso-Mora

专题命中 具身与机器人 :world model(title);world model(title);world-model(abstract);world-model(abstract)

AI总结 本文提出基于显式世界模型的框架,通过构建物理基础的数字孪生实现零样本泛化,无需任务特定示范即可完成开放集操控任务。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.26255 2026-03-17 cs.AI cs.CV cs.LG cs.RO 83%

ExoPredicator: Learning Abstract Models of Dynamic Worlds for Robot Planning

ExoPredicator:为机器人规划学习动态世界的抽象模型

Yichao Liang, Dat Nguyen, Cambridge Yang, Tianyang Li, Joshua B. Tenenbaum, Carl Edward Rasmussen, Adrian Weller, Zenna Tavares, Tom Silver, Kevin Ellis

专题命中 具身与机器人 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文提出ExoPredicator框架,通过联合学习符号状态表示和因果过程,解决长周期具身规划中的外源性过程建模问题,实现对复杂任务的泛化能力。

Comments ICLR 2026. The last two authors contributed equally in co-advising

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 自动驾驶 2 篇

2603.14908 2026-03-17 cs.RO cs.CV 71%

PerlAD: Towards Enhanced Closed-loop End-to-end Autonomous Driving with Pseudo-simulation-based Reinforcement Learning

PerlAD:基于伪模拟的强化学习在闭环端到端自动驾驶中的应用

Yinfeng Gao, Qichao Zhang, Deqing Liu, Zhongpu Xia, Guang Li, Kun Ma, Guang Chen, Hangjun Ye, Long Chen, Da-Wei Ding, Dongbin Zhao

机构 * School of Automation and Electrical Engineering, University of Science and Technology Beijing(北京科技大学自动化与电气工程学院) Xiaomi EV(小牛电动车) State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室)

专题命中 自动驾驶 :world model(abstract);world model(abstract);分类 cs.CV、cs.RO

AI总结 PerlAD通过伪模拟强化学习方法解决闭环端到端自动驾驶中训练与现实需求不匹配的问题,利用向量空间构建伪模拟环境,结合预测世界模型和分层解耦规划器,实现高效训练和规划,实验表明其在Bench2Drive和DOS基准上均表现优异。

Comments Accepted by IEEE RA-L. Submitted: 2025.12.2; Revised: 2026.2.4; Accepeted: 2026.3.7

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13399 2026-03-17 cs.CV 50%

FlowAD: Ego-Scene Interactive Modeling for Autonomous Driving

FlowAD: 无人驾驶中的自体场景交互建模

Mingzhe Guo, Yixiang Yang, Chuanrong Han, Rufeng Zhang, Shirui Li, Ji Wan, Zhipeng Zhang

机构 * AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院AutoLab) Baidu Inc(百度公司)

专题命中 自动驾驶 :environment model(abstract);分类 cs.CV

AI总结 本文提出FlowAD框架,通过自体场景交互建模提升自动驾驶性能,利用场景流建模动态变化,结合新颖的FCP指标评估场景理解能力,实验表明其在碰撞率和驾驶评分上均优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 3 篇

2409.19647 2026-03-17 cs.RO cs.AI cs.SY eess.SY 58%

Fine-Tuning Hybrid Physics-Informed Neural Networks for Vehicle Dynamics Model Estimation

针对车辆动力学模型估计的混合物理信息神经网络微调

Shiming Fang, Kaiyan Yu

专题命中 模型式强化学习 :dynamics model(title,abstract);分类 cs.AI、cs.RO

AI总结 本文提出FTHD方法,结合监督和非监督PINNs,通过微调预训练的DDM,在减少数据量的情况下提升参数估计精度,并通过EKF-FTHD增强数据鲁棒性。

Journal ref Int. J. Intell. Robot. Appl., vol. 9, no. 4, pp. 1594-1610, 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.04412 2026-03-17 cs.RO cs.LG 56%

HoRD: Robust Humanoid Control via History-Conditioned Reinforcement Learning and Online Distillation

通过历史条件强化学习和在线蒸馏实现鲁棒的人形机器人控制:HoRD

Puyue Wang, Jiawei Hu, Yan Gao, Junyan Wang, Yu Zhang, Gillian Dobbie, Tao Gu, Wafa Johal, Ting Dang, Hong Jia

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.LG、cs.RO

AI总结 HoRD通过历史条件强化学习和在线蒸馏,使单个策略能零样本适应未知领域,提升人形机器人在动态变化和外部扰动下的鲁棒性和迁移能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00552 2026-03-17 cs.AI 50%

EMPA: Evaluating Persona-Aligned Empathy as a Process

EMPA:评估基于角色的共情作为过程

Shiya Zhang, Yuhan Zhan, Ruixi Su, Ruihan Sun, Ziyi Song, Zhaohan Chen, Xiaofan Zhang

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.AI

AI总结 本文提出EMPA框架,通过可控心理场景和多智能体沙盒评估持续干预而非孤立回复,以提升对话代理的共情能力。

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 仿真与规划 1 篇

2603.15583 2026-03-17 cs.CV 88%

Grounding World Simulation Models in a Real-World Metropolis

将世界模拟模型扎根于现实世界中的城市

Junyoung Seo, Hyunwook Choi, Minkyung Kwon, Jinhyeok Choi, Siyoon Jin, Gayoung Lee, Junho Kim, JoungBin Lee, Geonmo Gu, Dongyoon Han, Sangdoo Yun, Seungryong Kim, Jin-Hwa Kim

机构 * KAIST AI(韩国科学技术院人工智能研究中心) NAVER AI Lab(NAVER人工智能实验室) SNU AIIS(成均馆大学人工智能研究所)

专题命中 仿真与规划 :world model(abstract);world models(abstract);video world model(abstract);simulation model(title,abstract)

AI总结 本文提出Seoul World Model,通过检索增强的条件生成真实城市场景,解决时间错位和轨迹多样性问题,生成高保真、时序一致的长时景视频。

Comments project page: https://seoul-world-model.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏