arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

机器人 / 具身智能

机器人、具身智能、机器人学习、操作、导航和具身世界模型。

共收录 3110 信号源:cs.RO, cs.AI, cs.CV, cs.LG

1. 具身推理 3110 篇

2404.12377 2024-04-19 cs.RO 83%

RoboDreamer: Learning Compositional World Models for Robot Imagination

Siyuan Zhou, Yilun Du, Jiaben Chen, Yandong Li, Dit-Yan Yeung, Chuang Gan

专题命中 具身推理 :world model(title,abstract);robotic(abstract);分类 cs.RO

详情

展开后加载摘要…

URL PDF HTML 收藏
2310.16828 2024-03-22 cs.LG cs.AI cs.CV cs.RO 83%

TD-MPC2: Scalable, Robust World Models for Continuous Control

Nicklas Hansen, Hao Su, Xiaolong Wang

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.CV

Comments ICLR 2024. Explore videos, models, data, code, and more at https://tdmpc2.com

详情

展开后加载摘要…

URL PDF HTML 收藏
2312.05230 2023-12-11 cs.AI cs.CL cs.CV cs.LG cs.RO 83%

Language Models, Agent Models, and World Models: The LAW for Machine Reasoning and Planning

Zhiting Hu, Tianmin Shu

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.CV

Comments Position paper. Accompanying NeurIPS2023 Tutorial: https://sites.google.com/view/neurips2023law/home

详情

展开后加载摘要…

URL PDF HTML 收藏
2310.16029 2023-10-25 cs.LG cs.AI cs.CV cs.RO 83%

Finetuning Offline World Models in the Real World

Yunhai Feng, Nicklas Hansen, Ziyan Xiong, Chandramouli Rajagopalan, Xiaolong Wang

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.CV

Comments CoRL 2023 Oral; Project website: https://yunhaifeng.com/FOWM

详情

展开后加载摘要…

URL PDF HTML 收藏
2308.13661 2023-08-29 cs.LG 83%

Go Beyond Imagination: Maximizing Episodic Reachability with World Models

Yao Fu, Run Peng, Honglak Lee

专题命中 具身推理 :world model(title,abstract);navigation(abstract);分类 cs.LG

Comments Published in the 40th International Conference on Machine Learning

详情

展开后加载摘要…

URL PDF HTML 收藏
2307.08630 2023-07-18 cs.RO 83%

A Nested U-Structure for Instrument Segmentation in Robotic Surgery

Yanjie Xia, Shaochen Wang, Zhen Kan

专题命中 具身推理 :robotic(title,abstract);robotics(abstract);分类 cs.RO

详情

展开后加载摘要…

URL PDF HTML 收藏
2303.09534 2023-03-17 cs.CV 83%

InCrowdFormer: On-Ground Pedestrian World Model From Egocentric Views

Mai Nishimura, Shohei Nobuhara, Ko Nishino

专题命中 具身推理 :world model(title,abstract);navigation(abstract);分类 cs.CV

详情

展开后加载摘要…

URL PDF HTML 收藏
2111.08600 2021-11-17 cs.RO 83%

Towards Real-Time Monocular Depth Estimation for Robotics: A Survey

Xingshuai Dong, Matthew A. Garratt, Sreenatha G. Anavatti, Hussein A. Abbass

专题命中 具身推理 :robotics(title,abstract);robotic(abstract);分类 cs.RO

详情

展开后加载摘要…

URL PDF HTML 收藏
2103.13539 2021-10-18 cs.RO 83%

Multi-View Fusion for Multi-Level Robotic Scene Understanding

Yunzhi Lin, Jonathan Tremblay, Stephen Tyree, Patricio A. Vela, Stan Birchfield

专题命中 具身推理 :robotic(title,abstract);manipulation(abstract);分类 cs.RO

Comments Presented at IROS 2021. Video is at https://youtu.be/FuqMxuODGlw

详情

展开后加载摘要…

URL PDF HTML 收藏
2105.06706 2021-05-17 cs.AI 83%

Building Affordance Relations for Robotic Agents - A Review

Paola Ardón, Èric Pairet, Katrin S. Lohan, Subramanian Ramamoorthy, Ronald P. A. Petrick

专题命中 具身推理 :robotic(title,abstract);robotics(abstract);分类 cs.AI

Comments Accepted for IJCAI

详情

展开后加载摘要…

URL PDF HTML 收藏
2004.07400 2020-04-17 cs.RO 83%

Affordances in Robotic Tasks -- A Survey

Paola Ardón, Èric Pairet, Katrin S. Lohan, Subramanian Ramamoorthy, Ronald P. A. Petrick

专题命中 具身推理 :robotic(title,abstract);robotics(abstract);分类 cs.RO

Comments Manuscript currently under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2002.09604 2020-02-25 cs.CL cs.AI 83%

Emergent Communication with World Models

Alexander I. Cowen-Rivers, Jason Naradowsky

专题命中 具身推理 :world model(title,abstract);navigation(abstract);分类 cs.AI

Comments NeurIPS Workshop on Emergent Communication

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12078 2026-08-13 cs.CV cs.AI cs.LG 新提交 83%

Better Slots, Better Worlds: Representation Quality & Robustness in Object-Centric World Models

更好的槽,更好的世界:以对象为中心的世界模型中的表示质量与鲁棒性

Shukrullo Nazirjonov, Sai Prasanna, Anna Manasyan, Georg Martius

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 该研究通过受控实验分析以对象为中心的世界模型,发现槽质量与规划成功率正相关,槽绑定良好时可减少辅助输入,且在分布偏移下其鲁棒性优于LeWM,预训练特征是鲁棒性关键因素。

Comments Published at Model-Based RL in the Era of Generative World Models Workshop at RLC 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.00844 2026-01-06 cs.LG cs.AI cs.RO 83%

Value-guided action planning with JEPA world models

基于JEPA世界模型的价值引导动作规划

Matthieu Destrade, Oumayma Bounou, Quentin Le Lidec, Jean Ponce, Yann LeCun

机构 * École Polytechnique(巴黎高等理工学院) ENS Paris(巴黎高等师范学院) New York University(纽约大学)

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出了一种基于JEPA世界模型的价值引导动作规划方法,通过塑造表示空间提升规划性能。

Comments Presented as a poster at the World Modeling Workshop 2026, Mila

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.20835 2025-10-27 q-bio.NC 83%

Rethinking the Simulation vs. Rendering Dichotomy: No Free Lunch in Spatial World Modelling

Dezhi Luo, Qingying Gao, Hokin Deng

专题命中 具身推理 :world model(title,abstract);embodied AI(abstract,comments)

Comments Accepted at NeurIPS 2025 Workshop on Space in Vision, Language, and Embodied AI

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10781 2026-07-14 cs.CV cs.RO 新提交 82%

Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models

你所需要的只是能量引导吗?用于驱动世界模型的无训练规范注入

Xiyan Su, Frank Diermeyer, Markus Lienkamp

机构 * Institute of Automotive Technology, Technical University of Munich(慕尼黑工业大学汽车技术研究所)

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.CV;robotics(comments)

AI总结 研究基于大型视频扩散主干的驾驶世界模型难以控制的问题,提出通过可微能量函数在采样时操控规划轨迹,无需重新训练主干,以Open-Sora 2.0 MM-DiT主干模型为例验证,指出跨流耦合是端到端可控关键。

Comments Accepted to Robotics: Science and Systems 2026 Robot World Models Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.16461 2025-12-19 cs.CV cs.RO 82%

SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning

SNOW:基于世界知识的时空场景理解用于开放世界具身推理

Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

机构 * Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院) Esslingen University of Applied Sciences(埃斯林根应用科学大学) Dr. Ing. h.c. F. Porsche AG(德意志联邦汽车工业联合会) University of Michigan(密歇根大学) Voxel51 Inc.(Voxel51公司)

专题命中 具身推理 :robotics(abstract);navigation(abstract);world model(abstract);robotic(abstract)

AI总结 SNOW通过整合视觉语言模型与点云几何,实现统一的4D场景理解,提升开放世界具身推理的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08167 2026-05-19 cs.RO cs.AI cs.CV cs.LG 82%

Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning

基于互联网规模知识的自监督行动预测具身推理

Milan Ganai, Katie Luo, Jonas Frey, Clark Barrett, Marco Pavone

机构 * Stanford(斯坦福大学) UC Berkeley(加州大学伯克利分校) NVIDIA(英伟达)

专题命中 具身推理 :manipulation(abstract,abstract_cn);navigation(abstract);分类 cs.RO、cs.AI、cs.CV;robotics(comments)

AI总结 本文提出R&B-EnCoRe方法,通过自监督细化使模型从互联网知识中自推导具身推理策略,提升动作执行和导航性能,减少碰撞率。

Comments Robotics: Science and Systems (RSS) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.18484 2026-08-20 cs.CV cs.AI cs.LG 新提交 82%

Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

划分支撑集,重建残差:用于视频生成和世界模型的无训练稀疏注意力

Pardis Taghavi, Reza Langari, Gaurav Pandey

机构 * Texas A&M University(德克萨斯农工大学)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 本文提出SparsePR算法,结合响应耦合划分与探针拟合残差重建,在四个视频生成和世界模型上实现注意力重建误差降低,22.0%-26.0%执行对密度下保持生成质量,获1.48-2.61倍端到端加速。

Comments 22 pages, 5 figures. Project page: https://pardistaghavi.github.io/SparsePR-website/

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08600 2026-08-18 cs.CV cs.AI cs.LG 版本更新 82%

Population-Scalable Multi-Agent World Modeling

支持种群规模扩展的多智能体世界建模

Renjie Zhao, Yuxiang Wu, Mingyu Zhang, Jiaxin Li, Sisi Li, Yimin Sheng, Tianxi Tan, Zhenkai Zhang, Jianyi Zhu, Yong-Lu Li

机构 * Shanghai Jiao Tong University(上海交通大学)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 针对多智能体世界模型的种群可扩展性问题,提出无需重训练即可扩展至任意智能体数量的Khora模型,通过解耦世界状态演化与渲染实现跨视图一致性,验证了泛化性并构建了实时交互系统。

Comments Technical report. Project page: https://rhos.ai/research/khora. Online demo: https://ophilus.ai/khora

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28455 2026-08-17 cs.RO cs.AI cs.LG 版本更新 82%

Event-Conditioned Diagnostics of Kinematic, Contact, and Object-Permanence Fields in Passive Object-State World Models

被动对象状态世界模型中运动学、接触和物体恒存场的事件条件诊断

Yang Liu, Yuming Chen

机构 * College of Intelligent Robitcs and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院)

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 提出一种诊断协议,测试被动对象状态世界模型中的隐式物理场是否按事件类型组织,并验证场对齐表示对预测的功能影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06544 2026-08-10 cs.AI cs.CV cs.LG 新提交 82%

TaskSense: Focusing on What Matters in World Models

TaskSense:聚焦世界模型中的关键内容

SM Mazharul Islam, Manfred Huber

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 TaskSense是一种以任务为中心的世界建模框架,通过可微随机空间注意力机制结合辅助逆动力学目标,提升了视觉控制模型对干扰环境的鲁棒性,在Distracting Control Suite上性能优于DreamerV3。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.02713 2026-08-05 cs.CV cs.AI cs.RO 新提交 82%

Quo Vadis, World Modeling?

世界建模,何去何从?

Yu Yang, Xuemeng Yang, Licheng Wen, Lingdong Kong, Xiaobin Hu, Dongyue Lu, Wei Chow, Xiyan Huang, Yuxiang Feng, Yue Liao, Jianbiao Mei, Daocheng Fu, Rong Wu, Pinlong Cai, Ran Yi, Ying Tai, Jiangning Zhang, Botian Shi, Yong Liu, Shuicheng Yan

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 本研究提出以智能体为中心的交互式世界代理,将世界建模范式从物理状态转换转向智能体可用信息转换,划分六种代理类型与三个赋能层面,为构建赋能智能体的世界代理建立路线图。

Comments Technical Blog at https://worldbench.github.io/awesome-agentic-world-model GitHub Repo at https://github.com/worldbench/awesome-agentic-world-model

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28362 2026-07-31 cs.CV cs.AI cs.LG 新提交 82%

ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow

ShadowDancer:通过从视频及其阴影中学习统一动力学表示,赋予视频世界模型任意动作控制能力

Jin Cao, Zian Meng, Kaipeng Zhang

机构 * Alaya Lab(Alaya实验室) Shanghai Innovation Institute(上海创新研究院)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 ShadowDancer通过阴影对与跨阴影预测学习统一动力学表示,实现视频世界模型的任意动作帧级控制,在多动力学族上的动作迁移与长回放性能优于基线,平均盲胜率达86%。

Comments https://ShadowDancer-1.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27201 2026-07-30 cs.CL 新提交 82%

Mental World Modeling

心理世界建模

Hao Fei, Yiran Zhao

专题命中 具身推理 :world model(title,abstract)

AI总结 该研究提出将心理变量作为核心组件的MWM框架,实例化为MENTIS基线,实验证明显式建模心理状态对预测人类决策至关重要,推动世界建模从物理场景模拟转向心智模拟。

Comments project website: https://mental-world.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23602 2026-07-28 cs.RO cs.AI cs.LG 新提交 82%

Action from Adjacent Set in Physical Space Outperforms the Best Prediction in World Models

物理空间中相邻集的动作优于世界模型中的最佳预测

Liangyu Li, Qingwen Liu, Mingqing Liu

机构 * Tongji University(同济大学)

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 研究基于采样和潜在世界模型的控制器存在的条件失败提议过度生成问题,提出相邻集动作重建(ASAR)方法,在携带和释放评估集上,相比匹配选择提高了事件完成成功率,还刻画了选择风险。

Comments 26 pages, 7 figures. Includes supplementary material

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16314 2026-07-21 cs.CV cs.LG cs.RO 新提交 82%

Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

深度正则化JEPA世界模型从真实户外机器人数据中学习更多可转移表示

Usman M. Khan

机构 * Aigen(爱igen)

专题命中 具身推理 :world model(title,abstract);分类 cs.RO、cs.CV、cs.LG

AI总结 研究针对从真实户外机器人数据学习世界模型的挑战,引入深度作为训练几何先验,结合SIGReg等方法,训练18M参数模型,实验表明该方法在降低视觉里程计误差、增加意外分数分离及提高多步展开保真度等方面有显著提升,增强了模型泛化能力。

Comments 13 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05352 2026-07-08 cs.CV cs.AI cs.LG 新提交 82%

Multiplayer Interactive World Models with Representation Autoencoders

基于表示自编码器的多智能体交互世界模型

Anthony Hu, Václav Volhejn, Adrien Ramanana Rahary, Chris Mulder, Aditya Makkar, Alyx Liao, Amélie Royer, Manu Orsini, Adam Jelley, Eloi Alonso, Florian Laurent, Fredrik Norén, James Swingos, Jan Hünermann, Kent Rollins, Lucas Hosseini, Matthieu Le Cauchois, Maxim Peter, Pim de Witte, Tim Brown, Vincent Micheli, Moritz Böhle, Gabriel de Marmiesse, Viktoriia Sharmanska, Lucia Specia, Michael Black, Patrick Pérez

机构 * Epic Games École nationale des ponts et chaussées(法国国家桥梁与道路学院)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 针对复杂物理交互的高动态环境,该研究提出首个多智能体世界模型,以多智能体动作流为条件训练隐扩散模型,可实时生成稳定长时四智能体对局,开源相关资源。

Comments Technical report

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02634 2026-07-07 eess.SP 新提交 82%

Metasurface embodied intelligence through electromagnetic world model

通过电磁世界模型实现超表面的具身智能

Che Liu, Zhenhao Fu, Qian Ma, Jiajing Wu, Wen Ming Yu, Lianlin Li, Tie Jun Cui

专题命中 具身推理 :world model(title,abstract);manipulation(abstract)

AI总结 提出超表面具身智能通过世界模型(metaEI-WM)范式,集成语义环境建模与电动力学先验,理解电磁动力学,优化编码配置塑造电磁环境,实现复杂场景中多种无线任务自动化。

Comments 85 pages, 15 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04112 2026-07-07 cs.LG cs.AI cs.CL cs.CV 新提交 82%

DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics

DynaVieW:用于理解分层视觉动态的模式引导世界建模

Silin Gao, Hao Zhao, Zeming Chen, Sepideh Mamooler, Antara Raaghavi Bhattacharya, Qiyu Wu, Hiromi Wakaki, Yuki Mitsufuji, Li Mi, Syrielle Montariol, Antoine Bosselut

机构 * EPFL, Switzerland(瑞士联邦理工学院) Harvard University(哈佛大学) Sony Group Corporation(索尼集团) ETH Zurich, Switzerland(瑞士苏黎世联邦理工学院)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 针对多模态语言模型难以系统建模视频视觉场景时间演变的问题,提出DynaVieW模型,通过学习交错状态转换序列理解视觉动态,在多架构下联合建模,提升下游视觉叙事创作等任务表现。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏