视觉与机器人
面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。
$\tau_0$-WM：一种用于机器人操作的统一视频-动作世界模型
机构 * Shanghai Innovation Institute（上海创新研究院） ； AGIBOT Finch
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
AI总结 提出$\tau_0$-WM，一个统一视频-动作世界模型，通过共享视频扩散骨干集成策略学习、视频预测和动作评估，在长时域和精细操作任务上优于基线。
Comments Our project homepge: https://tau0-wm.github.io
$τ_0$-VLA：一种具有世界模型引导测试时计算能力的分层机器人基础模型
机构 * Shanghai Innovation Institute（上海创新研究院） ； Agibot Finch（智元 Finch（智元鹦鹉）） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 具身与机器人 ：world-model(title,abstract)；world-model(title,abstract)；分类 cs.RO
AI总结 $τ_0$-VLA是一种分层机器人基础模型，通过世界模型引导的测试时计算分配额外资源优化子任务生成，经40115小时异构真实数据训练后，可提升长时程机器人操作的闭环成功率。
Comments 18 pages, 5 figures. Project page: https://tau0-vla.github.io/
DreamTrajectory：面向移动操作的、结合世界模型对齐的轨迹引导动作生成方法
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
AI总结 DreamTrajectory是面向移动操作的轨迹引导框架，通过联合预测末端执行器轨迹与全身动作块、结合轨迹世界模型的测试时细化，在MS-HAB及真实任务中大幅提升操作成功率。
基于流匹配世界建模的外科机器人模仿策略故障检测
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学）
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
AI总结 该研究针对外科机器人模仿策略的故障检测难题，提出FoMo-FD方法，利用流匹配世界模型实现无故障演示的视觉-动作不一致性窗口级检测，在dVRK的模拟与真实实验中表现优于基线方法。
Comments 9 pages, 6 figures. Submitted to IEEE Robotics and Automation Letters (RA-L)
逻辑引导的社会感知机器人导航世界模型
机构 * School of Applied and Creative Computing, Purdue University（应用与创意计算学院，普渡大学） ； Department of Computer Science, Purdue University（计算机科学系，普渡大学） ； Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学） ； Department of Computer Science and Department of Intelligent Systems Engineering, Indiana University Bloomington（计算机科学系和智能系统工程系，印第安纳大学布卢明顿分校）
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
AI总结 提出NaviWM，通过结合结构化世界模型和逻辑驱动推理链，增强大语言模型在动态人类空间中生成社交合规且物理安全的导航决策的能力。
Comments The authors have decided to withdraw this manuscript due to concerns regarding its current scope, framing, and presentation. Please do not cite this version
GaussianDream：用于机器人操作的前馈3D高斯世界模型
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Hong Kong（香港大学）
专题命中 具身与机器人 ：world model(title)；world model(title)；world-model(abstract)；world-model(abstract)
AI总结 提出GaussianDream，一种前馈3D高斯世界模型插件，通过可学习查询编码当前帧3D空间结构和短期未来演化，在训练时用静态重建和未来预测头监督，推理时仅保留查询条件化动作生成，在多个机器人操作基准上达到最先进性能。
Comments 19 pages, 9 figures
RoboFlow4D: 一种轻量级的流世界模型，面向实时的流引导机器人操作
机构 * School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Cambridge（剑桥大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
AI总结 本文提出RoboFlow4D，一种轻量级的流世界模型，通过统一感知与规划，利用物理3D空间中的时间运动估计，实现高效的实时流引导机器人操作，提高了操作成功率和计算效率。
构建显式世界模型以实现零样本开放世界物体操控
专题命中 具身与机器人 ：world model(title)；world model(title)；world-model(abstract)；world-model(abstract)
AI总结 本文提出基于显式世界模型的框架，通过构建物理基础的数字孪生实现零样本泛化，无需任务特定示范即可完成开放集操控任务。
为分层操作策略扩展世界模型
机构 * Xi’an Jiao Tong University（西安交通大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
AI总结 本文提出分层VLA框架，利用大规模预训练世界模型提升机器人操作在分布外场景的泛化能力，实验显示性能提升显著。
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
Comments 23 pages
机构 * NVIDIA ； UC Berkeley（加州大学伯克利分校） ； UT Austin（德克萨斯大学奥斯汀分校）
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
机构 * Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系） ； Institute for Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（机器人与智能机器研究所（IRIM），佐治亚理工学院） ； JD Explore Academy, Beijing, China（京东探索研究院，北京，中国）
专题命中 具身与机器人 ：world model(title,abstract)；world model(title,abstract)；分类 cs.RO
Comments Project Webpage: https://jiangtaoran.github.io/dexsim2real2web/ . arXiv admin note: text overlap with arXiv:2302.10693
为混合具身体验中的长时域演化构建世界-自我模型
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Peking University（北京大学）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；embodied world model(abstract)；world model(abstract)
AI总结 本文提出了一种新的世界-自我建模范式，通过分解未来演化为世界和自我组件，解决混合任务中长时域具身体验中的退化问题，并通过HTEWorld基准测试验证了其有效性。
交互式世界模拟器用于机器人策略训练与评估
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)
AI总结 交互式世界模拟器通过构建物理一致的世界模型，实现了高效的机器人策略训练与评估，支持长时间稳定交互并展现与现实世界性能的强相关性。
Comments Project Page: https://yixuanwang.me/interactive_world_sim
小米机器人-U0：基于世界基础模型的统一具身合成
机构 * Xiaomi Robotics（小米机器人）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；embodied world model(abstract)；world model(abstract)
AI总结 研究针对基础模型应用于具身场景受限问题，提出小米机器人-U0多模态自回归模型，将具身生成扩展为基础图像和视频生成的形式，联合优化多种生成任务，在多方面取得领先成果，证明基础世界模型可用于具身智能。
SC3-Eval: 通过自洽视频生成评估机器人基础模型
机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； NVIDIA（英伟达） ； Physical Intelligence ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)
AI总结 提出SC3-Eval方法，利用前向-反向动力学一致性、跨视角一致性和测试时一致性，将预训练视频基础模型转化为准确的策略评估器，在7个真实世界策略上达到0.929的皮尔逊相关系数。
NavWAM：用于目标条件视觉导航的导航世界动作模型
机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（国立信息学研究所） ； AIRoA ； ATR
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)
AI总结 提出NavWAM，一种扩散变换器策略，通过联合学习未来观测、目标进度值和动作块，将导航世界模型预测直接转化为可执行动作，在离线基准和真实机器人部署中优于基于规划的世界模型基线。
Comments Project page: https://dachii-azm.github.io/navwam/
面向物流具身智能的数据飞轮
机构 * Peking University（北京大学） ； JD Logistics（京东物流） ； HKUST (Guangzhou)（香港科技大学（广州））
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)
AI总结 提出一种数据驱动的物流具身智能框架，通过构建数据飞轮将日常操作转化为可复用数据资产，利用世界模型生成长尾包裹操作的可靠监督，并整合多模态数据实现策略持续改进。
MoWM: 通过潜在到像素特征调制的混合世界模型实现具身规划
机构 * Tsinghua University（清华大学） ； Manifold AI ； Shanghai Jiao Tong University（上海交通大学）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)
AI总结 MoWM通过融合潜在世界模型与像素特征，提升具身规划中动作解码的精度与泛化能力。
机器人中的视频生成模型——应用、研究挑战与未来方向
机构 * Princeton University（普林斯顿大学） ； Temple University（Temple 大学）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；embodied world model(abstract)；world model(abstract)
AI总结 本文综述了视频生成模型在机器人学中的应用、研究挑战及未来方向，探讨了其在物理模拟、动作预测和策略评估中的作用及面临的挑战。
用于血管内导航多任务世界模型控制的渐进式经验融合
机构 * School of Biomedical Engineering & Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院） ； Surgical & Interventional Engineering（外科与介入工程）
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.LG、cs.RO
AI总结 本研究提出渐进式经验融合（PEF）训练多任务TD-MPC2控制器，在血管内导航任务中提升了成功率，可实现跨血管结构迁移与患者特异性微调，为临床应用提供概念验证。
Enfold：将世界生成器计算融入预测表示以实现高效具身控制
机构 * Shanghai Jiao Tong University（上海交通大学） ； South China University of Technology（华南理工大学） ； Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.CV、cs.RO
AI总结 Enfold将世界生成器计算融入预测表示，在LIBERO等多任务中实现高效具身控制，大幅降低动作延迟，且能适应场景变化，为具身控制提供了新范式。
Comments project page, https://zwl666666.github.io/enfold/
基于记忆增强检索的事件中心世界建模用于具身决策
机构 * Zhaowen Fan（Fan 研究院） ； Rongchao Zhang（Zhang 实验室）
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.LG、cs.RO
AI总结 本文提出一种事件中心世界建模框架，通过记忆增强检索实现具身决策，结合语义事件和先前经验进行决策，提升动态环境的结构抽象与可解释性。
Comments 12 pages, 9 figures, 4 tables, currently under review
GAF: 高斯动作场作为机器人操作中动态世界建模的4D表示
机构 * Tsinghua University（清华大学） ； Beijing Normal University（北京师范大学） ； Shadow AI
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.CV、cs.RO
AI总结 提出GAF，通过扩展3D高斯溅射引入可学习运动属性，实现动态场景的4D建模，并利用动作-视觉对齐去噪框架提升机器人操作成功率。
Kinema4D: 用于空间时间具身模拟的运动学4D世界建模
机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； SSE, CUHKSZ（香港中文大学深圳校区SSE）
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.CV、cs.RO
AI总结 本文提出Kinema4D，一种基于动作条件的4D生成机器人模拟器，通过精确的4D机器人控制表示和环境反应的生成建模，实现了高精度的空间时间交互模拟，并首次展示零样本迁移能力。
Comments Project page: https://mutianxu.github.io/Kinema4D-project-page/
AnchorDream：将视频扩散用于具身感知机器人数据合成
机构 * Toyota Research Institute（丰田研究院） ； USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)
AI总结 针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。
Comments Project page: https://jay-ye.github.io/AnchorDream/
将视频模型转化为通用机器人策略
机构 * MIT（麻省理工学院） ； CMU（卡内基梅隆大学） ； Amazon FAR（亚马逊公司）
专题命中 具身与机器人 ：world model(abstract)；video world model(abstract)；world model(abstract)；video world model(abstract)
AI总结 提出一种解耦的视频到动作策略VERA，利用无动作视频世界模型和基于机器人雅可比矩阵的逆动力学模型，实现跨本体的零样本机器人控制。
Comments project page: https://vera.csail.mit.edu
机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； Peng Cheng Laboratory（鹏城实验室） ； Institute of Digital Media, Peking University（北京大学数字媒体研究院）
专题命中 具身与机器人 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)
Comments The comprehensive review of Embodied AI. We also provide the resource repository for Embodied AI: https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.RO
专题命中 具身与机器人 ：world model(title)；world model(title)；分类 cs.RO
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈