视觉与机器人
机器人、具身智能、机器人学习、操作、导航和具身世界模型。
使用潜在空间生成世界模型减轻自动驾驶模仿学习中的协变量转移
机构 * NVIDIA
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.CV、cs.LG
AI总结 提出用潜在空间生成世界模型解决自动驾驶协变量转移问题，训练时利用世界模型减轻该问题，无需大量训练数据，还引入新感知编码器，实验显示相比之前有显著改进。
Comments 8 pages, 6 figures, original September 2024, accepted at ICRA 2025 Workshop "Robots in the Wild", for associated video file, see https://youtu.be/7m3bXzlVQvU
Driver-WM：以驾驶员为中心的交通条件潜在世界模型用于车内动态展开
机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Hubei University, Wuhan, China（湖北大学，武汉，中国） ； Osaka University, Osaka, Japan（大阪大学，大阪，日本）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 提出Driver-WM，一种以驾驶员为中心的潜在世界模型，通过门控因果注入机制在紧凑潜在空间中联合预测驾驶员物理运动、行为和情感，实现外部交通到内部动态的因果展开。
Comments Accepted to the 19th European Conference on Computer Vision (ECCV 2026). This version includes the supplementary material
世界模型中的幻觉是可预测且可预防的
机构 * UC San Diego（加州大学圣迭戈分校）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.CV、cs.LG
AI总结 本文发现世界模型中的幻觉源于状态-动作空间的低覆盖区域，提出三种可预测幻觉的信号，并开发覆盖感知采样和好奇心奖励方法，仅需50条真实轨迹即可微调模型适应新环境。
Comments Interactive paper, live demo, code, dataset, and models: https://www.nicklashansen.com/mmbench2
一图足矣：基于文本世界模型的智能体单样本图像生成用于长尾空间感知
机构 * Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） ； Sun Yat-Sen University（中山大学） ； Technical University of Munich（慕尼黑工业大学） ； Heilbronn Data Science Center（海尔布隆数据科学中心） ； Munich Data Institute（慕尼黑数据研究所）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出WMGen-v1框架，利用单张参考图像通过LVLM构建结构化场景表示，LLM进行物理合理的场景扩展，再由扩散模型生成多样化的长尾训练数据，缓解空间感知中的数据稀缺问题。
循环世界模型
机构 * FaceMind Research Asia
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出循环世界模型（LoopWM），通过参数共享的Transformer块迭代细化潜在环境状态，实现高达100倍参数效率，并建立迭代潜在深度作为世界模拟的新缩放轴。
Comments Technical Report
机器中的人类认知：世界模型的统一视角
机构 * Northeastern University（东北大学） ； EmbodyX Inc.（EmbodyX公司） ； Tulane University（路易斯安那州立大学） ； Cornell University（康奈尔大学） ； University of Georgia（佐治亚大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 提出统一框架整合记忆、感知等认知功能，指出动机和元认知研究不足，并引入认知世界模型新类别。
弥合智能体-世界鸿沟：面向基于LLM的智能体的文本世界模型
机构 * Southern University of Science and Technology（南方科技大学） ； University of Edinburgh（爱丁堡大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学）
专题命中 具身推理 ：world model(title,abstract)；navigation(abstract)
AI总结 本文系统综述了面向基于LLM的智能体的文本世界模型，围绕形式化框架和智能体生命周期，涵盖基础定义、构建范式、应用（训练时经验合成与推理时规划、验证、适应）及评估，旨在整合该领域并明确设计空间与开放挑战。
Comments Code: https://github.com/sustech-nlp/awesome-text-world-models
ATM：用于诊断和改进潜在世界模型的动作一致性转移矩阵
机构 * School of Software, Northeastern University（东北大学软件学院）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 提出ATM矩阵，通过轻量级探针比较真实与预测潜在转移中的动作信息，无需模拟器即可诊断世界模型质量，并引入AITS利用动作可识别性作为训练信号提升下游规划。
Comments 13 pages, 3 figures, 6 tables
超越像素历史：具有持久3D状态的世界模型
机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出PERSIST范式，通过模拟潜在3D场景（环境、相机、渲染器）的演化，实现具有持久空间记忆和一致几何的世界模型，显著提升3D一致性、空间记忆和长期稳定性。
Comments Accepted to the International Conference on Machine Learning (ICML) 2026. To appear in the Proceedings of Machine Learning Research (PMLR). 9 pages
World Action Verifier: 通过前向-反向不对称性自我改进世界模型
机构 * Stanford University（斯坦福大学） ； UC San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Google DeepMind（谷歌DeepMind） ； Harvard University（哈佛大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.LG
AI总结 提出World Action Verifier (WAV)框架，利用状态合理性和动作可达性的独立验证以及前向-反向不对称性，通过视频语料库的多样子目标生成器和稀疏逆模型实现循环一致性，从而在欠探索区域自我改进世界模型，在多个任务中样本效率提升2倍且下游策略性能提升22%以上。
Comments Project Website: https://world-action-verifier.github.io
流等变世界模型：部分观测动态环境的记忆
机构 * Kempner Institute, Harvard University（哈佛大学 Kempner 研究所） ； ML, Carnegie Mellon University（卡内基梅隆大学 ML 研究所） ； SEAS, Harvard University（哈佛大学 SEAS 研究所）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出流等变世界建模框架，利用时间参数化对称性在潜在记忆中实现长时程稳定准确的动力学预测，解决部分观测问题。
Comments Accepted at ICML 2026
可辨识的令牌对应关系用于世界模型
机构 * Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学） ； Department of Computer Science（计算机科学系） ； Engineering, Seoul National University（工程系，首尔国立大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出可辨识的令牌对应关系（ITC）方法，通过将下一帧预测建模为结构化分配问题，解决基于令牌的Transformer世界模型在长程推演中的时间不一致性，在四个基准上达到最先进性能。
Olaf-World: 面向视频世界模型的潜在动作定向
机构 * Show Lab, National University of Singapore ； Research (A STAR), Singapore
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出SeqΔ-REPA对齐目标，通过冻结自监督视频编码器的时序特征差异锚定潜在动作，实现无标签视频中可迁移的动作控制世界模型预训练。
Comments ICML 2026. Project page: https://showlab.github.io/Olaf-World/ Code: https://github.com/showlab/Olaf-World
UWM-JEPA：在信念空间中进行想象的世界预测模型
机构 * AgentField AI
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.LG
AI总结 针对部分可观测环境，提出UWM-JEPA模型，通过密度矩阵潜变量和酉预测器在信念空间中保持联合状态谱，实现长时域盲推演下的不确定性保持，显著优于向量潜变量基线。
Comments 14 pages, 6 figures, 7 tables. Code and data: https://github.com/santoshkumarradha/uwm-jepa
生成式视觉代码移动世界模型
机构 * Trillion Labs（万亿实验室）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 提出通过单一视觉语言模型预测可执行网页代码来生成移动GUI下一状态，结合文本和视觉世界模型优势，实现高保真视觉生成与精确文本渲染。
Comments ICML 2026
PhyWorld: 用于视频生成的物理忠实世界模型
机构 * Northeastern University（东北大学） ； University of Georgia（佐治亚大学） ； Tulane University（路易斯安那大学） ； EmbodyX
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。
DiLA：解耦的潜在动作世界模型
机构 * Peking-Tsinghua Center for Life Sciences, Academy for Advanced Interdisciplinary Studies, IDG/McGovern Institute for Brain Research, Peking University（北京大学-清华生命科学中心，先进跨学科研究院，IDG/麦克戈文脑科学研究院，北京大学） ； Center of Quantitative Biology, Peking University（北京大学定量生物学中心） ； School of Psychological and Cognitive Sciences, Key Laboratory of Machine Perception (Ministry of Education), Peking University（心理与认知科学学院，机器感知重点实验室（教育部），北京大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 DiLA通过内容-结构解耦解决动作抽象与生成保真度的平衡问题，实现高质量视频生成和动作迁移。
Comments Project Page: http://disentangled-latent-action-world-models.github.io
PhyGround：用于生成世界模型中物理推理的基准测试
机构 * Northeastern University（东北大学） ； Tulane University（路易斯安那州立大学） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 PhyGround通过250个精心设计的提示和13种物理定律的分类，评估视频生成中的物理推理能力，采用大规模人工研究验证并发布专用VLM评估工具PhyJudge-9B，显著降低偏见。
Comments Preprint. 56 pages, 39 figures, 40 tables. Project page: https://phyground.github.io/
可预测但不可计划：RC-aux用于潜在世界模型
机构 * Hokkaido University（北海道大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 本文提出RC-aux，通过改进潜在世界模型的时空匹配，提升规划能力，实验表明其在目标导向任务中表现更优。
受世界模型启发的大型语言模型代理 sarcasm 推理
机构 * Faculty of Business and Commerce, Kansai University（大阪 kansai 大学 商业与文理学院） ； Faculty of Medicine, The University of Tokyo（东京大学 医学部）
专题命中 具身推理 ：world model(title,abstract)
AI总结 本文提出 WM-SAR 模型，通过分解语义不一致性和意图进行 sarcasm 推理，实现高可解释性和性能提升。
LMGenDrive: 联合多模态理解与生成世界建模以实现端到端驾驶
机构 * CUHK MMLab（香港中文大学多媒体实验室） ； University of Toronto（多伦多大学） ； UC Berkeley（加州大学伯克利分校）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 本文提出LMGenDrive框架，结合LLM多模态理解与生成世界模型，提升自动驾驶的闭环性能，通过视频预测和控制信号生成，增强时空场景建模和指令遵循能力。
AI驱动的海洋机器人：水下感知与生态系统监测的新兴趋势
专题命中 具身推理 ：robotics(title,abstract)；分类 cs.RO、cs.CV、cs.LG
AI总结 本文探讨了气候变暖背景下，AI在水下感知与生态系统监测中的应用发展，分析了环境需求、公民科学平台和研究人员迁移等因素推动的AI创新，展示了弱监督学习、开放集识别和鲁棒感知等技术的进展。
Comments 9 pages, 3 figures, Accepted for Oral Presentation at AAAI Conference on Artificial Intelligence 2026
Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40 (2026), 40981-40989
WorldCache: 用于加速视频世界模型的内容感知缓存
机构 * Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 WorldCache通过引入运动自适应阈值、显著性加权漂移估计和最优近似方法，实现动态场景下的高效特征重用，提升推理速度并保持高质量。
Comments 33 Pages
基于世界模型的潜在策略引导
机构 * Robotics Institute, School of Computer Science, Carnegie Mellon University（机器人研究所、计算机科学学院、卡内基梅隆大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.LG
AI总结 本文通过预训练世界模型和优化价值函数，提升低数据场景下的视觉运动策略性能，采用光流作为动作表示，实现跨体素的策略优化，实验显示在机器人任务中性能提升显著。
SAW：通过可控且可扩展的视频生成实现手术动作世界模型
机构 * Johns Hopkins University（约翰霍普金斯大学） ； NVIDIA
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 SAW通过四个轻量信号条件的视频扩散模型生成真实手术动作视频，解决手术AI和模拟中的数据稀缺、稀有事件合成及仿真到现实的差距问题，实现高时间一致性和视觉质量。
Comments The manuscript is under review
8个标记的规划：一种用于潜在世界模型的紧凑离散标记器
机构 * KAIST（韩国科学技术院） ； POSTECH（POSTECH大学） ； RLWRLD
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 本文提出CompACT，一种将观测压缩为8个标记的离散标记器，显著降低计算成本并提升规划效率，为潜在世界模型的实际应用提供可行方案。
Comments CVPR 2026
链式世界：潜在运动中的世界模型思维
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Li Auto ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； University of New South Wales（新南威尔士大学） ； Chongqing Research Institute of HIT（哈尔滨工业大学重庆研究院） ； Peking University（北京大学）
专题命中 具身推理 ：world model(title)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 CoWVLA通过统一世界模型的时间推理与解耦的潜在运动表示，提升视觉-运动学习效率。
Comments Accepted by CVPR2026. Project page: https://fx-hit.github.io/cowvla-io/
面向风险的 world model 预测控制用于通用的端到端自动驾驶
机构 * University of Trento（特伦托大学） ； Sun Yat-sen University（中山大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.AI、cs.CV
AI总结 本文提出风险感知世界模型预测控制（RaWMPC）框架，通过鲁棒控制提升端到端自动驾驶在罕见场景下的决策可靠性与安全性。
基于掩码潜在变换器的精准高效世界建模
机构 * Computer Vision Lab, CAIDAS \& IFI, University of Würzburg, Germany
专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV、cs.LG
AI总结 EMERALD通过高效掩码潜在变换器实现精准高效的世界建模，首次在1000万环境步骤内超越人类专家性能。
DISK：用于世界模型的动态推理跳过
机构 * Purdue University, West Lafayette, United States（普渡大学）
专题命中 具身推理 ：world model(title,abstract)；分类 cs.RO、cs.CV、cs.LG
AI总结 DISK通过动态推理跳过技术，在无需训练的情况下提升自回归世界模型的视频和轨迹预测效率，同时保持预测精度和视觉质量。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈