arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

共收录 6518 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 仿真与规划 323 篇

2601.04686 2026-01-09 cs.LG cs.RO 71%

Nightmare Dreamer: Dreaming About Unsafe States And Planning Ahead

噩梦梦游者:对不安全状态的梦境与提前规划

Oluwatosin Oseni, Shengjie Wang, Jun Zhu, Micah Corah

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.LG、cs.RO

AI总结 Nightmare Dreamer是一种基于模型的安全强化学习算法,通过预测潜在安全违规并规划动作,在机器人控制任务中实现了接近零安全违规和高奖励效率。

Comments RSS'25: Multi-Objective Optimization and Planning in Robotics Workshop: 5 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00041 2025-12-02 cs.RO cs.CV 71%

VISTAv2: World Imagination for Indoor Vision-and-Language Navigation

VISTAv2:室内视觉与语言导航的世界想象

Yanjia Huang, Xianshun Jiang, Xiangbo Gao, Mingyang Wu, Zhengzhong Tu

机构 * Texas A&M University(德克萨斯农工大学)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.CV、cs.RO

AI总结 VISTAv2通过生成式世界模型实现室内视觉与语言导航的稳健规划,结合动作条件想象和在线价值图融合,提升导航效率与鲁棒性。

Comments 11 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.12967 2024-11-21 cs.RO cs.AI 71%

Shrinking POMCP: A Framework for Real-Time UAV Search and Rescue

Yunuo Zhang, Baiting Luo, Ayan Mukhopadhyay, Daniel Stojcsics, Daniel Elenius, Anirban Roy, Susmit Jha, Miklos Maroti, Xenofon Koutsoukos, Gabor Karsai, Abhishek Dubey

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.RO

Comments Accepted to the The 3rd International Conference on Assured Autonomy

详情

展开后加载摘要…

URL PDF HTML 收藏
2311.17406 2024-04-23 cs.RO cs.AI 71%

LLM-State: Open World State Representation for Long-horizon Task Planning with Large Language Model

Siwei Chen, Anxing Xiao, David Hsu

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.RO

详情

展开后加载摘要…

URL PDF HTML 收藏
2310.18239 2024-04-02 cs.AI cs.CL cs.FL cs.RO 71%

Fine-Tuning Language Models Using Formal Methods Feedback

Yunhao Yang, Neel P. Bhatt, Tyler Ingebrand, William Ward, Steven Carr, Zhangyang Wang, Ufuk Topcu

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.RO

详情

展开后加载摘要…

URL PDF HTML 收藏
2403.13827 2024-03-22 cs.RO cs.LG eess.SP 71%

Self-Supervised Path Planning in UAV-aided Wireless Networks based on Active Inference

Ali Krayani, Khalid Khan, Lucio Marcenaro, Mario Marchese, Carlo Regazzoni

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.LG、cs.RO

Comments Accepted for publication in the 2024 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2024)

详情

展开后加载摘要…

URL PDF HTML 收藏
2211.13350 2024-01-22 cs.AI cs.LG 71%

Choreographer: Learning and Adapting Skills in Imagination

Pietro Mazzaglia, Tim Verbelen, Bart Dhoedt, Alexandre Lacoste, Sai Rajeswar

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

Comments Accepted at ICLR 2023 (notable top 25%)

详情

展开后加载摘要…

URL PDF HTML 收藏
2401.05946 2024-01-12 cs.LG cs.AI 71%

Learning Cognitive Maps from Transformer Representations for Efficient Planning in Partially Observed Environments

Antoine Dedieu, Wolfgang Lehrach, Guangyao Zhou, Dileep George, Miguel Lázaro-Gredilla

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

详情

展开后加载摘要…

URL PDF HTML 收藏
2203.01507 2022-03-04 cs.MA cs.RO cs.SY eess.SY 71%

SMA-NBO: A Sequential Multi-Agent Planning with Nominal Belief-State Optimization in Target Tracking

Tianqi Li, Lucas W. Krakow, Swaminathan Gopalswamy

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.RO、cs.MA

详情

展开后加载摘要…

URL PDF HTML 收藏
2110.01770 2021-10-12 cs.CV cs.AI 71%

Procedure Planning in Instructional Videos via Contextual Modeling and Model-based Policy Learning

Jing Bi, Jiebo Luo, Chenliang Xu

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.CV

Comments ICCV 2021 Oral

详情

展开后加载摘要…

URL PDF HTML 收藏
1811.07550 2018-11-20 cs.CL cs.AI cs.LG cs.NE 71%

Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning

Yuexin Wu, Xiujun Li, Jingjing Liu, Jianfeng Gao, Yiming Yang

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

Comments 8 pages, 9 figures, AAAI 2019

详情

展开后加载摘要…

URL PDF HTML 收藏
1801.06176 2018-05-24 cs.CL cs.AI cs.LG cs.NE 71%

Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning

Baolin Peng, Xiujun Li, Jianfeng Gao, Jingjing Liu, Kam-Fai Wong, Shang-Yu Su

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

Comments 11 pages, 8 figures, Accepted in ACL 2018

详情

展开后加载摘要…

URL PDF HTML 收藏
1607.08038 2016-07-28 cs.AI cs.RO 71%

Behavior and path planning for the coalition of cognitive robots in smart relocation tasks

Aleksandr I. Panov, Konstantin Yakovlev

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI、cs.RO

Comments As submitted to the 4th International Conference on Robot Intelligence Technology and Applications (RiTA-2015), Bucheon, Korea, December 14-16, 2015

详情

展开后加载摘要…

URL PDF HTML 收藏
2304.00573 2023-04-04 cs.LG cs.AI 70%

Risk-Sensitive and Robust Model-Based Reinforcement Learning and Planning

Marc Rigter

专题命中 仿真与规划 :model-based reinforcement learning(title);分类 cs.AI、cs.LG

Comments DPhil (PhD) thesis, University of Oxford

详情

展开后加载摘要…

URL PDF HTML 收藏
2106.02097 2021-11-05 cs.AI cs.LG 70%

A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning

Mingde Zhao, Zhen Liu, Sitao Luan, Shuyuan Zhang, Doina Precup, Yoshua Bengio

专题命中 仿真与规划 :model-based reinforcement learning(title);分类 cs.AI、cs.LG

Comments NeurIPS camera-ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06008 2026-08-07 cs.RO 新提交 69%

Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features

Adaptive-WAM:基于质量引导的中间视频扩散特征早期退出规划

Sining Ang, Yuguang Yang, Yan Wang

专题命中 仿真与规划 :world-model(abstract);world-model(abstract);分类 cs.RO

AI总结 Adaptive-WAM是基于Wan2.2-5B主干的质量感知多出口规划器,通过动态分配主干深度减少计算量,在NAVSIM、nuScenes等数据集上取得优异规划性能,延迟显著降低。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20633 2026-08-07 cs.RO 版本更新 69%

Reinforcing Action Policies by Prophesying

通过预言强化行动策略

Jiahui Zhang, Ze Huang, Chun Gu, Zipei Ma, Li Zhang

机构 * School of Data Science, Fudan University(复旦大学数据科学学院) Shanghai Innovation Institute(上海创新研究院)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 ProphRL通过Prophet、FA-GRPO和FlowScale提升VLA后训练的效率与稳定性,实现机器人任务的成功率提升。

Comments https://LogosRoboticsGroup.github.io/ProphRL

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18887 2026-07-22 cs.AI 新提交 69%

NaviAIS: A Scenario-Level Vessel Trajectory Prediction Dataset withVectorized Lane Priors and the NaviLane Forecasting Framework

NaviAIS:一个具有矢量化航道先验的场景级船舶轨迹预测数据集及NaviLane预测框架

Yuan Gui, Hongchen Luo, Liqi Qu, Longyue Fu, Jiao Wang

机构 * Northeastern University(东北大学)

专题命中 仿真与规划 :world-model(abstract);world-model(abstract);分类 cs.AI

AI总结 研究针对复杂海洋环境下船舶轨迹预测问题,引入NaviAIS数据集并提出NaviLane框架,通过轨迹-地图联合编码、离散宏动作码本及模块优化评估等方法,提升船舶轨迹预测性能,优于现有基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17710 2026-07-21 cs.LG 新提交 69%

Planning with Transformers: Chain of Computation and Structured Context Windows

使用Transformer进行规划:计算链与结构化上下文窗口

Ehsan Futuhi, Nathan R. Sturtevant

机构 * Department of Computing Science, University of Alberta(阿尔伯塔大学计算科学系) Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.LG

AI总结 研究大语言模型解决规划问题的不足,提出计算链架构,利用结构化上下文窗口,让语言模型学习规划策略、预测世界模型并执行算术运算,在多个任务上取得高成功率,能解决复杂汉诺塔问题且减少训练数据。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.15830 2026-07-21 cs.AI 版本更新 69%

Mini Amusement Parks (MAPs): A Testbed for Modelling Business Decisions

迷你游乐园(MAPs):一个用于模拟商业决策的测试平台

Stéphane Aroca-Ouellette, Ian Berlot-Attwell, Panagiotis Lymperopoulos, Abhiramon Rajasekharan, Tongqi Zhu, Herin Kang, Kaheer Suleman, Sam Pasupalak

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI

AI总结 介绍用于评估智能体决策能力的游乐园模拟器Mini Amusement Parks (MAPs),统一现实决策多方面挑战,提供人类基线和对先进语言模型智能体的评估,发现人类表现更优并揭示智能体在多方面的弱点,为基准测试适应性决策智能体提供新基础。

Comments 9 pages (main paper)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.07534 2026-07-09 cs.CV 新提交 69%

Infinite Worlds with Versatile Interactions

具有通用交互的无限世界

Zelin Gao, Qiuyu Wang, Jiapeng Zhu, Jingye Chen, Zichen Liu, Qingyan Bai, Jiahao Wang, Yufeng Yuan, Hanlin Wang, Yichong Lu, Ka Leong Cheng, Haojie Zhang, Jian Gao, Tianrui Feng, Yuzheng Liu, Yao Yao, Yinghao Xu, Xing Zhu, Yujun Shen, Hao Ouyang

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.CV

AI总结 介绍LingBot-World 2.0的升级,包括通过因果预训练实现无界交互、提炼实时变体保证快速响应,引入多样交互元素,集成智能控制并开发共享界面,还将主模型与轻量级模型配对便于单GPU部署。

Comments Project page: https://technology.robbyant.com/lingbot-world-v2 Code: https://github.com/robbyant/lingbot-world-v2

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23148 2026-07-07 cs.AI 69%

On Sample-Efficient Generalized Planning via Learned Transition Models

基于学习转移模型的高效通用规划

Nitin Gupta, Vishal Pallagani, John A. Aydin, Biplav Srivastava

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI

AI总结 本文提出通过学习转移模型实现高效通用规划,通过显式建模领域动态,相比直接预测动作序列,在多个领域中以更少样本和更小模型获得更高的离分布满足计划成功率。

Comments 14 pages; Extended version of short paper accepted at ICAPS 2026; updated with results and analysis

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12579 2026-06-12 cs.RO 新提交 69%

G-MAPP: GPU-accelerated Multi-Agent Planning and Perception for Reactive Motion Generation

G-MAPP: 基于GPU加速的多智能体规划与感知用于反应式运动生成

Tanmay Bishnoi, Riddhiman Laha, Tobias Löw, Jose Alex Chandy, Luis F. C. Figueredo, Sami Haddadin

机构 * Department of Electrical, Computer, and Biomedical Engineering, Toronto Metropolitan University(多伦多都会大学电气、计算机与生物医学工程系) Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)(慕尼黑工业大学慕尼黑机器人与机器智能研究所) Institute for Experiential Robotics, Northeastern University(东北大学体验式机器人研究所) Idiap Research Institute(Idiap 研究所) EPFL(瑞士联邦理工学院洛桑) CHART Group at the School of Computer Science, University of Nottingham(诺丁汉大学计算机科学学院 CHART 小组) Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 提出GPU加速的框架,通过并行状态探索和紧密耦合感知-动作循环,实现非结构化环境中的实时反应式运动生成,在7自由度机器人上达到5倍加速并成功避障。

Comments The implementation is available at: https://github.com/chart-research/g-mapp

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 6, pp. 7516-7523, June 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06476 2026-06-05 cs.CV 69%

Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators

思考与想象:基于世界模拟器的智能视觉空间推理

Chenming Zhu, Jingli Lin, Yilin Long, Peizhou Cao, Tai Wang, Jiangmiao Pang, Xihui Liu

机构 * The University of Hong Kong(香港大学) Shanghai AI Laboratory(上海人工智能实验室) Shanghai Jiao Tong University(上海交通大学) Fudan University(复旦大学) Beihang University(北航大学)

专题命中 仿真与规划 :world-model(abstract);world-model(abstract);分类 cs.CV

AI总结 提出Astra框架,通过强化学习训练VLM策略与Bagel世界模拟器交互,在推理中生成想象视觉证据,解决空间推理中的未观察布局、跨视角一致性和替代视角推理问题。

Comments Project page: https://zcmax.github.io/projects/Thinking-With-Imagination

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03188 2026-06-03 cs.RO 69%

GeoSem-WAM: Geometry- and Semantic-Aware World Action Models

GeoSem-WAM:几何与语义感知的世界动作模型

Fulong Ma, Daojie Peng, Wenjun Yue, Jiahang Cao, Bintao Wang, Qiang Zhang, Jun Ma

机构 * HKUST(GZ)(香港科技大学(广州)) HKU(香港大学) USTC(中国科学技术大学) SDU(山东大学) X-Humaniod

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 提出GeoSem-WAM框架,通过几何和语义监督增强潜在表示,在统一潜在空间中联合捕捉场景动态、空间几何和语义上下文,避免测试时显式未来展开或视频生成,提升动作预测准确性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.27994 2026-06-01 cs.RO 69%

Dreaming Across Towns: Semantic Rollout and Town-Adversarial Regularization for Zero-Shot Held-Out-Town Fixed-Route Driving in CARLA

跨城镇驾驶:面向CARLA零样本未见城镇固定路线驾驶的语义展开与城镇对抗正则化

Feeza Khan Khanzada, Jaerock Kwon

机构 * Department of Electrical and Computer Engineering, University of Michigan–Dearborn(密歇根大学迪尔伯恩分校电子与计算机工程系)

专题命中 仿真与规划 :world-model(abstract);world-model(abstract);分类 cs.RO

AI总结 提出一种结合未来语义预测与城镇对抗正则化的训练方法,在仅使用Town05和Town06训练的情况下,提升CARLA驾驶代理在未见城镇Town03和Town04上的零样本迁移性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10166 2026-05-12 cs.RO 69%

Data-Asymmetric Latent Imagination and Reranking for 3D Robotic Imitation Learning

数据不对称潜在想象与重排序在3D机器人模仿学习中的应用

Lianghao Luo, Xizhou Bu, Ruyan Liu, Qingqiu Huang, Chufeng Tang, Xiaoshuai Hao, Hongbo Wang, Wei Li

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 本文提出DALI-R框架,通过潜在世界模型和任务完成评分器,利用混合质量轨迹提升3D机器人模仿学习的决策能力,无需额外高质量示范。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.02900 2026-04-07 cs.AI 69%

Seemingly Simple Planning Problems are Computationally Challenging: The Countdown Game

看似简单的规划问题具有计算挑战性:倒计时游戏

Michael Katz, Harsha Kokel, Sarath Sreedharan

机构 * IBM T. J. Watson Research Center(IBM T. J. Watson 研究中心) IBM San Jose(IBM 圣何塞) Colorado State University(科罗拉多州立大学)

专题命中 仿真与规划 :world-model(abstract);world-model(abstract);分类 cs.AI

AI总结 本文提出基于倒计时游戏的规划基准,该问题具有NP完全复杂性,能有效评估规划能力,实验显示现有LLM方法在该基准上仍面临挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.09252 2026-03-20 cs.CL cs.AI cs.HC 69%

DAVIS: Planning Agent with Knowledge Graph-Powered Inner Monologue

DAVIS:基于知识图谱的规划代理

Minh Pham Dinh, Munira Syed, Michael G Yankoski, Trenton W. Ford

机构 * Davis Institute for Artificial Intelligence(戴维斯人工智能研究所) Colby College(科伯学院) University of Notre Dame(圣约翰大学) William & Mary(威廉与玛丽学院)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.AI

AI总结 本文提出DAVIS,一种基于知识图谱的规划代理,通过结构化和时间记忆实现模型驱动规划,并采用多轮检索系统提升科学任务处理能力,在ScienceWorld基准测试中表现优异。

Comments Accepted to EMNLP 2025 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.09995 2025-12-11 cs.CV 69%

PlayerOne: Egocentric World Simulator

PlayerOne:第一人称真实世界模拟器

Yuanpeng Tu, Hao Luo, Xi Chen, Xiang Bai, Fan Wang, Hengshuang Zhao

机构 * HKU(香港大学) DAMO Academy, Alibaba Group(阿里云达摩院) Hupan Lab(华盘实验室) HUST(华中科技大学)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.CV

AI总结 PlayerOne通过第一人称真实世界模拟器实现了沉浸式探索,通过粗到细的训练流程和部分解耦运动注入方案,实现了对人类运动的精确控制和多样化场景的一致建模。

Comments Project page: https://playerone-hku.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏