Effective Baselines for Multiple Object Rearrangement Planning in Partially Observable Mapped Environments
Meta
许多现实世界的任务,从打扫房子到做饭,都可以用公式表示为多对象重排问题--其中代理需要将特定对象置于适当的目标状态。对于这样的问题,我们专注于设置,假设一个预先指定的目标状态,完美的操作和对象识别能力的可用性,和一个静态的地图的环境,但未知的初始位置的对象重新排列。我们的目标是使家庭辅助智能代理,有效地规划下,这种部分可观性的重新安排。这需要在环境探索和重新安排规划之间进行有效的权衡,这是一个具有挑战性的问题,因为它具有长期性。为了在这个问题上取得进展,我们首先分析了各种因素的影响,如对象和容器的数量,代理承载能力,环境布局等勘探和规划重排使用经典的方法。然后,我们研究了单片和模块化深度强化学习(DRL)方法,用于在我们的环境中进行规划。我们发现,单片DRL方法不成功,在长期的规划需要多对象重排。相反,模块化的贪婪方法令人惊讶地表现得相当不错,并成为多目标重排问题中具有部分可观测性的规划的有竞争力的基线。我们还表明,我们的贪婪的模块化代理是经验最优的对象,需要重新安排是均匀分布在环境中-从而为未来的工作在部分可观察的设置多对象重新安排规划的强大性能的基线。
2023-01-24 cs.AI cs.RO
Vectorized Online POMDP Planning
School of Computing, Australian National University(澳大利亚国立大学计算机学院)
提出向量化在线POMDP规划器(VOPP),通过全向量化计算消除并行瓶颈,实现大规模并行在线规划,计算效率比现有最先进并行求解器高至少20倍。
2026-06-03 cs.AI cs.RO
SkyNet: Belief-Aware Planning for Partially-Observable Stochastic Games
SkyNet通过引入自我条件辅助头,改进了MuZero在部分可观测随机博弈中的规划能力,其在Skyjo游戏中实现了显著的胜率提升。
2026-03-29 cs.AI
Scalable Online Planning via Reinforcement Learning Fine-Tuning
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
前瞻搜索是最近人工智能成功的关键组成部分,例如在国际象棋,围棋和扑克游戏中。然而,在这些游戏和许多其他设置中使用的搜索方法是表格式的。表格搜索方法不能很好地随搜索空间的大小缩放,并且随机性和部分可观测性加剧了这个问题。在这项工作中,我们通过强化学习在线模型为基础的政策神经网络的微调取代表格搜索,并表明这种方法优于国家的最先进的搜索算法在基准设置。特别是,我们使用我们的搜索算法,以实现一个新的国家的最先进的结果在自我发挥Hanabi,并显示我们的算法的一般性,也表明它优于表格搜索在雅达利游戏女士。
2021-09-30 cs.AI
Planning under Distribution Shifts with Causal POMDPs
School of Electrical Engineering and Computer Science (EECS)(电气工程与计算机科学学院)
提出因果POMDP框架,通过干预表示环境变化,在部分可观测下维持PWLC性质,实现分布偏移下的规划与更新。
2026-08-19 cs.AI
Rollout Heuristics for Online Stochastic Contingent Planning
Ben Gurion University(本·古里安大学)
针对POMCP依赖领域特定rollout启发式的问题,研究将POMDP建模为随机应急规划问题,提出两种领域无关的rollout启发式方法以提升决策效果。
2023-10-03 cs.AI
A Model Approximation Scheme for Planning in Partially Observable Stochastic Domains
部分可观测马尔可夫决策过程(POMDPs)是规划问题的自然模型,其中行动的影响是不确定的,世界的状态是不完全可观测的。精确求解POMDPs是困难的。本文提出了一种新的近似方案。其基本思想是将POMDP转换为另一个由Oracle提供额外信息的POMDP。预言机通知规划代理世界的当前状态在某个区域中。转换后的POMDP因此被称为区域可观察。它比原来的POMDP更容易解决。我们建议解决转换后的POMDP,并使用其最优策略来构造原POMDP的近似策略。通过控制预言机提供的额外信息量,可以在计算时间和近似质量之间找到适当的折衷。在算法贡献方面,我们详细研究了如何利用区域可观性求解变换后的POMDP。为了便于研究,我们还提出了一个新的精确算法一般POMDPs。该算法在概念上是简单的,但显着比以前的精确算法更有效。
1997-11-01 cs.AI
Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
本文将分布强化学习扩展到部分可观测马尔可夫决策过程,提出分布贝尔曼算子、psi-vectors 有限表示及 DPBVI 算法,实现风险敏感控制。
2025-07-07 cs.AI
Predictive Coding Enhances Meta-RL To Achieve Interpretable Bayes-Optimal Belief Representation Under Partial Observability
University of Washington(华盛顿大学);Allen Institute for Neural Dynamics(神经动态研究院);Google DeepMind(谷歌DeepMind)
本研究受神经科学预测编码启发,将自监督预测模块引入元强化学习,以促进部分可观测环境下可解释的贝叶斯最优信念表示学习,实验证明该方法在表示质量、策略学习和泛化上均优于传统元强化学习。
2025-10-24 cs.AI q-bio.NC
Reasoning with Scene Graphs for Robot Planning under Partial Observability
部分可观测域中的机器人规划是困难的,因为机器人需要同时估计当前状态和规划动作。当域包括许多对象时,关于对象及其关系的推理使得机器人规划更加困难。在本文中,我们开发了一种算法,称为景物分析的机器人规划(SARP),使机器人的原因与视觉上下文信息实现长期目标的不确定性。SARP使用从不同位置捕获的图像构建场景图,这是对象及其关系的因子表示,并使用它们进行推理,以实现部分可观察性下的上下文感知机器人规划。实验已经进行了使用多个3D环境中的模拟,和一个真实的机器人收集的数据集。与标准机器人规划和景物分析方法相比,在目标搜索域中,SARP提高了任务完成的效率和准确性。补充材料可在https://tinyurl.com/sarp22上找到
2022-02-21 cs.AI cs.RO
Belief-State Query Policies for User-Aligned POMDPs
针对现实场景中部分可观测且需满足用户需求的规划问题,提出基于参数化信念状态查询(BSQ)策略的框架,通过理论分析得出隐式离散参数搜索空间有限的结论,进而设计优化算法并验证其计算可行性。
2025-04-15 cs.AI
Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning
University of California, San Francisco(加利福尼亚大学旧金山分校);Weill Cancer Hub(威尔癌症中心);West Vokram Inc.(West Vokram公司);OpenEvidence
本研究将结肠癌治疗规划建模为部分可观测下的交互式强化学习问题,用GRPO、GDPO优化Llama-3.1-8B-Instruct,使策略的临床奖励显著提升,为交互式临床RL提供了有效学习信号。
2026-10-14 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限,提出结合元策略的POTMMCP在线规划方法,在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Uncertainty-Aware Motion Planning for Autonomous Driving in Mixed Traffic Environment
Central South University(中南大学);City University of Macau(澳门城市大学)
提出不确定性感知运动规划(UAMP),通过量化人类意图不确定性并引入不确定性校准值学习,提升自动驾驶在混合交通中的安全性和舒适性。
2026-06-08 cs.AI cs.RO
In-Context Planning with Latent Temporal Abstractions
Vanderbilt University(范德比大学);William & Mary(威廉与玛丽学院)
I-TAP通过学习离散时间抽象空间,实现高效且鲁棒的上下文规划,在部分可观测和随机动态环境中表现优异。
2026-02-21 cs.AI cs.LG
Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
本文提出分布点基值迭代(DPBVI),将分布强化学习扩展到部分可观测马尔可夫决策过程,通过新的分布贝尔曼算子和psi-向量表示回报分布,为风险敏感控制奠定基础。
2026-09-22 cs.AI cs.LG
Hierarchical Object-Oriented POMDP Planning for Object Rearrangement
Oregon State University(俄勒冈州立大学)
针对部分可观测多房间环境中多物体重排问题,提出分层面向对象POMDP(HOO-POMDP)规划框架及MultiRoomR基准数据集,通过子目标生成、低级策略和抽象系统提升适应性,实验验证其在复杂场景中的稳健性能。
2025-08-25 cs.AI cs.LG cs.RO
Provable Representation with Efficient Planning for Partial Observable Reinforcement Learning
University of Alberta(阿尔伯塔大学);UT Austin(德克萨斯大学奥斯汀分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Google DeepMind(谷歌DeepMind);Georgia Tech(佐治亚理工学院)
针对部分可观测强化学习,本文提出基于表示的统一框架与可处理算法,给出统计效率理论保证,并在多个基准上超越现有最先进方法。
2024-06-11 cs.AI cs.LG stat.ML
QMDP-Net: Deep Learning for Planning under Partial Observability
NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院)
本文介绍了QMDP网,一种用于部分可观测规划的神经网络结构。QMDP-net结合了无模型学习和基于模型的规划的优势。它是一个循环策略网络,但它通过将模型与求解模型的规划算法相连接来表示一组参数化任务的策略,从而将规划的解决方案结构嵌入到网络学习架构中。QMDP-net是完全可区分的,并允许端到端的培训。我们训练不同任务的QMDP-net,使其可以推广到参数化任务集中的新任务,并“转移”到其他类似的任务。在初步的实验中,QMDP-net在模拟中的几个机器人任务上表现出强大的性能。有趣的是,虽然QMDP-net对QMDP算法进行了编码,但由于端到端的学习,它在实验中有时会优于QMDP算法。
2017-11-03 cs.AI cs.LG cs.NE
Data Association Aware POMDP Planning with Hypothesis Pruning Performance Guarantees
Technion - Israel Institute of Technology(以色列理工学院)
针对传统POMDP在数据关联不可观测时的局限,提出一种维护多数据关联假设的规划算法,通过引入剪枝方法并推导值函数界限,在计算效率与性能间建立理论权衡,有效处理模糊数据关联。
2023-08-01 cs.AI cs.RO
Active Inference for Energy Control and Planning in Smart Buildings and Communities
Politecnico di Milano(米兰理工大学)
针对主动推理在工程应用潜力待挖掘的问题,本文提出双层主动推理架构实现建筑与社区级能源管理,经多基准和极端场景验证具强鲁棒性,首次证实分布式主动推理的工程可行性。
2025-03-23 cs.AI cs.LG math.OC
Neurosymbolic Action Model Learning under Partial Observability
KU Leuven(鲁汶大学)
本文提出NeSyAM,一种在部分可观测性下学习动作模型的神经符号方法,通过统一变分框架分析现有局限,并在六个视觉规划领域验证其有效性。
2026-09-23 cs.AI
On the role of planning in model-based deep reinforcement learning
DeepMind(深度思维公司)
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习(MBRL)与深度函数近似的成功加强了这一假设,但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中,我们试图解开的贡献,最近的方法集中在三个问题:(1)如何规划有利于MBRL代理?(2)在规划中,哪些选择推动绩效?(3)规划在多大程度上改善了泛化?为了回答这些问题,我们研究了MuZero的性能(Schrittwieser等人,2019年),一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融,包括控制任务,Atari和9 x9 Go。我们的研究结果表明:(1)规划是最有用的学习过程中,无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中,使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划,并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
Probabilistic contingent planning based on HTN for high-quality plans
针对部分可观测环境下规划质量差异问题,提出基于HTN的概率权变规划器HQCP,通过成本形式化、新型启发式与集成算法生成高质量规划,并经实验验证有效高效。
2023-09-28 cs.AI
Versatile Navigation under Partial Observability via Value-guided Diffusion Policy
Illinois Institute of Technology(伊利诺伊理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对部分可观测导航中自回归短视及扩散方法依赖专家、难泛化的问题,提出价值引导扩散策略与点云鸟瞰投影,实现二维到三维零样本迁移并超越基线。
2024-04-01 cs.AI cs.RO
Learning Spatiotemporal Decision Priors for Efficient Path Planning under Partial Observability
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);School of Information Science and Technology, Fudan University(信息科学与技术学院,复旦大学);Department of Information Technology, Old Dominion University(信息技术系,老 Dominion 大学)
研究部分可观测性下的路径规划问题,提出ImiPath框架,从示范轨迹提炼时空决策先验,经局部时空观测表示和时空注意力策略网络转换为决策先验并纳入异构规划器,提升路径质量与搜索效率,验证了框架的适应性和实际部署潜力。
2026-07-27 cs.AI cs.RO
Neural ODE and SDE Models for Adaptation and Planning in Model-Based Reinforcement Learning
School of Computer Science, The University of Sheffield, UK(谢菲尔德大学计算机科学学院,英国);Cancer Research UK National Biomarker Centre, The University of Manchester, UK(英国曼彻斯特大学癌症研究UK国家生物标志物中心);School of Chemical, Materials and Biological Engineering, The University of Sheffield, UK(谢菲尔德大学化学、材料和生物工程学院,英国);Machine Learning group, Centrum Wiskunde & Informatica, Amsterdam, Netherlands(荷兰阿姆斯特丹Centrum Wiskunde & Informatica机器学习组);Institute for Ecological Economics, Vienna University of Economics and Business, Austria(奥地利维也纳经济与商业大学生态经济研究所)
本文利用神经ODE和SDE建模随机动力学,通过实验展示SDE在复杂场景中提升策略样本效率的效果,并引入隐式SDE模型应对部分可观测性问题。
2026-03-24 cs.AI cs.LG
Toward Learning POMDPs Beyond Full-Rank Actions and State Observability
MIT Computer Science and Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出了一种基于PSR方法学习POMDP参数的方法,通过张量分解估计相似变换,实现状态划分下的转移和观察模型学习,并展示了其在不同奖励函数下的应用潜力。
2026-09-10 cs.AI cs.LG cs.RO
Weathering Ongoing Uncertainty: Learning and Planning in a Time-Varying Partially Observable Environment
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Cyprus(塞浦路斯大学);University of California, Berkeley(加州大学伯克利分校)
针对时变不确定环境下自主系统的最优决策难题,提出TV-POMDP模型及结合MPSE与集成规划的双路径方法,经仿真与硬件验证性能优于标准方法。
2024-03-07 cs.AI cs.RO cs.SY
Safer Deep RL with Shallow MCTS: A Case Study in Pommerman
Borealis AI
安全的强化学习有很多变体,它仍然是一个开放的研究问题。在这里,我们专注于如何使用行动指导的手段,一个非专家的演示,以避免灾难性的事件在一个域稀疏,延迟,和欺骗性的奖励:最近提出的多智能体基准的Pommerman。这个领域对于强化学习(RL)来说是非常具有挑战性的-过去的工作表明,无模型的RL算法无法实现显著的学习。在本文中,我们通过举例和分析灾难性事件的高发生率(即,自杀),发生在随机探索在这个领域。虽然无模型随机探索通常是徒劳的,我们提出了一个新的框架,即使是非专家模拟演示,例如,规划算法,例如具有少量展开的蒙特卡罗树搜索,可以被集成到异步分布式深度强化学习方法中。与vanilla deep RL算法相比,我们提出的方法在两人迷你版的Pommerman游戏中学习速度更快,收敛到更好的策略。
2019-04-10 cs.AI cs.LG cs.MA
Adaptive Sequential Test Planning for Multi-Mechanism Reliability Qualification via Bayesian Monte Carlo Tree Search
University of British Columbia(英属哥伦比亚大学)
该研究针对多机制半导体可靠性鉴定,提出结合MCTS-SA与EKF的闭环自适应序贯测试规划框架,实验显示其表征良率较非自适应策略大幅提升。
2026-08-11 cs.AI cs.SY eess.SY
NeSyFS: A Neuro-symbolic Fast-Slow Thinking Framework for LLM Agent under Partial Observability
该研究针对部分可观测场景下LLM智能体的决策挑战,提出NeSyFS神经符号快慢思考框架,结合知识图谱、TSMC算法与反思模块,在三个基准测试中表现优于现有方法。
2026-09-29 cs.AI
Improving planning and MBRL with temporally-extended actions
Indiana University(印第安纳大学)
针对离散时间建模下规划计算量大、性能低的问题,提出将时间扩展动作的时长作为额外优化变量的方法,可加快仿真、减少误差,结合多臂老虎机自动选时长范围,在规划和MBRL中均提升了性能。
2025-10-21 cs.AI cs.LG cs.RO
DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
提出DiMSam框架,通过TAMP系统组合扩散模型,利用潜在嵌入定义学习采样器和TAMP算子,解决了部分可观测下多步约束推理与自主机器人操作规划问题。
2024-10-11 cs.AI cs.CV cs.LG
Planning Commitment of LLM under Partial Observability
Drexel University(德雷塞尔大学);Northeastern University(东北大学);University of California Irvine(加州大学欧文分校);University of Pennsylvania(宾夕法尼亚大学)
该研究针对部分可观测环境下LLM规划的安全与效率权衡,提出并验证了激进、保守及混合策略,揭示了LLM对先验信息的依赖特性,为可控规划提供了可调平衡方案。
2026-10-20 cs.AI cs.CL
Learning Counterfactual World Models for Embodied Reasoning under Partial Observability
Harvard University(哈佛大学)
针对部分可观测下世界模型的反事实坍缩问题,提出CLWM模型,结合循环编码器与对比目标提升规划成功率,并引入反事实可分性指标以审计编码器可操作性。
2026-10-27 cs.AI
Continual Reinforcement Learning by Planning with Online World Models
Sea AI Lab(海智人工智能实验室);National University of Singapore(新加坡国立大学)
本文提出基于在线世界模型规划的持续强化学习方法FTL Online Agent,通过在线学习Follow-The-Leader浅层模型并结合模型预测控制,有效解决了多任务序列中的灾难性遗忘问题,并在Continual Bench上表现优于深度世界模型基线。
2025-07-12 cs.AI cs.LG stat.ML
Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators
Northeastern University(东北大学);MIT(麻省理工学院);Princeton University(普林斯顿大学)
本文提出一种利用VLM估计不确定性并构建符号信念表示的新颖框架,结合信念空间规划器生成包含战略性信息收集的规划,有效解决开放世界中部分可观测的机器人移动操作问题。
2025-04-04 cs.AI cs.RO
Information Seeking for Robust Decision Making under Partial Observability
National Taiwan University(台湾大学)
针对现有LLM规划智能体忽略内部动态与实际环境差异的问题,提出融合信息寻求与任务规划的InfoSeeker框架,在新基准及机器人操作、网页导航任务中实现显著性能提升。
2025-10-02 cs.AI cs.CL cs.RO
Online Planning in POMDPs with State-Requests
AI Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学AI实验室);TU Delft(代尔夫特理工大学);City of Amsterdam(阿姆斯特丹市)
针对高成本状态请求下部分可观测环境的在线规划问题,提出基于图搜索的 AEMS-SR 算法,避免了搜索空间指数增长,理论证明其 ε 最优性,并在实验中优于 AEMS 和 POMCP。
2024-07-26 cs.AI cs.LG
Constraining Influence Diagram Structure by Generative Planning: An Application to the Optimization of Oil Spill Response
SRI International(SRI国际)
本文通过优化现实世界的规划问题,与生成规划工具和影响图求解器相结合。该问题取自漏油应急响应领域的现有应用程序。规划代理管理的约束,命令组可行的设备使用行动。这是在一个中间的抽象层次映射到影响图。此外,规划器可以应用一个监视算子,确定状态的可观测性-石油的未知轨迹。不确定的世界状态和目标函数属性是影响图结构的一部分,但不表示在规划代理域。通过利用这种结构下产生的规划代理的约束,影响图解决方案的复杂性大大简化,并找到一个最佳的解决方案的就业问题的目标函数的基础上,找到这个最佳的是相当于同时评估的计划范围。这个结果是有界最优性的一个例子,在这个混合生成计划和影响图架构的限制。
2013-02-13 cs.AI
Online Risk-Averse Planning in POMDPs Using Iterated CVaR Value Function
Technion - Israel Institute of Technology(以色列理工学院)
本文提出在POMDPs中使用ICVaR价值函数进行在线风险厌恶规划,通过扩展三种算法以优化风险度量,实验显示其在降低尾部风险方面优于传统方法。
2026-01-28 cs.AI
Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability
针对大语言模型智能体在部分可观测环境下易过早承诺、策略漂移的问题,提出信念状态引擎(BSE),通过外部维护贝叶斯后验并仅暴露给模型,实现原则性规划,在Tiger和攻击图任务上提升回报与决策一致性。
2026-09-10 cs.AI cs.LG cs.RO
Cooperative Multi-Agent Planning with Adaptive Skill Synthesis
Department of Electrical Engineering and Automation, Aalto University(艾尔沃斯大学电气工程与自动化系);Department of Computer Science, Aalto University(艾尔沃斯大学计算机科学系)
针对MARL样本效率低和LLM方法难以处理部分可观测多智能体交互的问题,本文提出COMPASS架构,融合视觉语言模型、动态技能库与多跳通信,在SMACv2上显著超越现有MARL基线。
2025-05-06 cs.AI cs.MA
Teaching LLMs to Ask: Self-Querying Category-Theoretic Planning for Under-Specified Reasoning
Stanford University(斯坦福大学)
SQ-BCP通过自查询和桥梁假设解决不充分推理问题,显著降低资源违规率并保持高质量计划。
2026-01-27 cs.AI
Risk-averse Behavior Planning for Autonomous Driving under Uncertainty
Qualcomm AI Research(高通人工智能研究院);Qualcomm Automotive Research(高通汽车研究院)
自动驾驶车辆必须在周围环境中导航,并具有共享道路的其他物体的部分可观测性。自动驾驶车辆测量中的不确定性来源包括传感器融合误差、由于天气或目标检测延迟而导致的有限传感器范围、遮挡以及诸如其他人类驾驶员意图之类的隐藏参数。行为规划必须考虑所有来源的不确定性,在决定未来的车辆操纵。本文提出了一个可扩展的框架,风险规避行为规划下的不确定性,结合QMDP,无迹变换和蒙特卡罗树搜索(MCTS)。结果表明,置信上限(UCB)扩大树的结果在嘈杂的Q值估计的MCTS和QMDP的性能下降。提出了一种改进的MCTS动作选择过程,以实现鲁棒性能。
2018-12-04 cs.AI cs.RO
Achieving mouse-level strategic evasion performance using real-time computational planning
Northwestern University(西北大学)
计划是一种非凡的能力,大脑可以想象并制定可能的未来。使用传统的规划模型,计算机科学家试图复制这种能力,取得了一定程度的成功,但最终面临着一个反复出现的限制:随着计划的逐步发展,不同的可能未来的数量使得确定正确的行动顺序以达到目标状态变得非常困难。基于先前关于动物生态如何支配空间规划价值的理论工作,我们开发了一种更有效的生物启发规划算法TLPPO。该算法使我们能够实现mouselevel捕食者逃避性能的数量级少的计算比一个广泛的算法规划的情况下,部分可观察性,典型的捕食者-猎物的相互作用。我们将使用TLPPO的实时的【形】代理的性能与活老鼠的性能进行了比较,所有这些老鼠的任务都是躲避机器人捕食者。我们预计这些结果将有助于规划算法的用户和开发人员,以及神经科学领域的机器人与动物的互动可以提供一个有用的方法来研究复杂的行为的基础。
2022-11-09 cs.AI q-bio.NC
Towards a Belief-Based World Model for LLM Agents
UIUC(伊利诺伊大学厄巴纳-香槟分校);IBM(国际商业机器公司)
本研究针对LLM智能体在部分可观测下的决策缺陷,提出BB-WMs,将世界模型的信念暴露给LLM策略,可提升部分可观测任务性能,且与现有基于模拟的世界模型互补。
2026-10-01 cs.AI
Overhang Tower: Resource-Rational Adaptation in Sequential Physical Planning
研究探讨了人类在资源受限下如何通过物理预测机制和规划策略的双重转变实现连续物理规划,揭示了资源理性架构在计算成本与预测精度之间的灵活平衡。
2026-04-10 cs.AI
AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出PiZero方法,让智能体在与真实环境解耦的抽象搜索空间中执行高层规划,支持复合动作、连续/组合动作空间及部分可观测性,并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
Effective Explanations Support Planning Under Uncertainty
University of Tübingen(图宾根大学);Technical University Darmstadt(达姆施塔特技术大学);Max Planck Institute for Biological Cybernetics(生物 cybernetics 最大平面研究所);University of Cambridge(剑桥大学);Stanford University(斯坦福大学)
本文提出一种计算模型,将解释转化为行动计划,通过大规模语言模型生成策略先验和价值图,结合规划代理在部分可观测条件下执行,验证了高质量解释能提升导航效率。
2026-05-08 cs.AI cs.CL
SAGA: Scene-Aware, Goal-Evolving Agents for Long-Horizon Strategy Game Planning
针对长时域策略游戏中场景盲视、上下文溢出和跨游戏学习浅层化问题,提出SAGA多智能体框架,通过地图语义场景图、工具增强规划器和双时域反馈循环,在FreeCiv中取得最高文明评分并降低输出令牌27%。
2026-07-22 cs.AI
GAVEL: Graph World Models for Verified and Efficient Long-Horizon LLM Task Planning
GAVEL通过显式图世界模型验证和修复LLM长时程规划,提升单任务成功率至91.8%,多任务至92.6%,并减少5.4%旅行距离。
2026-09-18 cs.AI cs.RO