Planning in entropy-regularized Markov decision processes and games
DeepMind；Inria Lille（Inria里尔）；SequeL team, Inria Lille（SequeL团队，Inria里尔）；DeepMind Paris（DeepMind巴黎）
本文提出SmoothCruiser算法，通过环境生成模型估计熵正则化马尔可夫决策过程和双人博弈的价值函数，实现问题无关的样本复杂度O~(1/epsilon^4)。
2026-10-06 cs.LG stat.ML
Planning in Markov Decision Processes with Gap-Dependent Sample Complexity
Universitat Pompeu Fabra（庞培法布拉大学）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；Inria（法国国家信息与自动化研究所）；Renault（雷诺公司）；DeepMind（深度思维）
我们提出了MDP-GapE，一个新的基于概率的蒙特卡罗树搜索算法规划在马尔可夫决策过程中，过渡有一个有限的支持。我们证明了MDP-GapE所需的生成模型的调用数量的上限，以确定具有高概率的接近最佳的动作。这个依赖于问题的样本复杂性结果表示在探索过程中访问的状态-动作对的次优差距。我们的实验表明，MDP-GapE在实践中也是有效的，与其他算法相比，样本复杂度的保证，在固定的置信度设置，这主要是理论上的。
2020-06-10 cs.LG stat.ML
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
A Variational Perturbative Approach to Planning in Graph-based Markov Decision Processes
Technische Universität Darmstadt（达姆施塔特工业大学）
协调多个交互代理以实现共同目标是一项具有巨大适用性的艰巨任务。这个问题仍然很难解决，即使限制交互通过静态交互图进行调解。基于变分扰动理论，提出了一种新的图上多智能体马尔可夫决策问题的近似求解方法。我们采用的策略，规划通过推理，这已在各种先前的作品中进行了探索。我们采用了一种新的高阶变分方法，允许在大型网络的近似推理，并已被证明是超越现有的变分方法的准确性的非平凡的扩展。为了比较我们的方法，两个国家的最先进的方法多智能体规划图，我们采用不同的标准GMDP问题的方法。我们表明，在目标被编码为非局部成本函数的情况下，我们的方法表现良好，而最先进的方法接近随机猜测的性能。在最后的实验中，我们证明了我们的方法带来了显着的改善同步任务。
2020-06-30 cs.LG stat.ML
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group（沃尔沃集团）；Chalmers University of Technology（查尔姆斯理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互，自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架，它结合了规划和学习的概念，以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法，该算法被扩展到具有连续状态空间的域，其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下，在模拟环境中，它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
What Makes a Good Diffusion Planner for Decision Making?
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
通过在离线强化学习下训练评估超6000个扩散模型，系统研究了扩散规划的关键组件，发现反常规设计能提升性能，并据此提出了在标准基准上达到最先进水平的基线。
2025-03-01 cs.AI cs.LG
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；DeepMind（深度思维）
我们介绍了平均回报MDP的学习和规划算法，包括1）第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法，2）第一个证明收敛的偏离策略无模型预测算法，3）第一个离策略学习算法，收敛到实际的价值函数，而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差，而不是传统的错误时，更新的平均奖励的估计。我们的证明技术是Abounadi，Bertsekas和Borkar（2001）的一个轻微的概括。在实验中的一个控制器的控制任务，我们展示了一些困难时，可能会出现依赖于参考状态的方法，并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程（SSP MDP）的概率推理。此外，我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中，视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP，并广泛用于人工智能社区。此外，我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Risk-Aware Decision Making in Restless Bandits: Theory and Algorithms for Planning and Learning
GERAD
本文提出了一种风险意识的 restless bandits 决策方法，结合理论与算法，用于规划和学习场景中降低风险暴露。
2026-02-19 cs.LG cs.SY eess.SY
Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making
Toyota Research Institute（丰田研究院）；Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making（学习规划，规划学习：自适应分层RL-MPC用于样本高效决策）
本文提出了一种融合强化学习和MPC规划的分层方法，通过自适应聚合MPPI样本提升策略鲁棒性，实现在复杂规划问题中提高样本效率和任务成功率。
2026-04-16 cs.AI cs.LG cs.RO
Have I done enough planning or should I plan more?
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
人们关于如何分配有限的计算资源的决定对人类智能至关重要。这种元认知能力的一个重要组成部分是决定是否继续思考该做什么，并继续进行下一个决定。在这里，我们展示了人们通过学习和反向工程的基础学习机制获得这种能力。使用一个过程跟踪范式，具体化人类规划，我们发现，人们很快适应他们执行多少规划的成本和效益的规划。为了发现底层的元认知学习机制，我们增加了一组具有元认知特征的强化学习模型，并进行贝叶斯模型选择。我们的研究结果表明，元认知能力，以调整规划量可能会通过一个政策梯度机制，这是指导沟通规划的价值元认知伪奖励。
2022-01-03 cs.AI cs.LG
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程（POMDP）。寻找POMDPs的精确解通常在计算上是难以处理的，但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗（MAB）算法，该算法假设不同动作的结果是不相关的。在某些应用中，如连续空间中的运动规划，类似的动作会产生类似的结果。在本文中，我们利用MAB启发式算法的变体，对行动结果进行Lipschitz连续性假设，以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下，自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Adaptive Planning with Generative Models under Uncertainty
Purdue University（普渡大学）
本文提出利用逆动力学模型 Deep Ensemble 的预测不确定性动态调整规划间隔，使生成模型可连续执行多步动作；在 OpenAI Gym 运动任务中将重规划频率降至约10%且保持性能。
2024-08-02 cs.LG cs.RO
Integrating Task-Motion Planning with Reinforcement Learning for Robust Decision Making in Mobile Robots
UT-Austin（德克萨斯大学奥斯汀分校）；Maana Inc.（Maana公司）；SUNY-Binghamton（纽约州立大学宾汉姆顿分校）
任务-运动规划（TMP）解决了在离散空间中有效地生成可执行的和低成本的任务规划的问题，使得（初始未知的）动作成本由相应连续空间中的运动规划确定。然而，任务运动计划可能对意外的领域不确定性和变化敏感，导致次优行为或执行失败。本文提出了一个新的框架TMP-RL，它是TMP和强化学习（RL）的集成，从执行经验出发，解决动态和不确定域中的鲁棒任务-运动规划问题。TMP-RL具有两个嵌套的规划学习循环。在内部TMP循环中，机器人通过在离散空间中迭代规划并更新由运动规划器在连续空间中评估的相关动作成本来生成低成本、可行的任务运动规划。在外部循环中，执行计划，机器人通过无模型RL从执行经验中学习，以进一步改进其任务运动计划。外部循环中的RL对当前域更准确，但也更昂贵，并且使用成本更低的任务和运动规划导致在现实世界中学习的跳跃式启动。我们的方法进行评估的移动服务机器人在办公区进行导航任务。结果表明，TMP-RL方法显着提高了适应性和鲁棒性（与TMP方法相比），并导致快速收敛（与任务规划（TP）-RL方法相比）。我们还表明，TMP-RL可以重用学习的值，以便在长期部署过程中顺利适应新的场景。
2018-11-21 cs.AI cs.LG cs.RO
Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems
ETH Zürich（苏黎世联邦理工学院）；Swiss Federal Railways SBB（瑞士联邦铁路）；Technical University of Munich（慕尼黑工业大学）；Pennsylvania State Univ.（宾夕法尼亚州立大学）
结构健康监测（SHM）描述了用于推断结构状况的可量化指标的过程，其可以用作支持关于基础设施资产的操作和维护的决策的输入。由于关键结构的寿命很长，这个问题可以被看作是一个连续的决策问题，在规定的范围。部分可观测马尔可夫决策过程（POMDPs）提供了一个正式的框架来解决潜在的最优规划任务。然而，两个问题可能会破坏POMDP解决方案。首先，需要一个模型，可以充分描述恶化或纠正措施下的结构条件的演变，其次，从可用的监测数据的观察过程参数的恢复的非平凡的任务。尽管存在这些潜在的挑战，但所采用的POMDP模型通常不考虑模型参数的不确定性，导致解决方案可能不切实际地自信。在这项工作中，我们解决了这两个关键问题。我们提出了一个框架，估计POMDP过渡和观察模型参数直接从现有的数据，通过马尔可夫链蒙特卡罗（MCMC）采样的隐马尔可夫模型（HMM）的条件下的行动。MCMC推断估计所涉及的模型参数的分布。然后，我们形成并解决POMDP问题，利用推断的分布，推导出的解决方案，是强大的模型的不确定性。我们成功地应用我们的方法对铁路轨道资产的维修规划的基础上的“分形值”指标，这是从实际的铁路监测数据计算。
2022-12-15 cs.AI cs.LG cs.SY
Automatic Discovery of Interpretable Planning Strategies
在做决策时，人们往往会忽视关键信息，或者被无关信息过度左右。减轻这些偏见的一种常见方法是为决策者，特别是医生等专业人员提供决策辅助工具，如决策树和流程图。设计有效的决策辅助工具是一个难题。我们建议，最近开发的强化学习方法，发现聪明的策略，良好的决策，可以部分利用，以协助人类专家在这个设计过程中。利用上述方法的最大障碍之一是，他们学到的政策对人们来说是不透明的。为了解决这个问题，我们引入了AI-Interpret：一种将特殊策略转换为简单且可解释的描述的通用方法。我们的算法结合了模仿学习和程序归纳的最新进展，一个新的聚类方法，用于识别一个大的子集的演示，可以准确地描述了一个简单的，高性能的决策规则。我们评估我们的新算法，并采用它来翻译通过元级强化学习发现的信息获取策略。大型行为实验的结果表明，将AI-Interpret生成的决策规则作为流程图提供，可以显着改善人们在三种不同类别的顺序决策问题中的规划策略和决策。此外，另一项实验表明，这种方法比通过给人们提供绩效反馈来培训他们更有效。最后，一系列的消融研究证实了AI解释对于发现可解释的决策规则至关重要。我们的结论是，本文提出的方法和研究结果是利用自动策略发现来改善人类决策的重要一步。
2021-04-10 cs.AI cs.CY cs.HC
Comparative Analysis of Multi-Agent Reinforcement Learning Policies for Crop Planning Decision Support
Georgia Institute of Technology（佐治亚理工学院）；Amherst College（阿默斯特学院）；University of Maryland（马里兰大学）；Montgomery Blair High School（蒙哥马利布莱尔高中）
本研究比较三种多智能体强化学习方法在作物规划决策支持中的表现，发现多智能体Rollout策略在总奖励和公平性上最优但计算成本高，而逐智能体方法在效率与性能间取得平衡，为选择合适方法提供依据。
2025-02-24 cs.AI cs.CY cs.LG
MAGIC: Learning Macro-Actions for Online POMDP Planning
National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）是机器人在不确定性条件下进行决策的基本框架，但当需要进行长期规划时，POMDP规划具有较高的计算复杂性。虽然时间扩展的宏动作有助于减少有效的规划视野和显着提高计算效率，我们如何获得良好的宏动作？本文提出了Macro-Action Generator-Critic（MAGIC），它对针对在线POMDP规划优化的宏动作进行离线学习。具体来说，MAGIC端到端地学习宏动作生成器，使用在线计划器的性能作为反馈。在在线规划过程中，生成器根据机器人的信念和环境上下文生成动态的情境感知宏动作。我们评估了MAGIC在模拟和真实机器人上的几个长期规划任务。实验结果表明，与原始动作和手工宏动作相比，学习的宏动作在在线规划性能方面具有显着优势。
2021-07-01 cs.AI cs.LG cs.RO
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高级计算机科学研究所）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程的优化，是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划，它们在很大程度上都有自己的研究社区。然而，如果这两个研究领域解决的是同一个问题，那么我们也许能够解开它们解决方法中的共同因素。因此，本文提出了一个统一的算法框架，强化学习和规划（FRAP），确定MDP规划和学习算法必须决定的基本维度。在论文的最后，我们比较了各种著名的规划，无模型和基于模型的RL算法沿这些方面。总而言之，该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Motion Planning Among Dynamic, Decision-Making Agents with Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Oculus Research（奥库勒斯研究院）
在行人之间导航的机器人使用防撞算法来实现安全和高效的操作。最近的工作提出了深度强化学习作为一个框架来模拟复杂的交互和合作。然而，它们是使用关于其他代理的行为的关键假设来实现的，这些行为随着环境中代理数量的增加而偏离现实。这项工作扩展了我们以前的方法，开发了一种算法，学习各种类型的动态代理之间的冲突避免，而不假设他们遵循任何特定的行为规则。这项工作还引入了一种使用LSTM的策略，使算法能够使用任意数量的其他代理的观察结果，而不是以前具有固定观察大小的方法。随着代理数量的增加，该算法在模拟中优于我们以前的方法，并且该算法在以人类步行速度行驶的全自动机器人车辆上进行了演示，而无需使用3D激光雷达。
2018-05-04 cs.AI cs.LG cs.RO
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策，满足形式规格的形式，一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性，在他们的能力，以捕捉理想的代理行为，他们的价值是有限的，当得出决策政策，满足某些类型的渐近行为在一般系统模型。特别是，我们感兴趣的是指定代理的稳态行为的约束，它捕获代理在每个状态下花费的时间比例，因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为，除非在其图形结构的连接性方面对底层模型施加强限制，否则相关的规划问题面临着重大挑战。在本文中，我们将探讨这个稳态规划问题，包括推导出一个决策的代理政策，使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程（MDP）一般情况的线性规划解，并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
Dyna-H: a heuristic planning reinforcement learning algorithm applied to role-playing-game strategy decision systems
Complutense University of Madrid（马德里complutense大学）
提出Dyna-H算法，结合启发式搜索与Dyna框架，在角色扮演游戏策略决策中实现无模型在线强化学习，实验表明其性能显著优于Q-Learning和Dyna-Q。
2011-07-30 cs.AI cs.LG cs.SY
Learning Commute-Time-Preserving World Models for Planning
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；University of Basel（巴塞尔大学）
针对现有世界模型在潜在空间中因各向同性表示而破坏通勤时间缩放的问题，提出CTWM模型，结合位移预测器与对数行列式正则化器，在可逆动力学下恢复正确缩放，以更少参数在连续目标到达任务中达到或超越基线性能。
2026-10-02 cs.LG
Not All Errors Matter: Decision-Relevant Prediction Error Predicts Planning Quality
本研究提出决策相关预测误差（DRPE），证明其比总预测误差更能预测规划质量，并通过等误差评估协议在网格世界中验证，DRPE与规划成功率强相关（ρ=-0.84），而总误差相关性弱（ρ=-0.25）。
2026-10-01 cs.LG
Decoupled Travel Planning with Behavior Forest
College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学）；College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）；College of Systems Engineering, National University of Defense Technology（系统工程学院，国防科技大学）；College of Computer Science, Chongqing University（计算机科学学院，重庆大学）
本文提出行为森林方法，通过解耦复杂任务和约束到可管理的子空间，提升大语言模型在多约束旅行计划中的性能，实验表明在TravelPlanner和ChinaTravel基准上分别优于现有方法6.67%和11.82%。
2026-04-23 cs.LG
TDM: Trustworthy Decision-Making via Interpretability Enhancement
Auburn University（奥本大学）；NVIDIA Corporation（英伟达公司）；University at Buffalo（布法罗大学）
人机交互决策越来越普遍，信任是决定自主性依赖的一个影响因素。然而，信任超出我们理解范围的系统是不合理的，典型的机器学习和数据驱动决策是黑盒范例，阻碍了可解释性。因此，建立由可解释性感知策略增强的计算可信决策机制至关重要。为此，我们提出了一个可信的决策（TDM）框架，它集成了符号规划到顺序决策。该框架学习可解释的子任务，导致一个复杂的，更高层次的复合任务，可以正式评估使用建议的信任度量。TDM通过设计实现了子任务级的可解释性，并从学习的子任务收敛到最佳符号计划。此外，一个基于TDM的算法被引入到演示符号规划与其他顺序决策算法的统一，收获两者的好处。实验结果验证了基于信任分数的规划方法的有效性，同时提高了子任务的可解释性。
2021-08-13 cs.LG
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
模仿学习的目标是通过演示模仿专家的行为，而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习（IRL）推断（未知）奖励函数，然后通过强化学习（RL）最大化该奖励函数。然而，通过这些方法学习的策略在实践中非常脆弱，即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时（植入），一个新的元算法模仿学习，利用决策时规划，以纠正任何基础模仿政策的复合错误。与现有方法相比，我们在决策时保留了模仿策略和奖励模型，从而受益于这两个组件的学习信号。从经验上讲，我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时，受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning
Apple（苹果公司）
针对大语言模型决策规划的幻觉问题及现有方法对黑盒模型适配差、成本高的痛点，提出无需logits的单次推理非参数不确定性量化方法，并设计了带偏好征询的决策智能体方案，为AI智能体开发提供低成本高效方案。
2024-02-01 cs.AI cs.CL cs.LG
Extended Tree Search for Robot Task and Motion Planning
Technische Universität Darmstadt（达姆施塔特工业大学）
综合任务和运动规划（TAMP）是广义自主机器人的理想选择，同时也是一个挑战。TAMP要求规划者不仅要在大的符号任务空间和高维运动空间中进行搜索，而且要处理由于其内在的分层过程而不可行的任务动作。我们提出了一个新的决策框架TAMP通过构建一个扩展的决策树的符号任务规划和高维运动变量绑定。我们集成的top-k规划生成明确的骨架空间，各种候选人的骨架计划是在处置。此外，我们有效地结合这个骨架空间与所得的运动变量空间到一个单一的扩展决策空间。因此，我们使用蒙特卡罗树搜索（MCTS），以确保在每个决策节点的勘探开发平衡和全局优化，以产生最优的解决方案。所提出的符号top-k规划与流的无缝结合，与MCTS的证明最优性，导致一个强大的规划算法，可以处理组合的复杂性的长期操作任务。我们经验性地评估我们提出的算法在具有挑战性的机器人任务与不同的领域，需要多阶段的决策，并显示我们的方法可以克服大的任务空间和运动空间，通过其有效的树搜索相比，其最有竞争力的基线方法。
2021-10-15 cs.LG cs.RO
The Update-Equivalence Framework for Decision-Time Planning
Meta AI；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Brown University（布朗大学）；Bosch AI（博世人工智能）；OpenAI（开放人工智能）
针对不完美信息博弈中传统决策时规划方法因非公开信息量大而扩展性差的问题，提出基于更新等价性的新框架，推导的镜像下降类搜索算法在Hanabi基准上以更少搜索时间实现更优性能。
2024-05-13 cs.AI cs.LG
Deep imagination is a close to optimal policy for planning in large decision trees under limited resources
Universitat Pompeu Fabra（庞培法布拉大学）
许多决策都涉及在深度和广度决策树中选择一个不确定的行动过程，就像我们计划去一个异国他乡度假一样。在这些情况下，由于大量的可能性和有限的时间或计算资源可用于做出决策，因此对最佳动作序列的穷举搜索是不容易处理的。因此，规划代理需要平衡广度（在树的每个级别探索许多动作）和深度（探索树中的许多级别），以最佳地分配其有限的搜索能力。我们提供了有效的解析解和数值分析的问题，分配有限的抽样容量在一个镜头大决策树。我们发现，在一般情况下，最佳的政策是分配很少的样本，每个级别，以便可以达到深层次，从而有利于深度广度搜索。相比之下，在恶劣的环境和低容量的情况下，最好以不深入采样为代价对分支进行广泛采样，尽管这种策略略优于深度分配。我们的研究结果提供了一个理论基础的规划深度想象力的最优性，并表明，这是一个普遍有效的启发式，可以从有限的认知系统的约束。
2021-04-13 cs.LG q-bio.NC stat.ML
Model-Based Online Decision Making via Generative Trajectory Planning
Harvard University（哈佛大学）
该研究提出基于模型的生成轨迹规划（GTP）框架，通过学习生成模型作为动作序列提议分布，在连续控制等任务中性能优于或匹配现有基准，为生成建模与基于模型决策结合提供新视角。
2026-10-14 cs.AI cs.LG cs.RO
Agents Explore the Environment Beyond Good Actions to Improve Their Model for Better Decisions
针对MuZero在预测较差时学习失效的问题，提出训练初期随机偏离规划策略、随后随机切回的环境探索方法，并在井字棋中验证其决策改进效果。
2023-06-06 cs.AI cs.LG
Why Reasoning Fails to Plan: A Planning-Centric Analysis of Long-Horizon Decision Making in LLM Agents
University of Notre Dame（诺丁汉大学）；Stanford University（斯坦福大学）；Purdue University（普渡大学）；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）；Yale University（耶鲁大学）
本文从规划角度分析LLM代理在长周期决策中的失败原因，提出FLARE方法通过前瞻和价值传播提升规划能力，使LLaMA-8B在多个基准中超越GPT-4o。
2026-01-29 cs.AI cs.CL cs.LG
A Monte Carlo Algorithm for Universally Optimal Bayesian Sequence Prediction and Planning
这项工作的目的是解决这样一个问题，即我们是否可以在原则上设计理性的决策代理或嵌入可计算物理的人工智能，使它们的决策在合理的数学意义上是最优的。最近在稀有事件概率估计、递归贝叶斯推断、神经网络和概率规划方面的发展足以显式地近似具有非平凡模型类（这里是资源受限图灵机类）的AIXI风格的强化学习器。考虑资源限制的影响，在具体的实施导致的见解可能的架构，学习系统使用最佳决策者作为组件。
2010-01-18 cond-mat.dis-nn cs.AI cs.LG
On Predictive planning and counterfactual learning in active inference
Turner Institute for Brain and Mental Health（特纳脑与心理健康研究所）；School of Psychological Sciences（心理科学学院）；Monash University（莫纳什大学）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）；IIT Bombay（印度理工学院孟买分校）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；University College London（伦敦大学学院）；Wellcome Trust Centre for Human Neuroimaging（惠康信托人类神经影像中心）；CIFAR（加拿大高级研究所）
本文研究主动推理中的规划与经验学习两种决策方案，提出一种在数据复杂性权衡中取得平衡的混合模型，并在网格世界场景中验证其适应性，为可解释的智能决策提供分析框架。
2024-03-19 cs.AI cs.LG stat.ME
Development of a Large Language Model-based Multi-Agent Clinical Decision Support System for Korean Triage and Acuity Scale (KTAS)-Based Triage and Treatment Planning in Emergency Departments
John Bapst Memorial High School（约翰·巴普斯特纪念高中）；Minerva University（密涅瓦大学）
本研究开发了一个基于Llama-3-70b、由CrewAI和Langchain编排的多智能体临床决策支持系统，包含四个模拟急诊科角色的AI智能体，结合KTAS和RxNorm API进行分诊与治疗规划，实验证明其分诊准确性和急诊护理管理能力显著优于单智能体系统。
2024-08-27 cs.AI cs.CL cs.LG
On the Reliability Limits of LLM-Based Multi-Agent Planning
MIT（麻省理工学院）
本文研究了基于大语言模型的多智能体规划的可靠性极限，通过建模为有限无环决策网络，展示了在无新外部信号时，分布式网络在决策理论上被集中贝叶斯决策者主导，并分析了通信和信息压缩带来的损失。
2026-11-03 cs.LG cs.MA math.OC
VLAD: A VLM-Augmented Autonomous Driving Framework with Hierarchical Planning and Interpretable Decision Process
Gifu University（福井大学）；DENSO CORPORATION（Denso公司）
本文提出VLAD框架，将微调视觉语言模型与端到端系统VAD集成，通过生成高层导航指令和可解释决策解释，在nuScenes上使平均碰撞率降低31.82%。
2025-07-02 cs.AI cs.CV cs.ET
