Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）
IPD通过引入离线规划蒸馏技术，提升离线强化学习中序列策略的决策稳定性和性能。
2026-03-04 cs.AI cs.LG
Exploring Model-based Planning with Policy Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于模型的强化学习（MBRL）与模型预测控制或在线规划在样本效率和渐近性能方面显示出用于运动控制任务的巨大潜力。尽管他们最初的成功，现有的规划方法搜索从候选序列中随机产生的动作空间，这是在复杂的高维环境中效率低下。在本文中，我们提出了一种新的MBRL算法，基于模型的政策规划（POPLIN），结合政策网络与在线规划。更具体地说，我们制定行动规划在每个时间步作为一个优化问题，使用神经网络。我们的实验与优化w.r.t.从策略网络初始化的动作序列，以及直接w.r.t.策略网络的参数。我们表明，POPLIN在MuJoCo基准测试环境中获得了最先进的性能，比最先进的算法（如PETS，TD3和SAC）的样本效率高出约3倍。为了解释我们的算法的有效性，我们表明，在参数空间中的优化曲面是光滑的比在行动空间。此外，我们发现，在测试时间的一些环境，如猎豹，在没有扩展的模型预测控制的情况下，可以有效地应用提取的策略网络。代码发布在https://github.com/WilsonWangTHU/POPLIN。
2019-06-20 cs.AI cs.LG cs.RO
Theoretically Guaranteed Policy Improvement Distilled from Model-Based Planning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Sydney（悉尼大学）；Peking University（北京大学）；Tsinghua University（清华大学）
该研究提出从基于模型的规划向策略蒸馏的方法扩展SAC的策略改进步骤，证明其有单调改进和收敛的理论保证，实现的MPDP算法在MuJoCo六项连续控制任务上样本效率和渐近性能更优。
2023-07-24 cs.AI
MDP Planning as Policy Inference
Offtopia
将周期性马尔可夫决策过程规划视为贝叶斯推断，通过策略作为隐变量，利用策略最优性的非归一化概率构建后验分布，结合变分序列蒙特卡洛方法近似后验分布，通过策略一致性扫面和粒子间转移随机性耦合避免模拟噪声干扰，最终通过后验预测采样生成随机控制策略。
2026-08-18 cs.LG
Dr Jekyll and Mr Hyde: the Strange Case of Off-Policy Policy Updates
Microsoft Research Montréal（微软研究院蒙特利尔分院）
策略梯度定理指出，策略应该只在当前策略访问的状态中更新，这导致在非策略状态中的规划不足，从而收敛到次优策略。我们通过将策略梯度理论扩展到任何状态密度的策略更新来解决这个规划问题。在这些广义策略更新下，我们在更新状态密度的充分必要条件下证明了收敛到最优，从而解决了上述规划问题。我们还证明了渐近收敛速度，显着改善那些在策略梯度文献。为了实现我们的理论所规定的原则，我们提出了一个代理人，杰基尔博士和海德先生（JH），具有双重人格：杰基尔博士纯粹利用，而海德先生纯粹探索。JH的独立策略允许记录两个单独的重放缓冲区：一个在策略（Jekyll博士的）和一个在策略（Hyde先生的），因此可以用在策略和在策略更新的混合来更新JH的模型。JH不仅仅是一种算法，它定义了行动者-批评者算法的原则，以满足我们在分析中确定的需求。我们广泛测试有限的MDPs，其中JH表现出优越的能力，从收敛到一个次优的政策，而不影响其收敛速度。我们还实现了一个深度版本的算法，并在一个简单的问题上测试它，它显示出有希望的结果。
2021-09-29 cs.AI cs.LG
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Look Before Leap: Look-Ahead Planning with Uncertainty in Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
提出不确定性感知的k步前瞻规划与探索性策略优化框架，通过权衡模型不确定性与价值误差，在机器人操作和Atari游戏中以更少交互超越现有方法。
2025-03-26 cs.AI cs.LG
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Robust Hierarchical Planning with Policy Delegation
The University of Sydney（悉尼大学）
提出了一种基于委托原理的层次规划框架和算法。这个框架，马尔可夫意图过程，具有一系列技能，每个技能都专门用于执行单个任务。技能意识到他们的预期效果，并能够分析规划目标，将规划委托给最适合的技能。这一原则动态地创建了一个计划的层次结构，其中每个技能都为它所专门化的子目标进行计划。所提出的规划方法的特点按需执行-技能政策只在需要时进行评估。计划仅在最高级别生成，然后在最新状态信息可用时扩展和优化。高级计划保留了最初的计划意图和先前计算的技能，有效地减少了适应环境变化所需的计算。我们表明，这种规划方法是实验非常有竞争力的经典规划和强化学习技术在各种领域，无论是在解决方案的长度和规划时间。
2020-10-25 cs.AI
When to Plan: Learning to Select Between Reactive Control and Deliberative Planning
研究智能体如何学习元推理能力，引入基于反应式策略不确定性得分分配计算的强化学习方法训练元推理策略，通过实证研究表明该设计能让元推理策略学会何时采用反应式策略，何时进行决策时规划，且能随反应式策略改进转向完全反应式控制。
2026-10-08 cs.AI
Automating proton PBS treatment planning for head and neck cancers using policy gradient-based deep reinforcement learning
University of California at San Diego（加利福尼亚大学圣地亚哥分校）；California Protons Cancer Therapy Center（加州质子癌症治疗中心）
针对头颈部癌症质子PBS治疗计划耗时依赖经验的问题，提出基于PPO算法和剂量分布奖励函数的自动计划模型，可在连续空间调整目标参数，性能达人类水平且可推广至其他部位。
2024-09-17 cs.AI cs.LG q-bio.QM
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；DeepMind（深度思维）
我们介绍了平均回报MDP的学习和规划算法，包括1）第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法，2）第一个证明收敛的偏离策略无模型预测算法，3）第一个离策略学习算法，收敛到实际的价值函数，而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差，而不是传统的错误时，更新的平均奖励的估计。我们的证明技术是Abounadi，Bertsekas和Borkar（2001）的一个轻微的概括。在实验中的一个控制器的控制任务，我们展示了一些困难时，可能会出现依赖于参考状态的方法，并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
研究多轮长期规划问题，通过引入统一可控环境，利用预训练、GRPO、OPD及MOPD等方法，研究规划能力在不同阶段的获取、塑造与整合，展示了多教师策略蒸馏对跨环境能力整合的作用。
2026-07-28 cs.AI cs.CL cs.LG
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Safe Planning and Policy Optimization via World Model Learning
AIRI, Moscow, Russia（俄罗斯莫斯科AIRI）；MIPT, Moscow, Russia（俄罗斯莫斯科MIPT）；FRC CSC RAS, Moscow, Russia（俄罗斯莫斯科FRC CSC RAS）
本文提出一种基于世界模型学习的强化学习框架，通过自适应切换模型规划与策略执行、隐式世界模型及动态安全阈值，在安全关键连续控制任务中同时优化任务性能与安全性，并超越现有方法。
2025-06-05 cs.AI
Distilling a Hierarchical Policy for Planning and Control via Representation and Reinforcement Learning
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；KAIST（韩国科学技术院）；TU Berlin（柏林工业大学）；NAVER CLOVA, NAVER Corp.（NAVER CLOVA，NAVER公司）
我们提出了一个层次规划和控制框架，使代理执行各种任务，并适应一个新的任务灵活。建议的框架，DISH，而不是学习一个单独的政策，为每一个特定的任务，从一组任务的表示和强化学习提炼出一个层次的政策。该框架基于潜变量模型的思想，该模型使用低维潜变量表示高维观测。由此产生的政策包括两个层次：（i）一个计划模块，原因的潜在意图，将导致一个乐观的未来序列和（ii）的反馈控制政策，共享的任务，执行推断的意图。由于规划是在低维潜在空间中执行的，因此学习到的策略可以立即用于解决或适应新任务，而无需额外的训练。我们证明了所提出的框架可以学习紧凑的表示（具有197维和36维状态特征和动作的人形机器人的3维和1维潜在状态和命令），同时解决少量的模仿任务，并且由此产生的策略直接适用于其他类型的任务，即，在杂乱的环境中导航。视频：https://youtu.be/HQsQysUWOhg
2021-04-06 cs.LG cs.RO
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
A review of motion planning algorithms for intelligent robotics
University of Eastern Finland（东芬兰大学）；Shenzhen Technology University（深圳技术大学）
研究和分析了典型的运动规划算法的原理。这些包括传统的规划算法，监督学习，最优值强化学习，策略梯度强化学习。我们研究的传统规划算法包括图搜索算法、基于采样的算法和插值曲线算法。监督学习算法包括MSVM、LSTM、MCTS和CNN。最优值强化学习算法包括Q学习、DQN、双DQN、决斗DQN。策略梯度算法包括策略梯度法、行动者-批评者算法、A3 C、A2 C、DPG、DDPG、TRPO和PPO。通过分析比较，提出了评价运动规划算法性能和应用的新的通用标准。重点分析了最优值算法和策略梯度算法的收敛速度和稳定性。根据运动规划算法的原理和分析比较，提出了未来的发展方向。本文对机器人运动规划算法的优缺点、相互关系和未来发展趋势有了一个清晰全面的认识，为更好的运动规划算法的研究铺平了道路。
2021-02-05 cs.AI cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
Retrosynthesis Planning via Worst-path Policy Optimisation in Tree-structured MDPs
University of Warwick（沃里克大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对逆合成规划易受合成路线“最薄弱环节”影响的问题，将其重新定义为树结构MDP的最坏路径优化问题，提出InterRetro方法，在Retro*-190基准上实现100%目标解决率并缩短路线4.9%。
2025-11-17 cs.AI cs.CE cs.LG
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs
针对现有组相对策略优化无法区分成功轨迹效率差异的问题，提出 PlanPO 方法，引入由粗到细的优势信号，在三类多轮基准上较 GRPO 平均提升 27.2%，且训练成本可忽略。
2026-08-19 cs.AI
Learning and Planning in Complex Action Spaces
DeepMind
许多重要的现实世界的问题有行动空间是高维的，连续的或两者兼而有之，使所有可能的行动完全枚举不可行。相反，只有一小部分的行动可以抽样的政策评估和改进的目的。在本文中，我们提出了一个一般的框架，原因在原则上的政策评估和改进，这样的采样行动子集。这种基于样本的策略迭代框架原则上可以应用于任何基于策略迭代的强化学习算法。具体来说，我们提出了采样MuZero，MuZero算法的扩展，能够通过规划采样动作在具有任意复杂动作空间的域中学习。我们在经典的围棋棋盘游戏和两个连续控制基准域上展示了这种方法：DeepMind Control Suite和Real-World RL Suite。
2021-04-13 cs.LG
Learning Off-Policy with Online Planning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
低数据和风险敏感域中的强化学习（RL）需要高性能和灵活的部署策略，这些策略可以在部署过程中轻松纳入约束。一类这样的策略是半参数H步前瞻策略，其在具有终端价值函数的固定时间范围的动态模型上使用轨迹优化来选择动作。在这项工作中，我们研究了一种新的实例化的H-步骤前瞻与学习模型和终端价值函数学习的无模型的离线策略算法，名为学习离线策略与在线规划（LOOP）。我们对这种方法进行了理论分析，提出了模型误差和价值函数误差之间的权衡，并实证证明了这种权衡在深度强化学习中是有益的。此外，我们确定在这个框架中的“演员发散”的问题，并提出演员正则化控制（ARC），修改后的轨迹优化过程。我们评估了我们的方法对一组机器人任务离线和在线RL，并展示了改进的性能。我们还展示了LOOP的灵活性，在部署过程中将安全约束与一组导航环境。我们证明，循环是一个理想的框架，机器人应用程序的基础上，其强大的性能在各种重要的RL设置。项目视频和详细信息可以在https://hari-sikchi.github.io/loop上找到。
2021-10-05 cs.AI cs.LG cs.RO
Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（台湾大学）
通过强化学习（RL）训练任务完成对话代理是昂贵的，因为它需要与真实用户进行许多交互。一种常见的替代方法是使用用户模拟器。然而，用户模拟器通常缺乏人类对话者的语言复杂性，并且其设计中的偏见可能会降低代理。为了解决这些问题，我们提出了Deep Dyna-Q，据我们所知，它是第一个集成了任务完成对话策略学习规划的深度RL框架。我们纳入对话代理的环境模型，称为世界模型，模仿真实的用户响应，并产生模拟的经验。在对话策略学习过程中，世界模型不断更新真实的用户体验，以接近真实的用户行为，反过来，对话代理使用真实的经验和模拟的经验进行优化。我们的方法的有效性证明了在模拟和人在循环设置的电影票预订任务。
2018-05-23 cs.AI cs.CL cs.LG
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind（深度思考）；OpenAI；University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
蒙特卡罗树搜索（MCTS）算法执行基于模拟的搜索以在线改进策略。在搜索过程中，模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题，但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法，策略梯度搜索（PGS），通过策略梯度更新在线适应神经网络模拟策略，避免了搜索树的需要。在Hex中，PGS实现了与MCTS相当的性能，并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
"Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs
China Mobile Research（中国移动研究院）
多动作对话策略（MADP），它产生多个原子对话动作，已被广泛应用于面向任务的对话系统，以提供富有表现力的和有效的系统响应。现有的MADP模型通常从标记的多动作对话样本中模仿动作组合。由于数据的限制，它们对看不见的对话流的概括性很差。虽然交互式学习和强化学习算法可以应用于合并真实用户和用户模拟器的外部数据源，但它们需要大量的手动工作来构建并且具有不稳定性。为了解决这些问题，我们提出了规划增强对话策略（PEDP），一种新的多任务学习框架，学习单动作对话动态，以增强多动作预测。我们的PEDP方法采用基于模型的规划，通过模拟单动作对话框，在决定当前响应之前构思要表达的内容。在MultiWOZ数据集上的实验结果表明，我们基于完全监督学习的方法实现了90.6%的可靠任务成功率，与最先进的方法相比提高了3%。
2022-04-25 cs.AI cs.CL
RL-RRT: Kinodynamic Motion Planning via Learning Reachability Estimators from RL Policies
Google AI（谷歌人工智能）；University of New Mexico（新墨西哥大学）
本文解决了基于采样的Kinodynamic运动规划面临的两个挑战：一种方法来确定良好的候选状态的局部过渡和随后的计算棘手的转向这些候选状态之间。通过结合基于采样的规划，快速探索随机树（RRT）和一个有效的Kinodynamic运动规划器通过机器学习，我们提出了一个有效的解决方案，长期规划Kinodynamic运动规划。首先，我们使用深度强化学习来学习避障策略，该策略将机器人的传感器观察映射到动作，该动作在规划期间用作本地规划器，在执行期间用作控制器。其次，我们训练可达性估计在监督的方式，预测RL政策的时间，以达到一个状态的存在障碍。最后，我们引入RL-RRT，它使用RL策略作为局部规划器，并将可达性估计器作为距离函数，以使树的生长偏向有希望的区域。我们评估我们的方法对三个kinodynamic系统，包括物理机器人实验。在所有三个机器人测试的结果表明，RL-RRT优于最先进的kinodynamic规划的效率，也提供了一个更短的路径完成时间比转向功能免费的方法。学习的本地规划器策略和伴随的可达性估计器展示了到先前看不见的实验环境的可转移性，使得RL-RRT快速，因为昂贵的计算被简单的神经网络推理取代。视频：https://youtu.be/dDMVMTOI8KY
2019-07-12 cs.AI cs.LG cs.RO
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University（斯坦福大学）
约束部分可观测马尔可夫决策过程（CPOMDP）不是通过对不期望的行为进行惩罚来增加奖励，而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中，我们提出了在线CPOMDP规划连续状态，动作和观测空间的算法，结合双上升逐步扩大。我们经验比较我们提出的算法的有效性，连续CPOMDPs模型玩具和现实世界的安全关键问题。此外，我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励，并调查乐观的成本传播的影响。
2022-12-23 cs.AI
The Dually Flat Geometry of Planning as Inference
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
该研究提出强化学习中占用度的新表征，定义访问度并构建其对偶平坦统计流形，推广规划即推理至非线性泛函，推导其对强化学习和理论神经科学的意义。
2026-09-04 cs.AI
Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
提出RDA2C算法，将重放数据作为对偶目标，通过优势回归累积策略改进，在MuJoCo和Atari基准上超越PPO等基线。
2026-10-06 cs.AI cs.LG math.OC
VAMPS: Visual and Motor Policies from Sampling-Based Planning
LAAS-CNRS, Université de Toulouse, CNRS（LAAS-CNRS，图卢兹大学，法国国家科学研究中心）；Machines in Motion Laboratory, New York University（纽约大学运动机器实验室）；Industrial Engineering Department, University of Trento（特伦托大学工业工程系）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所（ANITI））
VAMPS利用MPPI控制，无需人工演示即可在仿真或真实数据上训练可复用机器人策略，支持运动与视觉运动任务，并成功迁移到硬件。
2026-10-06 cs.AI cs.LG cs.RO
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Left Heavy Tails and the Effectiveness of the Policy and Value Networks in DNN-based best-first search for Sokoban Planning
Cornell University（康奈尔大学）
尽管在SAT和CSP等各种NP完全领域的实际解决方案取得了成功，以及使用深度强化学习来解决围棋等双人游戏，但某些类别的PSPACE硬规划问题仍然遥不可及。由于硬实例上的指数搜索空间，即使是精心设计的领域专用求解器也可能很快失败。最近的工作结合传统的搜索方法，如最佳优先搜索和蒙特卡罗树搜索，与深度神经网络（DNN）算法已经显示出有前途的进展，可以解决大量的硬规划实例超出了专门的求解器。为了更好地理解为什么这些方法有效，我们研究了基于DNN的最佳优先搜索在Sokoban上的策略和价值网络的相互作用，并展示了策略网络的惊人有效性，价值网络进一步增强了搜索的指导启发。为了进一步理解这种现象，我们研究了搜索算法的成本分布，发现Sokoban实例可以具有重尾运行时分布，尾部位于左侧和右侧。特别是，第一次，我们表明存在的\textit{left heavy tails}，并提出了一个抽象的树模型，可以凭经验解释这些尾巴的外观。实验表明，作为一个强大的启发式引导搜索，这可以导致左重尾多项式缩放，避免探索指数大小的子树的策略网络的关键作用。我们的研究结果还证明了随机重新启动的重要性，正如在传统的组合求解器中广泛使用的那样，对于基于DNN的搜索方法，以避免左和右重尾。
2022-06-28 cs.AI
Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Beihang University（北航）
提出Policy Split方法，将策略分裂为正常和高熵两种模式，通过协作双模式熵正则化在保持准确性的同时促进多样化探索，实验表明在通用和创造性任务上优于现有基线。
2026-06-03 cs.AI cs.CL cs.LG
Planning to Go Out-of-Distribution in Offline-to-Online Reinforcement Learning
University of Edinburgh（爱丁堡大学）
针对离线到在线强化学习中原有约束限制策略性能、现有探索方法存在缺陷的问题，提出非短视的PTGOOD算法，瞄准高奖励分布外区域探索，在连续控制任务上显著提升微调回报并避免次优收敛。
2024-06-21 cs.LG
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University（澳大利亚国立大学）；Google DeepMind（谷歌DeepMind）
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限，提出结合元策略的POTMMCP在线规划方法，在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Bootstrap Off-policy with World Model
College of AI & School of Vehicle and Mobility, Tsinghua University（人工智能学院与车辆与移动系统学院，清华大学）；Berkeley AI Research (BAIR), UC Berkeley（伯克利人工智能研究（BAIR），加州大学伯克利分校）
BOOM通过整合规划与离策略学习，利用世界模型和无参数动作分布提升策略性能，在高维控制任务中实现训练稳定性和最终性能的突破。
2026-01-15 cs.AI cs.LG cs.RO
Addressing Myopic Constrained POMDP Planning with Recursive Dual Ascent
Stanford University（斯坦福大学）
针对全局对偶参数导致的近视动作选择和次优决策问题，提出依赖历史的对偶变量并通过递归对偶上升优化，实验证明该方法改善了探索并提升了安全性。
2024-03-26 cs.AI
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University（杜伦大学）
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题，提出带有规划令牌的Planning Transformer，通过双时间尺度令牌预测实现隐式规划指导低层策略，在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
RAPTOR: End-to-end Risk-Aware MDP Planning and Policy Learning by Backpropagation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
规划为在复杂环境中优化顺序决策提供了一个框架。最近在确定性或随机性高维域中的有效规划方面取得的进展，具有连续的动作空间，通过环境模型利用反向传播来直接优化动作。然而，现有的方法通常不考虑风险时，优化随机域，这可以有效地纳入MDP通过优化熵效用的回报。我们通过使用PyTorch（RAPTOR）引入风险感知规划来弥合这一差距，PyTorch是一种通过熵效用目标的端到端优化进行风险敏感规划的新框架。我们的方法的一个关键技术难点在于，由于环境随机性的存在，直接优化的熵效用的反向传播是不可能的。RAPTOR的新颖之处在于状态分布的重新参数化，这使得有可能通过从向前采样轨迹计算的熵效用的充分统计来应用随机反向传播。以端到端的方式直接优化这个经验目标被称为风险规避直线计划，它预先承诺一系列行动，并且在高度随机的领域中可能是次优的。我们通过在我们的框架中优化风险感知的深度反应策略（RaDRP）来解决这个缺点。我们评估和比较这两种形式的RAPTOR在三个高度随机域，包括非线性导航，HVAC控制，线性水库控制，展示了在复杂的MDP管理风险的能力。
2021-06-14 cs.LG
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Graph-based Prediction and Planning Policy Network (GP3Net) for scalable self-driving in dynamic environments using Deep Reinforcement Learning
Indian Institute of Science（印度科学学院）；Indian Institute of Science Education and Research, Bhopal（博帕尔印度科学教育与研究学院）
本文提出GP3Net框架，通过时空图预测交通参与者轨迹并结合PPO强化学习进行安全规划，在CARLA多场景与新天气条件下优于模仿学习基线。
2023-12-10 cs.AI cs.RO
Solving Multi-Objective MDP with Lexicographic Preference: An application to stochastic planning with multiple quantile objective
Georgia Institute of Technology（佐治亚理工学院）
在马尔可夫决策过程（MDP）的大多数常见设置中，代理基于（折扣）奖励总和的期望来评估策略。然而在许多应用中，该准则从两个角度看可能并不适用：第一，在风险规避情形下，累积报酬的期望值不够稳健，这是累积报酬分布严重偏斜的情况;另一个问题是许多应用在评估策略时自然地考虑几个目标，例如，在自动驾驶中，当选择适当的决策时，代理需要平衡速度和安全性。在本文中，我们考虑评估一个策略的基础上的一系列的分位数，它诱导的一组目标状态，我们的想法是将原来的问题转化为一个多目标MDP问题的字典偏好自然定义。对于寻找最优策略的计算，我们提出了一个算法\textbf{FLMDP}，它可以解决一般的多目标MDP与字典式奖励偏好。
2017-05-10 cs.AI
Truncated Horizon Policy Search: Combining Reinforcement Learning & Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了通过使用预言机的奖励塑造的想法来结合模仿和强化学习。我们研究了接近最优的成本去预言机在规划视野上的有效性，并证明了成本去预言机缩短了学习者的规划视野作为其准确性的函数：全局最优预言机可以将规划范围缩短为1，从而导致更容易优化的一步贪婪马尔可夫决策过程，而远离最优性的Oracle需要在更长的范围内进行规划以实现接近最优的性能。因此，我们的新见解弥合了模仿学习和强化学习之间的差距。受上述见解的启发，我们提出了截断HORIZON策略搜索（THOR），一种专注于搜索策略的方法，最大限度地提高总重塑奖励在一个有限的规划范围内，当预言是次优的。我们的实验表明，基于梯度的实现的THOR可以实现优越的性能相比，RL基线和IL基线，即使当oracle是次优的。
2018-05-29 cs.LG stat.ML
Policy-Aware Model Learning for Policy Gradient Methods
University of Toronto（多伦多大学）；the Vector Institute（向量研究所）；Google Research（谷歌研究院）
研究了基于基于模型的强化学习（MBRL）中的模型学习问题。我们研究了MBRL算法的规划模块如何使用该模型，并建议模型学习模块应将规划者使用该模型的方式。这与传统的模型学习方法（例如基于最大似然估计的那些方法）形成对比，传统的模型学习方法在不明确考虑模型和规划器的交互的情况下学习环境的预测模型。我们专注于策略梯度类型的规划算法，并推导出新的损失函数的模型学习，将如何规划器使用的模型。我们称这种方法为策略感知模型学习（PAML）。理论上分析了一种通用的基于模型的策略梯度算法，并为优化后的策略提供了收敛性保证。我们还实证评估PAML的一些基准问题，显示出可喜的成果。
2021-01-04 cs.AI
Refining Manually-Designed Symbol Grounding and High-Level Planning by Policy Gradients
NEC Central Research Laboratories（NEC中央研究实验室）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；The University of Tokyo（东京大学）
分层规划，产生可解释的和适当的计划是理想的，特别是在其应用程序，以支持人类的决策。在分层规划器的典型开发中，更高级别的规划器和符号基础功能是手动创建的，并且这种手动创建需要大量的人力。在本文中，我们提出了一个框架，可以自动细化符号接地功能和高层次的规划，以减少设计这些模块的人力。在我们的框架中，符号接地和高层次的规划，这是基于人工设计的知识库，建模与半马尔可夫决策过程。一个策略梯度方法，然后应用到细化模块，其中两个条款更新模块被认为是。第一个术语，称为强化术语，有助于更新模块，以提高层次规划器的整体性能，以产生适当的计划。第二项，称为惩罚项，有助于保持细化模块与手动设计的原始模块一致。也就是说，它保持计划器，使用细化的模块，产生可解释的计划。我们进行了初步的实验，以解决山地车问题，其结果表明，一个手动设计的高级规划器和符号接地功能，成功地改进了我们的框架。
2018-09-29 cs.AI
WebUncertainty: Dual-Level Uncertainty Driven Planning and Reasoning For Autonomous Web Agent
Hefei University of Technology（合肥工业大学）；Academy of Cyber, CETC Group（中国电子科技集团 Cyber 学院）
本文提出WebUncertainty框架，通过双层不确定性驱动的自适应规划和蒙特卡洛树搜索机制，提升自主网络代理在动态交互和长周期任务中的规划与推理能力。
2026-04-21 cs.AI
Confident Natural Policy Gradient for Local Planning in $q_π$-realizable Constrained MDPs
University of Alberta（阿尔伯塔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google DeepMind（谷歌DeepMind）
针对无限状态 $q_π$-可实现 CMDP，提出基于局部访问与离策略评估的置信自然策略梯度原对偶算法，实现多项式样本复杂度并高概率获得近优且严格满足约束的策略。
2024-12-09 cs.LG
Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的随机原始-对偶优化算法，用于求解具有生成模型和线性函数逼近的大折扣马尔可夫决策过程的规划问题。假设特征图近似满足标准的可实现性和贝尔曼封闭性条件，并且所有状态-动作对的特征向量都可表示为状态-动作对的小核心集的凸组合，我们证明了我们的方法在对生成模型进行多项式次数的查询后输出接近最优的策略。我们的方法是计算效率高，它的主要优点是，它输出一个单一的softmax政策，是compatible表示的低维参数向量，并不需要在运行时执行计算昂贵的本地规划子程序。
2023-01-31 cs.LG math.OC
Policy Iteration for Relational MDPs
Tufts University（塔夫茨大学）
关系马尔可夫决策过程是复杂的强化学习问题和随机规划问题的一个有用的抽象。最近的工作开发了表示方案和算法规划在这样的问题，使用值迭代算法。然而，更复杂的算法，包括策略迭代的确切版本尚未开发或分析。本文探讨了这种潜力，并作出了一些贡献。首先，我们观察到两个异常的关系表示，一些政策的价值是没有很好地定义或无法计算的限制表示方案中使用的文献。另一方面，我们开发了一种可以绕过这些异常的政策迭代变体。该算法在策略评估的过程中包含了策略改进的内容，因此与原算法不同。我们表明，尽管存在这种差异，算法收敛到最优策略。
2012-06-20 cs.AI
Large Scale Distributed Collaborative Unlabeled Motion Planning with Graph Policy Gradients
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种学习方法来解决大量机器人在二维空间中具有运动约束和空间约束的无标号运动问题。为了解决问题的任意动态和约束，我们建议制定的问题作为一个多智能体问题。我们能够证明我们的方法的可扩展性，大量的机器人采用图神经网络（GNN）参数化的机器人政策。GNN通过学习过滤器来降低问题的维度，这些过滤器在本地聚合机器人之间的信息，类似于卷积神经网络如何能够学习图像中的局部特征。此外，通过采用GNN，我们还能够克服大量机器人的训练策略的计算开销，首先训练少量机器人的图过滤器，然后将zero-shot策略转移到大量机器人。我们证明了我们的框架的有效性，通过各种模拟。
2021-02-11 cs.LG cs.RO
