Learning Classical Planning Strategies with Policy Gradient
Imperial College London（伦敦帝国学院）
经典规划中的一个常见范例是启发式向前搜索。前向搜索规划者通常依赖于简单的最佳优先搜索，该搜索在整个搜索过程中保持固定。在本文中，我们介绍了一种新的搜索框架，能够在解决特定的规划问题的同时，在几个正向搜索方法之间交替。使用可训练的随机策略执行方法的选择，将搜索的状态映射到方法上的概率分布。这使得能够使用策略梯度来学习针对规划问题的特定分布和所选择的性能度量（例如IPC分数）定制的搜索策略。我们通过构建一个由五种搜索方法和规划者状态的二维表示组成的策略空间来实例化该框架。然后，我们训练系统随机产生的问题，从五个IPC域使用三种不同的性能指标。我们的实验结果表明，学习者能够发现特定领域的搜索策略，提高规划的性能相对于基线的纯最佳优先搜索和统一的政策。
2019-04-11 cs.AI cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出OOO框架，通过解耦探索与利用策略，利用离线重训练缓解在线RL中的探索偏差，显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Graph World Models for Constrained Epidemic Policy Planning
Virginia Tech（弗吉尼亚理工大学）
提出EpiMind图世界模型框架，通过图分解状态空间模型和ADMM优化实现跨区域受限流行病政策规划，显著降低预测误差并保证资源可行性。
2026-10-12 cs.AI cs.LG
Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach
Vrije Universiteit (VU) Amsterdam（阿姆斯特丹自由大学）
本文提出主动LfD算法Policy Transfer with Online Demonstrations，在有限演示预算下优化在线专家演示查询的时机与内容，显著提升机器人跨环境、任务和实体的策略迁移性能。
2025-03-17 cs.AI cs.LG cs.RO
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Online Trajectory Planning Through Combined Trajectory Optimization and Function Approximation: Application to the Exoskeleton Atalante
Wandercraft（Wandercraft公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université Paris-Dauphine（巴黎多芬大学）
自主机器人需要在线轨迹规划能力才能在现实世界中运行。高效的离线轨迹规划方法已经存在，但计算量大，无法在线使用。在本文中，我们提出了一种新的算法，称为引导轨迹学习，学习通过轨迹优化计算的解决方案的函数近似，同时确保准确和可靠的预测。然后在线使用该函数近似来生成轨迹。该算法被设计为易于实现，并且实用，因为它不需要大量的计算能力。它很容易适用于任何机器人系统，并且由于鲁棒控制策略通常已经可用，因此可以毫不费力地在实际硬件上设置。我们证明了我们的算法的计算性能与自平衡外骨骼Atalante扁平足行走。
2020-03-04 cs.LG cs.RO
Vectorized Online POMDP Planning
School of Computing, Australian National University（澳大利亚国立大学计算机学院）
提出向量化在线POMDP规划器（VOPP），通过全向量化计算消除并行瓶颈，实现大规模并行在线规划，计算效率比现有最先进并行求解器高至少20倍。
2026-06-03 cs.AI cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Distilling a Hierarchical Policy for Planning and Control via Representation and Reinforcement Learning
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；KAIST（韩国科学技术院）；TU Berlin（柏林工业大学）；NAVER CLOVA, NAVER Corp.（NAVER CLOVA，NAVER公司）
我们提出了一个层次规划和控制框架，使代理执行各种任务，并适应一个新的任务灵活。建议的框架，DISH，而不是学习一个单独的政策，为每一个特定的任务，从一组任务的表示和强化学习提炼出一个层次的政策。该框架基于潜变量模型的思想，该模型使用低维潜变量表示高维观测。由此产生的政策包括两个层次：（i）一个计划模块，原因的潜在意图，将导致一个乐观的未来序列和（ii）的反馈控制政策，共享的任务，执行推断的意图。由于规划是在低维潜在空间中执行的，因此学习到的策略可以立即用于解决或适应新任务，而无需额外的训练。我们证明了所提出的框架可以学习紧凑的表示（具有197维和36维状态特征和动作的人形机器人的3维和1维潜在状态和命令），同时解决少量的模仿任务，并且由此产生的策略直接适用于其他类型的任务，即，在杂乱的环境中导航。视频：https://youtu.be/HQsQysUWOhg
2021-04-06 cs.LG cs.RO
A review of motion planning algorithms for intelligent robotics
University of Eastern Finland（东芬兰大学）；Shenzhen Technology University（深圳技术大学）
研究和分析了典型的运动规划算法的原理。这些包括传统的规划算法，监督学习，最优值强化学习，策略梯度强化学习。我们研究的传统规划算法包括图搜索算法、基于采样的算法和插值曲线算法。监督学习算法包括MSVM、LSTM、MCTS和CNN。最优值强化学习算法包括Q学习、DQN、双DQN、决斗DQN。策略梯度算法包括策略梯度法、行动者-批评者算法、A3 C、A2 C、DPG、DDPG、TRPO和PPO。通过分析比较，提出了评价运动规划算法性能和应用的新的通用标准。重点分析了最优值算法和策略梯度算法的收敛速度和稳定性。根据运动规划算法的原理和分析比较，提出了未来的发展方向。本文对机器人运动规划算法的优缺点、相互关系和未来发展趋势有了一个清晰全面的认识，为更好的运动规划算法的研究铺平了道路。
2021-02-05 cs.AI cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
FHHOP: A Factored Hybrid Heuristic Online Planning Algorithm for Large POMDPs
部分可观测马尔可夫决策过程（POMDPs）的规划仍然是人工智能社区的一个具有挑战性的话题，尽管最近在近似技术方面取得了令人印象深刻的进展。以前的研究表明，在线规划方法是有前途的，在处理大规模POMDP域有效地，因为他们作出决定“按需”，而不是主动为整个状态空间。提出了一种求解大型POMDPs的因子混合启发式在线规划算法。FHHOP通过将新的混合启发式搜索策略与最近开发的分解状态表示相结合来获得其功能。在几个基准问题上，FHHOP在可扩展性和质量方面都大大优于最先进的在线启发式搜索方法。
2012-10-16 cs.AI
Dual policy as self-model for planning
Massachusetts Institute of Technology（麻省理工学院）
受强化学习与神经科学启发，提出对偶策略智能体，使用蒸馏策略网络作为自模型进行规划，实验证明该方法能稳定训练、加速推理并促进探索，代价是需额外蒸馏新网络。
2023-06-11 cs.AI cs.LG
Scalable Rao-Blackwellized Online Planning for High-Dimensional POMDPs
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究扩展RB-POMDP框架，采用混合连续-离散信念表示，结合FastSLAM 2.0，在机器人搜救任务中实现高维POMDP下的高效在线规划，性能优于纯采样方法。
2026-09-02 cs.AI cs.RO
Planning with a Learned Policy Basis to Optimally Solve Complex Tasks
AMLab, University of Amsterdam（阿姆斯特丹大学 AMLab）；AI&ML group, Universitat Pompeu Fabra（庞培法布拉大学 AI&ML 研究组）
针对非马尔可夫奖励下多任务策略泛化难题，提出利用后继特征学习策略基，通过有限状态自动机组合子策略，在无需额外学习下渐近实现随机环境中的全局最优。
2024-06-03 cs.AI cs.LG
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University（斯坦福大学）
约束部分可观测马尔可夫决策过程（CPOMDP）不是通过对不期望的行为进行惩罚来增加奖励，而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中，我们提出了在线CPOMDP规划连续状态，动作和观测空间的算法，结合双上升逐步扩大。我们经验比较我们提出的算法的有效性，连续CPOMDPs模型玩具和现实世界的安全关键问题。此外，我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励，并调查乐观的成本传播的影响。
2022-12-23 cs.AI
Online Whole-body Motion Planning for Quadrotor using Multi-resolution Search
University of Hong Kong（香港大学）；Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们解决的问题，在线四旋翼全身运动规划（SE（3）规划）在未知的和非结构化的环境。我们提出了一种新的多分辨率搜索方法，发现狭窄的地区，需要完整的姿态规划和正常的地区，只需要位置规划。因此，四旋翼规划问题被分解为几个SE（3）（如果需要）和R^3子问题。为了穿越已发现的狭窄区域，提出了一种精心设计的狭窄区域走廊生成策略，大大提高了规划成功率。整体问题分解和层次规划框架大大加快了规划过程，使其能够在未知环境中在线工作，并具有完全的机载传感和计算能力。广泛的仿真基准比较表明，该方法是一个到几个数量级的速度比国家的最先进的方法在计算时间，同时保持高规划成功率。最后将该方法集成到基于LiDAR的自主四旋翼飞行器中，并在未知和非结构化环境中进行了各种真实实验，以验证该方法的出色性能。
2023-02-16 cs.RO
Iterative Option Discovery for Planning, by Planning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
提出Option Iteration方法，通过迭代学习一组局部强选项策略来指导规划搜索，形成良性循环，在复杂规划环境中显著优于基线算法。
2023-12-22 cs.AI cs.LG
Is Policy Learning Overrated?: Width-Based Planning and Active Learning for Atari
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
基于宽度的规划在使用像素输入的Atari 2600游戏上显示出有希望的结果，同时使用比强化学习少得多的环境交互。最近的基于宽度的方法已经使用手工设计的特征集或在游戏屏幕上训练的变分自编码器（VAE-IW）来计算每个屏幕的特征向量，并且在搜索期间修剪不具有新颖特征的屏幕。我们提出橄榄（在线VAE-IW），它更新的VAE功能在线使用主动学习，以最大限度地提高规划过程中观察到的屏幕的效用。在55个Atari游戏中的实验结果表明，它比Rollout-IW高出42比11，比VAE-IW高出32比20。此外，Olive优于现有的同策略学习（$π$ -IW，DQN）的工作，该工作使用100倍的训练预算进行训练，分别为30比22和31比17，以及最先进的数据高效强化学习（EfficientZero），该学习使用相同的训练预算进行训练，并在Atari 100 k基准测试中使用1.8倍的规划预算进行运行，根本没有策略学习。源代码可在github.com/ibm/atari-active-learning上获得。
2022-03-19 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Theoretically Guaranteed Policy Improvement Distilled from Model-Based Planning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Sydney（悉尼大学）；Peking University（北京大学）；Tsinghua University（清华大学）
该研究提出从基于模型的规划向策略蒸馏的方法扩展SAC的策略改进步骤，证明其有单调改进和收敛的理论保证，实现的MPDP算法在MuJoCo六项连续控制任务上样本效率和渐近性能更优。
2023-07-24 cs.AI
MDP Planning as Policy Inference
Offtopia
将周期性马尔可夫决策过程规划视为贝叶斯推断，通过策略作为隐变量，利用策略最优性的非归一化概率构建后验分布，结合变分序列蒙特卡洛方法近似后验分布，通过策略一致性扫面和粒子间转移随机性耦合避免模拟噪声干扰，最终通过后验预测采样生成随机控制策略。
2026-08-18 cs.LG
Dynamic Q-planning for Online UAV Path Planning in Unknown and Complex Environments
Federal University of São Carlos（圣卡洛斯联邦大学）；São Carlos School of Engineering, University of São Paulo（圣保罗大学圣卡洛斯工程学院）；University of Sydney（悉尼大学）
针对未知复杂环境下无人机在线路径规划，提出动态确定Q学习迭代次数的方法，与固定迭代Q学习、A*、RRT和PSO对比，验证了其有效性和可靠性。
2024-02-09 cs.RO
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）
传统的强化学习（RL）需要一个环境来收集新的数据，当在线交互成本高昂时，这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而，如果离线数据集的质量很差，它将产生不令人满意的性能。在本文中，我们考虑了一个离线到在线的设置，代理首先从离线数据集学习，然后在线训练，并提出了一个框架，称为自适应策略学习，有效地利用离线和在线数据。具体来说，我们显式地考虑在线和离线数据之间的差异，并相应地应用自适应更新方案，即，离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后，我们对流行的连续控制任务进行了大量的实验，结果表明，即使在离线数据集质量较差的情况下，我们的算法也能以较高的样本效率学习专家策略，例如，随机数据集。
2023-03-14 cs.AI cs.LG
COOPO: Cyclic Offline-Online Policy Optimization Algorithm
Department of Mechanical Engineering, Iowa State University（伊阿华州立大学机械工程系）；Department of Computer Science, Iowa State University（伊阿华州立大学计算机科学系）；Department of Industrial and Manufacturing Systems Engineering, Iowa State University（伊阿华州立大学工业与制造系统工程系）；Translational AI Center, Iowa State University（伊阿华州立大学转化人工智能中心）
本文提出COOPO算法，通过循环离线训练和在线微调来解决离线强化学习的分布偏移和性能受限问题，以及在线强化学习的环境交互成本高问题，通过周期性回归离线训练减少遗忘和漂移，提升样本效率和性能。
2026-05-18 cs.AI cs.LG
Broadly-Exploring, Local-Policy Trees for Long-Horizon Task Planning
Robotics at Google（谷歌机器人学部门（或谷歌机器人部门））
现实环境中的长期规划需要在具有复杂动态的高维状态空间中对顺序任务进行推理的能力。经典的运动规划算法，如快速探索随机树，能够有效地探索大的状态空间和计算长期的，顺序的计划。然而，这些算法通常面临复杂、随机和高维状态空间的挑战，以及在与环境交互的任务中自然出现的狭窄通道的存在下。机器学习提供了一个很有前途的解决方案，它能够学习可以处理复杂交互和高维观测的一般策略。然而，这些政策通常在期限长度上受到限制。我们的方法，广泛探索，本地政策树（BELT），合并这两种方法，以利用两者的优势，通过任务条件，基于模型的树搜索。BELT使用RRT启发的树搜索来有效地探索状态空间。在本地，探索是由一个任务条件，学习政策能够执行一般的短期任务。这个任务空间可以是相当一般和抽象的;它唯一的要求是可采样的，并很好地覆盖有用任务的空间。这种搜索是由一个任务条件的模型，暂时延长动态传播，允许长视野搜索和顺序推理的任务。实验证明，带能够计划长期的，连续的轨迹与目标条件的政策，并产生计划，是强大的。
2020-10-13 cs.LG cs.RO
Flow-Based Policy for Online Reinforcement Learning
Tsinghua University（清华大学）；Shanghai Research Institute for Intelligent Autonomous Systems,Tongji University（上海智能自主系统研究所，同济大学）
本研究提出在线强化学习框架FlowRL，通过基于状态速度场的流策略建模与Wasserstein-2正则化约束，对齐流优化与RL目标，在基准测试中取得了有竞争力的性能。
2025-06-15 cs.AI cs.LG
Manipulation Trajectory Optimization with Online Grasp Synthesis and Selection
University of Washington（华盛顿大学）；NVIDIA（英伟达）
在机器人操作中，规划机器人操作器抓取物体的运动是一个基本问题。操纵规划器需要生成操纵臂的轨迹以避开环境中的障碍物，并规划用于抓取的末端执行器姿态。虽然轨迹规划和抓取规划通常是分开处理的，但如何有效地集成这两个规划问题仍然是一个挑战。在这项工作中，我们提出了一种新的方法，关节运动和抓取规划。我们的方法集成了操作轨迹优化与在线抓取合成和选择，其中我们应用在线学习技术来选择抓取的目标配置，并引入一个新的抓取合成算法来在线生成抓取。我们评估我们的规划方法，并证明我们的方法产生强大的和有效的运动计划，在混乱的场景中把握。我们的视频可以在https://www.youtube.com/watch?上找到v=LIcACf8YkGU。
2020-05-11 cs.RO
Online POMDP Planning via Simplification
Department of Computer Science（计算机科学系）；Department of Aerospace EngineeringTechnion - Israel Institute of Technology（以色列理工学院航空航天工程系）；Technion - Israel Institute of Technology（以色列理工学院）；Technion - Israel Institute of Technology, Haifa 32000, Israel（以色列理工学院（海法））
在本文中，我们考虑在线规划部分可观察域。解决相应的POMDP问题是一个非常具有挑战性的任务，特别是在在线设置。我们的主要贡献是一种新的算法方法，简化的信息理论信念空间规划（SITH-BSP），其目的是加快POMDP规划考虑信念依赖的奖励，而不影响解决方案的准确性。我们这样做是通过数学联系的简化元素的问题，以相应的对应的原始问题。具体来说，我们专注于信念简化，并使用它来制定相应的原始信念依赖奖励的界限。在计算最优策略的过程中，这些界限又被用来在信念树上执行分支修剪。我们进一步引入了自适应简化的概念，同时重新使用不同简化级别之间的计算，并利用它来修剪，在每个级别的信念树，所有分支，但一个。因此，我们的方法是保证找到原问题的最佳解决方案，但与实质性的加速。作为第二个关键的贡献，我们推导出新的分析界微分熵，考虑到基于采样的信念表示，我们相信是自己的利益。我们验证我们的方法在模拟中使用这些界限和简化对应于减少样本的数量，表现出显着的计算加速，同时产生最佳的解决方案。
2021-05-11 cs.AI cs.RO
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
iPolicy: Incremental Policy Algorithms for Feedback Motion Planning
Shanghai University（上海大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出iPolicy增量策略算法，通过集成采样与集值最优控制方法，在采样状态空间上执行异步值迭代以同时解决路径规划与控制器综合问题，并证明了其收敛性。
2024-01-05 cs.RO cs.SY eess.SY
Robust Hierarchical Planning with Policy Delegation
The University of Sydney（悉尼大学）
提出了一种基于委托原理的层次规划框架和算法。这个框架，马尔可夫意图过程，具有一系列技能，每个技能都专门用于执行单个任务。技能意识到他们的预期效果，并能够分析规划目标，将规划委托给最适合的技能。这一原则动态地创建了一个计划的层次结构，其中每个技能都为它所专门化的子目标进行计划。所提出的规划方法的特点按需执行-技能政策只在需要时进行评估。计划仅在最高级别生成，然后在最新状态信息可用时扩展和优化。高级计划保留了最初的计划意图和先前计算的技能，有效地减少了适应环境变化所需的计算。我们表明，这种规划方法是实验非常有竞争力的经典规划和强化学习技术在各种领域，无论是在解决方案的长度和规划时间。
2020-10-25 cs.AI
ExIt-OOS: Towards Learning from Planning in Imperfect Information Games
CliniCloud Labs（CliniCloud实验室）
目前，在玩许多重要的完美信息游戏（包括国际象棋和围棋）时，最先进的技术将规划和深度强化学习与自我游戏相结合。我们将这种方法扩展到不完美信息游戏，并提出了ExIt-OOS，这是一种在专家迭代框架内玩不完美信息游戏的新方法，并受到AlphaZero的启发。我们使用在线结果抽样，在线搜索算法的不完美信息游戏的地方MCTS。在在线训练时，我们的神经策略用于提高OOS中播放的准确性，从而为不完美信息游戏提供学习和规划反馈循环。
2018-10-25 cs.AI cs.GT cs.LG
Online Informative Path Planning for Active Information Gathering of a 3D Surface
Delft University of Technology（代尔夫特理工大学）；ETH Zurich（苏黎世联邦理工学院）
提出了一种利用空中机器人进行三维表面主动信息采集的在线路径规划方法。大多数现有的表面检测工作集中在规划的路径离线，可以提供完全覆盖的表面，这固有地假设表面信息是均匀分布的，因此忽略了潜在的空间相关性的信息场。在本文中，我们利用流形高斯过程（mGPs）与测地核函数映射表面信息场和计划信息路径在线滚动地平线的方式。我们的方法积极规划信息收集路径的基础上，尊重车辆的动态约束和总飞行时间预算最近的观察。我们为简单和复杂的3D表面几何形状（圆柱体和飞机模型）的模拟温度建模提供规划结果。我们证明了我们的信息规划方法优于传统的方法，如3D覆盖规划和随机探索，无论是在重建误差和信息理论指标。我们还表明，通过将信息场的空间相关性纳入使用mGPs的规划中，信息收集效率显着提高。
2021-03-17 cs.RO
Safe POMDP Online Planning among Dynamic Agents via Adaptive Conformal Prediction
School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院）；University of Oxford（牛津大学）
针对多动态智能体环境下 POMDP 在线规划的安全问题，提出利用 ACP 量化轨迹预测不确定性并即时构建安全屏障，在真实行人数据实验中兼顾回报与概率安全保证。
2024-09-06 cs.RO
Online, interactive user guidance for high-dimensional, constrained motion planning
Carnegie Mellon University（卡内基梅隆大学）
本文研究了高维机器人的无碰撞路径规划问题。具体来说，我们建议一个规划框架，运动规划算法可以从用户获得指导。与现有的方法，试图加快规划，结合经验或示范规划之前，我们建议寻求用户的指导，只有当规划师确定，它停止朝着目标取得重大进展。指导以中间配置$\hat{q}$的形式提供，用于使计划员偏向通过$\hat{q}$。我们展示了我们的方法的情况下，规划算法是多启发式A*（MHA*）和机器人是一个34自由度的人形。我们表明，我们的方法允许计算高度约束的路径，几乎没有领域知识。如果没有我们的方法，解决这些问题需要精心制作依赖于领域的算法。
2018-07-20 cs.RO
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
When to Plan: Learning to Select Between Reactive Control and Deliberative Planning
研究智能体如何学习元推理能力，引入基于反应式策略不确定性得分分配计算的强化学习方法训练元推理策略，通过实证研究表明该设计能让元推理策略学会何时采用反应式策略，何时进行决策时规划，且能随反应式策略改进转向完全反应式控制。
2026-10-08 cs.AI
Automating proton PBS treatment planning for head and neck cancers using policy gradient-based deep reinforcement learning
University of California at San Diego（加利福尼亚大学圣地亚哥分校）；California Protons Cancer Therapy Center（加州质子癌症治疗中心）
针对头颈部癌症质子PBS治疗计划耗时依赖经验的问题，提出基于PPO算法和剂量分布奖励函数的自动计划模型，可在连续空间调整目标参数，性能达人类水平且可推广至其他部位。
2024-09-17 cs.AI cs.LG q-bio.QM
Scaling Long-Horizon Online POMDP Planning via Rapid State Space Sampling
Australian National University（澳大利亚国立大学）；Rice University（莱斯大学）
提出ROP-RaS3求解器，利用快速状态空间采样生成宏动作，避免穷举动作空间，在长时域POMDP规划中性能大幅超越现有方法。
2024-11-11 cs.RO
From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction
Dalian University of Technology（大连理工大学）
本文提出策略世界模型（PWM），通过整合世界建模与轨迹规划，并利用无动作未来状态预测提升规划性能，实现更可靠的自主驾驶决策。
2025-11-25 cs.AI cs.CL cs.CV
Combining Offline Models and Online Monte-Carlo Tree Search for Planning from Scratch
Xiamen University（厦门大学）
随机和部分可观测环境中的规划问题是人工智能的一个核心问题。解决这类问题的一个常用技术是首先构建一个精确的模型。虽然最近已经提出了一些方法来学习模型不确定性下的最佳行为，先验知识的环境仍然需要保证所提出的算法的性能。利用预测状态表示（Predictive State Representations~（PSR））方法的状态表示和模型预测的优点，本文提出了一种从头开始规划的方法，该方法首先离线学习PSR模型，然后结合在线蒙特卡罗树搜索进行模型不确定性规划。通过与模型不确定性规划方法的比较，证明了所提出方法的有效性及其收敛性。我们所提出的方法的有效性和可扩展性也进行了测试的RockSample问题，这是不可行的最先进的BA-POMDP为基础的方法。
2019-04-05 cs.AI
Online Coverage Planning for an Autonomous Weed Mowing Robot with Curvature Constraints
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
用于放牧的土地约占美国土地的三分之一。这些地区可能非常崎岖。然而，他们需要保持，以防止杂草接管营养草地。这可能是一项艰巨的任务，特别是在有机农业的情况下，因为不能使用除草剂。在本文中，我们提出了设计的牛机器人，自主除草机器人的牧场。Cowbot是一款电动割草机，设计用于奶牛牧场的崎岖环境，并为有机农场的杂草控制提供了一种具有成本效益的方法。牛机器人的路径规划是具有挑战性的，因为牧场上的杂草分布是未知的。在有限的视野范围内，在线路径规划是必要的，以检测杂草和规划路径割草。研究了具有曲率和视野约束的自动割草机的一般在线路径规划问题。我们开发了两个在线路径规划算法，能够利用新的信息杂草优化路径长度，并确保覆盖。我们部署我们的算法上的Cowbot和进行现场实验，以验证我们的方法的适用性，实时路径规划。我们还进行了广泛的模拟实验，结果表明，我们的算法相比基线boustrophedon和随机搜索的覆盖路径的路径长度减少了60%。
2021-11-19 cs.RO
dRVG: Quadtree-Guided, Resolution-Complete Online Motion Planning for Polygonal Robots in Unknown Environments
Rutgers, the State University of New Jersey（罗格斯大学新泽西州立大学）
提出动态旋转堆叠可见性图（dRVG），利用四叉树调度感知并融合局部路标图，实现未知环境中多边形机器人的分辨率完备在线运动规划，实验证明其高效性。
2026-09-28 cs.RO
Policy Optimization to Learn Adaptive Motion Primitives in Path Planning with Dynamic Obstacles
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；JSC Integrant（JSC Integrant公司）；Federal Research Center for Computer Science and Control RAS（俄罗斯科学院计算机科学与控制联邦研究中心）；AIRI
本文研究了非完整机器人在动态环境中的运动动力学运动规划问题。将问题分解成更小的子问题，并将局部解组合成全局解，是解决这一问题的有效方法之一。任何非完整机器人规划方法的关键是生成运动原语，生成局部规划子问题的解决方案。在这项工作中，我们引入了一种新的学习转向功能（政策），它考虑到机器人的kinodynamic约束和静态和动态障碍。该策略通过策略优化进行有效训练。从经验上讲，我们表明，我们的指导功能推广以及看不见的问题。然后，我们将经过训练的策略插件插入到基于采样和基于网格的规划器中，并在一系列具有挑战性的设置中评估所得到的POLAMP算法（学习自适应运动原语的策略优化），这些设置涉及在障碍物丰富的停车场环境中操作的汽车式机器人。我们表明，POLAMP是能够规划无碰撞的运动动力学轨迹，成功率高于92%，当50个同时移动的障碍物填充的环境表现出更好的性能比国家的最先进的竞争对手。
2022-12-29 cs.RO
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
研究多轮长期规划问题，通过引入统一可控环境，利用预训练、GRPO、OPD及MOPD等方法，研究规划能力在不同阶段的获取、塑造与整合，展示了多教师策略蒸馏对跨环境能力整合的作用。
2026-07-28 cs.AI cs.CL cs.LG
A Hybrid Method for Online Trajectory Planning of Mobile Robots in Cluttered Environments
Intel Labs（英特尔实验室）；Intel Tecnología de México（英特尔墨西哥技术公司）
提出了一种已知环境下的在线轨迹规划方法。该算法是一个融合的采样为基础的技术和基于模型的优化，通过二次规划。前者用于有效地生成无障碍路径，而后者考虑到机器人的动力学约束，以生成时间相关的轨迹。这项工作的主要贡献在于制定一个凸优化问题的生成的无障碍路径，保证是可行的。因此，与先前提出的方法相比，不需要迭代公式。所提出的方法进行了比较，与国家的最先进的方法，成功率和计算时间显着改善。为了说明这种方法的有效性，在线规划，所提出的方法被应用到流体自主导航的四轴飞行器在多个环境中，包括多达200个障碍。下文中介绍的场景是迄今为止报道的在线规划和导航的一些最密集的混乱实验。观看视频https://youtu.be/DJ1IZRL5t1Q
2019-08-22 cs.RO
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano（米兰理工大学）
策略优化（PO）是一种广泛使用的方法来解决连续控制任务。在本文中，我们引入了中介反馈的概念，框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比，额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察，我们提出了一种算法，随机化探索策略优化通过多个重要性采样截断（RANDOMIST），在PO中的遗憾最小化，采用随机探索策略，不同于现有的乐观方法。当政策空间是有限的，我们表明，在某些情况下，它是可能实现不断的遗憾，而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后，我们将随机扩展到紧凑的政策空间。最后，我们提供了有限的和紧凑的政策空间的数值模拟，与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
