Hierarchical Reinforcement Learning with AI Planning Models
IBM Research AI（IBM研究院人工智能部门）
顺序决策的两种常见方法是AI规划（AIP）和强化学习（RL）。每一个都有优点和缺点。AIP是可解释的，易于与符号知识集成，通常是有效的，但需要一个预先的逻辑域规范，对噪声敏感; RL只需要规范的奖励，对噪声是鲁棒的，但样本效率低，不容易提供外部知识。我们提出了一种综合的方法，结合高层次的规划与RL，保留可解释性，转让和效率，同时允许鲁棒学习的较低层次的计划行动。该方法通过建立人工智能规划问题的状态转移模型与马尔可夫决策过程（MDP）的抽象状态转移系统之间的对应关系，从AIP算子定义层次强化学习（HRL）中的选项。通过增加内在奖励来学习选项，以鼓励MDP和AIP过渡模型之间的一致性。我们通过比较RL和HRL算法在MiniGrid和N-rooms环境中的性能，展示了我们的集成方法的好处，显示了我们的方法比现有方法的优势。
2022-09-28 cs.AI
SPOTTER: Extending Symbolic Planning Operators through Targeted Reinforcement Learning
Smart Information Flow Technologies（智能信息流技术公司）；Tufts University（塔夫茨大学）
符号规划模型允许决策代理以任意方式对动作进行排序，以实现动态域中的各种目标。然而，它们通常是手工制作的，往往需要精确的配方，对人为错误不稳定。强化学习（RL）方法不需要这样的模型，而是通过探索环境和收集奖励来学习领域动态。然而，强化学习方法往往需要数百万次的经验，并且经常学习不容易转移到其他任务的策略。在本文中，我们解决的一个方面的开放问题，整合这些方法：决策代理如何解决差异，在他们的象征性的规划模型，同时试图实现目标？我们提出了一个名为SPOTTER的集成框架，使用RL来增强和支持（“现货”）的规划代理，发现新的运营商所需的代理完成的目标，最初是无法到达的代理。SPOTTER的性能优于纯RL方法，同时还发现了可转移的符号知识，并且不需要监督，成功的计划跟踪或关于缺失的规划算子的任何先验知识。
2020-12-24 cs.AI
Model-Based Bayesian Reinforcement Learning in Large Structured Domains
McGill University（麦吉尔大学）；School of Computer Science（计算机学院）
基于模型的贝叶斯强化学习在人工智能社区中引起了极大的兴趣，因为它为经典强化学习中的最佳探索-利用权衡提供了一个优雅的解决方案。不幸的是，这种类型的方法的适用性已被限制到小域，由于推理的联合后验模型参数的高复杂性。在本文中，我们考虑使用因子表示结合在线规划技术，以提高这些方法的可扩展性。本文的主要贡献是学习动态系统的结构和参数的贝叶斯框架，同时也规划一个（近）最优的行动序列。
2012-06-13 cs.AI
Bayesian Optimized Monte Carlo Planning
Stanford University（斯坦福大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
部分可观测马尔可夫决策过程的在线求解器很难扩展到具有大动作空间的问题。蒙特卡罗树搜索，通过从动作空间采样来构建策略搜索树，尝试逐步加宽以提高缩放。渐进式扩展搜索的性能取决于动作采样策略，通常需要特定于问题的采样器。在这项工作中，我们提出了一个通用的方法，有效的行动抽样的基础上贝叶斯优化。所提出的方法使用高斯过程来对动作-价值函数的信念进行建模，并选择将最大化最优动作值的预期改进的动作。我们实现了一个新的在线树搜索算法称为贝叶斯优化蒙特卡罗规划（BOMCP）所提出的方法。几个实验表明，BOMCP能够更好地扩展到大的动作空间POMDPs比现有的最先进的树搜索求解器。
2020-10-07 cs.AI
Efficient UAV Trajectory-Planning using Economic Reinforcement Learning
Florida International University（佛罗里达国际大学）
无人机（UAV）设计的进步已经开辟了各种各样的应用，如监视，消防，蜂窝网络和交付应用。此外，由于成本的降低，采用UAV机群的系统已经变得流行。无人机在系统中的独特性产生了一组新的轨迹或路径规划和协调问题。环境包括比无人机多得多的兴趣点（POI），具有障碍物和禁飞区。我们介绍REPlanner，一种新的多智能体强化学习算法的启发，经济交易的无人机之间分配任务。该系统围绕经济理论，特别是拍卖机制，其中UAV交易分配的POI。我们制定的路径规划问题作为一个多智能体的经济游戏，代理可以合作和竞争资源。然后，我们将问题转化为部分可观察马尔可夫决策过程（POMDP），使用部署在每个代理上的强化学习（RL）模型来解决。由于该系统通过无人机合作计算任务分配，因此它对群规模的任何变化都具有高度的弹性。我们提出的网络和经济游戏架构可以有效地协调群体作为一个紧急的现象，同时保持群体的运作。评估结果表明，REPlanner有效地优于传统的基于RL的轨迹搜索。
2021-03-03 cs.AI
Better Optimism By Bayes: Adaptive Planning with Rich Models
UCL（伦敦大学学院）
推理和规划的计算成本将贝叶斯基于模型的强化学习限制在两个悲惨的命运之一：强大的贝叶斯自适应规划，但仅适用于简单的模型，或者强大的贝叶斯非参数模型，但使用简单的短视规划策略，如汤普森采样。我们要问的是，将丰富的概率模型与更接近完全贝叶斯规划的近似值相结合是否可行，是否真正有益。首先，我们使用了一系列的反例来显示汤普森抽样固有的过度乐观的正式问题。然后，我们利用国家的最先进的技术，在有效的贝叶斯自适应规划和非参数贝叶斯方法进行定性优于现有的传统算法和汤普森采样的两个上下文土匪样的问题。
2014-02-09 cs.AI cs.LG stat.ML
Sketch Decompositions for Classical Planning via Deep Reinforcement Learning
RWTH Aachen University（亚琛工业大学）
针对经典规划中现有草图学习方法的可扩展性与表达性局限，本研究将草图分解学习构建为深度强化学习任务，在修改的规划问题中学习通用策略，实验表明该方法生成的分解可有效求解问题且能被清晰理解。
2025-08-15 cs.AI
Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Model-based Bayesian Reinforcement Learning for Dialogue Management
University of Oslo（奥斯陆大学）
强化学习方法越来越多地用于根据经验优化对话策略。目前大多数技术是无模型的：它们直接估计各种动作的效用，而没有明确的交互动力学模型。在本文中，我们研究了基于模型的贝叶斯强化学习的替代策略。贝叶斯推断用于保持模型参数的后验分布，反映模型的不确定性。随着收集更多数据并同时用于规划代理的动作，该参数分布逐渐细化。在这个学习框架内，我们进行了实验的过渡模型的两种替代形式化，一个编码与标准的多项式分布，和一个结构与概率规则。我们展示了我们的方法的潜力与实证结果构建从向导的奥兹数据在人机交互场景中的用户模拟器。结果表明，特别是捕获高层次的规则先验领域知识的好处。
2013-04-05 cs.AI
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；Friedrich-Alexander-University Erlangen-Nuremberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学（FAU））
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人，使用深度强化学习的最新进展。从随机初始状态开始，即，位置，速度和方向，机器人达到任意的目标状态，同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间，还执行连续的动作，即，车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高级计算机科学研究所）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程的优化，是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划，它们在很大程度上都有自己的研究社区。然而，如果这两个研究领域解决的是同一个问题，那么我们也许能够解开它们解决方法中的共同因素。因此，本文提出了一个统一的算法框架，强化学习和规划（FRAP），确定MDP规划和学习算法必须决定的基本维度。在论文的最后，我们比较了各种著名的规划，无模型和基于模型的RL算法沿这些方面。总而言之，该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco（佩德罗·本杰明大学计算机中心）
本研究利用强化学习结合启发式控制方法，在RoboCup小型组联赛环境中实现高效路径规划，较基线算法在无障碍场景下节省60%时间，并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
Reflect-then-Plan: Offline Model-Based Planning through a Doubly Bayesian Lens
Google Research（谷歌研究院）；University of Waterloo（滑铁卢大学）
本文提出双贝叶斯离线基于模型规划方法 RefPlan，将规划视为贝叶斯后验估计并在部署时利用实时观测更新环境动态信念，从而提升保守离线 RL 策略在有限数据、高不确定性和动态变化环境中的性能与鲁棒性。
2025-06-06 cs.AI cs.LG
End-to-End Motion Planning of Quadrotors Using Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在这项工作中，提出了一种新的，端到端的运动规划方法，在杂波环境中的四旋翼导航。与传统的导航算法相比，该方法避免了显式的传感-重建-规划。它使用从前置摄像头获得的原始深度图像，并以平滑运动基元的形式直接生成局部运动计划，通过避开障碍物将四旋翼机移动到目标。在AirSim模拟和配备英特尔实感D435的DJI F330四旋翼机的真实飞行中，展示了有前景的培训和测试结果。拟议的系统可以在https://youtu.be/pYvKhc8wrTM上找到。
2019-10-05 cs.AI cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
On the role of planning in model-based deep reinforcement learning
DeepMind（深度思维公司）
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习（MBRL）与深度函数近似的成功加强了这一假设，但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中，我们试图解开的贡献，最近的方法集中在三个问题：（1）如何规划有利于MBRL代理？(2)在规划中，哪些选择推动绩效？(3)规划在多大程度上改善了泛化？为了回答这些问题，我们研究了MuZero的性能（Schrittwieser等人，2019年），一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融，包括控制任务，Atari和9 x9 Go。我们的研究结果表明：（1）规划是最有用的学习过程中，无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中，使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划，并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题，提出最小价值等价部分模型，给出形式化定义与理论优势，结合深度学习启发式学习方法，通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria（维多利亚大学）
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用，通过构建分类法对文献进行系统分类和总结，并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Safe Trajectory Planning Using Reinforcement Learning for Self Driving
Texas A&M University（德州农工大学）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶汽车必须能够在各种复杂的环境中智能地行动，这些环境以高维状态空间、无数优化目标和复杂行为为标志。传统上，经典的优化和搜索技术已被应用于自动驾驶的问题，但它们并没有完全解决在高维状态和复杂行为的环境中的操作。最近，针对自动驾驶的任务提出了模仿学习;但是获得足够的训练数据是劳动密集型的。强化学习已被提出作为直接控制汽车的一种方式，但这存在安全性和舒适性问题。我们建议在自动驾驶的轨迹规划阶段使用无模型强化学习，并表明这种方法使我们能够以更安全，更通用和更舒适的方式操作汽车，这是自动驾驶任务所需的。
2020-11-09 cs.AI cs.RO
Thoughts-as-Planning: Latent World Models for Chain-of-Thoughts Optimization via Reinforcement Planning
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
提出Thoughts-as-Planning框架，将思维链优化形式化为潜在语义空间中的序贯决策过程，通过潜在世界模型模拟推理链编辑对下游输出的影响，并利用梯度下降或强化学习进行规划，在语言理解和生成任务上优于现有基线。
2026-04-27 cs.AI cs.CL
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University（杜伦大学）
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题，提出带有规划令牌的Planning Transformer，通过双时间尺度令牌预测实现隐式规划指导低层策略，在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
AI Agent as Urban Planner: Steering Stakeholder Dynamics in Urban Planning via Consensus-based Multi-Agent Reinforcement Learning
Tongji University（同济大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
该研究提出基于共识的多智能体强化学习框架，通过智能体投票和图神经网络处理，解决城市规划中利益相关者利益协调问题，提升整体效益和不同群体满意度。
2023-11-09 cs.AI cs.MA
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度强化学习（deep RL）的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中，我们提出了一种新的无监督的行动规划技术，以提高安全性的政策上的强化学习算法，如信任区域策略优化（TRPO）或近端策略优化（PPO）。我们设计了我们的安全意识强化学习，通过存储所有的历史“恢复”行动，拯救代理从危险的情况下到一个单独的“安全”缓冲区，并找到最好的恢复行动时，代理遇到类似的状态。由于此功能需要算法查询相似的状态，我们实现了建议的安全机制，使用无监督学习算法，k-均值聚类。我们评估所提出的算法上的六个机器人控制任务，包括导航和操作。我们的研究结果表明，所提出的安全RL算法可以实现更高的回报相比，多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Natural Language Generation as Planning under Uncertainty Using Reinforcement Learning
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
我们提出并评估了一个新的模型，自然语言生成（NLG）在口语对话系统，统计规划的基础上，从当前生成的上下文（例如，用户和表面实现）的嘈杂的反馈。我们研究了它在一个标准的NLG问题中的使用：如何向用户呈现信息（在这种情况下是一组搜索结果），考虑到话语长度，传达的信息量和认知负荷之间的复杂权衡。我们通过分析现有的MATCH数据来设置这些权衡。然后，我们使用强化学习（RL）训练NLG策略，该策略使其行为适应来自当前生成上下文的噪声反馈。将这一政策与这一领域以往工作中的几条基线进行了比较。学习策略的性能明显优于所有先前的方法。
2016-06-15 cs.AI cs.CL
Bayesian Flow Networks for Offline Trajectory Planning
Norwegian University of Science and Technology（挪威科技大学）
该研究提出基于贝叶斯流网络（BFNs）的BFN-RL框架，可在单一概率公式内建模离散与连续轨迹空间，经实验验证其能在两类状态空间生成有效轨迹，为离线轨迹规划提供通用生成基础。
2026-08-27 cs.AI cs.LG
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
Renmin University of China（中国人民大学）；Kuaishou Technology（快手科技）
DPWriter通过多样化规划分支方法提升创造性写作的输出多样性，同时保持生成质量。
2026-01-14 cs.AI cs.CL
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Multi-Agent Path Planning Using Deep Reinforcement Learning
提出了一种基于深度强化的多智能体路径规划方法。实验在仿真环境中实现，并在此环境中产生不同的多智能体路径规划问题。所产生的问题实际上类似于车辆路径问题，并且使用多智能体深度强化学习来解决。在仿真环境中，模型以这种方式在不同的连续问题上进行训练，随着时间的推移，可以观察到模型解决问题的性能增加。始终使用相同的模拟环境，并且仅改变代理访问的目标点的位置。这有助于模型学习它的环境和正确的态度对一个问题的情节通过。最后，得到了一个已经学习了很多知识的模型来解决这个环境中的路径规划或路由问题，这个模型即使没有任何训练，也已经可以找到一个很好的和即时的解决方案。在布线问题中，标准的数学建模或算法似乎遭受高计算时间来找到解决方案，并且找到即时解决方案也是困难和关键的。本文提出了一种新的求解方法，并通过实验证明了该方法的有效性。
2021-10-04 cs.AI cs.LG
Sequential Bayesian Optimization for Adaptive Informative Path Planning with Multimodal Sensing
Stanford University（斯坦福大学）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
自适应信息路径规划与多模态传感器（AIPPMS）考虑的问题，配备多个传感器，每个传感器具有不同的传感精度和能源成本的代理。智能体的目标是在未知的、部分可观测的环境中探索环境并收集受其资源约束的信息。以前的工作集中在不太一般的自适应信息路径规划（AIPP）的问题，它只考虑代理的运动对收到的意见的影响。AIPPMS问题增加了额外的复杂性，要求代理的原因，共同的影响，传感和运动，同时平衡资源约束与信息目标。我们制定的AIPPMS问题作为一个信念马尔可夫决策过程与高斯过程的信念，并解决它使用一个连续的贝叶斯优化方法与在线规划。我们的方法始终优于以前的AIPPMS解决方案，几乎在每个实验中获得的平均奖励增加了一倍以上，同时还将环境信念的均方根误差降低了50%。我们完全开源我们的实现，以帮助进一步的开发和比较。
2022-09-16 cs.AI cs.RO
Behavior Planning at Urban Intersections through Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
对于自动驾驶汽车来说，有效的行为规划对于确保自我汽车的安全至关重要。在许多城市场景中，很难创建足够通用的启发式规则，特别是对于一些新的人类驾驶员发现困难的挑战性场景。在这项工作中，我们提出了一种基于强化学习（RL）的行为规划结构，它能够在模拟城市环境中进行分层结构的自主车辆行为规划。分层结构的应用允许满足行为规划系统的各个层。我们的算法可以比基于规则的方法更好地执行选择性决策，例如何时在相反方向接近的车辆之间左转，或者由于车道阻塞或在自我汽车前面的延迟而接近交叉路口时可能变道。这种行为很难评估为正确或不正确，但对于一些积极的专家人类驾驶员来说，他们可以有效和快速地处理这种情况。另一方面，与传统的强化学习方法相比，由于在训练过程中使用了混合奖励机制和启发式探索，我们的算法具有更高的样本效率。结果还表明，该方法比传统的RL方法更快地收敛到最优策略。
2020-11-09 cs.AI cs.RO
A New View on Planning in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能教席）
本文提出目标空间规划（GSP）方法，通过将背景规划约束到抽象子目标并仅学习局部子目标条件模型，避免了学习全局转移动态，从而显著提升多种基础学习器在不同领域的速度。
2024-06-03 cs.AI cs.LG
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University（斯坦福大学）
通过学习动力学模型进行规划，基于模型的强化学习（MBRL）提供了良好性能的前景，几乎没有环境交互。然而，在实践中，学习的模型通常是不准确的，从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架，帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型：最小化规划过程中的价值估计的方差。我们推导并实现了这一目标，它鼓励更好地预测具有更大回报的轨迹。我们观察到经验，我们的方法提高了目前的MBRL算法对两个随机控制问题的性能，并提供了理论基础，我们的方法。
2021-03-30 cs.AI cs.LG
Hierarchical Reinforcement Learning with Abductive Planning
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；The University of Tokyo（东京大学）
将强化学习应用于现实问题的关键挑战之一是，随着任务变得复杂，学习一个好的策略所需的训练和错误量急剧增加。这个问题的一个潜在解决方案是将强化学习与自动符号规划相结合，并利用该领域的先验知识。然而，现有的方法在其适用性和表达性方面存在局限性。本文提出了一种基于溯因符号规划的分层强化学习方法。该规划器可以处理用户定义的评价函数，而不是基于Herbrand定理。因此，它可以利用奖励的先验知识，并且可以在状态空间未知的域中工作。我们的经验表明，我们的架构显着提高学习效率的评价域上的训练样本，其中状态空间是未知的，存在多个目标的量。
2018-06-28 cs.AI cs.LG stat.ML
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo（东京大学）
研究针对离线强化学习中轨迹规划器的问题，提出捷径轨迹规划（STP）框架，将捷径模型作为轨迹生成器，单阶段训练条件捷径轨迹模型，支持可调推理，用增强可行性感知校正的评论家选候选计划，在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
