Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Embracing advanced AI/ML to help investors achieve success: Vanguard Reinforcement Learning for Financial Goal Planning
Vanguard（先锋领航）
在咨询和财务规划的世界里，很少有一个正确的答案。虽然传统算法在解决线性问题方面取得了成功，但它的成功往往取决于从数据集中选择正确的特征，这对于细致入微的财务规划场景来说可能是一个挑战。强化学习是一种机器学习方法，可以用于复杂的数据集，在这些数据集中几乎不可能选择正确的特征。在本文中，我们将探讨如何使用机器学习进行财务预测，预测经济指标，并创建储蓄策略。基于目标的财务规划的Vanguard ML算法基于深度强化学习，可识别多个目标和收入来源的最佳储蓄率，以帮助客户实现财务成功。Vanguard学习算法经过训练，可以识别过于复杂而无法用公式和规则捕捉的市场指标和行为，相反，它可以将投资者的财务成功轨迹及其投资结果建模为马尔可夫决策过程。我们相信，强化学习可以用来为顾问和最终投资者创造价值，创造效率，更个性化的计划和数据，以实现定制的解决方案。
2021-10-18 cs.AI cs.CL cs.LG
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；Friedrich-Alexander-University Erlangen-Nuremberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学（FAU））
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人，使用深度强化学习的最新进展。从随机初始状态开始，即，位置，速度和方向，机器人达到任意的目标状态，同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间，还执行连续的动作，即，车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高级计算机科学研究所）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程的优化，是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划，它们在很大程度上都有自己的研究社区。然而，如果这两个研究领域解决的是同一个问题，那么我们也许能够解开它们解决方法中的共同因素。因此，本文提出了一个统一的算法框架，强化学习和规划（FRAP），确定MDP规划和学习算法必须决定的基本维度。在论文的最后，我们比较了各种著名的规划，无模型和基于模型的RL算法沿这些方面。总而言之，该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Meta-operators for Enabling Parallel Planning Using Deep Reinforcement Learning
Valencian Research Institute for Artificial Intelligence (VRAIN)（瓦伦西亚人工智能研究院 (VRAIN)）
本文提出元操作符概念，将多个规划操作符同时应用的结果纳入强化学习动作空间，以支持并行规划，旨在重新定义RL动作空间以更贴近规划视角。
2024-03-13 cs.AI
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
SDRL: Interpretable and Data-efficient Deep Reinforcement Learning Leveraging Symbolic Planning
Auburn University（奥本大学）；NVIDIA Corporation（英伟达公司）；Maana Inc.（Maana公司）
深度强化学习（DRL）通过直接从高维感官输入中学习而获得了巨大的成功，但因缺乏可解释性而臭名昭著。子任务的可解释性在分层决策中至关重要，因为它增加了黑盒式DRL方法的透明度，并帮助RL从业者更好地理解系统的高层行为。在本文中，我们将符号规划引入DRL，并提出了一个符号深度强化学习（SDRL）框架，可以处理高维感官输入和符号规划。该框架采用规划器-控制器-元控制器结构，分别负责子任务调度、数据驱动子任务学习和子任务评估。这三个组成部分相互交叉，并最终收敛到最佳的符号计划以及学习的子任务，将长期规划能力与符号知识和直接来自高维感官输入的端到端强化学习的优势结合在一起。实验结果验证了子任务的可解释性，同时与最先进的方法相比，提高了数据效率。
2019-02-28 cs.AI
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
WebUncertainty: Dual-Level Uncertainty Driven Planning and Reasoning For Autonomous Web Agent
Hefei University of Technology（合肥工业大学）；Academy of Cyber, CETC Group（中国电子科技集团 Cyber 学院）
本文提出WebUncertainty框架，通过双层不确定性驱动的自适应规划和蒙特卡洛树搜索机制，提升自主网络代理在动态交互和长周期任务中的规划与推理能力。
2026-04-21 cs.AI
TourPlanner: A Competitive Consensus Framework with Constraint-Gated Reinforcement Learning for Travel Planning
Xiaohongshu Inc.（小红书公司）；Renmin University of China（中国人民大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
TourPlanner通过多路径推理和约束门控强化学习，解决旅行规划中候选点修剪、探索能力限制和约束优化难题，实现更高效的行程生成。
2026-01-08 cs.AI cs.CL cs.LG
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco（佩德罗·本杰明大学计算机中心）
本研究利用强化学习结合启发式控制方法，在RoboCup小型组联赛环境中实现高效路径规划，较基线算法在无障碍场景下节省60%时间，并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning with AI Planning Models
IBM Research AI（IBM研究院人工智能部门）
顺序决策的两种常见方法是AI规划（AIP）和强化学习（RL）。每一个都有优点和缺点。AIP是可解释的，易于与符号知识集成，通常是有效的，但需要一个预先的逻辑域规范，对噪声敏感; RL只需要规范的奖励，对噪声是鲁棒的，但样本效率低，不容易提供外部知识。我们提出了一种综合的方法，结合高层次的规划与RL，保留可解释性，转让和效率，同时允许鲁棒学习的较低层次的计划行动。该方法通过建立人工智能规划问题的状态转移模型与马尔可夫决策过程（MDP）的抽象状态转移系统之间的对应关系，从AIP算子定义层次强化学习（HRL）中的选项。通过增加内在奖励来学习选项，以鼓励MDP和AIP过渡模型之间的一致性。我们通过比较RL和HRL算法在MiniGrid和N-rooms环境中的性能，展示了我们的集成方法的好处，显示了我们的方法比现有方法的优势。
2022-09-28 cs.AI
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
SPOTTER: Extending Symbolic Planning Operators through Targeted Reinforcement Learning
Smart Information Flow Technologies（智能信息流技术公司）；Tufts University（塔夫茨大学）
符号规划模型允许决策代理以任意方式对动作进行排序，以实现动态域中的各种目标。然而，它们通常是手工制作的，往往需要精确的配方，对人为错误不稳定。强化学习（RL）方法不需要这样的模型，而是通过探索环境和收集奖励来学习领域动态。然而，强化学习方法往往需要数百万次的经验，并且经常学习不容易转移到其他任务的策略。在本文中，我们解决的一个方面的开放问题，整合这些方法：决策代理如何解决差异，在他们的象征性的规划模型，同时试图实现目标？我们提出了一个名为SPOTTER的集成框架，使用RL来增强和支持（“现货”）的规划代理，发现新的运营商所需的代理完成的目标，最初是无法到达的代理。SPOTTER的性能优于纯RL方法，同时还发现了可转移的符号知识，并且不需要监督，成功的计划跟踪或关于缺失的规划算子的任何先验知识。
2020-12-24 cs.AI
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
End-to-End Motion Planning of Quadrotors Using Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在这项工作中，提出了一种新的，端到端的运动规划方法，在杂波环境中的四旋翼导航。与传统的导航算法相比，该方法避免了显式的传感-重建-规划。它使用从前置摄像头获得的原始深度图像，并以平滑运动基元的形式直接生成局部运动计划，通过避开障碍物将四旋翼机移动到目标。在AirSim模拟和配备英特尔实感D435的DJI F330四旋翼机的真实飞行中，展示了有前景的培训和测试结果。拟议的系统可以在https://youtu.be/pYvKhc8wrTM上找到。
2019-10-05 cs.AI cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
On the role of planning in model-based deep reinforcement learning
DeepMind（深度思维公司）
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习（MBRL）与深度函数近似的成功加强了这一假设，但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中，我们试图解开的贡献，最近的方法集中在三个问题：（1）如何规划有利于MBRL代理？(2)在规划中，哪些选择推动绩效？(3)规划在多大程度上改善了泛化？为了回答这些问题，我们研究了MuZero的性能（Schrittwieser等人，2019年），一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融，包括控制任务，Atari和9 x9 Go。我们的研究结果表明：（1）规划是最有用的学习过程中，无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中，使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划，并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Efficient UAV Trajectory-Planning using Economic Reinforcement Learning
Florida International University（佛罗里达国际大学）
无人机（UAV）设计的进步已经开辟了各种各样的应用，如监视，消防，蜂窝网络和交付应用。此外，由于成本的降低，采用UAV机群的系统已经变得流行。无人机在系统中的独特性产生了一组新的轨迹或路径规划和协调问题。环境包括比无人机多得多的兴趣点（POI），具有障碍物和禁飞区。我们介绍REPlanner，一种新的多智能体强化学习算法的启发，经济交易的无人机之间分配任务。该系统围绕经济理论，特别是拍卖机制，其中UAV交易分配的POI。我们制定的路径规划问题作为一个多智能体的经济游戏，代理可以合作和竞争资源。然后，我们将问题转化为部分可观察马尔可夫决策过程（POMDP），使用部署在每个代理上的强化学习（RL）模型来解决。由于该系统通过无人机合作计算任务分配，因此它对群规模的任何变化都具有高度的弹性。我们提出的网络和经济游戏架构可以有效地协调群体作为一个紧急的现象，同时保持群体的运作。评估结果表明，REPlanner有效地优于传统的基于RL的轨迹搜索。
2021-03-03 cs.AI
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题，提出最小价值等价部分模型，给出形式化定义与理论优势，结合深度学习启发式学习方法，通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria（维多利亚大学）
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用，通过构建分类法对文献进行系统分类和总结，并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Sketch Decompositions for Classical Planning via Deep Reinforcement Learning
RWTH Aachen University（亚琛工业大学）
针对经典规划中现有草图学习方法的可扩展性与表达性局限，本研究将草图分解学习构建为深度强化学习任务，在修改的规划问题中学习通用策略，实验表明该方法生成的分解可有效求解问题且能被清晰理解。
2025-08-15 cs.AI
Safe Trajectory Planning Using Reinforcement Learning for Self Driving
Texas A&M University（德州农工大学）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶汽车必须能够在各种复杂的环境中智能地行动，这些环境以高维状态空间、无数优化目标和复杂行为为标志。传统上，经典的优化和搜索技术已被应用于自动驾驶的问题，但它们并没有完全解决在高维状态和复杂行为的环境中的操作。最近，针对自动驾驶的任务提出了模仿学习;但是获得足够的训练数据是劳动密集型的。强化学习已被提出作为直接控制汽车的一种方式，但这存在安全性和舒适性问题。我们建议在自动驾驶的轨迹规划阶段使用无模型强化学习，并表明这种方法使我们能够以更安全，更通用和更舒适的方式操作汽车，这是自动驾驶任务所需的。
2020-11-09 cs.AI cs.RO
Hierarchical Reinforcement Learning with Abductive Planning
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；The University of Tokyo（东京大学）
将强化学习应用于现实问题的关键挑战之一是，随着任务变得复杂，学习一个好的策略所需的训练和错误量急剧增加。这个问题的一个潜在解决方案是将强化学习与自动符号规划相结合，并利用该领域的先验知识。然而，现有的方法在其适用性和表达性方面存在局限性。本文提出了一种基于溯因符号规划的分层强化学习方法。该规划器可以处理用户定义的评价函数，而不是基于Herbrand定理。因此，它可以利用奖励的先验知识，并且可以在状态空间未知的域中工作。我们的经验表明，我们的架构显着提高学习效率的评价域上的训练样本，其中状态空间是未知的，存在多个目标的量。
2018-06-28 cs.AI cs.LG stat.ML
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo（东京大学）
研究针对离线强化学习中轨迹规划器的问题，提出捷径轨迹规划（STP）框架，将捷径模型作为轨迹生成器，单阶段训练条件捷径轨迹模型，支持可调推理，用增强可行性感知校正的评论家选候选计划，在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
AI Agent as Urban Planner: Steering Stakeholder Dynamics in Urban Planning via Consensus-based Multi-Agent Reinforcement Learning
Tongji University（同济大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
该研究提出基于共识的多智能体强化学习框架，通过智能体投票和图神经网络处理，解决城市规划中利益相关者利益协调问题，提升整体效益和不同群体满意度。
2023-11-09 cs.AI cs.MA
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度强化学习（deep RL）的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中，我们提出了一种新的无监督的行动规划技术，以提高安全性的政策上的强化学习算法，如信任区域策略优化（TRPO）或近端策略优化（PPO）。我们设计了我们的安全意识强化学习，通过存储所有的历史“恢复”行动，拯救代理从危险的情况下到一个单独的“安全”缓冲区，并找到最好的恢复行动时，代理遇到类似的状态。由于此功能需要算法查询相似的状态，我们实现了建议的安全机制，使用无监督学习算法，k-均值聚类。我们评估所提出的算法上的六个机器人控制任务，包括导航和操作。我们的研究结果表明，所提出的安全RL算法可以实现更高的回报相比，多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Model-based Reinforcement Learning: A Survey
Leiden University（莱顿大学）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程（MDP）优化，是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习（RL）和规划。本文介绍了这两个领域的整合，更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先，我们系统地介绍了动态模型学习的方法，包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次，我们提出了一个系统的分类规划学习集成，包括这样的方面：从哪里开始规划，什么预算分配到规划和真正的数据汇集，如何规划，以及如何整合规划的学习和行动循环。在这两个部分之后，我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案，并介绍了基于模型的强化学习的潜在好处。在此过程中，调查还与几个相关的RL领域建立了联系，如分层RL和迁移学习。总而言之，调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Multi-Agent Path Planning Using Deep Reinforcement Learning
提出了一种基于深度强化的多智能体路径规划方法。实验在仿真环境中实现，并在此环境中产生不同的多智能体路径规划问题。所产生的问题实际上类似于车辆路径问题，并且使用多智能体深度强化学习来解决。在仿真环境中，模型以这种方式在不同的连续问题上进行训练，随着时间的推移，可以观察到模型解决问题的性能增加。始终使用相同的模拟环境，并且仅改变代理访问的目标点的位置。这有助于模型学习它的环境和正确的态度对一个问题的情节通过。最后，得到了一个已经学习了很多知识的模型来解决这个环境中的路径规划或路由问题，这个模型即使没有任何训练，也已经可以找到一个很好的和即时的解决方案。在布线问题中，标准的数学建模或算法似乎遭受高计算时间来找到解决方案，并且找到即时解决方案也是困难和关键的。本文提出了一种新的求解方法，并通过实验证明了该方法的有效性。
2021-10-04 cs.AI cs.LG
Deep Reinforcement Learning Based Dynamic Route Planning for Minimizing Travel Time
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
路线规划在交通运输中非常重要。现有的工作集中在寻找最短路径解决方案或使用安全和能源消耗等指标来确定规划。值得注意的是，大多数这些研究依赖于道路网络的先验知识，这在某些情况下可能是不可用的。本文设计了一种基于深度强化学习（DRL）的行人路径规划算法。我们使用行程时间消耗作为度量，并通过预测道路网络中的行人流量来规划路线。我们把一个智能机器人放在虚拟地图上。与以往的研究不同，我们的方法假设智能体不需要任何关于道路网络的先验信息，而仅仅依赖于与环境的相互作用。我们提出了一种动态可调整的路线规划（DARP）算法，其中代理通过决斗的深度Q网络学习策略，以避免拥挤的道路。仿真结果表明，与传统的最短路径规划算法相比，DARP算法在拥塞情况下节省了52%的时间。
2020-11-03 cs.AI cs.LG cs.SY
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University（多特蒙德工业大学）
离线强化学习（RL）提供了一个从离线数据中学习决策的框架，因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车（SDV）学习一种策略，这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中，可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法，该方法利用规划。然而，目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划（UMBRELLA）方法，该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Selective Dyna-style Planning Under Limited Model Capacity
The University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Harvey Mudd College（哈维穆德学院）
在基于模型的强化学习中，使用不完美的环境模型进行规划可能会损害学习进度。但是，即使模型是不完美的，它仍然可能包含对规划有用的信息。在本文中，我们研究的想法，选择性地使用一个不完美的模型。智能体应该在状态空间中模型有用的部分进行规划，但避免在模型有害的部分使用模型。一个有效的选择性规划机制需要估计预测的不确定性，这是由任意的不确定性，参数的不确定性，模型的不充分性，以及其他来源。先前的工作集中在选择性规划的参数不确定性。在这项工作中，我们强调模型不足的重要性。我们发现，异方差回归可以信号预测的不确定性所产生的模型不足，这是互补的，这是检测的方法设计的参数不确定性，这表明，考虑参数的不确定性和模型不足可能是一个更有前途的方向，有效的选择性规划比任何一个孤立的。
2021-03-07 cs.AI cs.LG stat.ML
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
控制学习的历史一直是两大类算法之间令人兴奋的来回：规划和强化学习。规划算法可以有效地在长时间范围内进行推理，但假设可以访问本地策略和无冲突路径上的距离度量。强化学习擅长学习政策和状态的相对值，但无法进行长期规划。尽管每种方法在各个领域都取得了成功，但需要在有限反馈和高维观察的情况下进行长期推理的任务对于规划和强化学习算法仍然极具挑战性。令人沮丧的是，这类任务可能是最有用的，因为它们设计简单（人类只需要提供一个示例目标状态），并且避免了奖励塑造，这可能会使智能体偏向于寻找次优解决方案。我们引入了一种通用的控制算法，该算法结合了规划和强化学习的优势，以有效地解决这些任务。我们的目标是将达到一个遥远目标状态的任务分解为一系列更容易的任务，每个任务对应于达到一个子目标。规划算法可以自动找到这些航路点，但前提是提供适当的环境抽象-即由节点和边组成的图。我们的主要观点是，这个图可以通过强化学习来构建，其中目标条件价值函数提供边缘权重，节点被视为重放缓冲区中以前看到的观察结果。通过在回放缓冲区中使用图搜索，我们可以自动生成此子目标序列，即使在基于图像的环境中也是如此。我们的算法，搜索重放缓冲区（SoRB），使代理解决稀疏奖励任务超过100步，并概括大大优于标准RL算法。
2019-06-12 cs.AI cs.LG cs.RO
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering（阿菲卡工程学院）；Bosch Center for AI（博世人工智能中心）
本文提出离线技能图（OSG）框架，通过三个模块利用离线强化学习技能进行规划，使智能体从历史数据中泛化解决长时域任务，并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research（IBM研究院）；Oregon State University（俄勒冈州立大学）
针对多智能体强化学习在关系型领域中的样本效率低和泛化困难问题，提出将关系型规划器作为集中控制器与强化学习结合，实现高效任务迁移与泛化。
2025-02-26 cs.AI cs.LG cs.MA
Behavior Planning at Urban Intersections through Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
对于自动驾驶汽车来说，有效的行为规划对于确保自我汽车的安全至关重要。在许多城市场景中，很难创建足够通用的启发式规则，特别是对于一些新的人类驾驶员发现困难的挑战性场景。在这项工作中，我们提出了一种基于强化学习（RL）的行为规划结构，它能够在模拟城市环境中进行分层结构的自主车辆行为规划。分层结构的应用允许满足行为规划系统的各个层。我们的算法可以比基于规则的方法更好地执行选择性决策，例如何时在相反方向接近的车辆之间左转，或者由于车道阻塞或在自我汽车前面的延迟而接近交叉路口时可能变道。这种行为很难评估为正确或不正确，但对于一些积极的专家人类驾驶员来说，他们可以有效和快速地处理这种情况。另一方面，与传统的强化学习方法相比，由于在训练过程中使用了混合奖励机制和启发式探索，我们的算法具有更高的样本效率。结果还表明，该方法比传统的RL方法更快地收敛到最优策略。
2020-11-09 cs.AI cs.RO
A New View on Planning in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能教席）
本文提出目标空间规划（GSP）方法，通过将背景规划约束到抽象子目标并仅学习局部子目标条件模型，避免了学习全局转移动态，从而显著提升多种基础学习器在不同领域的速度。
2024-06-03 cs.AI cs.LG
Uncertainty-Aware Motion Planning for Autonomous Driving in Mixed Traffic Environment
Central South University（中南大学）；City University of Macau（澳门城市大学）
提出不确定性感知运动规划（UAMP），通过量化人类意图不确定性并引入不确定性校准值学习，提升自动驾驶在混合交通中的安全性和舒适性。
2026-06-08 cs.AI cs.RO
