Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University（多特蒙德工业大学）
离线强化学习（RL）提供了一个从离线数据中学习决策的框架，因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车（SDV）学习一种策略，这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中，可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法，该方法利用规划。然而，目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划（UMBRELLA）方法，该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
控制学习的历史一直是两大类算法之间令人兴奋的来回：规划和强化学习。规划算法可以有效地在长时间范围内进行推理，但假设可以访问本地策略和无冲突路径上的距离度量。强化学习擅长学习政策和状态的相对值，但无法进行长期规划。尽管每种方法在各个领域都取得了成功，但需要在有限反馈和高维观察的情况下进行长期推理的任务对于规划和强化学习算法仍然极具挑战性。令人沮丧的是，这类任务可能是最有用的，因为它们设计简单（人类只需要提供一个示例目标状态），并且避免了奖励塑造，这可能会使智能体偏向于寻找次优解决方案。我们引入了一种通用的控制算法，该算法结合了规划和强化学习的优势，以有效地解决这些任务。我们的目标是将达到一个遥远目标状态的任务分解为一系列更容易的任务，每个任务对应于达到一个子目标。规划算法可以自动找到这些航路点，但前提是提供适当的环境抽象-即由节点和边组成的图。我们的主要观点是，这个图可以通过强化学习来构建，其中目标条件价值函数提供边缘权重，节点被视为重放缓冲区中以前看到的观察结果。通过在回放缓冲区中使用图搜索，我们可以自动生成此子目标序列，即使在基于图像的环境中也是如此。我们的算法，搜索重放缓冲区（SoRB），使代理解决稀疏奖励任务超过100步，并概括大大优于标准RL算法。
2019-06-12 cs.AI cs.LG cs.RO
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering（阿菲卡工程学院）；Bosch Center for AI（博世人工智能中心）
本文提出离线技能图（OSG）框架，通过三个模块利用离线强化学习技能进行规划，使智能体从历史数据中泛化解决长时域任务，并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
Consistency Trajectory Planning: High-Quality and Efficient Trajectory Optimization for Offline Model-Based Reinforcement Learning
Department of Information and Communication Engineering（信息与通信工程系）；The University of Tokyo（东京大学）；NEC Corporation（日本电装公司）
本文提出离线强化学习方法 CTP，利用 CTM 实现高效的单步轨迹生成，在 D4RL 基准上以超 120 倍推理加速达到可比性能，解决了扩散模型规划计算成本高的问题。
2025-07-13 cs.AI cs.LG cs.RO
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group（沃尔沃集团）；Chalmers University of Technology（查尔姆斯理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互，自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架，它结合了规划和学习的概念，以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法，该算法被扩展到具有连续状态空间的域，其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下，在模拟环境中，它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；Friedrich-Alexander-University Erlangen-Nuremberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学（FAU））
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人，使用深度强化学习的最新进展。从随机初始状态开始，即，位置，速度和方向，机器人达到任意的目标状态，同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间，还执行连续的动作，即，车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
A Goal-Oriented Reinforcement Learning-Based Path Planning Algorithm for Modular Self-Reconfigurable Satellites
State Key Laboratory of Micro-Spacecraft Rapid Design（微航天快速设计国家重点实验室）；Intelligent Cluster, Harbin Institute of Technology, Harbin（哈尔滨工业大学）
本文提出一种面向目标的强化学习路径规划算法，首次解决模块化自重构卫星的多目标构型问题，并结合后见经验回放与无效动作掩码，在四单元和六单元集群中分别实现95%和73%的成功率。
2025-07-22 cs.AI cs.LG cs.RO
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法，通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Can Euclidean Symmetry be Leveraged in Reinforcement Learning and Planning?
Northeastern University（东北大学）
本文研究具有欧几里得群对称性的强化学习与规划问题，提出统一离散与连续对称性的理论，并将等变基于价值的规划扩展到连续MDP，给出等变采样规划算法构建流程。
2023-07-17 cs.LG cs.RO
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents
Department of Computer Science University of Bath（计算机科学系巴斯大学）；Department of Psychology University of Bath（心理学系巴斯大学）
DHP通过离散可达性检查和递归分解任务，提升分层强化学习代理在长距离视觉规划中的效率和泛化能力。
2025-12-19 cs.AI cs.LG cs.RO
Revisiting Space Mission Planning: A Reinforcement Learning-Guided Approach for Multi-Debris Rendezvous
Julius-Maximilians-Universität Würzburg（维尔茨堡大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
本研究提出一种基于掩码PPO强化学习的空间碎片访问序列优化方法，结合Izzo改编的Lambert求解器进行多碎片交会规划，相比遗传与贪婪算法平均减少约10.96%和13.66%的任务时间。
2024-09-25 cs.AI cs.LG cs.RO
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
Equivariant Action Sampling for Reinforcement Learning and Planning
Northeastern University（东北大学）
本文提出等变动作采样方法，在强化学习与规划中保持问题对称性，显著优于朴素采样，并开发了基于MPPI的通用采样规划框架，实证验证其有效性。
2024-12-16 cs.AI cs.LG cs.RO
Integrating Task-Motion Planning with Reinforcement Learning for Robust Decision Making in Mobile Robots
UT-Austin（德克萨斯大学奥斯汀分校）；Maana Inc.（Maana公司）；SUNY-Binghamton（纽约州立大学宾汉姆顿分校）
任务-运动规划（TMP）解决了在离散空间中有效地生成可执行的和低成本的任务规划的问题，使得（初始未知的）动作成本由相应连续空间中的运动规划确定。然而，任务运动计划可能对意外的领域不确定性和变化敏感，导致次优行为或执行失败。本文提出了一个新的框架TMP-RL，它是TMP和强化学习（RL）的集成，从执行经验出发，解决动态和不确定域中的鲁棒任务-运动规划问题。TMP-RL具有两个嵌套的规划学习循环。在内部TMP循环中，机器人通过在离散空间中迭代规划并更新由运动规划器在连续空间中评估的相关动作成本来生成低成本、可行的任务运动规划。在外部循环中，执行计划，机器人通过无模型RL从执行经验中学习，以进一步改进其任务运动计划。外部循环中的RL对当前域更准确，但也更昂贵，并且使用成本更低的任务和运动规划导致在现实世界中学习的跳跃式启动。我们的方法进行评估的移动服务机器人在办公区进行导航任务。结果表明，TMP-RL方法显着提高了适应性和鲁棒性（与TMP方法相比），并导致快速收敛（与任务规划（TP）-RL方法相比）。我们还表明，TMP-RL可以重用学习的值，以便在长期部署过程中顺利适应新的场景。
2018-11-21 cs.AI cs.LG cs.RO
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；Electronics and Telecommunications Research Institute（电子通信研究院）
在这项研究中，我们应用强化学习的邻近策略优化算法的基础上执行运动规划的无人机（UAV）在开放空间与静态障碍。强化学习在真实无人机中的应用存在时间和成本等限制，因此，我们使用Gazebo模拟器在虚拟环境中对虚拟四旋翼无人机进行训练。随着强化学习的进行，模型的平均奖励和目标率增加。此外，训练模型的测试表明，无人机达到了81%的目标率使用简单的奖励函数在这项工作中建议。
2020-09-24 cs.LG cs.RO
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
探索-利用权衡是强化学习（RL）的核心。然而，最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发，并且在需要更多功能探索的基准测试中表现不佳。例如，正如我们的实证研究所证明的那样，最先进的RL算法（如DDPG和TD 3）无法在即使是小的2D迷宫中引导点质量。在本文中，我们提出了一种新的算法，称为“计划，回放，链技能”（PBCS），结合运动规划和强化学习，以解决困难的探索环境。在第一阶段中，使用运动规划算法来找到单个良好轨迹，然后通过组合Backplay算法的变体和技能链，使用从轨迹导出的课程来训练RL算法。我们表明，这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中，并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
Deep-Reinforcement-Learning-based Path Planning for Industrial Robots using Distance Sensors as Observation
Berlin Institute of Technology（柏林工业大学）
工业机器人广泛用于各种制造环境中，因为它们可以高效地完成重复性任务，例如装配或焊接。这些应用的一个共同问题是到达目的地而不与障碍物或其他机器人手臂碰撞。常用的基于采样的路径规划方法，如RRT，需要很长的计算时间，特别是在复杂的环境中。此外，需要事先了解使用它们的环境。当在新环境中使用这些方法时，需要进行设置超参数的繁琐工程工作，这是时间和成本密集型的。另一方面，深度强化学习在处理未知环境、推广新问题实例以及高效解决运动规划问题方面表现出了显著的效果。基于此，本文提出了一种基于深度强化学习的机器人运动规划器。我们评估了我们的模型对国家的最先进的抽样为基础的规划在几个实验。结果表明，我们的规划器在路径长度和执行时间方面的优越性。
2023-01-14 cs.AI cs.LG cs.PF
End-to-End Motion Planning of Quadrotors Using Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在这项工作中，提出了一种新的，端到端的运动规划方法，在杂波环境中的四旋翼导航。与传统的导航算法相比，该方法避免了显式的传感-重建-规划。它使用从前置摄像头获得的原始深度图像，并以平滑运动基元的形式直接生成局部运动计划，通过避开障碍物将四旋翼机移动到目标。在AirSim模拟和配备英特尔实感D435的DJI F330四旋翼机的真实飞行中，展示了有前景的培训和测试结果。拟议的系统可以在https://youtu.be/pYvKhc8wrTM上找到。
2019-10-05 cs.AI cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
On the role of planning in model-based deep reinforcement learning
DeepMind（深度思维公司）
基于模型的规划通常被认为是人工智能体进行深入细致的推理和推广所必需的。虽然最近基于基于模型的强化学习（MBRL）与深度函数近似的成功加强了这一假设，但由此产生的基于模型的方法的多样性也使得难以跟踪哪些组件驱动成功以及为什么。在本文中，我们试图解开的贡献，最近的方法集中在三个问题：（1）如何规划有利于MBRL代理？(2)在规划中，哪些选择推动绩效？(3)规划在多大程度上改善了泛化？为了回答这些问题，我们研究了MuZero的性能（Schrittwieser等人，2019年），一个最先进的MBRL算法与许多其他MBRL算法的强连接和重叠组件。我们在广泛的环境中进行了许多干预和MuZero消融，包括控制任务，Atari和9 x9 Go。我们的研究结果表明：（1）规划是最有用的学习过程中，无论是政策更新和提供更有用的数据分布。(2)除了在最困难的推理任务中，使用带有简单Monte-Carlo卷展栏的浅树与更复杂的方法一样有效。(3)单靠规划不足以推动强有力的普遍化。这些结果表明在强化学习环境中如何利用规划，并为未来的MBRL研究提出了一些悬而未决的问题。
2021-03-17 cs.AI cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton（纽约州立大学宾汉姆顿分校）
强化学习（RL）使智能体能够从试错经验中学习，以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务，但由于它们不同的计算模式，RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率，我们开发了Guided Dyna-Q（GDQ），使RL agent能够使用动作知识进行推理，以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务，在多房间的办公室环境中进行了评估。与竞争基线相比，GDQ显著减少了探索的努力，同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题，提出最小价值等价部分模型，给出形式化定义与理论优势，结合深度学习启发式学习方法，通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria（维多利亚大学）
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用，通过构建分类法对文献进行系统分类和总结，并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Safe Trajectory Planning Using Reinforcement Learning for Self Driving
Texas A&M University（德州农工大学）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶汽车必须能够在各种复杂的环境中智能地行动，这些环境以高维状态空间、无数优化目标和复杂行为为标志。传统上，经典的优化和搜索技术已被应用于自动驾驶的问题，但它们并没有完全解决在高维状态和复杂行为的环境中的操作。最近，针对自动驾驶的任务提出了模仿学习;但是获得足够的训练数据是劳动密集型的。强化学习已被提出作为直接控制汽车的一种方式，但这存在安全性和舒适性问题。我们建议在自动驾驶的轨迹规划阶段使用无模型强化学习，并表明这种方法使我们能够以更安全，更通用和更舒适的方式操作汽车，这是自动驾驶任务所需的。
2020-11-09 cs.AI cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Planning for Novelty: Width-Based Algorithms for Common Problems in Control, Planning and Reinforcement Learning
University of Melbourne（墨尔本大学）
基于宽度的算法通过状态新颖性的一般定义来搜索解决方案。这些算法已被证明导致在经典规划的最先进的性能，并已成功地应用到基于模型和无模型的设置，其中的动态问题是通过仿真引擎。基于宽度的算法的性能在理论上是通过规划宽度的概念来理解的，为它们的运行时间和内存消耗提供多项式保证。为了促进跨研究社区的协同作用，本文总结了基于宽度的规划领域，并调查当前和未来的研究方向。
2021-06-09 cs.AI
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University（杜伦大学）
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题，提出带有规划令牌的Planning Transformer，通过双时间尺度令牌预测实现隐式规划指导低层策略，在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度强化学习（deep RL）的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中，我们提出了一种新的无监督的行动规划技术，以提高安全性的政策上的强化学习算法，如信任区域策略优化（TRPO）或近端策略优化（PPO）。我们设计了我们的安全意识强化学习，通过存储所有的历史“恢复”行动，拯救代理从危险的情况下到一个单独的“安全”缓冲区，并找到最好的恢复行动时，代理遇到类似的状态。由于此功能需要算法查询相似的状态，我们实现了建议的安全机制，使用无监督学习算法，k-均值聚类。我们评估所提出的算法上的六个机器人控制任务，包括导航和操作。我们的研究结果表明，所提出的安全RL算法可以实现更高的回报相比，多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
Efficient Planning in Reinforcement Learning via Model Introspection
Texasm A\&M University College Station, TX USA；Texasm A\&M University
本文提出通过程序分析实现强化学习中的高效规划，展示了内省在任务解决中的作用，并建立了强化学习与经典规划的联系。
2026-02-07 cs.LG
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Georgia Institute of Technology（佐治亚理工学院）
SPIRE通过任务与运动规划分解长时程操作任务，并结合模仿学习与强化学习，在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
Multi-Agent Path Planning Using Deep Reinforcement Learning
提出了一种基于深度强化的多智能体路径规划方法。实验在仿真环境中实现，并在此环境中产生不同的多智能体路径规划问题。所产生的问题实际上类似于车辆路径问题，并且使用多智能体深度强化学习来解决。在仿真环境中，模型以这种方式在不同的连续问题上进行训练，随着时间的推移，可以观察到模型解决问题的性能增加。始终使用相同的模拟环境，并且仅改变代理访问的目标点的位置。这有助于模型学习它的环境和正确的态度对一个问题的情节通过。最后，得到了一个已经学习了很多知识的模型来解决这个环境中的路径规划或路由问题，这个模型即使没有任何训练，也已经可以找到一个很好的和即时的解决方案。在布线问题中，标准的数学建模或算法似乎遭受高计算时间来找到解决方案，并且找到即时解决方案也是困难和关键的。本文提出了一种新的求解方法，并通过实验证明了该方法的有效性。
2021-10-04 cs.AI cs.LG
