A Reinforcement Learning-Boosted Motion Planning Framework: Comprehensive Generalization Performance in Autonomous Driving
Technical University of Munich（慕尼黑工业大学）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；Professorship of Autonomous Vehicle Systems（自主车辆系统教授席位）
本研究提出一种强化学习增强的运动规划框架，在Frenet坐标系中结合RL智能体与传统解析算法，兼顾可预测性与动态适应性，有效提升了自动驾驶在复杂场景下的安全性与目标成功率。
2024-02-02 cs.RO
EMATO: Energy-Model-Aware Trajectory Optimization for Autonomous Driving
University of Delaware（特拉华大学）；CAR Lab（CAR实验室）
针对自动驾驶轨迹规划不感知能量模型、缺乏能效证明的问题，提出EMATO在线非线性规划方法，结合交通轨迹与坡度预测优化Frenet多项式轨迹，经多类实验在轿车和卡车模型上验证了能效提升效果。
2024-12-12 cs.RO cs.SY eess.SY
A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
自动驾驶汽车需要处理各种交通状况，并做出安全有效的决策和操纵。然而，一方面，单个基于优化/采样的运动规划器不能有效地实时的生成安全轨迹，特别是当附近有许多交互式车辆时。另一方面，端到端的学习方法不能保证结果的安全性。为了解决这一挑战，我们提出了一个分层的行为规划框架，一组低级别的安全控制器和一个高级别的强化学习算法（H-CtRL）作为协调员的低级别控制器。安全性由底层优化/采样控制器保证，而高级强化学习算法使H-CtRL成为自适应和高效的行为规划器。为了训练和测试我们提出的算法，我们建立了一个模拟器，可以使用真实世界的数据集再现交通场景。H-CtRL被证明是有效的，在各种现实的仿真场景，具有令人满意的性能，在安全性和效率。
2021-06-09 cs.AI cs.RO cs.SY
Safe planning and control under uncertainty for self-driving
Manipal Institute of Technology（马尼帕尔理工学院）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
不确定条件下的运动规划对于安全自动驾驶至关重要。在本文中，我们提出了一个统一的避障框架，处理1）自我车辆运动的不确定性;和2）来自环境的动态障碍物的预测不确定性。在规划层中使用包括短期和长期预测的两阶段交通参与者轨迹预测器来为自我车辆生成安全但不过于保守的轨迹。预测模块与现有的规划方法配合良好。我们的工作展示了它的有效性在一个弗伦内框架规划。使用管MPC的鲁棒控制器保证了在存在状态噪声和动态模型不确定性的情况下轨迹的安全执行。高斯过程回归模型用于在线识别的不确定性的界限。我们证明了我们的框架在CARLA模拟器的有效性，安全性和实时性能。
2020-10-21 cs.RO
Motion Planning and Control for Multi Vehicle Autonomous Racing at High Speeds
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Parma（帕尔马大学）；ETH Zurich（苏黎世联邦理工学院）；University of Pisa（比萨大学）；Technology Innovation Institute（技术创新研究所）
本文提出了一种多层运动规划和控制架构的自主赛车，能够避免静态障碍物，执行主动超车，并达到75 $m/s$以上的速度。所使用的离线全局轨迹生成和在线模型预测控制器高度基于车辆的优化和动态模型，其中轮胎和外倾角效应以基本Pacejka Magic Formula的扩展版本表示。使用多体赛车运动库来识别和验证所提出的单赛道模型，该库可以正确模拟车辆动力学，在缺少真实实验数据时特别有用。调整控制器的基本正则化项和约束以减小输入的变化率，同时确保可接受的速度和路径跟踪。运动规划策略由基于Frenét-Frame的规划器组成，该规划器考虑由卡尔曼滤波器产生的对手的预测。规划者选择无碰撞路径和速度轮廓在3秒的水平线上进行跟踪，以实现不同的目标，如跟踪和超车。所提出的解决方案已被应用在Dallara AV-21赛车和测试在椭圆形赛道实现横向加速度高达25 $m/s^{2}$。
2022-07-22 cs.AI cs.RO cs.SY
Deep Reinforcement Learning in Autonomous Car Path Planning and Control: A Survey
China North Artificial Intelligence and Innovation Research Institute（中国北方人工智能与创新研究院）；Tsinghua University（清华大学）
本文系统综述了深度强化学习在自动驾驶路径规划与控制中的应用，梳理相关算法及其在轨迹规划和动态控制中的作用，并总结应用成果与潜在挑战，为相关研究者提供参考。
2024-03-30 cs.RO cs.SY eess.SY
Design for Manufacturing: A Manufacturability Knowledge-Integrated Reinforcement Learning Framework for Free-Form Pipe Routing in Aeroengines
State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University（浙江大学流体动力与机电系统国家重点实验室）；Engineering Research Center for Design Engineering and Digital Twin of Zhejiang Province, Zhejiang University（浙江省设计工程与数字孪生工程研究中心）；Zhejiang Changxing Heliang Intelligent Equipment Co., Ltd.（浙江长兴鹤浪智能装备有限公司）
本文提出了一种集成制造知识的强化学习框架，用于航空发动机中自由形管道路由优化，通过将制造知识作为约束条件，提高了管道路径的可制造性和几何平滑度。
2026-05-20 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；Friedrich-Alexander-University Erlangen-Nuremberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学（FAU））
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人，使用深度强化学习的最新进展。从随机初始状态开始，即，位置，速度和方向，机器人达到任意的目标状态，同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间，还执行连续的动作，即，车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
Deep Reinforcement Learning-Based Motion Planning and PDE Control for Flexible Manipulators
Department of Engineering and Natural Sciences, Tampere University（工程与自然科学系，塔尔皮耶大学）
针对柔性机械臂末端振动问题，提出用SAC训练的DRL规划器生成减振轨迹，并结合保证Lyapunov稳定性的非线性PDE控制器，仿真与实验均证明其跟踪和抑振性能优于传统方法。
2025-06-10 cs.RO cs.SY eess.SY
Deep Reinforcement Learning Based Dynamic Route Planning for Minimizing Travel Time
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
路线规划在交通运输中非常重要。现有的工作集中在寻找最短路径解决方案或使用安全和能源消耗等指标来确定规划。值得注意的是，大多数这些研究依赖于道路网络的先验知识，这在某些情况下可能是不可用的。本文设计了一种基于深度强化学习（DRL）的行人路径规划算法。我们使用行程时间消耗作为度量，并通过预测道路网络中的行人流量来规划路线。我们把一个智能机器人放在虚拟地图上。与以往的研究不同，我们的方法假设智能体不需要任何关于道路网络的先验信息，而仅仅依赖于与环境的相互作用。我们提出了一种动态可调整的路线规划（DARP）算法，其中代理通过决斗的深度Q网络学习策略，以避免拥挤的道路。仿真结果表明，与传统的最短路径规划算法相比，DARP算法在拥塞情况下节省了52%的时间。
2020-11-03 cs.AI cs.LG cs.SY
Real-Time Trajectory Planning for Autonomous Driving with Gaussian Process and Incremental Refinement
Hong Kong University of Science and Technology（香港科技大学）
动态环境下的实时的【形】运动动力学轨迹规划是自动驾驶的关键，但具有挑战性。在这封信中，我们提出了一个有效的轨迹规划系统，自动驾驶在复杂的动态场景中，通过迭代和增量路径速度优化。利用规划问题的解耦结构，基于高斯过程的路径规划器首先在Frenét坐标系下，考虑静态避障和曲率约束，生成一条弧长连续的参数化路径。我们从理论上证明了它是著名的加加速度最优解的一个很好的推广。提出了一种有效的s-t图搜索方法来寻找沿生成路径的速度分布，以应对动态环境。最后，路径和速度被增量地和迭代地优化，以确保运动动力学的可行性。各种模拟场景的静态障碍物和动态代理验证了我们所提出的方法的有效性和鲁棒性。实验结果表明，我们的方法可以运行在20 Hz。源代码作为开源软件包发布。
2022-05-24 cs.RO
A Reinforcement Learning Approach to Jointly Adapt Vehicular Communications and Planning for Optimized Driving
IIIT-Delhi（印度德里印度理工学院）
本文提出一种强化学习方法，用于联合优化自动驾驶车辆的通信与运动规划，通过模拟验证了该方法在提升驾驶效益方面的有效性。
2018-07-10 cs.NI cs.RO cs.SY
Safe multi-agent motion planning under uncertainty for drones using filtered reinforcement learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Mitsubishi Electric Corporation（三菱电机株式会社）
本文提出一种结合强化学习与机会约束凸优化的多无人机运动规划方法，在不确定杂乱环境中以高概率保证安全避碰，且训练简单、可实时实施。
2023-10-31 cs.AI cs.LG cs.MA
Decentralized Coverage Path Planning with Reinforcement Learning and Dual Guidance
Shanghai Jiao Tong University（上海交通大学）
以分散的方式规划多机器人的覆盖路径，增强了覆盖任务处理不确定故障的鲁棒性。为了以分布式方式为每个机器人实现高效率，对复杂环境和合作代理意图的全面理解至关重要。不幸的是，现有的工作通常只考虑这些因素的一部分，导致不平衡的分区或不必要的重叠。为了解决这个问题，我们引入了一个分散的强化学习框架与双重指导训练每个代理，以解决分散的多覆盖路径规划问题，直接通过环境状态。由于分布式机器人需要其他意图来执行更好的覆盖效率，我们利用两种指导方法，人工势场和启发式指导，包括和整合其他意图到每个机器人的观察。通过我们构建的框架，结果表明我们的代理成功地学习确定自己的子区域，同时实现全覆盖，平衡的子区域和低重叠率。然后，我们在这些子区域内实现生成树覆盖，为每个机器人构建实际路线并完成给定的覆盖任务。我们的性能还与最先进的分散式方法进行了比较，显示重叠率最多降低10%，同时在类似环境中执行高效率。
2022-10-14 cs.RO cs.SY eess.SY
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高级计算机科学研究所）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程的优化，是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划，它们在很大程度上都有自己的研究社区。然而，如果这两个研究领域解决的是同一个问题，那么我们也许能够解开它们解决方法中的共同因素。因此，本文提出了一个统一的算法框架，强化学习和规划（FRAP），确定MDP规划和学习算法必须决定的基本维度。在论文的最后，我们比较了各种著名的规划，无模型和基于模型的RL算法沿这些方面。总而言之，该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco（佩德罗·本杰明大学计算机中心）
本研究利用强化学习结合启发式控制方法，在RoboCup小型组联赛环境中实现高效路径规划，较基线算法在无障碍场景下节省60%时间，并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
Multi-lane Cruising Using Hierarchical Planning and Reinforcement Learning
胜任多车道巡航需要使用车道变化和车道内机动，以达到良好的速度和保持安全。提出了一种结合分层强化学习框架和状态-动作空间抽象的多车道自主巡航系统设计。虽然所提出的解决方案遵循行为决策，运动规划和控制的经典层次结构，它引入了一个关键的中间抽象的运动规划器内的状态动作空间离散化，根据高层次的行为决策。我们认为，这种设计允许有原则的运动规划模块化扩展，相比之下，使用单片行为克隆或一大套手写的规则。此外，我们证明了我们的状态-动作空间抽象允许训练模型的转移，而无需从几乎没有动态的模拟环境重新训练到具有更真实动态的模拟环境。总之，这些结果表明，我们提出的分层架构是一种很有前途的方式，使强化学习应用于复杂的多车道巡航在现实世界中。
2021-10-01 cs.LG cs.RO cs.SY
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Continuous World Coverage Path Planning for Fixed-Wing UAVs using Deep Reinforcement Learning
TUM School of Engineering and Design, Technical University of Munich（慕尼黑技术大学工程与设计学院）；Dept. of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）
针对固定翼无人机在连续环境中的覆盖路径规划问题，提出基于AM-SAC与自适应课程的深度强化学习方法，以学习节能且满足曲率约束的完整覆盖策略。
2025-05-13 cs.LG cs.RO cs.SY
End-to-End Motion Planning of Quadrotors Using Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在这项工作中，提出了一种新的，端到端的运动规划方法，在杂波环境中的四旋翼导航。与传统的导航算法相比，该方法避免了显式的传感-重建-规划。它使用从前置摄像头获得的原始深度图像，并以平滑运动基元的形式直接生成局部运动计划，通过避开障碍物将四旋翼机移动到目标。在AirSim模拟和配备英特尔实感D435的DJI F330四旋翼机的真实飞行中，展示了有前景的培训和测试结果。拟议的系统可以在https://youtu.be/pYvKhc8wrTM上找到。
2019-10-05 cs.AI cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Safe Trajectory Planning Using Reinforcement Learning for Self Driving
Texas A&M University（德州农工大学）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶汽车必须能够在各种复杂的环境中智能地行动，这些环境以高维状态空间、无数优化目标和复杂行为为标志。传统上，经典的优化和搜索技术已被应用于自动驾驶的问题，但它们并没有完全解决在高维状态和复杂行为的环境中的操作。最近，针对自动驾驶的任务提出了模仿学习;但是获得足够的训练数据是劳动密集型的。强化学习已被提出作为直接控制汽车的一种方式，但这存在安全性和舒适性问题。我们建议在自动驾驶的轨迹规划阶段使用无模型强化学习，并表明这种方法使我们能够以更安全，更通用和更舒适的方式操作汽车，这是自动驾驶任务所需的。
2020-11-09 cs.AI cs.RO
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度强化学习（deep RL）的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中，我们提出了一种新的无监督的行动规划技术，以提高安全性的政策上的强化学习算法，如信任区域策略优化（TRPO）或近端策略优化（PPO）。我们设计了我们的安全意识强化学习，通过存储所有的历史“恢复”行动，拯救代理从危险的情况下到一个单独的“安全”缓冲区，并找到最好的恢复行动时，代理遇到类似的状态。由于此功能需要算法查询相似的状态，我们实现了建议的安全机制，使用无监督学习算法，k-均值聚类。我们评估所提出的算法上的六个机器人控制任务，包括导航和操作。我们的研究结果表明，所提出的安全RL算法可以实现更高的回报相比，多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Planning for Novelty: Width-Based Algorithms for Common Problems in Control, Planning and Reinforcement Learning
University of Melbourne（墨尔本大学）
基于宽度的算法通过状态新颖性的一般定义来搜索解决方案。这些算法已被证明导致在经典规划的最先进的性能，并已成功地应用到基于模型和无模型的设置，其中的动态问题是通过仿真引擎。基于宽度的算法的性能在理论上是通过规划宽度的概念来理解的，为它们的运行时间和内存消耗提供多项式保证。为了促进跨研究社区的协同作用，本文总结了基于宽度的规划领域，并调查当前和未来的研究方向。
2021-06-09 cs.AI
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo（东京大学）
研究针对离线强化学习中轨迹规划器的问题，提出捷径轨迹规划（STP）框架，将捷径模型作为轨迹生成器，单阶段训练条件捷径轨迹模型，支持可调推理，用增强可行性感知校正的评论家选候选计划，在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
Behavior Planning at Urban Intersections through Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
对于自动驾驶汽车来说，有效的行为规划对于确保自我汽车的安全至关重要。在许多城市场景中，很难创建足够通用的启发式规则，特别是对于一些新的人类驾驶员发现困难的挑战性场景。在这项工作中，我们提出了一种基于强化学习（RL）的行为规划结构，它能够在模拟城市环境中进行分层结构的自主车辆行为规划。分层结构的应用允许满足行为规划系统的各个层。我们的算法可以比基于规则的方法更好地执行选择性决策，例如何时在相反方向接近的车辆之间左转，或者由于车道阻塞或在自我汽车前面的延迟而接近交叉路口时可能变道。这种行为很难评估为正确或不正确，但对于一些积极的专家人类驾驶员来说，他们可以有效和快速地处理这种情况。另一方面，与传统的强化学习方法相比，由于在训练过程中使用了混合奖励机制和启发式探索，我们的算法具有更高的样本效率。结果还表明，该方法比传统的RL方法更快地收敛到最优策略。
2020-11-09 cs.AI cs.RO
Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
A Reinforcement Learning based Path Planning Approach in 3D Environment
Innopolis University（Innopolis大学）
最佳运动规划涉及障碍物规避，其中路径规划是最佳运动规划成功的关键。由于计算量大，大多数路径规划算法不能用于实时应用。用于路径规划的基于模型的强化学习方法在最近的过去已经获得了一定的成功。然而，由于随机性，大多数这样的方法不具有确定性输出。分析了几种基于强化学习的路径规划方法。其中一种是基于确定性树的方法，另外两种方法分别基于Q-学习和近似策略梯度。我们在两个不同的模拟器上测试了前面的方法，每个模拟器都由一组可以动态改变或移动的随机障碍物组成。在分析结果和计算时间后，我们得出结论，确定性树搜索方法提供了高度稳定的结果。然而，计算时间比其他两种方法高得多。最后，在精度和计算时间方面提供了比较结果作为证据。
2022-02-12 cs.RO
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning
Department of Computer Science, Tufts University（塔夫茨大学计算机科学系）；Austrian Institute of Technology GmbH（奥地利技术研究所）
本文提出一种融合大语言模型、符号规划和强化学习的神经符号架构，用于在动态开放环境中处理新颖物体，通过LLM识别缺失操作符并生成计划，提升机器人在连续领域中的操作符学习能力。
2026-10-05 cs.AI cs.RO
A review of motion planning algorithms for intelligent robotics
University of Eastern Finland（东芬兰大学）；Shenzhen Technology University（深圳技术大学）
研究和分析了典型的运动规划算法的原理。这些包括传统的规划算法，监督学习，最优值强化学习，策略梯度强化学习。我们研究的传统规划算法包括图搜索算法、基于采样的算法和插值曲线算法。监督学习算法包括MSVM、LSTM、MCTS和CNN。最优值强化学习算法包括Q学习、DQN、双DQN、决斗DQN。策略梯度算法包括策略梯度法、行动者-批评者算法、A3 C、A2 C、DPG、DDPG、TRPO和PPO。通过分析比较，提出了评价运动规划算法性能和应用的新的通用标准。重点分析了最优值算法和策略梯度算法的收敛速度和稳定性。根据运动规划算法的原理和分析比较，提出了未来的发展方向。本文对机器人运动规划算法的优缺点、相互关系和未来发展趋势有了一个清晰全面的认识，为更好的运动规划算法的研究铺平了道路。
2021-02-05 cs.AI cs.RO
Trajectory Planning for Autonomous Vehicle Using Iterative Reward Prediction in Reinforcement Learning
ThorDrive
针对传统自动驾驶轨迹规划泛化性差、现有强化学习方法学习不稳定且未考虑不确定性的问题，提出带迭代奖励预测与不确定性感知的强化学习轨迹规划方法，在CARLA上验证可显著降碰撞率、提平均奖励。
2024-05-12 cs.RO
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University（多特蒙德工业大学）
离线强化学习（RL）提供了一个从离线数据中学习决策的框架，因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车（SDV）学习一种策略，这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中，可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法，该方法利用规划。然而，目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划（UMBRELLA）方法，该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
控制学习的历史一直是两大类算法之间令人兴奋的来回：规划和强化学习。规划算法可以有效地在长时间范围内进行推理，但假设可以访问本地策略和无冲突路径上的距离度量。强化学习擅长学习政策和状态的相对值，但无法进行长期规划。尽管每种方法在各个领域都取得了成功，但需要在有限反馈和高维观察的情况下进行长期推理的任务对于规划和强化学习算法仍然极具挑战性。令人沮丧的是，这类任务可能是最有用的，因为它们设计简单（人类只需要提供一个示例目标状态），并且避免了奖励塑造，这可能会使智能体偏向于寻找次优解决方案。我们引入了一种通用的控制算法，该算法结合了规划和强化学习的优势，以有效地解决这些任务。我们的目标是将达到一个遥远目标状态的任务分解为一系列更容易的任务，每个任务对应于达到一个子目标。规划算法可以自动找到这些航路点，但前提是提供适当的环境抽象-即由节点和边组成的图。我们的主要观点是，这个图可以通过强化学习来构建，其中目标条件价值函数提供边缘权重，节点被视为重放缓冲区中以前看到的观察结果。通过在回放缓冲区中使用图搜索，我们可以自动生成此子目标序列，即使在基于图像的环境中也是如此。我们的算法，搜索重放缓冲区（SoRB），使代理解决稀疏奖励任务超过100步，并概括大大优于标准RL算法。
2019-06-12 cs.AI cs.LG cs.RO
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering（阿菲卡工程学院）；Bosch Center for AI（博世人工智能中心）
本文提出离线技能图（OSG）框架，通过三个模块利用离线强化学习技能进行规划，使智能体从历史数据中泛化解决长时域任务，并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Consistency Trajectory Planning: High-Quality and Efficient Trajectory Optimization for Offline Model-Based Reinforcement Learning
Department of Information and Communication Engineering（信息与通信工程系）；The University of Tokyo（东京大学）；NEC Corporation（日本电装公司）
本文提出离线强化学习方法 CTP，利用 CTM 实现高效的单步轨迹生成，在 D4RL 基准上以超 120 倍推理加速达到可比性能，解决了扩散模型规划计算成本高的问题。
2025-07-13 cs.AI cs.LG cs.RO
Bidirectional Task-Motion Planning Based on Hierarchical Reinforcement Learning for Strategic Confrontation
School of Automation Science and Electrical Engineering, Beihang University（自动化科学与电气工程学院，北京航空航天大学）；Advanced Research Institute of Multidisciplinary Sciences and State Key Laboratory of CNS/ATM, Beijing Institute of Technology（多学科科学先进研究院和 CNS/ATM 国家重点实验室，北京理工大学）
本文提出基于分层强化学习的双向任务-运动规划方法，通过层次间动态交互、交叉训练和轨迹预测模型，在战略对抗中实现超过80%胜率和低于0.01秒决策时间，优于现有方法。
2025-08-27 cs.AI cs.RO
GripMap: An Efficient, Spatially Resolved Constraint Framework for Offline and Online Trajectory Planning in Autonomous Racing
针对自动驾驶竞速中传统轨迹规划忽略路面抓地力随位置变化的问题，提出GripMap框架，在Frenet坐标系中空间分辨动力学约束，通过完美哈希实现低存储与快速访问，提升规划效率与安全性，实验验证其有效性且可作为未来可解释学习算法的基础层。
2025-04-16 cs.RO
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Fast Exploration with Simplified Models and Approximately Optimistic Planning in Model Based Reinforcement Learning
Stanford University（斯坦福大学）
人类学习玩视频游戏的速度明显快于最先进的强化学习（RL）算法。人们似乎建立简单的模型，易于学习，以支持规划和战略探索。受此启发，我们研究了利用基于模型的RL提高样本效率的两个问题。首先，我们研究如何进行战略探索时，精确的规划是不可行的，经验表明，乐观的蒙特卡罗树搜索优于后验抽样方法。其次，我们展示了如何学习简单的确定性模型，以支持使用对象表示的快速学习。我们说明了这些想法的好处，通过引入一种新的算法，战略面向对象的强化学习（SOORL），在陷阱的游戏中表现优于国家的最先进的算法！在不到50集里。
2018-11-26 cs.AI
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法，通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
