Collaborative motion planning for multi-manipulator systems through Reinforcement Learning and Dynamic Movement Primitives
Department of Mechanical & Aerospace Engineering, University of Virginia（机械与航空航天工程系，弗吉尼亚大学）
针对多机械臂协作任务中碰撞避免与状态空间复杂性问题，提出结合强化学习与动态运动基元的多层次方法，利用演示库生成自适应实时轨迹，并在PyBullet仿真中验证其有效性。
2025-03-05 cs.RO
Adaptive speed planning for Unmanned Vehicle Based on Deep Reinforcement Learning
Northeastern University（东北大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Columbia University（哥伦比亚大学）
本文提出基于DQN和DDQN的无人车辆局部导航系统，通过改进奖励函数和障碍物角度判定方法，解决了接近障碍物时频繁减速的问题，实现了更稳定高效的自适应速度与路径规划。
2024-04-26 cs.RO
Bridging Deep Reinforcement Learning and Motion Planning for Model-Free Navigation in Cluttered Environments
Department of Mechanical Engineering（机械工程系）；University of California Riverside（加州大学河滨分校）
本文提出将基于图的运动规划与深度强化学习相结合，通过覆盖状态空间的图结构设计稠密奖励函数，以解决杂乱环境中无模型导航的探索不足问题，显著提升了探索效率和任务成功率。
2025-07-03 cs.RO
SafeMove-RL: A Certifiable Reinforcement Learning Framework for Dynamic Motion Constraints in Trajectory Planning
Sino-German College of Intelligent Manufacturing, Shenzhen Technology University（深圳技术大学中德智能制造学院）；Faculty of Science and Technology, University of Macau（澳门大学科技学院）
本研究提出名为SafeMove-RL的可认证强化学习框架，结合实时轨迹优化与自适应间隙分析，通过增强在线学习机制动态修正轨迹以保障安全，经多类评估及虚实平台验证，在成功率与计算效率上优于现有算法。
2025-05-19 cs.RO
A Reactive Framework for Whole-Body Motion Planning of Mobile Manipulators Combining Reinforcement Learning and SDF-Constrained Quadratic Programmi
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Computing, University of Leeds（利兹大学计算学院）
针对移动机械臂在杂乱环境中因冗余自由度导致运动规划受限的问题，提出一种结合Bayes-DSAC强化学习与SDF约束二次规划的混合框架，显著提升了全身运动规划的效率、安全性与成功率。
2025-03-31 cs.RO
Optimistic Reinforcement Learning-Based Skill Insertions for Task and Motion Planning
Brubotics；Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec；Artificial Intelligence (AI) Lab, Vrije Universiteit Brussel（人工智能（AI）实验室，布鲁塞尔自由大学）
本文提出将强化学习技能嵌入任务与运动规划流程，通过数据驱动逻辑组件和计划细化子程序，扩展TAMP至概率技能领域并提升规划效率。
2025-10-15 cs.RO
Bimanual Regrasping for Suture Needles using Reinforcement Learning for Rapid Motion Planning
University of California San Diego（加州大学圣地亚哥分校）
重新抓持缝合针是一个重要但耗时的过程。为了提高重新夹持的效率，先前的工作要么设计一个特定于任务的机制，要么将夹持器引导到一些特定的拾取点，以便正确地夹持针。然而，当工作空间改变时，这些方法通常无法部署。因此，在这项工作中，我们提出了快速的轨迹生成双手针重握通过强化学习（RL）。从采样为基础的运动规划算法的演示被纳入加快学习。此外，我们提出了以自我为中心的状态和动作空间，这个双手规划问题，其中的参考帧是在末端执行器，而不是一些固定的框架。因此，学习的策略可以直接应用于任何可行的机器人配置。仿真实验表明，该算法的单次规划成功率为97%，平均规划时间为0.0212 s，优于目前广泛使用的其他运动规划算法。对于真实世界的实验，如果从RGB图像重建针位姿，则成功率为73.3%，规划时间为0.0846 s，运行时间为5.1454 s。如果预先知道针位，则成功率为90.5%，规划时间为0.0807 s，运行时间为2.8801 s。
2021-05-24 cs.RO
Semantically-driven Deep Reinforcement Learning for Inspection Path Planning
Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)（工程 cybernetics 系，挪威科学与技术大学）
本研究提出一种语义驱动的深度强化学习巡检规划策略，仅依靠深度图、分割图等局部信息即可同时实现语义目标巡检与无碰撞导航，具备强泛化性并通过了飞行机器人的真实环境验证。
2025-05-20 cs.RO
A Reinforcement Learning-Boosted Motion Planning Framework: Comprehensive Generalization Performance in Autonomous Driving
Technical University of Munich（慕尼黑工业大学）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；Professorship of Autonomous Vehicle Systems（自主车辆系统教授席位）
本研究提出一种强化学习增强的运动规划框架，在Frenet坐标系中结合RL智能体与传统解析算法，兼顾可预测性与动态适应性，有效提升了自动驾驶在复杂场景下的安全性与目标成功率。
2024-02-02 cs.RO
PEARL: PrEference Appraisal Reinforcement Learning for Motion Planning
Google Brain（谷歌大脑）；University of New Mexico（新墨西哥大学）
机器人运动规划通常需要找到平衡不同用户意图或偏好的轨迹。这些偏好之一通常是到达目标，而另一个可能是避障。在这里，我们正式这些，以及类似的，作为优先平衡任务（PBT）的加速度控制的机器人的任务，并提出了一个运动规划解决方案，优先评估强化学习（PEARL）。PEARL在有限的训练域上使用强化学习，并结合从用户给定意图中设计的功能。PEARL的规划器然后为更复杂的问题在扩展的域中生成轨迹。我们提出了一个适应拒绝随机干扰，并提供深入的分析，包括任务完成条件和行为分析时，条件不成立。PEARL在五个问题上进行了评估，两个多智能体避障任务和三个随机干扰系统在运行时：1）1000个追捕者的多智能体追捕问题，2）机器人导航通过900个移动障碍物，这是在只有4个静态障碍物的环境中训练，3）空中货物交付，4）两个机器人会合，5）飞行倒立摆。最后，我们评估的方法在一个物理的四旋翼无人机机器人与悬挂负载的随机干扰的影响。视频https://youtu.be/ZkFt1uY6vlw包含了模拟的实验和可视化。
2018-11-30 cs.RO
Multi-AGV Path Planning Method via Reinforcement Learning and Particle Filters
Wuhan University of Technology（武汉理工大学）
提出PF-DDQN方法，结合粒子滤波与强化学习优化网络权重，解决多AGV路径规划中收敛慢、效率低问题，仿真显示路径规划优越性提升92.62%，训练时间减少76.88%。
2024-05-23 cs.RO
PlanRL: A Trajectory Planning Architecture for Reinforcement Learning-based Driving Experts
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）
提出一种将强化学习策略与多项式轨迹规划器结合的轨迹规划架构，通过Frenet坐标系简化道路几何并加入运动学可行性检查，在CARLA基准上驾驶评分提升5%-11%，成功率提升8%-19%。
2026-06-26 cs.RO
Informative Path Planning for Mobile Sensing with Reinforcement Learning
Department of Computing and Software, McMaster University（麦克马斯特大学计算机与软件工程系）；McMaster University（麦克马斯特大学）；Department of Computing and Software（计算机与软件工程系）
大规模空间数据，如空气质量、热条件和位置特征，在各种应用中发挥着至关重要的作用。手动收集这些数据可能是繁琐和劳动密集型的。随着机器人技术的进步，使用具有传感和导航能力的移动机器人来自动化这些任务是可行的。然而，由于有限的电池寿命和稀缺的充电站，它是重要的规划路径的机器人，最大限度地利用数据汇集，也被称为信息路径规划（IPP）问题。在本文中，我们提出了一种新的IPP算法使用强化学习（RL）。一个受约束的探索和开发策略的设计，以解决IPP的独特挑战，并被证明具有快速收敛和更好的最优性比经典的强化学习方法。大量的实验使用真实世界的测量数据表明，该算法优于国家的最先进的算法在大多数测试情况下。有趣的是，不像现有的解决方案，必须重新执行时，任何输入参数的变化，我们的基于RL的解决方案允许一定程度的跨不同的问题实例的可转移性。
2020-02-18 cs.RO
Relating Reinforcement Learning to Dynamic Programming-Based Planning
Center for Applied Computing, Faculty of Information Technology and Electrical Engineering, University of Oulu, Finland（奥卢大学信息科技与电气工程学院应用计算中心，芬兰）；Dept. of Advanced Computing Sciences, Maastricht University, the Netherlands（马斯特里赫特大学高级计算科学系，荷兰）
本文通过去随机化RL、数学分析等价条件及定义真实成本，桥接了最优规划与强化学习在模型、目标和参数上的差异。
2026-06-29 cs.RO
Bridging the Gap: Regularized Reinforcement Learning for Improved Classical Motion Planning with Safety Modules
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
提出利用经典算法指导强化学习并引入安全后备系统的方法，在无需人类示范的情况下提升了RL的收敛速度与结果，实现了样本高效且保证安全的移动导航。
2024-03-27 cs.RO
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；Friedrich-Alexander-University Erlangen-Nuremberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学（FAU））
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人，使用深度强化学习的最新进展。从随机初始状态开始，即，位置，速度和方向，机器人达到任意的目标状态，同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间，还执行连续的动作，即，车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法，通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Can Euclidean Symmetry be Leveraged in Reinforcement Learning and Planning?
Northeastern University（东北大学）
本文研究具有欧几里得群对称性的强化学习与规划问题，提出统一离散与连续对称性的理论，并将等变基于价值的规划扩展到连续MDP，给出等变采样规划算法构建流程。
2023-07-17 cs.LG cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco（佩德罗·本杰明大学计算机中心）
本研究利用强化学习结合启发式控制方法，在RoboCup小型组联赛环境中实现高效路径规划，较基线算法在无障碍场景下节省60%时间，并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
End-to-End Motion Planning of Quadrotors Using Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在这项工作中，提出了一种新的，端到端的运动规划方法，在杂波环境中的四旋翼导航。与传统的导航算法相比，该方法避免了显式的传感-重建-规划。它使用从前置摄像头获得的原始深度图像，并以平滑运动基元的形式直接生成局部运动计划，通过避开障碍物将四旋翼机移动到目标。在AirSim模拟和配备英特尔实感D435的DJI F330四旋翼机的真实飞行中，展示了有前景的培训和测试结果。拟议的系统可以在https://youtu.be/pYvKhc8wrTM上找到。
2019-10-05 cs.AI cs.RO
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Safe Trajectory Planning Using Reinforcement Learning for Self Driving
Texas A&M University（德州农工大学）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶汽车必须能够在各种复杂的环境中智能地行动，这些环境以高维状态空间、无数优化目标和复杂行为为标志。传统上，经典的优化和搜索技术已被应用于自动驾驶的问题，但它们并没有完全解决在高维状态和复杂行为的环境中的操作。最近，针对自动驾驶的任务提出了模仿学习;但是获得足够的训练数据是劳动密集型的。强化学习已被提出作为直接控制汽车的一种方式，但这存在安全性和舒适性问题。我们建议在自动驾驶的轨迹规划阶段使用无模型强化学习，并表明这种方法使我们能够以更安全，更通用和更舒适的方式操作汽车，这是自动驾驶任务所需的。
2020-11-09 cs.AI cs.RO
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Off-road Autonomous Vehicles Traversability Analysis and Trajectory Planning Based on Deep Inverse Reinforcement Learning
Key Lab of Machine Perception (MOE), Peking University（北京大学机器感知重点实验室（教育部））
地形可通过性分析是实现机器人在越野环境下自主行走的基础。基于几何和基于外观的方法已经研究了几十年，而基于行为的方法利用从演示示教学习（LfD）是新的趋势。基于行为的方法学习成本函数，指导轨迹规划符合专家的演示，这可以更可扩展到各种场景和驾驶行为。提出了一种基于深度最大熵逆强化学习的越野可通过性分析和轨迹规划方法。为了在解决状态空间复杂度指数增长的问题的同时结合车辆的运动学，使用了两个卷积神经网络，RL ConvNet和Svf ConvNet被开发用于将运动学编码到卷积核中，并实现高效的前向强化学习。我们在越野环境中进行实验。场景地图使用3D LiDAR数据生成，专家演示是车辆在场景中的真实行驶轨迹，或者是合成的轨迹，以表示特定的行为，例如穿越负面障碍物。在不同的能力场景下学习和测试了不同的可通行性分析成本函数，以指导不同行为的轨迹规划。我们还证明了所提出的方法的性能和计算效率。
2020-05-09 cs.LG cs.RO
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
UAV Path Planning using Global and Local Map Information with Deep Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；EURECOM（欧洲通信学院）
自主无人机（UAV）的路径规划方法通常是针对一种特定类型的任务而设计的。提出了一种基于深度强化学习（DRL）的无人机自主路径规划方法，该方法可应用于多种任务场景。具体来说，我们比较了覆盖路径规划（CPP），其中无人机的目标是调查数据收集（DH）的感兴趣区域，其中无人机从分布式物联网（IoT）传感器设备收集数据。通过利用环境的结构化地图信息，我们训练具有相同架构的双深度Q网络（DDQN）在两个明显不同的任务场景中做出运动决策，平衡各自的任务目标与导航约束。通过引入一种新的方法，利用一个压缩的全球地图的环境相结合的裁剪，但未压缩的本地地图显示附近的无人机代理，我们证明了所提出的方法可以有效地扩展到大型环境。我们还扩展了以前的结果，推广控制策略，不需要再培训时，场景参数的变化，并提供了一个详细的分析关键的地图处理参数的路径规划性能的影响。
2021-10-21 cs.LG cs.RO
A review of motion planning algorithms for intelligent robotics
University of Eastern Finland（东芬兰大学）；Shenzhen Technology University（深圳技术大学）
研究和分析了典型的运动规划算法的原理。这些包括传统的规划算法，监督学习，最优值强化学习，策略梯度强化学习。我们研究的传统规划算法包括图搜索算法、基于采样的算法和插值曲线算法。监督学习算法包括MSVM、LSTM、MCTS和CNN。最优值强化学习算法包括Q学习、DQN、双DQN、决斗DQN。策略梯度算法包括策略梯度法、行动者-批评者算法、A3 C、A2 C、DPG、DDPG、TRPO和PPO。通过分析比较，提出了评价运动规划算法性能和应用的新的通用标准。重点分析了最优值算法和策略梯度算法的收敛速度和稳定性。根据运动规划算法的原理和分析比较，提出了未来的发展方向。本文对机器人运动规划算法的优缺点、相互关系和未来发展趋势有了一个清晰全面的认识，为更好的运动规划算法的研究铺平了道路。
2021-02-05 cs.AI cs.RO
Deep Reinforcement Learning in Autonomous Car Path Planning and Control: A Survey
China North Artificial Intelligence and Innovation Research Institute（中国北方人工智能与创新研究院）；Tsinghua University（清华大学）
本文系统综述了深度强化学习在自动驾驶路径规划与控制中的应用，梳理相关算法及其在轨迹规划和动态控制中的作用，并总结应用成果与潜在挑战，为相关研究者提供参考。
2024-03-30 cs.RO cs.SY eess.SY
A Survey of Deep Reinforcement Learning Algorithms for Motion Planning and Control of Autonomous Vehicles
TuSimple Inc.（图森未来公司）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；California PATH（加州先进交通与高速公路合作伙伴项目）
在本调查中，我们系统地总结了将强化学习（RL）应用于自动驾驶汽车的运动规划和控制的研究的现有文献。许多现有的贡献可以归因于管道方法，它由许多手工制作的模块组成，每个模块都有一个功能，以便于人类解释。然而，由于缺乏系统级优化，这种方法不能自动保证最大性能。因此，本文还提出了一个日益增长的工作趋势，即采用端到端的方法，这种方法通常提供更好的性能和更小的系统规模。然而，他们的表现也受到缺乏专家数据和泛化问题的影响。最后，总结了将深度强化学习算法应用于自动驾驶的剩余挑战，并提出了未来的研究方向，以应对这些挑战。
2021-06-01 cs.LG cs.RO
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo（东京大学）
研究针对离线强化学习中轨迹规划器的问题，提出捷径轨迹规划（STP）框架，将捷径模型作为轨迹生成器，单阶段训练条件捷径轨迹模型，支持可调推理，用增强可行性感知校正的评论家选候选计划，在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
Robot Navigation Anticipative Strategies in Deep Reinforcement Motion Planning
机器人在动态城市环境中的导航，需要精心设计的预期策略，以避免与动态物体（如自行车或行人）发生碰撞，并具有人类意识。我们已经开发和分析了三个预期的策略，在运动规划考虑到未来的运动的移动对象，可以移动到18公里/小时。首先，我们使用了我们的混合策略，该策略来自深度确定性策略梯度（DDPG）训练和社会力模型（SFM），并且我们在四个具有许多行人的复杂地图场景中进行了模拟测试。其次，我们已经使用这些预期的策略在现实生活中的实验中使用的混合运动规划方法和ROS导航堆栈与动态窗口的方法（NS-DWA）。在模拟和现实生活中的实验结果表明，在开放的环境中，也在狭窄的空间混合场景非常好的结果。
2022-10-15 cs.LG cs.RO
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Bidirectional Task-Motion Planning Based on Hierarchical Reinforcement Learning for Strategic Confrontation
School of Automation Science and Electrical Engineering, Beihang University（自动化科学与电气工程学院，北京航空航天大学）；Advanced Research Institute of Multidisciplinary Sciences and State Key Laboratory of CNS/ATM, Beijing Institute of Technology（多学科科学先进研究院和 CNS/ATM 国家重点实验室，北京理工大学）
本文提出基于分层强化学习的双向任务-运动规划方法，通过层次间动态交互、交叉训练和轨迹预测模型，在战略对抗中实现超过80%胜率和低于0.01秒决策时间，优于现有方法。
2025-08-27 cs.AI cs.RO
Consistency Trajectory Planning: High-Quality and Efficient Trajectory Optimization for Offline Model-Based Reinforcement Learning
Department of Information and Communication Engineering（信息与通信工程系）；The University of Tokyo（东京大学）；NEC Corporation（日本电装公司）
本文提出离线强化学习方法 CTP，利用 CTM 实现高效的单步轨迹生成，在 D4RL 基准上以超 120 倍推理加速达到可比性能，解决了扩散模型规划计算成本高的问题。
2025-07-13 cs.AI cs.LG cs.RO
Real-Time Communication-Aware Ride-Sharing Route Planning for Urban Air Mobility: A Multi-Source Hybrid Attention Reinforcement Learning Approach
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））；Xidian University State Key Laboratory of Integrated Services Network（西安电子科技大学集成服务网络国家重点实验室）；Department of Computer Science and Engineering, Kyung Hee University（庆北大学计算机科学与工程系）
本文针对城市空中交通拼车场景中通信质量与实时乘客需求兼顾的路径规划难题，提出基于无线电地图的多源混合注意力强化学习框架MSHA-RL，实现通信合规、高效安全的实时轨迹规划。
2025-07-18 cs.AI cs.RO
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
A pedestrian path-planning model in accordance with obstacle's danger with reinforcement learning
Shibaura Institute of Technology（芝浦工业大学）
大多数微观行人导航模型使用应用于行人代理的“力”的概念来复制导航环境。虽然该方法可以在常规情况下提供可信的结果，但在许多典型设置中，它并不总是类似于自然的行人导航行为。在我们的研究中，我们提出了一种新的方法，使用强化学习模拟行人智能体路径规划和避碰问题。这种方法的主要重点是利用人类对环境的感知和对干扰的危险意识。我们的模型的实施表明，由代理规划的路径与人类行人在几个方面，如遵循常见的步行惯例和人类行为有许多相似之处。
2019-12-06 cs.LG cs.MA cs.RO
A Reinforcement Learning Approach to Jointly Adapt Vehicular Communications and Planning for Optimized Driving
IIIT-Delhi（印度德里印度理工学院）
本文提出一种强化学习方法，用于联合优化自动驾驶车辆的通信与运动规划，通过模拟验证了该方法在提升驾驶效益方面的有效性。
2018-07-10 cs.NI cs.RO cs.SY
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
探索-利用权衡是强化学习（RL）的核心。然而，最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发，并且在需要更多功能探索的基准测试中表现不佳。例如，正如我们的实证研究所证明的那样，最先进的RL算法（如DDPG和TD 3）无法在即使是小的2D迷宫中引导点质量。在本文中，我们提出了一种新的算法，称为“计划，回放，链技能”（PBCS），结合运动规划和强化学习，以解决困难的探索环境。在第一阶段中，使用运动规划算法来找到单个良好轨迹，然后通过组合Backplay算法的变体和技能链，使用从轨迹导出的课程来训练RL算法。我们表明，这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中，并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
A Goal-Oriented Reinforcement Learning-Based Path Planning Algorithm for Modular Self-Reconfigurable Satellites
State Key Laboratory of Micro-Spacecraft Rapid Design（微航天快速设计国家重点实验室）；Intelligent Cluster, Harbin Institute of Technology, Harbin（哈尔滨工业大学）
本文提出一种面向目标的强化学习路径规划算法，首次解决模块化自重构卫星的多目标构型问题，并结合后见经验回放与无效动作掩码，在四单元和六单元集群中分别实现95%和73%的成功率。
2025-07-22 cs.AI cs.LG cs.RO
Deep Reinforcement Learning-Based Motion Planning and PDE Control for Flexible Manipulators
Department of Engineering and Natural Sciences, Tampere University（工程与自然科学系，塔尔皮耶大学）
针对柔性机械臂末端振动问题，提出用SAC训练的DRL规划器生成减振轨迹，并结合保证Lyapunov稳定性的非线性PDE控制器，仿真与实验均证明其跟踪和抑振性能优于传统方法。
2025-06-10 cs.RO cs.SY eess.SY
Deep-Reinforcement-Learning-based Path Planning for Industrial Robots using Distance Sensors as Observation
Berlin Institute of Technology（柏林工业大学）
工业机器人广泛用于各种制造环境中，因为它们可以高效地完成重复性任务，例如装配或焊接。这些应用的一个共同问题是到达目的地而不与障碍物或其他机器人手臂碰撞。常用的基于采样的路径规划方法，如RRT，需要很长的计算时间，特别是在复杂的环境中。此外，需要事先了解使用它们的环境。当在新环境中使用这些方法时，需要进行设置超参数的繁琐工程工作，这是时间和成本密集型的。另一方面，深度强化学习在处理未知环境、推广新问题实例以及高效解决运动规划问题方面表现出了显著的效果。基于此，本文提出了一种基于深度强化学习的机器人运动规划器。我们评估了我们的模型对国家的最先进的抽样为基础的规划在几个实验。结果表明，我们的规划器在路径长度和执行时间方面的优越性。
2023-01-14 cs.AI cs.LG cs.PF
Multi-lane Cruising Using Hierarchical Planning and Reinforcement Learning
胜任多车道巡航需要使用车道变化和车道内机动，以达到良好的速度和保持安全。提出了一种结合分层强化学习框架和状态-动作空间抽象的多车道自主巡航系统设计。虽然所提出的解决方案遵循行为决策，运动规划和控制的经典层次结构，它引入了一个关键的中间抽象的运动规划器内的状态动作空间离散化，根据高层次的行为决策。我们认为，这种设计允许有原则的运动规划模块化扩展，相比之下，使用单片行为克隆或一大套手写的规则。此外，我们证明了我们的状态-动作空间抽象允许训练模型的转移，而无需从几乎没有动态的模拟环境重新训练到具有更真实动态的模拟环境。总之，这些结果表明，我们提出的分层架构是一种很有前途的方式，使强化学习应用于复杂的多车道巡航在现实世界中。
2021-10-01 cs.LG cs.RO cs.SY
Harnessing Reinforcement Learning for Neural Motion Planning
Technion（以色列理工学院）
运动规划是当今大多数机器人应用中的重要组成部分。在这项工作中，我们考虑的学习设置，其中一组解决运动规划问题是用来提高效率的运动规划不同的，但类似的问题。此设置在具有快速变化的环境的应用程序中（例如电子商务等）非常重要。我们研究了一种基于深度学习的通用方法，其中训练神经网络以将域的图像、当前机器人状态和目标机器人状态映射到计划中的下一个机器人状态。重点介绍了学习算法，并将监督学习方法与强化学习（RL）算法进行了比较。我们首先确定，监督学习方法是低劣的，由于在障碍物的边界上的数据不足，RL方法通过积极探索域缓解的问题。然后，我们提出了一个修改流行的DDPG RL算法，是专门为运动规划域，通过利用已知的模型的问题和解决的计划在数据中的集合。我们表明，我们的算法，被称为DDPG-MP，显着提高了学习的运动规划政策的准确性。最后，我们表明，有足够的训练数据，我们的方法可以规划新的域比现成的采样为基础的运动规划器显着更快。我们的实验结果显示在https://youtu.be/wHQ4Y4mBRb8中。
2019-06-01 cs.LG cs.RO stat.ML
Continuous World Coverage Path Planning for Fixed-Wing UAVs using Deep Reinforcement Learning
TUM School of Engineering and Design, Technical University of Munich（慕尼黑技术大学工程与设计学院）；Dept. of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）
针对固定翼无人机在连续环境中的覆盖路径规划问题，提出基于AM-SAC与自适应课程的深度强化学习方法，以学习节能且满足曲率约束的完整覆盖策略。
2025-05-13 cs.LG cs.RO cs.SY
Integrating Task-Motion Planning with Reinforcement Learning for Robust Decision Making in Mobile Robots
UT-Austin（德克萨斯大学奥斯汀分校）；Maana Inc.（Maana公司）；SUNY-Binghamton（纽约州立大学宾汉姆顿分校）
任务-运动规划（TMP）解决了在离散空间中有效地生成可执行的和低成本的任务规划的问题，使得（初始未知的）动作成本由相应连续空间中的运动规划确定。然而，任务运动计划可能对意外的领域不确定性和变化敏感，导致次优行为或执行失败。本文提出了一个新的框架TMP-RL，它是TMP和强化学习（RL）的集成，从执行经验出发，解决动态和不确定域中的鲁棒任务-运动规划问题。TMP-RL具有两个嵌套的规划学习循环。在内部TMP循环中，机器人通过在离散空间中迭代规划并更新由运动规划器在连续空间中评估的相关动作成本来生成低成本、可行的任务运动规划。在外部循环中，执行计划，机器人通过无模型RL从执行经验中学习，以进一步改进其任务运动计划。外部循环中的RL对当前域更准确，但也更昂贵，并且使用成本更低的任务和运动规划导致在现实世界中学习的跳跃式启动。我们的方法进行评估的移动服务机器人在办公区进行导航任务。结果表明，TMP-RL方法显着提高了适应性和鲁棒性（与TMP方法相比），并导致快速收敛（与任务规划（TP）-RL方法相比）。我们还表明，TMP-RL可以重用学习的值，以便在长期部署过程中顺利适应新的场景。
2018-11-21 cs.AI cs.LG cs.RO
Decentralized Coverage Path Planning with Reinforcement Learning and Dual Guidance
Shanghai Jiao Tong University（上海交通大学）
以分散的方式规划多机器人的覆盖路径，增强了覆盖任务处理不确定故障的鲁棒性。为了以分布式方式为每个机器人实现高效率，对复杂环境和合作代理意图的全面理解至关重要。不幸的是，现有的工作通常只考虑这些因素的一部分，导致不平衡的分区或不必要的重叠。为了解决这个问题，我们引入了一个分散的强化学习框架与双重指导训练每个代理，以解决分散的多覆盖路径规划问题，直接通过环境状态。由于分布式机器人需要其他意图来执行更好的覆盖效率，我们利用两种指导方法，人工势场和启发式指导，包括和整合其他意图到每个机器人的观察。通过我们构建的框架，结果表明我们的代理成功地学习确定自己的子区域，同时实现全覆盖，平衡的子区域和低重叠率。然后，我们在这些子区域内实现生成树覆盖，为每个机器人构建实际路线并完成给定的覆盖任务。我们的性能还与最先进的分散式方法进行了比较，显示重叠率最多降低10%，同时在类似环境中执行高效率。
2022-10-14 cs.RO cs.SY eess.SY
An End-to-end Deep Reinforcement Learning Approach for the Long-term Short-term Planning on the Frenet Space
University of California Santa Cruz（加州大学圣克鲁兹分校）；Istanbul Technical University（伊斯坦布尔理工大学）
由于预测其他道路使用者行为的复杂性、环境的多样性和交通交互的复杂性，用于自主公路驾驶的战术决策和战略运动规划具有挑战性。本文提出了一种新的端到端连续深度强化学习方法，用于自动驾驶汽车的决策和运动规划。我们首次在Frenet空间上定义了状态空间和动作空间，使驾驶行为对道路曲率的变化比周围行为者的动态和交通相互作用小。智能体接收周围车辆过去轨迹的时间序列数据，并沿时间通道应用卷积神经网络来提取骨干中的特征。该算法在Frenet坐标系上生成连续的时空轨迹，供反馈控制器跟踪。在CARLA上进行的大量高保真高速公路仿真表明，与常用的基线和离散强化学习相比，该方法在各种交通场景下具有优越性。此外，所提出的方法的优势，证实了一个更全面的性能评估对1000随机生成的测试方案。
2020-11-26 cs.AI cs.RO cs.SY
