A Reinforcement Learning based Path Planning Approach in 3D Environment
Innopolis University（Innopolis大学）
最佳运动规划涉及障碍物规避，其中路径规划是最佳运动规划成功的关键。由于计算量大，大多数路径规划算法不能用于实时应用。用于路径规划的基于模型的强化学习方法在最近的过去已经获得了一定的成功。然而，由于随机性，大多数这样的方法不具有确定性输出。分析了几种基于强化学习的路径规划方法。其中一种是基于确定性树的方法，另外两种方法分别基于Q-学习和近似策略梯度。我们在两个不同的模拟器上测试了前面的方法，每个模拟器都由一组可以动态改变或移动的随机障碍物组成。在分析结果和计算时间后，我们得出结论，确定性树搜索方法提供了高度稳定的结果。然而，计算时间比其他两种方法高得多。最后，在精度和计算时间方面提供了比较结果作为证据。
2022-02-12 cs.RO
Deterministic Sampling-Based Motion Planning: Optimality, Complexity, and Performance
Stanford University（斯坦福大学）
基于概率采样的算法，如概率路线图（PRM）和快速探索随机树（RRT）算法，代表了最成功的方法之一，机器人运动规划，由于其强大的理论属性（在概率的完整性，甚至渐近最优性方面）和显着的实际性能。这种算法是概率性的，因为它们通过连接配置空间中独立且相同分布的随机点来计算路径。然而，它们的随机化方面使得一些任务具有挑战性，包括安全关键型应用程序的认证和使用离线计算来改善实时执行。因此，一个重要的开放问题是，是否可以通过考虑确定性，而不是随机抽样序列获得类似的（或更好的）理论保证和实际性能。本文的目的就是对这个问题提供一个严格的答案。具体来说，我们首先表明，PRM，为一定的选择调谐参数和确定性低色散采样序列，是确定性渐近最优。其次，我们的收敛速度的特点，我们发现，次优因子可以非常明确的上界的采样序列的l2-分散和PRM的连接半径。第三，我们证明了一个渐进最优版本的PRM存在计算和空间复杂度任意接近O（n）（理论下限），其中n是序列中的点的数量。这与现有的渐近最优概率规划器的O（n logn）复杂度结果形成鲜明对比。最后，通过数值实验，我们表明，规划与确定性低色散采样通常提供优越的性能，路径成本和成功率。
2016-05-03 cs.RO
XMoP: Whole-Body Control Policy for Zero-shot Cross-Embodiment Neural Motion Planning
Arizona State University（亚利桑那州立大学）
提出XMoP神经策略，通过在超三百万程序化采样机械臂上训练全局控制策略，实现零样本跨本体运动规划，并在7台商用机械臂上平均达到70%成功率及sim-to-real泛化。
2025-07-13 cs.RO
Exploring Model-based Planning with Policy Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于模型的强化学习（MBRL）与模型预测控制或在线规划在样本效率和渐近性能方面显示出用于运动控制任务的巨大潜力。尽管他们最初的成功，现有的规划方法搜索从候选序列中随机产生的动作空间，这是在复杂的高维环境中效率低下。在本文中，我们提出了一种新的MBRL算法，基于模型的政策规划（POPLIN），结合政策网络与在线规划。更具体地说，我们制定行动规划在每个时间步作为一个优化问题，使用神经网络。我们的实验与优化w.r.t.从策略网络初始化的动作序列，以及直接w.r.t.策略网络的参数。我们表明，POPLIN在MuJoCo基准测试环境中获得了最先进的性能，比最先进的算法（如PETS，TD3和SAC）的样本效率高出约3倍。为了解释我们的算法的有效性，我们表明，在参数空间中的优化曲面是光滑的比在行动空间。此外，我们发现，在测试时间的一些环境，如猎豹，在没有扩展的模型预测控制的情况下，可以有效地应用提取的策略网络。代码发布在https://github.com/WilsonWangTHU/POPLIN。
2019-06-20 cs.AI cs.LG cs.RO
A Gaussian variational inference approach to motion planning
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个高斯变分推理框架的运动规划问题。在这个框架中，运动规划被公式化为对轨迹分布的优化，以通过易处理的高斯分布来近似期望的轨迹分布。等价地，所提出的框架可以被视为具有熵正则化的标准运动规划。因此，得到的解决方案是一个过渡，从一个最佳的确定性的解决方案，一个随机的，所提出的框架可以恢复确定性的解决方案，通过控制随机性的水平。为了解决这个优化问题，我们采用自然梯度下降方案。进一步利用因子分解目标函数引起的所提出的制剂的稀疏结构，以提高算法的可扩展性。我们评估我们的方法在几个机器人系统在模拟环境中，并表明，它实现了碰撞避免与平滑的轨迹，同时带来了鲁棒性的确定性基线结果，特别是在具有挑战性的环境和任务。
2023-01-28 cs.RO
LAGO Policy: Latency-Aware Asynchronous Diffusion Policies with Goal-Directed Collision-Free Planning for Smooth Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；International Digital Economy Academy（国际数字经济学院）；The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）
提出LAGO策略，通过延迟感知条件引导和时空轨迹优化，解决异步扩散策略的间断和碰撞问题，实现平滑安全的操作。
2026-06-17 cs.RO
A review of motion planning algorithms for intelligent robotics
University of Eastern Finland（东芬兰大学）；Shenzhen Technology University（深圳技术大学）
研究和分析了典型的运动规划算法的原理。这些包括传统的规划算法，监督学习，最优值强化学习，策略梯度强化学习。我们研究的传统规划算法包括图搜索算法、基于采样的算法和插值曲线算法。监督学习算法包括MSVM、LSTM、MCTS和CNN。最优值强化学习算法包括Q学习、DQN、双DQN、决斗DQN。策略梯度算法包括策略梯度法、行动者-批评者算法、A3 C、A2 C、DPG、DDPG、TRPO和PPO。通过分析比较，提出了评价运动规划算法性能和应用的新的通用标准。重点分析了最优值算法和策略梯度算法的收敛速度和稳定性。根据运动规划算法的原理和分析比较，提出了未来的发展方向。本文对机器人运动规划算法的优缺点、相互关系和未来发展趋势有了一个清晰全面的认识，为更好的运动规划算法的研究铺平了道路。
2021-02-05 cs.AI cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
HIRO: Heuristics Informed Robot Online Path Planning Using Pre-computed Deterministic Roadmaps
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人类工程与机器人研究所）；Robotics and Autonomous Systems, Institute of Applied Research, Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学应用研究所机器人与自主系统部）
提出HIRO在线路径规划方法，利用静态环境预计算确定性路线图形成启发式下界，并结合模糊碰撞检查、闭环更新与回溯，在动态环境中显著加快无碰撞路径规划。
2024-10-26 cs.RO
GAPL: Grounded Action-effect Policy Learning for LLM-Based Trajectory Planning
University of Oslo（奥斯陆大学）；Aalborg University（奥尔堡大学）；University of Sydney（悉尼大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Simula Research Laboratory（西穆拉研究院）
针对LLM用于自动驾驶轨迹规划时存在的幻觉、接地不足等问题，提出GAPL框架，整合三类模块并经实验验证其性能优于基线方法
2026-08-20 cs.RO
3D-CovDiffusion: 3D-Aware Diffusion Policy for Coverage Path Planning
IEEE
本文提出 3D-CovDiffusion，将覆盖路径规划转化为条件序列生成问题，采用几何条件扩散框架从三维点云合成轨迹，相比基线方法在轨迹平滑度、覆盖率等指标上实现显著提升。
2026-08-04 cs.RO
Developing Path Planning with Behavioral Cloning and Proximal Policy Optimization for Path-Tracking and Static Obstacle Nudging
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
本文提出一种结合行为克隆进行路径跟踪和近端策略优化进行静态障碍物微调避让的路径规划方法，通过输出横向偏移调整参考航路点，实验证明其能模仿专家路径跟踪表现并避免碰撞。
2024-10-22 cs.RO cs.SY eess.SY
Free-Gate: Planning, Control And Policy Composition via Free Energy Gating
Scuola Superiore Meridionale, Naples, Italy（南部高级学院，意大利）；Sorbonne University, Paris, France（索邦大学，法国）；University of Salerno, Italy（萨勒诺大学，意大利）
针对规划控制中的基元最优组合问题，提出基于变分自由能门控的Free-Gate模型，证明其在非凸代价与复杂环境下仍为凸问题，算法经仿真与硬件实验验证可组合简单基元完成机器人避障导航。
2025-07-30 cs.RO cs.SY eess.SY
Towards Map-Agnostic Policies for Adaptive Informative Path Planning
针对未知地形信息收集中单一地图表示限制策略适用性的问题，提出一种跨地图表示统一的自适应信息路径规划新方法，使规划策略能高效在线重规划并广泛部署于多样化监测任务。
2025-04-07 cs.RO
CoMoCAVs: Cohesive Decision-Guided Motion Planning for Connected and Autonomous Vehicles with Multi-Policy Reinforcement Learning
RWTH Aachen University（亚琛工业大学）
本文提出凝聚式决策引导运动规划框架 CDGMP，通过专家混合架构与多策略强化学习将车道选择决策和运动规划紧密集成，以模块化子网络提升网联自动驾驶汽车在复杂交通场景中的适应性、安全性与鲁棒性。
2025-07-20 cs.RO
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University（亚利桑那州立大学）；Google DeepMind（谷歌DeepMind）
深度确定性策略梯度（DDPG）等无模型强化学习算法通常需要额外的探索策略，特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时，训练的潜像嵌入。此外，DDPG的扩展派生使用价值函数作为评论家，利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家，后者受益于规划器生成的增强探索。两个连续的控制任务，一个在模拟和一个在现实世界中的方法进行评估。特别是，Baxter机器人被训练来执行插入任务，同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction
Dalian University of Technology（大连理工大学）
本文提出策略世界模型（PWM），通过整合世界建模与轨迹规划，并利用无动作未来状态预测提升规划性能，实现更可靠的自主驾驶决策。
2025-11-25 cs.AI cs.CL cs.CV
GLAS: Global-to-Local Safe Autonomy Synthesis for Multi-Robot Motion Planning with End-to-End Learning
California Institute of Technology（加州理工学院）
我们提出了GLAS：全球到本地的自主合成，一个可证明安全的，自动化的分布式多机器人运动规划的政策产生。我们的方法结合了集中规划的优势，避免局部极小值的分散控制器的可扩展性和分布式计算的优势。特别是，我们的合成策略只需要附近邻居和障碍物的相对状态信息，并计算可证明安全的动作。我们的方法有三个主要组成部分：i）我们使用全局规划器生成演示轨迹，并从中提取局部观察结果，ii）我们使用深度模仿学习来学习可以在线有效运行的分散策略，iii）我们引入了一个新的可微分安全模块，以确保无碰撞操作，从而允许端到端的策略培训。我们的数值实验表明，我们的政策有一个高20%的成功率比最佳互惠碰撞避免，ORCA，在广泛的机器人和障碍物密度。我们展示了我们的方法在空中集群，执行政策的低端微控制器实时。
2020-06-28 cs.RO
Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models
Rutgers University（罗格斯大学）
提出PL-MPC，通过混合TD目标、分歧感知终端估计和返回加权蒸馏，改进TD-MPC的规划-学习闭环，在HumanoidBench上显著提升性能，并实现零样本仿真到现实迁移。
2026-10-01 cs.RO
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Broadly-Exploring, Local-Policy Trees for Long-Horizon Task Planning
Robotics at Google（谷歌机器人学部门（或谷歌机器人部门））
现实环境中的长期规划需要在具有复杂动态的高维状态空间中对顺序任务进行推理的能力。经典的运动规划算法，如快速探索随机树，能够有效地探索大的状态空间和计算长期的，顺序的计划。然而，这些算法通常面临复杂、随机和高维状态空间的挑战，以及在与环境交互的任务中自然出现的狭窄通道的存在下。机器学习提供了一个很有前途的解决方案，它能够学习可以处理复杂交互和高维观测的一般策略。然而，这些政策通常在期限长度上受到限制。我们的方法，广泛探索，本地政策树（BELT），合并这两种方法，以利用两者的优势，通过任务条件，基于模型的树搜索。BELT使用RRT启发的树搜索来有效地探索状态空间。在本地，探索是由一个任务条件，学习政策能够执行一般的短期任务。这个任务空间可以是相当一般和抽象的;它唯一的要求是可采样的，并很好地覆盖有用任务的空间。这种搜索是由一个任务条件的模型，暂时延长动态传播，允许长视野搜索和顺序推理的任务。实验证明，带能够计划长期的，连续的轨迹与目标条件的政策，并产生计划，是强大的。
2020-10-13 cs.LG cs.RO
Online POMDP Planning with Anytime Deterministic Optimality Guarantees
Technion Autonomous Systems Program (TASP)（技术学院自主系统计划）；Stephen B. Klein Faculty of Aerospace Engineering（斯蒂芬·B·克莱因航空航天工程学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文为离散POMDP推导近似解与最优解间的确定性界限，提供可附加于现有算法的确定性保证，以极小开销提升决策性能。
2025-10-27 cs.AI cs.RO
Safe, Deterministic Trajectory Planning for Unstructured and Partially Occluded Environments
DENSO Automotive Deutschland GmbH（电装德国汽车有限公司）；Carl von Ossietzky University（卡尔·冯·奥西茨基大学）
确保自动驾驶汽车在不受管制的交通区域的安全行为对该行业构成了复杂的挑战。这是一个开放的问题，提供可扩展的和可认证的解决方案，这一挑战。我们推导出一个基于模型预测控制的轨迹规划器，它与基于元胞自动机的行人安全监测系统进行互操作。结合规划监控系统的例子，一个狭窄的室内停车场环境。该系统具有确定性行为，减轻了黑盒的不可预测风险，并提供了完全的可认证性。通过使用基本的和保守的行人预测模型，监测器能够确定一个安全的可驾驶区域中的部分闭塞和非结构化的停车环境。该信息被馈送到轨迹规划器，该轨迹规划器通过约束优化来确保车辆在任何时间保持在安全可驾驶区域中。我们展示了该方法如何解决停车场紧张情况下的许多情况。即使采用保守的预测模型，评估表明，一个性能良好的系统进行测试的低速导航。
2021-09-30 cs.RO cs.SY eess.SY
Guided Imitation of Task and Motion Planning
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
虽然现代策略优化方法可以从传感数据进行复杂的操作，但它们在处理具有扩展时间范围和多个子目标的问题时会遇到困难。另一方面，任务和运动规划（TAMP）方法可扩展到长时间范围，但它们在计算上是昂贵的，并且需要精确地跟踪世界状态。我们提出了一种方法，利用这两种方法的力量：我们训练的政策，模仿TAMP求解器的输出。这产生了一个前馈策略，可以从传感数据完成多步任务。首先，我们建立了一个异步分布式TAMP求解器，可以产生足够快的监督数据模仿学习。然后，我们提出了一个分层的政策架构，让我们使用部分训练的控制策略，以加快TAMP求解器。在具有7-DoF关节控制的机器人操作任务中，部分训练的策略将规划所需的时间减少了2.6倍。在这些任务中，我们可以学习一个策略，该策略在88%的时间内通过对象姿势观察解决RoboSuite 4-对象拾取-放置任务，并且在79%的时间内通过RGB图像解决RoboDesk 9-目标基准测试（在9个不同任务中取平均值）。
2021-12-06 cs.AI cs.LG cs.RO
On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文研究如何将大模型的运动规划知识迁移到小模型，提出在线通用知识蒸馏方法，在nuScenes基准测试中表现优于强化学习基线，模型规模缩小5倍仍保持高性能。
2026-04-09 cs.AI cs.RO cs.SY
Bootstrapping Motor Skill Learning with Motion Planning
Brown University（布朗大学）
从头开始学习机器人运动技能是不切实际的慢;以至于在实践中，学习必须使用从人类演示中获得的良好技能策略来引导。然而，依赖人类的示范必然会降低机器人的自主性，因为机器人必须在其工作寿命内学习各种技能。我们建议使用运动学运动规划作为一个完全自主的，样本有效的方式来引导运动技能学习的对象操作。我们展示了使用运动规划引导运动技能在两个复杂的对象操作场景与不同的政策表示：打开一个抽屉的动态运动原语表示，并关闭微波炉门深神经网络政策。我们还展示了我们的方法如何引导运动技能的挑战性的动态任务，学习打一个球的发球台，其中运动学计划的基础上处理的场景作为静态是不够的，以解决任务，但足以引导一个更动态的政策。在所有这三种情况下，我们的方法与人工演示的初始化相比都具有竞争力，并且显著优于随机策略。这种方法使机器人能够有效地和自主地学习动态任务的电机策略，而无需人类演示。
2021-01-12 cs.AI cs.RO
Graph Policy Gradients for Large Scale Unlabeled Motion Planning with Constraints
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种学习方法来解决大量机器人在二维空间中具有运动约束和空间约束的无标号运动问题。为了解决问题的任意动态和约束，我们建议制定的问题作为一个多智能体问题。与以前的作品，提出使用学习解决方案的无标签的运动规划的约束，我们能够证明我们的方法的可扩展性，大量的机器人。当与大量机器人一起工作时遇到的维数灾难通过采用图卷积神经（GCN）网络来参数化机器人的策略来减轻。GCN通过学习过滤器来降低问题的维度，这些过滤器在机器人之间局部地聚合信息，类似于卷积神经网络如何能够学习图像中的局部特征。此外，通过采用GCN，我们还能够克服大量机器人的训练策略的计算开销，首先训练少量机器人的图过滤器，然后将zero-shot策略转移到大量机器人。我们证明了我们的框架的有效性，通过各种模拟。
2019-09-24 cs.RO math.CO
Towards Learning Scalable Agile Dynamic Motion Planning for Robosoccer Teams with Policy Optimization
针对快节奏环境中多智能体动态运动规划的可扩展性与效率问题，提出基于策略优化的学习型动态导航模型，解决异构机器人团队在障碍物环境下的碰撞避免与目标到达问题，突破传统算法限制。
2025-02-08 cs.AI cs.LG cs.MA
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Robust Deterministic Policy Gradient for Disturbance Attenuation and Its Application to Quadrotor Control
School of Electrical Engineering, Korea Advanced Institute of Science（电气工程学院，韩国先进科学研究院）
本文提出鲁棒确定性策略梯度算法，通过将H∞控制问题转化为动态博弈，结合深度强化学习提升四旋翼在扰动下的鲁棒性和跟踪精度。
2025-12-03 cs.AI cs.RO
PILOT: Guiding Long-Horizon World-Model Planning for Robot Manipulation with Visual Subgoals and Policy Priors
University of Minnesota（明尼苏达大学）
该研究针对机器人长时程操作规划的引导难题，提出PILOT方法，结合视觉子目标与策略初始化的CEM优化，在真实机器人和仿真任务中显著提升了规划成功率与效率。
2026-10-14 cs.RO
TGPO: Trace-Guided Policy Optimization for Robot Task Planning via Verifiable Subgoal Generation
AHAT是一种优化长周期规划的家庭任务规划器，通过结合LLM和TGPO算法，在复杂家庭任务中实现高效规划。
2026-10-15 cs.RO
DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning in Autonomous Driving
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航天工程学院）；NVIDIA Research, NVIDIA Corporation（英伟达公司英伟达研究院）；Department of Aeronautics and Astronautics, Stanford University（斯坦福大学航空航天系）
本文提出DTPP框架，通过可微联合训练自车条件预测模型与上下文感知代价模型，结合树结构策略规划，在nuPlan数据集上以更高效率实现了优于现有学习方法的自动驾驶规划质量。
2024-02-24 cs.RO
PAPO-VLA: Planning-Aware Policy Optimization for Vision-Language-Action Models
Institute of Software Chinese Academy of Sciences（软件研究所中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出PAPO-VLA，一种针对视觉-语言-动作模型的规划感知策略优化方法，通过识别和优化规划动作以提高VLA策略的可靠性。
2026-05-19 cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Distilling a Hierarchical Policy for Planning and Control via Representation and Reinforcement Learning
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；KAIST（韩国科学技术院）；TU Berlin（柏林工业大学）；NAVER CLOVA, NAVER Corp.（NAVER CLOVA，NAVER公司）
我们提出了一个层次规划和控制框架，使代理执行各种任务，并适应一个新的任务灵活。建议的框架，DISH，而不是学习一个单独的政策，为每一个特定的任务，从一组任务的表示和强化学习提炼出一个层次的政策。该框架基于潜变量模型的思想，该模型使用低维潜变量表示高维观测。由此产生的政策包括两个层次：（i）一个计划模块，原因的潜在意图，将导致一个乐观的未来序列和（ii）的反馈控制政策，共享的任务，执行推断的意图。由于规划是在低维潜在空间中执行的，因此学习到的策略可以立即用于解决或适应新任务，而无需额外的训练。我们证明了所提出的框架可以学习紧凑的表示（具有197维和36维状态特征和动作的人形机器人的3维和1维潜在状态和命令），同时解决少量的模仿任务，并且由此产生的策略直接适用于其他类型的任务，即，在杂乱的环境中导航。视频：https://youtu.be/HQsQysUWOhg
2021-04-06 cs.LG cs.RO
Soft Soil Gait Planning and Control for Biped Robot using Deep Deterministic Policy Gradient Approach
IIT Roorkee（印度理工学院鲁尔基分校）
针对双足机器人在软土等可变形地形易下陷、难保持稳定的问题，提出基于DDPG的平足双足机器人运动控制方法，采用7连杆机器人与三角形网格软土模型，在PyChrono平台完成仿真验证。
2023-06-13 cs.RO
Truly Deterministic Policy Optimization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一个策略梯度方法，避免了探索性的噪声注入，并进行政策搜索的确定性景观。通过避免噪声注入，在具有确定性动态的系统中可以消除所有估计方差的来源（直到初始状态分布）。由于确定性的政策正规化是不可能使用传统的非度量的措施，如KL分歧，我们推导出一个基于Wasserstein的二次模型为我们的目的。我们状态条件下的系统模型，它是可能的，以建立一个单调的政策改善保证，提出了一个代理函数的策略梯度估计，并表明，它是可能的，以计算准确的优势估计，如果状态转移模型和政策是确定性的。最后，我们描述了两个新的机器人控制环境-一个在频域和其他非本地奖励具有较长的地平线（8000时间步）-我们的策略梯度方法（TDPO）显着优于现有的方法（PPO，TRPO，DDPG和TD 3）。我们的所有实验设置的实现可以在https://github.com/ehsansaleh/code_tdpo上获得
2022-05-30 cs.AI cs.LG cs.RO
Multi-vehicle Flocking Control with Deep Deterministic Policy Gradient Method
Northwestern Polytechnical University（西北工业大学）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
随着多车辆系统的广泛应用，群集控制问题得到了广泛的研究。基于深度强化学习框架，研究了具有避碰和通信保护的多车辆系统（MVS）群集控制问题。具体地说，采用集中训练、分布式执行的深度确定性策略梯度（DDPG）方法来获得群集控制策略。首先，为了避免动态变化的状态观测，使用基于三层张量的观测表示，使得状态保持恒定，尽管观测维度在变化。设计了一个奖励函数来指导路径点跟踪、碰撞避免和通信保护。通过引入邻居的局部奖励函数来扩充奖励函数。最后，一个集中式的训练过程，训练共享的政策的基础上共同的训练集之间的所有代理。所提出的方法进行了测试，在不同的设置模拟场景。
2018-06-01 cs.RO
ScePT: Scene-consistent, Policy-based Trajectory Predictions for Planning
NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）
轨迹预测是与不受控制的代理共享环境的自主系统的关键功能，一个突出的例子是自动驾驶车辆。目前，大多数预测方法不强制场景一致性，即，在场景中的不同代理的预测轨迹之间存在大量的自冲突。此外，许多方法生成每个智能体的单独轨迹预测，而不是整个场景的联合轨迹预测，这使得下游规划变得困难。在这项工作中，我们提出了ScePT，一个基于策略规划的轨迹预测模型，生成准确的，场景一致的轨迹预测，适用于自主系统运动规划。它显式地执行场景一致性，并学习可用于条件预测的代理交互策略。在多个真实世界行人和自动驾驶车辆数据集上的实验表明，ScePT与当前最先进的预测精度相匹配，并显著提高了场景一致性。我们还展示了ScePT与下游应急计划人员合作的能力。
2022-06-18 cs.AI cs.CV cs.LG
Tree-structured Policy Planning with Learned Behavior Models
NVIDIA Research（英伟达研究院）；NVIDIA Corporation（英伟达公司）；Stanford University（斯坦福大学）
自动驾驶汽车（AV）需要在规划自己的运动时推理相邻智能体的多模式行为。许多现有的轨迹规划器寻求在\emph{all}合理的未来下同时表现良好的单个轨迹，忽略了双向相互作用，从而导致过度保守的计划。政策规划，即自我代理计划的政策，对环境的多模态行为的反应，是一个很有前途的方向，因为它可以占AV和环境之间的动作-反应的相互作用。然而，大多数现有的策略规划器无法扩展到真正的自动驾驶汽车应用的复杂性：它们要么与现代深度学习预测模型不兼容，不可解释，要么无法生成高质量的轨迹。为了填补这一空白，我们提出了树策略规划（TPP），这是一种与最先进的深度学习预测模型兼容的策略规划器，可以生成多级运动计划，并考虑自我代理对环境行为的影响。TPP的核心思想是通过构建两个树结构将连续优化问题简化为易于处理的离散马尔可夫决策过程（MDP）：用于自我轨迹选项的自我轨迹树和用于多模态自我调节环境预测的情景树。我们在基于真实世界nuScenes数据集的闭环模拟中证明了TPP的有效性，结果表明TPP可扩展到现实的AV场景，并显着优于非政策基线。
2023-02-27 cs.RO cs.SY eess.SY
Large Language Models as Commonsense Knowledge for Large-Scale Task Planning
National University of Singapore（新加坡国立大学）
本文提出 LLM-MCTS 算法，将大型语言模型同时作为世界模型和策略融入蒙特卡洛树搜索，以提升大规模任务规划的推理效果与搜索效率，并验证了其显著优于单独使用 MCTS 或 LLM 策略。
2023-10-30 cs.RO
Back on Track: Deployment-time Policy Improvement via World Model Planning
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
针对部署时视觉运动策略无法自主恢复故障的问题，提出离线训练的监控干预框架，通过世界模型规划改进策略，在 LIBERO-Goal 等任务上提升了成功率且支持实时控制。
2026-10-15 cs.RO
Policy-Guided World Model Planning for Language-Conditioned Visual Navigation
Drexel University（德雷塞尔大学）
本文提出PiJEPA框架，结合学习导航策略与潜在世界模型规划，通过微调Octo策略和冻结预训练视觉编码器，提升语言指导下的视觉导航准确性与指令遵循性。
2026-03-26 cs.AI cs.CL cs.RO
Multi-Fidelity Reinforcement Learning for Time-Optimal Quadrotor Re-planning
Laboratory for Information and Decision Systems, Massachusetts Institute of Technology, Cambridge, MA, USA（信息与决策系统实验室，麻省理工学院，剑桥，马萨诸塞州，美国）
针对无人机高速在线轨迹规划难题，提出多保真强化学习方法，协同训练规划策略与奖励估计器，利用多保真贝叶斯优化构建高保真模型，并在仿真与真实实验中验证，实现2毫秒级重规划，优于基线方法。
2025-08-07 cs.RO
Efficient Robotic Policy Learning via Latent Space Backward Planning
Tsinghua University（清华大学）；Peking University（北京大学）；Shanghai AI Lab（上海人工智能实验室）
提出潜在空间反向规划（LBP）方法，通过锚定最终目标并递归预测子目标，实现高效且准确的机器人长时程策略学习，在仿真和真实实验中达到最先进性能。
2025-05-27 cs.AI cs.CV cs.RO
Prior Policy Guided Dual-Agent Coordinated Manipulation Planning of Spacecraft-Manipulator System
School of Astronautics（航天学院）；School of Automation（自动化学院）；School of Information Science and Engineering（信息科学与工程学院）
针对空间机械臂与基座强耦合导致的姿态稳定问题，提出先验策略引导的双智能体协同操控规划框架，通过时间步级专家切换机制提升深度强化学习效率，实现末端执行器高精度到达与基座姿态稳定。
2026-05-25 cs.RO
Vision-Language-Policy Model for Dynamic Robot Task Planning
Dynamic Robot Systems Group, Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所动态机器人系统组）；Humanoids and Human-Centered Mechatronics (HHCM), Istituto Italiano di Tecnologia（意大利技术研究所人形与以人为中心的机电系统）
针对机器人在非结构化环境中自然语言命令与自主执行衔接难题，提出基于视觉-语言模型的VLP框架，能解释指令、整合推理生成行为策略，还可动态调整策略，实验证明其有强大规划自主性和跨实体泛化能力。
2026-07-24 cs.AI cs.RO
Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
NVIDIA；Stanford University（斯坦福大学）
Cosmos Policy通过单阶段后训练将预训练视频模型转化为高效机器人策略，实现视觉运动控制与规划的先进性能。
2026-01-22 cs.AI cs.RO
Graph-based Prediction and Planning Policy Network (GP3Net) for scalable self-driving in dynamic environments using Deep Reinforcement Learning
Indian Institute of Science（印度科学学院）；Indian Institute of Science Education and Research, Bhopal（博帕尔印度科学教育与研究学院）
本文提出GP3Net框架，通过时空图预测交通参与者轨迹并结合PPO强化学习进行安全规划，在CARLA多场景与新天气条件下优于模仿学习基线。
2023-12-10 cs.AI cs.RO
WorldRFT: Latent World Model Planning with Reinforcement Fine-Tuning for Autonomous Driving
WorldRFT通过强化学习微调提升自动驾驶规划性能，实现安全性和效率的双重优化。
2025-12-22 cs.CV cs.RO
Exact Model-Free Policy Iteration for Co-safe LTL Planning
University of Florida（佛罗里达大学）
针对有限马尔可夫决策过程中sc-LTL目标的无模型强化学习问题，提出两步法无模型策略迭代算法，经理论证明与随机网格世界实验验证可收敛至最优策略。
2026-08-06 cs.FL cs.RO cs.SY
Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation
Boston Dynamics AI Institute（波士顿动力人工智能研究所）；UC San Diego（加州大学圣迭戈分校）；Cornell University（康奈尔大学）
提出 GLIDE 框架，利用基于模型的运动规划在高保真仿真中生成大规模双臂接触操作演示，并训练任务条件化扩散策略，结合关键设计缩小仿真到现实差距，实现对多样未见物体的鲁棒泛化操作。
2025-02-14 cs.CV cs.LG cs.RO
