Planning with a Learned Policy Basis to Optimally Solve Complex Tasks
AMLab, University of Amsterdam（阿姆斯特丹大学 AMLab）；AI&ML group, Universitat Pompeu Fabra（庞培法布拉大学 AI&ML 研究组）
针对非马尔可夫奖励下多任务策略泛化难题，提出利用后继特征学习策略基，通过有限状态自动机组合子策略，在无需额外学习下渐近实现随机环境中的全局最优。
2024-06-03 cs.AI cs.LG
AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文提出PiZero方法，让智能体在与真实环境解耦的抽象搜索空间中执行高层规划，支持复合动作、连续/组合动作空间及部分可观测性，并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
Universal Planning Networks
UC Berkeley, Computer Science（加州大学伯克利分校计算机科学）
复杂视觉控制中的一个关键挑战是学习有效的抽象表示，用于指定目标，规划和泛化。为此，我们引入通用规划网络（UPN）。UPN在目标导向的政策中嵌入了可区分的规划。该规划计算在潜在空间中展开前向模型，并且通过梯度下降轨迹优化来推断最优行动计划。逐梯度下降过程及其底层表示是端到端学习的，以直接优化有监督的模仿学习目标。我们发现，学习的表示不仅是有效的目标导向的视觉模仿，通过基于梯度的轨迹优化，但也可以提供一个指标，指定目标使用图像。可以利用学习的表示来指定基于距离的奖励，以达到无模型强化学习的新目标状态，从而在解决通过基于图像的目标描述的新任务时实现更有效的学习。我们能够在具有显著不同形态和驱动能力的机器人之间成功地转移视觉规划策略。
2018-04-04 cs.AI cs.CV cs.LG
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick（华威大学）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；University of Liverpool（利物浦大学）
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限，提出基于模型的GOPlan框架，通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略，在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University（斯坦福大学）
通过学习动力学模型进行规划，基于模型的强化学习（MBRL）提供了良好性能的前景，几乎没有环境交互。然而，在实践中，学习的模型通常是不准确的，从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架，帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型：最小化规划过程中的价值估计的方差。我们推导并实现了这一目标，它鼓励更好地预测具有更大回报的轨迹。我们观察到经验，我们的方法提高了目前的MBRL算法对两个随机控制问题的性能，并提供了理论基础，我们的方法。
2021-03-30 cs.AI cs.LG
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University（莱顿大学）
GEM-MPC提出一种基于MPPI的强化学习方法，通过结合克隆规划器的策略与KL正则化探索策略，并引入门控先验蒸馏，在较低计算预算下平衡探索与利用，显著提升连续控制基准性能。
2026-09-21 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点，无论是在与环境交互时的在线情况下，还是在从固定数据集学习时的离线情况下。然而，到目前为止，没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中，我们描述了重新分析算法，该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标，从而可以有效地学习数据预算，这些数据预算变化了几个数量级。我们进一步表明，Reanalyse也可以用于完全从演示中学习，而无需任何环境交互，就像离线强化学习（离线RL）一样。结合Reanalyze和MuZero算法，我们引入了MuZero Unplugged，这是一个适用于任何数据预算的统一算法，包括离线RL。与以前的工作相比，我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
GrASP: Gradient-Based Affordance Selection for Planning
University of Michigan（密歇根大学）；DeepMind（深度思维）
用学习模型进行规划可以说是智能的一个关键组成部分。在大规模强化学习（RL）问题中实现这样的组件存在若干挑战。一个这样的挑战是在使用树搜索规划时有效地处理连续动作空间（例如，即使仅在树的根结点考虑每个动作也是不可行的）。在本文中，我们提出了一种方法，用于选择启示有用的规划-学习的行动/选项，从一个连续的空间的行动/选项，以考虑在树扩展过程中，在规划的小数目。我们考虑的启示是目标和状态条件映射到动作/选项，以及无条件的启示，简单地选择在所有状态下可用的动作/选项。我们的选择方法是基于梯度的：我们通过规划过程计算梯度，以更新表示示能表示的函数的参数。我们的实证研究表明，学习选择连续行动和选项启示是可行的，同时学习选择启示和规划与学习价值等价模型可以优于无模型强化学习。
2022-02-08 cs.AI cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Goal-Space Planning with Subgoal Models
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出目标空间规划（GSP）方法，通过将后台规划限制在抽象子目标上并仅学习局部子目标条件模型，避免了学习转移动态的不准确性，以更高计算效率帮助多种基础学习器显著加速学习。
2024-02-27 cs.AI cs.LG
A Survey of Reinforcement Learning-Based Motion Planning for Autonomous Driving: Lessons Learned from a Driving Task Perspective
College of Automotive and Energy Engineering, Tongji University（同济大学汽车与能源工程学院）；Key Laboratory of Road and Traffic Engineering of the Ministry of Education, Tongji University（教育部道路与交通工程重点实验室）；Department of Aerospace Engineering, University of Michigan（密歇根大学航空航天工程系）；Hagler Institute for Advanced Study, Texas A&M University（德克萨斯大学A&M分校哈格勒先进研究学院）
综述基于强化学习的自动驾驶运动规划，先概述强化学习方法基础，再调研其在运动规划中的应用，分析特定场景特征与任务要求，总结关键设计经验并为未来实施提供指导，还探讨前沿挑战及应对策略。
2026-07-07 cs.LG cs.RO
Evolutionary Planning in Latent Space
IT-University of Copenhagen（哥本哈根信息技术大学）
规划是强化学习的一种强大方法，具有几个理想的属性。然而，它需要一个世界的模型，这在许多现实生活中的问题是不容易得到的。在本文中，我们建议学习一个世界模型，使进化规划在潜在空间（EPLS）。我们使用变分自动编码器（VAE）来学习个体观测的压缩潜在表示，并扩展混合密度递归神经网络（MDRNN）来学习可用于规划的世界的随机多模态前向模型。我们使用随机突变爬山（RMHC）来寻找一系列的行动，最大限度地提高预期的回报，在这个学习模型的世界。我们演示了如何构建一个世界的模型，通过引导它与推出从一个随机的政策，并迭代地完善它与推出从一个越来越准确的规划政策，使用学习世界模型。经过几次迭代的改进后，我们的规划代理比标准的无模型强化学习方法更好，证明了我们方法的可行性。
2020-11-23 cs.LG cs.NE
Hierarchies of Planning and Reinforcement Learning for Robot Navigation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
通过强化学习（RL）解决机器人导航任务是具有挑战性的，由于其稀疏的奖励和长的决策范围的性质。然而，在许多导航任务中，高级（HL）任务表示，如粗略的平面图，是可用的。以前的工作已经证明了有效的学习分层的方法，包括HL表示的路径规划和使用子目标来自该计划，以指导源任务中的RL政策。然而，这些方法通常忽略了复杂的动力学和次优的子目标达到能力的机器人在规划过程中。这项工作克服了这些限制，提出了一种新的层次结构框架，利用可训练的规划政策的HL表示。因此，可以利用收集的铺开数据来学习机器人能力和环境条件。我们专门介绍了一个规划政策的基础上价值迭代与学习过渡模型（VI-RL）。在模拟的机器人导航任务，VI-RL结果在一致的强烈改善香草RL，是等同于香草分层RL的单一布局，但更广泛地适用于多个布局，并与可训练HL路径规划基线，除了停车任务与困难的非完整动力学，它显示出显着的改善。
2021-11-05 cs.LG cs.RO
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法，通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Harnessing Structures for Value-Based Planning and Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
基于值的方法构成了规划和深度强化学习（RL）的基本方法。在本文中，我们提出利用状态-动作价值函数的底层结构，即，Q函数，用于规划和深度RL。特别是，如果潜在的系统动力学导致Q函数的某些全局结构，则应该能够通过利用这些结构来更好地推断函数。具体来说，我们研究了大数据矩阵中广泛存在的低秩结构。我们验证经验的存在下，控制和深度RL任务的低秩Q函数。作为我们的主要贡献，通过利用矩阵估计（ME）技术，我们提出了一个通用的框架，以利用Q函数中的底层低秩结构。这导致了经典控制的更有效的规划过程，此外，一个简单的方案，可以应用于任何基于值的RL技术，以始终实现更好的性能在“低秩”任务。控制任务和Atari游戏的广泛实验证实了我们的方法的有效性。代码可在https://github.com/YyzHarry/SV-RL上获得。
2020-07-04 cs.LG stat.ML
Learning retrosynthetic planning through self-play
Columbia University（哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）
逆合成计划的问题可以被设计成一个玩家游戏，在这个游戏中，化学家（或计算机程序）通过一系列关于进行哪些反应的选择，从分子目标向后工作到更简单的起始材料。这个游戏具有挑战性，因为可能选择的组合空间是天文数字，每个选择的价值仍然不确定，直到合成计划完成并评估其成本。在这里，我们使用深度强化学习来解决这个问题，以确定在逆合成规划的每个步骤中做出（接近）最佳反应选择的策略。使用模拟的经验或自我发挥，我们训练神经网络，以估计预期的合成成本或任何给定分子的分子结构的基础上表示的价值。我们发现，学习策略的基础上，这个价值网络优于启发式方法，在合成陌生的分子，从可用的起始材料，使用最少的反应次数。我们讨论了如何学习的政策，这里描述的可以纳入现有的合成规划工具，以及它们如何可以适应的变化，合成成本目标或材料的可用性。
2019-01-19 cs.AI cs.LG stat.ML
A New View on Planning in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能教席）
本文提出目标空间规划（GSP）方法，通过将背景规划约束到抽象子目标并仅学习局部子目标条件模型，避免了学习全局转移动态，从而显著提升多种基础学习器在不同领域的速度。
2024-06-03 cs.AI cs.LG
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Latent Skill Planning for Exploration and Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Nvidia（英伟达）
为了快速解决复杂环境中的新任务，智能代理需要建立可重用的知识。例如，学习世界模型捕获关于应用于新任务的环境的知识。类似地，技能捕捉可以应用于新任务的一般行为。在本文中，我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说，我们利用部分摊销的思想在测试时快速适应。为此，行动是由一个随着时间的推移而学习的政策产生的，而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处，并证明了提高样本效率在单一的任务，以及在从一个任务转移到另一个，相比有竞争力的基线。视频请访问：https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
Planning with Learned Dynamics: Probabilistic Guarantees on Safety and Reachability via Lipschitz Constants
University of Michigan（密歇根大学）
我们提出了一种方法，反馈运动规划系统的未知动态提供概率保证的安全性，可达性和目标稳定性。为了找到一个域，在这个域中，可以信任真实动态的学习控制仿射近似，我们估计真实动态和学习动态之间的差异的Lipschitz常数，并确保估计在给定的概率下是有效的。提供的系统至少有尽可能多的控制状态，我们还推导出存在条件的一步反馈法，可以保持真正的系统在一个小范围内的标称轨迹规划与学习动态。我们的方法将反馈律的存在作为基于采样的规划器中的约束，该规划器返回围绕标称规划的反馈策略，确保如果Lipschitz常数估计有效，则真实系统在计划执行期间是安全的，达到目标，并且最终在关于目标的小集合中是不变的。我们通过使用6D四旋翼和7DOF Kuka臂的学习模型进行规划来演示我们的方法。我们表明，使用相同的学习动力学进行规划而不考虑误差范围或反馈法的存在的基线可能无法稳定在计划周围并变得不安全。
2021-10-19 cs.LG cs.RO cs.SY
Neural-Swarm2: Planning and Control of Heterogeneous Multirotor Swarms using Learned Interactions
California Institute of Technology（加州理工学院）
我们提出了Neural-Swarm 2，一种基于学习的运动规划和控制方法，允许群中的异构多旋翼安全地近距离飞行。由于复杂的空气动力学相互作用力，例如附近无人机产生的下洗和地面效应，无人机的这种操作具有挑战性。传统的规划和控制方法忽略了捕捉这些相互作用的力量，导致在飞行过程中稀疏的群体配置。我们的方法将基于物理的名义动力学模型与具有强Lipschitz特性的学习深度神经网络（DNN）相结合。我们利用两种技术来准确预测异质多旋翼之间的气动相互作用：i）谱归一化，用于稳定性和不可见数据的泛化保证; ii）异质深度集，用于以置换不变的方式支持任何数量的异质邻居，而不会降低表达能力。学习的剩余动力学的好处，提出的相互作用感知的多机器人运动规划和非线性跟踪控制设计，因为学习的相互作用力减少建模误差。实验结果表明，Neural-Swarm 2能够推广到训练案例之外的更大的群体，并显着优于基线非线性跟踪控制器，最坏情况下的跟踪误差减少了三倍。
2021-07-16 cs.AI cs.LG cs.RO
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
Model Error Propagation via Learned Contraction Metrics for Safe Feedback Motion Planning of Unknown Systems
University of Michigan（密歇根大学）
我们提出了一种基于收缩的反馈运动规划的局部增量指数稳定系统的未知动态，提供概率安全性和可达性保证的方法。给定一个动态数据集，我们的方法学习动态的深度控制仿射近似。为了找到一个可信的域，这个模型可以用于规划，我们获得了一个估计的Lipschitz常数的模型误差，这是有效的，在一个区域周围的训练数据，提供了一个本地的，空间变化的模型误差范围。我们推导出一个轨迹跟踪误差界的收缩为基础的控制器，受到这个模型误差，然后学习控制器，优化这个跟踪界。在给定的概率下，验证了控制器的正确性和可信域中跟踪误差界的正确性。然后，我们使用与可信域绑定在一起的轨迹误差来指导基于采样的规划器返回可以在执行中鲁棒跟踪的轨迹。我们展示了4D汽车，6D四旋翼和22D可变形物体操作任务的结果，显示我们的方法使用高维欠驱动系统的学习模型安全地计划，而不考虑跟踪误差范围或可信域的基线计划可能无法稳定系统并变得不安全。
2022-03-01 cs.LG cs.RO cs.SY
Accelerating Cooperative Planning for Automated Vehicles with Learned Heuristics and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
城市交通场景中的高效驾驶需要远见。其他交通参与者的观察和推断他们可能的下一步行动取决于自己的行动被认为是合作预测和规划。人类已经具备了预测多个交互的交通参与者的行为并相应地进行规划的能力，而无需直接与他人进行通信。以前的工作表明，它是可能实现有效的合作规划，而不需要明确的沟通。然而，合作计划的搜索空间如此之大，以至于大部分计算预算都花在探索远离解的无希望区域中的搜索空间上。为了加速规划过程，我们将学习的策略与合作规划方法相结合，以引导搜索具有有希望的行动的区域，以较低的计算成本获得更好的解决方案。
2020-05-22 cs.LG cs.MA cs.RO
Planning from Pixels in Atari with Learned Symbolic Representations
Technical University of Denmark（丹麦技术大学）
基于宽度的规划方法已被证明在Atari 2600域中使用像素输入产生最先进的性能。RolloutIW是一种成功的方法，它用B-PROST布尔特性集表示状态。RolloutIW的增强版本$π$ -IW表明，对于基于宽度的搜索，学习的特性可以与手工制作的特性相竞争。在本文中，我们利用变分自编码器（VAE）直接从像素中学习功能的原则性方式，没有监督。经过训练的VAE的推理模型从像素中提取布尔特征，RolloutIW使用这些特征进行规划。由此产生的组合优于原来的RolloutIW和雅达利2600上的人类专业游戏，并大大减少了功能集的大小。
2021-03-15 cs.AI cs.LG
Diffusion-based Planning with Learned Viability Filters
University of British Columbia（不列颠哥伦比亚大学）
本文提出学习型可行性过滤器，用于在扩散模型规划中强制执行隐式未来成功约束，并在3D人体足迹规划中验证其高效性，显著快于引导式扩散预测。
2025-02-26 cs.LG cs.RO
Planning with Learned Object Importance in Large Problem Instances using Graph Neural Networks
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
现实世界中的规划问题往往涉及数百甚至数千个对象，这使现代规划者的极限变得紧张。在这项工作中，我们通过学习预测一小部分对象来应对这一挑战，这些对象放在一起就足以找到一个计划。我们提出了一个图神经网络架构预测对象的重要性，在一个单一的推理通过，从而产生很少的开销，同时大大减少了规划者必须考虑的对象的数量。我们的方法将规划器和过渡模型视为黑盒，并且可以与任何现成的规划器一起使用。从经验上讲，在经典规划，概率规划，机器人任务和运动规划，我们发现，我们的方法的结果规划，是显着快于几个基线，包括其他部分接地策略和解除规划。我们的结论是，学习预测一个规划问题的足够的一组对象是一个简单的，强大的，和一般的机制，在大的情况下规划。视频：https://youtu.be/FWsVJc2fvCE代码：https://git.io/JIsqX
2020-12-08 cs.AI cs.LG
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
DeepMind（深度思维）；University College London（伦敦大学学院）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。基于树的规划方法在具有挑战性的领域取得了巨大的成功，例如国际象棋和围棋，其中有一个完美的模拟器。然而，在现实世界的问题中，控制环境的动力学往往是复杂和未知的。在这项工作中，我们提出了MuZero算法，该算法通过将基于树的搜索与学习模型相结合，在一系列具有挑战性和视觉复杂的领域中实现了超人的性能，而无需了解其潜在的动态。MuZero学习一个模型，当迭代应用时，预测与规划最直接相关的数量：奖励，行动选择策略和价值函数。在57个不同的Atari游戏上进行评估时，我们的新算法达到了最新的技术水平。Atari是测试人工智能技术的标准视频游戏环境，基于模型的规划方法在历史上一直处于困境。在围棋、国际象棋和将棋上进行评估时，MuZero与游戏规则提供的AlphaZero算法的超人性能相匹配。
2020-02-21 cs.LG stat.ML
Learned Critical Probabilistic Roadmaps for Robotic Motion Planning
Google（谷歌）；Waymo Research（Waymo研究院）
基于采样的运动规划技术已经成为解决复杂运动规划问题的有效算法范例。这些方法使用一组探测样本来构建机器人状态空间的隐式图形表示，当样本数量增加到无穷大时，允许任意精确的表示。然而，在实践中，解轨迹仅依赖于通常由状态空间中的结构定义的几个临界状态（例如，门道）。在这项工作中，我们提出了一个通用的方法来识别这些关键状态，通过图论技术（介数中心），并学会预测关键性只有当地的环境特征。然后，这些状态通过层次图中的全局连接得到更大程度的利用，称为关键概率路线图。关键的PRM被证明实现了三个数量级的改善均匀采样，同时保留的保证和基于采样的运动规划的复杂性。视频可在https://youtu.be/AYoD-pGd9ms上获得。
2019-10-08 cs.LG cs.RO
Leveraging Scene Embeddings for Gradient-Based Motion Planning in Latent Space
Applied AI Lab (A2I)（应用人工智能实验室（A2I））；Dynamic Robot Systems (DRS)（动态机器人系统实验室（DRS））；Oxford Robotics Institute (ORI)（牛津机器人研究所（ORI））；University of Oxford（牛津大学）
运动规划框架优化结构化的潜在空间，最近出现的竞争力与传统的方法在规划的成功，而显着优于他们的计算速度。然而，现实世界的适用性，最近的工作在这一领域仍然是有限的，需要直接在状态空间中表示的障碍物信息，涉及简单的几何图元。在这项工作中，我们通过利用学习的场景嵌入与机器人操纵器的生成模型来驱动优化过程来解决这一挑战。此外，我们还引入了一种有效的碰撞检查方法，该方法直接规范规划所进行的优化。使用模拟和真实世界的实验，我们证明了我们的方法，AMP-LS，能够成功地规划在新的，复杂的场景，同时优于传统的规划基线的计算速度的数量级。我们表明，由此产生的系统是足够快，使闭环规划在现实世界中的动态场景。
2023-03-06 cs.CV cs.LG cs.RO
Demystifying MuZero Planning: Interpreting the Learned Model
Institute of Information Science, Academia Sinica（Academia Sinica 信息科学研究所）
本文通过观测重建和状态一致性训练来解释 MuZero 学习到的潜在状态，揭示其在长模拟中虽动力学精度下降但仍能通过规划纠错，并发现棋盘游戏中的潜在状态优于 Atari 游戏。
2025-07-17 cs.AI cs.LG
Safe Output Feedback Motion Planning from Images via Learned Perception Modules and Contraction Theory
University of Michigan（密歇根大学）
针对一类不确定控制仿射非线性系统提出了一种运动规划算法，该算法在使用高维传感器测量（例如，RGB-D图像）和反馈控制环路中的学习感知模块。首先，给定状态和观测的数据集，我们训练感知系统，该感知系统试图从观测中反转状态的子集，并估计感知误差的上界，该上界在数据附近的可信域中以高概率有效。其次，我们利用收缩理论设计了一个稳定的状态反馈控制器和一个收敛的动态状态观测器，该观测器使用学习的感知系统来更新其状态估计。我们推导出的轨迹跟踪误差时，这个控制器受到错误的动态和不正确的状态估计。最后，我们将此边界集成到基于采样的运动规划器中，引导它返回可以使用传感器数据在运行时安全跟踪的轨迹。我们在4D汽车，6D平面四旋翼和17 D操纵任务的RGB（-D）传感器测量的模拟中演示了我们的方法，证明我们的方法安全可靠地将系统引导到目标，而不考虑可信域或状态估计误差的基线可能是不安全的。
2022-08-23 cs.AI cs.CV cs.LG
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.（Sithara公司）
本文提出可微符号规划（DSP），通过神经架构实现离散符号推理并保持全可微性，结合通用认知内核（UCK）在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Interaction-Merged Motion Planning: Effectively Leveraging Diverse Motion Datasets for Robust Planning
Visual Intelligence Lab., KAIST, Korea（韩国韩世科技大学视觉智能实验室）；Intelligent Systems and Learning Lab., DGIST, Korea（韩国全南国立科学技术院智能系统与学习实验室）
针对多轨迹数据集利用中的领域不平衡、遗忘与高成本问题，提出IMMP，通过预融合与融合参数检查点迁移多样化交互，并在多个基准和模型上取得优于传统方法的规划性能。
2025-07-25 cs.AI cs.CV cs.LG
Deep Learned Path Planning via Randomized Reward-Linked-Goals and Potential Space Applications
Tohoku University（东北大学）
太空探索任务已经看到使用越来越复杂的机器人系统，具有越来越多的自主权。深度学习有望将这一点更进一步，并应用于高级任务，如路径规划，以及低级任务，如运动控制，这是任务效率和成功的关键组成部分。在训练过程中使用具有随机奖励函数参数的深度强化端到端学习，我们教一个模拟的8自由度四足蚂蚁机器人在周界内的任何地方旅行，在单个神经网络上进行路径规划和运动控制，而无需任何系统模型或地形或环境的先验知识。我们的方法还允许用户指定的航路点，这可以很好地转换为全自主或半自主/遥控空间应用程序，遇到延迟时间。我们使用随机生成的与奖励函数相关联的路点来训练智能体，并将路点坐标作为输入传递给神经网络。这种应用在各种太空探索机器人上显示出了希望，包括用于快速运动的高速漫游车和用于崎岖地形的腿式洞穴机器人。
2019-09-13 cs.AI cs.LG cs.RO
TSPDiffuser: Diffusion Models as Learned Samplers for Traveling Salesperson Path Planning Problems
CyberAgent, Inc.（CyberAgent公司）
本文提出TSPDiffuser，一种利用扩散模型作为学习采样器的数据驱动路径规划器，用于在障碍环境中高效求解旅行商路径规划问题，通过生成合理路径并构建精简路径图，在解质量和计算时间上优于现有方法。
2025-02-23 cs.LG cs.RO
Regularizing Model-Based Planning with Energy-Based Models
Aalto University（阿尔托大学）
基于模型的强化学习可以通过快速获取关于世界的丰富知识并使用它来改善行为而无需额外的数据来实现样本高效学习。学习的动态模型可以直接用于规划行动，但由于学习模型的不准确性，这一直具有挑战性。在本文中，我们专注于学习动态模型的规划，并建议使用环境中状态转换的能量估计对其进行正则化。我们直观地展示了所提出的方法的有效性，并表明能量估计器的离线训练可以有效地用于使用预训练的动态模型来正则化规划。此外，我们证明了所提出的方法使样本有效的学习，以实现具有挑战性的连续控制任务，如半猎豹和蚂蚁在短短几分钟的经验具有竞争力的性能。
2019-10-12 cs.LG cs.RO stat.ML
Contingencies from Observations: Tractable Contingency Planning with Learned Behavior Models
UC Berkeley（加州大学伯克利分校）
人类有一种非凡的能力，通过准确地推理未来的事件，包括未来的行为和其他代理人的心理状态来做出决策。考虑驾驶汽车通过一个繁忙的十字路口：有必要对车辆的物理特性，其他司机的意图以及他们对你自己意图的信念进行推理。如果你打转向灯，另一个司机可能会让你，或者如果你进入超车道，另一个司机可能会减速，给你空间合并在前面。有能力的驾驶员必须在采取下一步行动之前计划如何安全地对其他代理的各种潜在未来行为做出反应。这就需要应急计划：明确地计划一组取决于未来事件的随机结果的有条件的行动。在这项工作中，我们开发了一个通用的应急计划，学习端到端使用高维场景观察和低维行为观察。我们使用一个条件自回归流模型来创建一个紧凑的应急规划空间，并展示了这个模型如何可以从行为观察中可追踪地学习应急。我们在驾驶模拟器（CARLA）中开发了一个现实多智能体场景的闭环控制基准，在此基础上，我们将我们的方法与各种非偶然方法进行了比较，这些方法可以推断多智能体的未来行为，包括几种最先进的基于深度学习的规划方法。我们说明，这些非偶然的规划方法从根本上失败的基准，并发现我们的深度应急规划方法实现了显着优越的性能。运行我们的基准测试并重现我们的结果的代码可以在https://sites.google.com/view/contingency-planning上获得
2021-04-21 cs.CV cs.LG cs.RO
Scalable Planning with Deep Neural Network Learned Transition Models
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（Vector人工智能研究所）；Monash University（莫纳什大学）
在许多现实世界中的规划问题的因素，混合离散和连续的状态和动作空间，如水库控制，供暖通风，空调，和导航域，这是很难获得一个复杂的非线性动力学模型，管理状态的演变。然而，现代传感器的普遍存在使我们能够从这些复杂系统中的每一个收集大量数据，并建立其状态转换的精确的非线性深度神经网络模型。但控制任务仍然存在一个主要问题-我们如何使用深度网络学习的过渡模型进行规划，而不诉诸蒙特卡罗树搜索和其他黑盒过渡模型技术，这些技术忽略了模型结构，并且不容易扩展到混合离散和连续域？在本文中，我们介绍了两种类型的非线性规划方法，可以利用深度神经网络学习的过渡模型：混合深度MILP规划器（HD-MILP-Plan）和Tensorflow规划器（TF-Plan）。在HD-MILP-Plan中，我们观察到，深度网络的整流线性单元传递函数不仅允许模型学习的更快收敛，而且还允许将深度网络转换模型直接编译为混合线性规划编码。此外，我们还确定了HD-MILP-Plan的深度网络特定优化，这些优化可以提高基本编码的性能，并表明我们可以根据学习到的深度网络进行最佳规划。在TF-Plan中，我们利用自动微分工具和基于GPU的计算的效率，将纯连续规划问题的子类编码为递归神经网络，并通过反向传播直接优化动作。我们比较了这两个计划，并表明TF-计划是能够近似的最佳计划发现HD-MILP-Plan在更少的计算时间…
2020-07-15 cs.AI cs.LG
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota（丰田）；Woven Planet（织女星）；Level 5 self-driving division（Level 5自动驾驶部门）
在本文中，我们介绍了第一个用于完全控制自动驾驶车辆的安全系统，该系统通过人类演示进行训练，并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错，但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面，机器学习（ML）规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而，ML方法不能提供安全保证，有时行为不可预测。为了解决这个问题，我们的方法使用了一个简单而有效的基于规则的回退层，对ML规划者的决策进行合理性检查（例如避免冲突，确保物理可行性）。这使我们能够利用机器学习来处理复杂的情况，同时仍然确保安全性，将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练，并将其与旧金山市中心的后备层一起部署，在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
Leveraging Environment Interaction for Automated PDDL Translation and Planning with Large Language Models
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI（博雷奥利斯人工智能公司）
提出利用环境反馈自动生成PDDL文件的方法，通过迭代细化和探索行走指标，在10个环境中达到66%的任务解决率，显著优于GPT-4的29%。
2024-11-09 cs.LG
Planning Under Observation Mismatch for Traffic Signal Control via Adaptive Modular World Models
Shanghai Jiao Tong University（上海交通大学）
本文提出适应性模块化模型，用于解决观测不匹配下的交通信号控制问题，通过模块化规划架构提升性能和数据效率。
2026-04-25 cs.AI cs.LG
CMAX++ : Leveraging Experience in Planning and Execution using Inaccurate Models
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Aurora Innovation（奥罗拉创新公司）
由于获得准确的动力学模型，现代规划方法是有效的计算重复机器人任务的可行和最优的计划。然而，在执行之前很难对真实世界的真实动态进行建模，特别是对于需要与参数未知的对象进行交互的任务。最近的规划方法，CMAX，解决了这个问题，通过适应计划在线执行过程中产生的计划偏离不准确的建模区域。CMAX虽然可以证明保证达到目标，但需要对用于规划的模型的准确性进行强有力的假设，并且无法在重复相同任务的情况下提高解决方案的质量。在本文中，我们提出了CMAX++，一种利用现实世界的经验，以提高质量的机器人任务的连续重复产生的计划。CMAX++通过将使用获得的经验的无模型学习与使用可能不准确的模型的基于模型的规划相结合来实现这一点。我们提供可证明的保证CMAX++的完整性和渐近收敛到最优路径成本的重复次数的增加。CMAX++在模拟机器人任务中的表现也优于基线，包括3D移动机器人导航，其中轨道摩擦被错误地建模，以及7D拾取和放置任务，其中物体的质量未知，导致真实和建模动态之间的差异。
2020-10-15 cs.AI cs.LG cs.RO
Planning Beyond the Sensing Horizon Using a Learned Context
Massachusetts Institute of Technology（麻省理工学院）；Ford Motor Company（福特汽车公司）
最后一英里交付系统通常建议使用自动机器人车辆来提高可扩展性和效率。收集精确的先验地图用于导航的经济效率低下促使使用在未绘制地图的环境中操作的规划算法。然而，这些算法通常浪费时间探索不太可能包含递送目的地的区域。上下文是关于结构化环境的关键信息，可以引导对未知目标位置的探索，但抽象的想法是难以量化的规划算法中使用。一些方法专门考虑对象之间的上下文关系，但在户外等对象稀疏的环境中表现不佳。最近的基于深度学习的方法对上下文的考虑过于笼统，使得训练/可移植性变得困难。因此，这项工作提出了一种新的配方，利用上下文规划作为一个图像到图像的翻译问题，这是从语义网格图提取地形上下文，到一个基于探索的规划师可以使用的度量。所提出的框架具有在静态数据集上进行训练的优点，而不需要耗时的模拟器。在42个具有卫星图像布局的测试房屋中，经过训练的算法使机器人能够比不知道上下文的规划者更快地达到目标189%，并且在使用先前地图计算的最佳路径的63%以内。该算法还实现了一个车辆上的一个面向前的摄像头在高保真，虚幻的模拟邻里的房子。
2020-06-01 cs.AI cs.LG cs.RO
DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
提出DiMSam框架，通过TAMP系统组合扩散模型，利用潜在嵌入定义学习采样器和TAMP算子，解决了部分可观测下多步约束推理与自主机器人操作规划问题。
2024-10-11 cs.AI cs.CV cs.LG
Closing the Learning-Planning Loop with Predictive State Representations
Carnegie Mellon University（卡内基梅隆大学）
人工智能的一个核心问题是在部分可观测的环境中，在不确定性条件下如何规划以最大化未来的回报。在本文中，我们提出并证明了一种新的算法，准确地学习这样的环境模型直接从序列的行动观察对。然后，我们通过在学习的模型中进行规划并恢复在原始环境中接近最优的策略来关闭从观察到行动的循环。具体来说，我们提出了一个有效的和统计上一致的频谱算法学习的参数的预测状态表示（PSR）。我们通过学习一个模拟的高维，基于视觉的移动机器人规划任务的模型来演示该算法，然后在学习的PSR中执行近似的基于点的规划。我们的结果分析表明，该算法学习的状态空间，有效地捕捉环境的基本特征。这种表示允许使用少量参数进行准确预测，并实现成功和有效的规划。
2009-12-12 cs.AI cs.LG
Latent Planning via Embedding Arithmetic: A Contrastive Approach to Strategic Reasoning
Department of Computer Science（计算机科学系）；Baylor University（贝勒大学）
针对高维决策空间规划问题，提出基于监督对比学习的SOLIS方法，在评估对齐嵌入空间中通过向量运算简化规划，在国际象棋中以浅层搜索达到竞争力，为传统方法提供轻量级替代。
2025-11-12 cs.LG
Flow Policies as Actions of Skill-Level World Models: Learned and Symbolic Abstractions for Long-Horizon Planning
Delft University of Technology（代尔夫特理工大学）
本文提出将流匹配策略的输入作为技能级动作，构建四种抽象（压缩种子、两种学习代码、符号标签），在块重排任务上验证，符号标签在六技能内成功率超90%，并分析搜索限制。
2026-10-06 cs.LG cs.RO
Predictive Control Using Learned State Space Models via Rolling Horizon Evolution
Queen Mary University of London（伦敦玛丽女王大学）
对基于模型的强化学习的兴趣很大一部分来自于获得能够进行战略性长期决策的前向模型的潜在效用。假设智能体成功地学习了一个有用的预测模型，它仍然需要一种机制来利用它来生成和选择竞争的模拟计划。在本文中，我们将进化算法规划技术与通过深度学习和变分推理学习的模型相结合来探索这一主题。我们证明了这种方法与代理，可靠地执行在线规划中的一组视觉导航任务。
2021-06-25 cs.AI cs.LG
Understanding Sample Generation Strategies for Learning Heuristic Functions in Classical Planning
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
本文研究经典规划中样本生成对神经启发式函数的影响，发现采样算法与到目标代价估计质量共同决定GBFS性能，并提出五类改进策略，使平均覆盖率提升逾30%。
2025-02-16 cs.AI cs.LG
Neural Navigation Functions for Zero-Shot Generalizable Motion Planning
University of Pennsylvania, United States（宾夕法尼亚大学，美国）；Department of Mechanical Engineering and Applied Mechanics（机械工程与应用力学系）；Department of Electrical and Systems Engineering（电气与系统工程系）
提出神经导航函数（Neural-NF），通过将数据驱动适应嵌入结构化椭圆规划器，实现跨未见环境几何的零样本迁移，并保证无碰撞、单调下降和全局最小值。
2026-06-02 cs.LG cs.RO
Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
针对高维时间序列的概率推断难题，提出将对比学习变体应用于时间序列，证明其学到的表示遵循高斯-马尔可夫链，推断可转化为低维矩阵求逆，特殊情形下等价于表示插值，并通过46维内的数值模拟验证了理论。
2025-05-21 cs.LG stat.ML
Accelerating Grasp Exploration by Leveraging Learned Priors
UC Berkeley（加州大学伯克利分校）
机器人抓取新奇物体的能力在电子商务订单履行和家庭服务中有着工业应用。数据驱动的抓取策略在学习抓取任意对象的一般策略方面取得了成功。然而，这些方法可能无法抓住具有复杂几何形状或明显超出训练分布的对象。我们提出了一个汤普森采样算法，学习掌握一个给定的对象与未知的几何形状使用在线经验。该算法利用从灵巧网络机器人抓取规划器学习的先验知识来指导抓取探索，并为新对象的每个稳定姿态提供抓取成功的概率估计。我们发现，用Dex-Net先验知识播种策略可以更有效地找到对这些对象的强大把握。实验表明，最好的学习策略获得的平均总回报比贪婪基线高64.5%，并且在300，000个训练运行超过300，000个对象姿势时，在Oracle基线的5.7%内实现。
2020-11-11 cs.AI cs.LG cs.RO
Waypoint Planning Networks
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
随着机器学习的最新进展，路径规划算法也在不断发展;然而，学习的路径规划算法通常难以与经典算法的成功率竞争。我们提出了航点规划网络（WPN），一种基于LSTM的混合算法，具有局部内核-经典算法，如A*，以及使用学习算法的全局内核。WPN产生计算效率更高且更强大的解决方案。我们比较了WPN与A*，以及相关的工作，包括运动规划网络（MPNet）和价值迭代网络（VIN）。在本文中，设计和实验已经进行了2D环境。实验结果概述了WPN的好处，无论是在效率和泛化。结果表明，WPN的搜索空间是大大小于A*，同时能够产生接近最优的结果。此外，WPN可以在部分地图上工作，不像A* 需要提前获得完整的地图。代码可在线获取。
2021-05-01 cs.LG cs.RO
