Planning from Pixels in Atari with Learned Symbolic Representations
Technical University of Denmark（丹麦技术大学）
基于宽度的规划方法已被证明在Atari 2600域中使用像素输入产生最先进的性能。RolloutIW是一种成功的方法，它用B-PROST布尔特性集表示状态。RolloutIW的增强版本$π$ -IW表明，对于基于宽度的搜索，学习的特性可以与手工制作的特性相竞争。在本文中，我们利用变分自编码器（VAE）直接从像素中学习功能的原则性方式，没有监督。经过训练的VAE的推理模型从像素中提取布尔特征，RolloutIW使用这些特征进行规划。由此产生的组合优于原来的RolloutIW和雅达利2600上的人类专业游戏，并大大减少了功能集的大小。
2021-03-15 cs.AI cs.LG
Continuous Control for Searching and Planning with a Learned Model
Iowa State University（爱荷华州立大学）；Ecole Centrale de Nantes（南特中央理工学院）
具有规划能力的决策代理在国际象棋、将棋和围棋等具有挑战性的领域取得了巨大的成功。为了将规划能力推广到更一般的任务，其中环境动态对代理不可用，研究人员提出了MuZero算法，该算法可以通过与环境的交互来学习动态模型。在本文中，我们提供了一种方法和必要的理论结果，以扩大MuZero算法更广义的环境与连续的行动空间。通过在两个相对低维的MuJoCo环境中的数值结果，我们表明该算法优于软演员-评论家（SAC）算法，这是一种最先进的无模型深度强化学习算法。
2020-06-22 cs.AI cs.LG
Demystifying MuZero Planning: Interpreting the Learned Model
Institute of Information Science, Academia Sinica（Academia Sinica 信息科学研究所）
本文通过观测重建和状态一致性训练来解释 MuZero 学习到的潜在状态，揭示其在长模拟中虽动力学精度下降但仍能通过规划纠错，并发现棋盘游戏中的潜在状态优于 Atari 游戏。
2025-07-17 cs.AI cs.LG
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.（Sithara公司）
本文提出可微符号规划（DSP），通过神经架构实现离散符号推理并保持全可微性，结合通用认知内核（UCK）在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
OptionZero: Planning with Learned Options
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；National Yang Ming Chiao Tung University（国立阳明交通大学）
受MuZero启发，该研究提出整合选项网络的OptionZero方法，通过自对弈自主发现选项并修改动力学网络实现更深搜索，在26款Atari游戏中性能优于MuZero，人类归一化平均得分提升131.58%，为规划中的选项发现与应用提供了新方向。
2025-03-21 cs.AI cs.LG
Planning with Abstract Learned Models While Learning Transferable Subtasks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Simmons University（西蒙斯大学）
我们介绍了一种基于模型的分层强化学习算法，以获得自包含的过渡和奖励模型适用于概率规划在多个抽象层次。我们称这个框架为抽象学习模型规划（PALM）。通过使用一种新的形式化结构，即提升抽象马尔可夫决策过程（L-AMDP）来象征性地表示子任务，PALM学习独立和模块化的模型。通过我们的实验，我们展示了PALM如何整合规划和执行，促进快速有效地学习抽象的层次模型。我们还展示了学习模型转移到新的相关任务的潜力。
2020-06-12 cs.AI cs.LG cs.RO
On the Limits of Learned Importance Scoring for KV Cache Compression
Georgia Institute of Technology（佐治亚理工学院）
本文研究了学习重要性评分在KV缓存压缩中的局限性，发现基于位置的启发式方法和预填注意力信号在性能上优于复杂学习评分器。
2026-01-13 cs.AI cs.LG
Planning with a Learned Policy Basis to Optimally Solve Complex Tasks
AMLab, University of Amsterdam（阿姆斯特丹大学 AMLab）；AI&ML group, Universitat Pompeu Fabra（庞培法布拉大学 AI&ML 研究组）
针对非马尔可夫奖励下多任务策略泛化难题，提出利用后继特征学习策略基，通过有限状态自动机组合子策略，在无需额外学习下渐近实现随机环境中的全局最优。
2024-06-03 cs.AI cs.LG
AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文提出PiZero方法，让智能体在与真实环境解耦的抽象搜索空间中执行高层规划，支持复合动作、连续/组合动作空间及部分可观测性，并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick（华威大学）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；University of Liverpool（利物浦大学）
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限，提出基于模型的GOPlan框架，通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略，在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Planning Under Observation Mismatch for Traffic Signal Control via Adaptive Modular World Models
Shanghai Jiao Tong University（上海交通大学）
本文提出适应性模块化模型，用于解决观测不匹配下的交通信号控制问题，通过模块化规划架构提升性能和数据效率。
2026-04-25 cs.AI cs.LG
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University（斯坦福大学）
通过学习动力学模型进行规划，基于模型的强化学习（MBRL）提供了良好性能的前景，几乎没有环境交互。然而，在实践中，学习的模型通常是不准确的，从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架，帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型：最小化规划过程中的价值估计的方差。我们推导并实现了这一目标，它鼓励更好地预测具有更大回报的轨迹。我们观察到经验，我们的方法提高了目前的MBRL算法对两个随机控制问题的性能，并提供了理论基础，我们的方法。
2021-03-30 cs.AI cs.LG
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
Closing the Learning-Planning Loop with Predictive State Representations
Carnegie Mellon University（卡内基梅隆大学）
人工智能的一个核心问题是在部分可观测的环境中，在不确定性条件下如何规划以最大化未来的回报。在本文中，我们提出并证明了一种新的算法，准确地学习这样的环境模型直接从序列的行动观察对。然后，我们通过在学习的模型中进行规划并恢复在原始环境中接近最优的策略来关闭从观察到行动的循环。具体来说，我们提出了一个有效的和统计上一致的频谱算法学习的参数的预测状态表示（PSR）。我们通过学习一个模拟的高维，基于视觉的移动机器人规划任务的模型来演示该算法，然后在学习的PSR中执行近似的基于点的规划。我们的结果分析表明，该算法学习的状态空间，有效地捕捉环境的基本特征。这种表示允许使用少量参数进行准确预测，并实现成功和有效的规划。
2009-12-12 cs.AI cs.LG
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Predictive Control Using Learned State Space Models via Rolling Horizon Evolution
Queen Mary University of London（伦敦玛丽女王大学）
对基于模型的强化学习的兴趣很大一部分来自于获得能够进行战略性长期决策的前向模型的潜在效用。假设智能体成功地学习了一个有用的预测模型，它仍然需要一种机制来利用它来生成和选择竞争的模拟计划。在本文中，我们将进化算法规划技术与通过深度学习和变分推理学习的模型相结合来探索这一主题。我们证明了这种方法与代理，可靠地执行在线规划中的一组视觉导航任务。
2021-06-25 cs.AI cs.LG
Understanding Sample Generation Strategies for Learning Heuristic Functions in Classical Planning
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
本文研究经典规划中样本生成对神经启发式函数的影响，发现采样算法与到目标代价估计质量共同决定GBFS性能，并提出五类改进策略，使平均覆盖率提升逾30%。
2025-02-16 cs.AI cs.LG
Neural-Swarm2: Planning and Control of Heterogeneous Multirotor Swarms using Learned Interactions
California Institute of Technology（加州理工学院）
我们提出了Neural-Swarm 2，一种基于学习的运动规划和控制方法，允许群中的异构多旋翼安全地近距离飞行。由于复杂的空气动力学相互作用力，例如附近无人机产生的下洗和地面效应，无人机的这种操作具有挑战性。传统的规划和控制方法忽略了捕捉这些相互作用的力量，导致在飞行过程中稀疏的群体配置。我们的方法将基于物理的名义动力学模型与具有强Lipschitz特性的学习深度神经网络（DNN）相结合。我们利用两种技术来准确预测异质多旋翼之间的气动相互作用：i）谱归一化，用于稳定性和不可见数据的泛化保证; ii）异质深度集，用于以置换不变的方式支持任何数量的异质邻居，而不会降低表达能力。学习的剩余动力学的好处，提出的相互作用感知的多机器人运动规划和非线性跟踪控制设计，因为学习的相互作用力减少建模误差。实验结果表明，Neural-Swarm 2能够推广到训练案例之外的更大的群体，并显着优于基线非线性跟踪控制器，最坏情况下的跟踪误差减少了三倍。
2021-07-16 cs.AI cs.LG cs.RO
GrASP: Gradient-Based Affordance Selection for Planning
University of Michigan（密歇根大学）；DeepMind（深度思维）
用学习模型进行规划可以说是智能的一个关键组成部分。在大规模强化学习（RL）问题中实现这样的组件存在若干挑战。一个这样的挑战是在使用树搜索规划时有效地处理连续动作空间（例如，即使仅在树的根结点考虑每个动作也是不可行的）。在本文中，我们提出了一种方法，用于选择启示有用的规划-学习的行动/选项，从一个连续的空间的行动/选项，以考虑在树扩展过程中，在规划的小数目。我们考虑的启示是目标和状态条件映射到动作/选项，以及无条件的启示，简单地选择在所有状态下可用的动作/选项。我们的选择方法是基于梯度的：我们通过规划过程计算梯度，以更新表示示能表示的函数的参数。我们的实证研究表明，学习选择连续行动和选项启示是可行的，同时学习选择启示和规划与学习价值等价模型可以优于无模型强化学习。
2022-02-08 cs.AI cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Diffusion-based Planning with Learned Viability Filters
University of British Columbia（不列颠哥伦比亚大学）
本文提出学习型可行性过滤器，用于在扩散模型规划中强制执行隐式未来成功约束，并在3D人体足迹规划中验证其高效性，显著快于引导式扩散预测。
2025-02-26 cs.LG cs.RO
Accelerating Cooperative Planning for Automated Vehicles with Learned Heuristics and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
城市交通场景中的高效驾驶需要远见。其他交通参与者的观察和推断他们可能的下一步行动取决于自己的行动被认为是合作预测和规划。人类已经具备了预测多个交互的交通参与者的行为并相应地进行规划的能力，而无需直接与他人进行通信。以前的工作表明，它是可能实现有效的合作规划，而不需要明确的沟通。然而，合作计划的搜索空间如此之大，以至于大部分计算预算都花在探索远离解的无希望区域中的搜索空间上。为了加速规划过程，我们将学习的策略与合作规划方法相结合，以引导搜索具有有希望的行动的区域，以较低的计算成本获得更好的解决方案。
2020-05-22 cs.LG cs.MA cs.RO
Goal-Space Planning with Subgoal Models
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出目标空间规划（GSP）方法，通过将后台规划限制在抽象子目标上并仅学习局部子目标条件模型，避免了学习转移动态的不准确性，以更高计算效率帮助多种基础学习器显著加速学习。
2024-02-27 cs.AI cs.LG
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
DeepMind（深度思维）；University College London（伦敦大学学院）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。基于树的规划方法在具有挑战性的领域取得了巨大的成功，例如国际象棋和围棋，其中有一个完美的模拟器。然而，在现实世界的问题中，控制环境的动力学往往是复杂和未知的。在这项工作中，我们提出了MuZero算法，该算法通过将基于树的搜索与学习模型相结合，在一系列具有挑战性和视觉复杂的领域中实现了超人的性能，而无需了解其潜在的动态。MuZero学习一个模型，当迭代应用时，预测与规划最直接相关的数量：奖励，行动选择策略和价值函数。在57个不同的Atari游戏上进行评估时，我们的新算法达到了最新的技术水平。Atari是测试人工智能技术的标准视频游戏环境，基于模型的规划方法在历史上一直处于困境。在围棋、国际象棋和将棋上进行评估时，MuZero与游戏规则提供的AlphaZero算法的超人性能相匹配。
2020-02-21 cs.LG stat.ML
Learned Critical Probabilistic Roadmaps for Robotic Motion Planning
Google（谷歌）；Waymo Research（Waymo研究院）
基于采样的运动规划技术已经成为解决复杂运动规划问题的有效算法范例。这些方法使用一组探测样本来构建机器人状态空间的隐式图形表示，当样本数量增加到无穷大时，允许任意精确的表示。然而，在实践中，解轨迹仅依赖于通常由状态空间中的结构定义的几个临界状态（例如，门道）。在这项工作中，我们提出了一个通用的方法来识别这些关键状态，通过图论技术（介数中心），并学会预测关键性只有当地的环境特征。然后，这些状态通过层次图中的全局连接得到更大程度的利用，称为关键概率路线图。关键的PRM被证明实现了三个数量级的改善均匀采样，同时保留的保证和基于采样的运动规划的复杂性。视频可在https://youtu.be/AYoD-pGd9ms上获得。
2019-10-08 cs.LG cs.RO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota（丰田）；Woven Planet（织女星）；Level 5 self-driving division（Level 5自动驾驶部门）
在本文中，我们介绍了第一个用于完全控制自动驾驶车辆的安全系统，该系统通过人类演示进行训练，并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错，但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面，机器学习（ML）规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而，ML方法不能提供安全保证，有时行为不可预测。为了解决这个问题，我们的方法使用了一个简单而有效的基于规则的回退层，对ML规划者的决策进行合理性检查（例如避免冲突，确保物理可行性）。这使我们能够利用机器学习来处理复杂的情况，同时仍然确保安全性，将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练，并将其与旧金山市中心的后备层一起部署，在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
Graph World Models for Constrained Epidemic Policy Planning
Virginia Tech（弗吉尼亚理工大学）
提出EpiMind图世界模型框架，通过图分解状态空间模型和ADMM优化实现跨区域受限流行病政策规划，显著降低预测误差并保证资源可行性。
2026-10-12 cs.AI cs.LG
Planning Beyond the Sensing Horizon Using a Learned Context
Massachusetts Institute of Technology（麻省理工学院）；Ford Motor Company（福特汽车公司）
最后一英里交付系统通常建议使用自动机器人车辆来提高可扩展性和效率。收集精确的先验地图用于导航的经济效率低下促使使用在未绘制地图的环境中操作的规划算法。然而，这些算法通常浪费时间探索不太可能包含递送目的地的区域。上下文是关于结构化环境的关键信息，可以引导对未知目标位置的探索，但抽象的想法是难以量化的规划算法中使用。一些方法专门考虑对象之间的上下文关系，但在户外等对象稀疏的环境中表现不佳。最近的基于深度学习的方法对上下文的考虑过于笼统，使得训练/可移植性变得困难。因此，这项工作提出了一种新的配方，利用上下文规划作为一个图像到图像的翻译问题，这是从语义网格图提取地形上下文，到一个基于探索的规划师可以使用的度量。所提出的框架具有在静态数据集上进行训练的优点，而不需要耗时的模拟器。在42个具有卫星图像布局的测试房屋中，经过训练的算法使机器人能够比不知道上下文的规划者更快地达到目标189%，并且在使用先前地图计算的最佳路径的63%以内。该算法还实现了一个车辆上的一个面向前的摄像头在高保真，虚幻的模拟邻里的房子。
2020-06-01 cs.AI cs.LG cs.RO
GATS: Graph-Augmented Tree Search with Layered World Models for Efficient Agent Planning
Institute for Cybernetics of NAS of Ukraine（乌克兰国家科学院控制论研究所）
研究针对LLM智能体规划计算成本高和行为随机的问题，提出GATS框架，结合系统树搜索与分层世界模型，在合成任务和综合测试中表现优异，规划时无需LLM调用，生成确定性计划，优于LLM引导探索。
2026-07-13 cs.AI cs.LG
A New View on Planning in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能教席）
本文提出目标空间规划（GSP）方法，通过将背景规划约束到抽象子目标并仅学习局部子目标条件模型，避免了学习全局转移动态，从而显著提升多种基础学习器在不同领域的速度。
2024-06-03 cs.AI cs.LG
Planning with Learned Dynamics: Probabilistic Guarantees on Safety and Reachability via Lipschitz Constants
University of Michigan（密歇根大学）
我们提出了一种方法，反馈运动规划系统的未知动态提供概率保证的安全性，可达性和目标稳定性。为了找到一个域，在这个域中，可以信任真实动态的学习控制仿射近似，我们估计真实动态和学习动态之间的差异的Lipschitz常数，并确保估计在给定的概率下是有效的。提供的系统至少有尽可能多的控制状态，我们还推导出存在条件的一步反馈法，可以保持真正的系统在一个小范围内的标称轨迹规划与学习动态。我们的方法将反馈律的存在作为基于采样的规划器中的约束，该规划器返回围绕标称规划的反馈策略，确保如果Lipschitz常数估计有效，则真实系统在计划执行期间是安全的，达到目标，并且最终在关于目标的小集合中是不变的。我们通过使用6D四旋翼和7DOF Kuka臂的学习模型进行规划来演示我们的方法。我们表明，使用相同的学习动力学进行规划而不考虑误差范围或反馈法的存在的基线可能无法稳定在计划周围并变得不安全。
2021-10-19 cs.LG cs.RO cs.SY
Iterative Option Discovery for Planning, by Planning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
提出Option Iteration方法，通过迭代学习一组局部强选项策略来指导规划搜索，形成良性循环，在复杂规划环境中显著优于基线算法。
2023-12-22 cs.AI cs.LG
Universal Planning Networks
UC Berkeley, Computer Science（加州大学伯克利分校计算机科学）
复杂视觉控制中的一个关键挑战是学习有效的抽象表示，用于指定目标，规划和泛化。为此，我们引入通用规划网络（UPN）。UPN在目标导向的政策中嵌入了可区分的规划。该规划计算在潜在空间中展开前向模型，并且通过梯度下降轨迹优化来推断最优行动计划。逐梯度下降过程及其底层表示是端到端学习的，以直接优化有监督的模仿学习目标。我们发现，学习的表示不仅是有效的目标导向的视觉模仿，通过基于梯度的轨迹优化，但也可以提供一个指标，指定目标使用图像。可以利用学习的表示来指定基于距离的奖励，以达到无模型强化学习的新目标状态，从而在解决通过基于图像的目标描述的新任务时实现更有效的学习。我们能够在具有显著不同形态和驱动能力的机器人之间成功地转移视觉规划策略。
2018-04-04 cs.AI cs.CV cs.LG
TSPDiffuser: Diffusion Models as Learned Samplers for Traveling Salesperson Path Planning Problems
CyberAgent, Inc.（CyberAgent公司）
本文提出TSPDiffuser，一种利用扩散模型作为学习采样器的数据驱动路径规划器，用于在障碍环境中高效求解旅行商路径规划问题，通过生成合理路径并构建精简路径图，在解质量和计算时间上优于现有方法。
2025-02-23 cs.LG cs.RO
Interpreting Emergent Planning in Model-Free Reinforcement Learning
University of Cambridge（剑桥大学）；FAR AI；Mila, University of Montreal（蒙特利尔大学米拉研究所）
本文首次提供机制性证据，证明无模型强化学习智能体DRC能在Sokoban中通过概念表示内部制定规划并影响动作选择，其规划算法类似并行双向搜索。
2025-04-02 cs.AI cs.LG
DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
提出DiMSam框架，通过TAMP系统组合扩散模型，利用潜在嵌入定义学习采样器和TAMP算子，解决了部分可观测下多步约束推理与自主机器人操作规划问题。
2024-10-11 cs.AI cs.CV cs.LG
Regularizing Model-Based Planning with Energy-Based Models
Aalto University（阿尔托大学）
基于模型的强化学习可以通过快速获取关于世界的丰富知识并使用它来改善行为而无需额外的数据来实现样本高效学习。学习的动态模型可以直接用于规划行动，但由于学习模型的不准确性，这一直具有挑战性。在本文中，我们专注于学习动态模型的规划，并建议使用环境中状态转换的能量估计对其进行正则化。我们直观地展示了所提出的方法的有效性，并表明能量估计器的离线训练可以有效地用于使用预训练的动态模型来正则化规划。此外，我们证明了所提出的方法使样本有效的学习，以实现具有挑战性的连续控制任务，如半猎豹和蚂蚁在短短几分钟的经验具有竞争力的性能。
2019-10-12 cs.LG cs.RO stat.ML
Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains
DeepMind（深度思维）
在本文中，我们研究了学习多步动态预测模型（跳跃模型）的问题，从未标记的经验和他们的实用程序的快速推理（高级别）计划在下游任务。特别是，我们建议离线学习一个跳跃模型和一个技能嵌入空间，从以前收集的经验中，不需要标签或奖励注释。然后，我们研究了利用这些学习组件与基于模型的规划或无模型强化学习（RL）相结合的几种选择，以加快下游任务的学习。我们在RGB堆叠环境中进行了一组实验，表明使用学习的技能和相关模型进行规划可以实现对新任务的zero-shot泛化，并可以通过强化学习进一步加快策略的训练。这些实验表明，跳跃模型，结合时间抽象可以促进规划在长期任务中，标准的动态模型失败。
2023-02-24 cs.AI cs.LG cs.RO
Contingencies from Observations: Tractable Contingency Planning with Learned Behavior Models
UC Berkeley（加州大学伯克利分校）
人类有一种非凡的能力，通过准确地推理未来的事件，包括未来的行为和其他代理人的心理状态来做出决策。考虑驾驶汽车通过一个繁忙的十字路口：有必要对车辆的物理特性，其他司机的意图以及他们对你自己意图的信念进行推理。如果你打转向灯，另一个司机可能会让你，或者如果你进入超车道，另一个司机可能会减速，给你空间合并在前面。有能力的驾驶员必须在采取下一步行动之前计划如何安全地对其他代理的各种潜在未来行为做出反应。这就需要应急计划：明确地计划一组取决于未来事件的随机结果的有条件的行动。在这项工作中，我们开发了一个通用的应急计划，学习端到端使用高维场景观察和低维行为观察。我们使用一个条件自回归流模型来创建一个紧凑的应急规划空间，并展示了这个模型如何可以从行为观察中可追踪地学习应急。我们在驾驶模拟器（CARLA）中开发了一个现实多智能体场景的闭环控制基准，在此基础上，我们将我们的方法与各种非偶然方法进行了比较，这些方法可以推断多智能体的未来行为，包括几种最先进的基于深度学习的规划方法。我们说明，这些非偶然的规划方法从根本上失败的基准，并发现我们的深度应急规划方法实现了显着优越的性能。运行我们的基准测试并重现我们的结果的代码可以在https://sites.google.com/view/contingency-planning上获得
2021-04-21 cs.CV cs.LG cs.RO
Evaluating model-based planning and planner amortization for continuous control
DeepMind（深度思维）；Facebook Reality Labs（脸书现实实验室）
人们普遍认为，基于模型的控制方法应该能够超越无模型方法的数据效率。在本文中，我们试图评估这种直觉在各种具有挑战性的运动任务。我们采取一种混合的方法，结合模型预测控制（MPC）与学习模型和无模型策略学习的学习策略作为MPC的建议。我们发现，即使对于高自由度控制问题，经过良好调整的无模型代理也是强有力的基线，但具有学习建议和模型（实时训练或从相关任务转移）的MPC可以显着提高硬多任务/多目标设置中的性能和数据效率。最后，我们表明，它是可能的，以摊销的规划计算没有任何性能损失的政策，基于模型的规划。代理执行不同任务的视频可以在https://sites.google.com/view/mbrl-amortization/home上看到。
2021-10-07 cs.AI cs.LG cs.RO
Safe Output Feedback Motion Planning from Images via Learned Perception Modules and Contraction Theory
University of Michigan（密歇根大学）
针对一类不确定控制仿射非线性系统提出了一种运动规划算法，该算法在使用高维传感器测量（例如，RGB-D图像）和反馈控制环路中的学习感知模块。首先，给定状态和观测的数据集，我们训练感知系统，该感知系统试图从观测中反转状态的子集，并估计感知误差的上界，该上界在数据附近的可信域中以高概率有效。其次，我们利用收缩理论设计了一个稳定的状态反馈控制器和一个收敛的动态状态观测器，该观测器使用学习的感知系统来更新其状态估计。我们推导出的轨迹跟踪误差时，这个控制器受到错误的动态和不正确的状态估计。最后，我们将此边界集成到基于采样的运动规划器中，引导它返回可以使用传感器数据在运行时安全跟踪的轨迹。我们在4D汽车，6D平面四旋翼和17 D操纵任务的RGB（-D）传感器测量的模拟中演示了我们的方法，证明我们的方法安全可靠地将系统引导到目标，而不考虑可信域或状态估计误差的基线可能是不安全的。
2022-08-23 cs.AI cs.CV cs.LG
Learning the Solution Manifold in Optimization and Its Application in Motion Planning
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
优化是解决广泛领域问题的重要组成部分。理想情况下，目标函数应设计为使得解是唯一的，并且优化问题可以稳定地求解。然而，在实际应用中所使用的目标函数通常是非凸的，有时甚至有无穷多个解。为了解决这个问题，我们建议在优化中学习解决方案流形。我们训练一个以潜变量为条件的模型，使该模型代表一组无限的解。在我们的框架中，我们减少了这个问题的密度估计，通过使用重要性采样，和潜在的代表性的解决方案是学习最大化的变分下界。我们将该算法应用于运动规划问题，其中涉及高维参数的优化。实验结果表明，该算法可以学习的解决方案的流形，和训练的模型表示一个无限集的同伦运动规划问题的解决方案。
2020-07-24 cs.AI cs.LG cs.RO
Deep Learned Path Planning via Randomized Reward-Linked-Goals and Potential Space Applications
Tohoku University（东北大学）
太空探索任务已经看到使用越来越复杂的机器人系统，具有越来越多的自主权。深度学习有望将这一点更进一步，并应用于高级任务，如路径规划，以及低级任务，如运动控制，这是任务效率和成功的关键组成部分。在训练过程中使用具有随机奖励函数参数的深度强化端到端学习，我们教一个模拟的8自由度四足蚂蚁机器人在周界内的任何地方旅行，在单个神经网络上进行路径规划和运动控制，而无需任何系统模型或地形或环境的先验知识。我们的方法还允许用户指定的航路点，这可以很好地转换为全自主或半自主/遥控空间应用程序，遇到延迟时间。我们使用随机生成的与奖励函数相关联的路点来训练智能体，并将路点坐标作为输入传递给神经网络。这种应用在各种太空探索机器人上显示出了希望，包括用于快速运动的高速漫游车和用于崎岖地形的腿式洞穴机器人。
2019-09-13 cs.AI cs.LG cs.RO
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University（莱顿大学）
GEM-MPC提出一种基于MPPI的强化学习方法，通过结合克隆规划器的策略与KL正则化探索策略，并引入门控先验蒸馏，在较低计算预算下平衡探索与利用，显著提升连续控制基准性能。
2026-09-21 cs.LG
Latent Planning via Embedding Arithmetic: A Contrastive Approach to Strategic Reasoning
Department of Computer Science（计算机科学系）；Baylor University（贝勒大学）
针对高维决策空间规划问题，提出基于监督对比学习的SOLIS方法，在评估对齐嵌入空间中通过向量运算简化规划，在国际象棋中以浅层搜索达到竞争力，为传统方法提供轻量级替代。
2025-11-12 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点，无论是在与环境交互时的在线情况下，还是在从固定数据集学习时的离线情况下。然而，到目前为止，没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中，我们描述了重新分析算法，该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标，从而可以有效地学习数据预算，这些数据预算变化了几个数量级。我们进一步表明，Reanalyse也可以用于完全从演示中学习，而无需任何环境交互，就像离线强化学习（离线RL）一样。结合Reanalyze和MuZero算法，我们引入了MuZero Unplugged，这是一个适用于任何数据预算的统一算法，包括离线RL。与以前的工作相比，我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
On the Benefits of Leveraging Structural Information in Planning Over the Learned Model
Purdue University（普渡大学）；Intel Corporation（英特尔公司）
基于模型的强化学习（RL）融合了学习和规划，近年来受到越来越多的关注。然而，由于需要为每个状态-动作对获得足够数量的样本，学习模型可能会产生显著的成本（就样本复杂度而言）。在本文中，我们研究的好处，利用结构信息的系统在降低样本的复杂性。具体来说，我们考虑设置的转移概率矩阵是一个已知的功能的一些结构参数，其值是最初未知的。然后，我们考虑的问题，估计这些参数的基础上与环境的相互作用。我们的Q估计和最佳Q值作为样本数的函数之间的差异的特征。我们的分析表明，通过利用模型的结构信息，可以显着节省样本的复杂性。我们通过考虑几个问题来说明这些发现，包括控制具有异构服务器的排队系统，以及在随机多风网格世界中寻求最优路径。
2023-03-15 cs.LG cs.SY eess.SY
Model Error Propagation via Learned Contraction Metrics for Safe Feedback Motion Planning of Unknown Systems
University of Michigan（密歇根大学）
我们提出了一种基于收缩的反馈运动规划的局部增量指数稳定系统的未知动态，提供概率安全性和可达性保证的方法。给定一个动态数据集，我们的方法学习动态的深度控制仿射近似。为了找到一个可信的域，这个模型可以用于规划，我们获得了一个估计的Lipschitz常数的模型误差，这是有效的，在一个区域周围的训练数据，提供了一个本地的，空间变化的模型误差范围。我们推导出一个轨迹跟踪误差界的收缩为基础的控制器，受到这个模型误差，然后学习控制器，优化这个跟踪界。在给定的概率下，验证了控制器的正确性和可信域中跟踪误差界的正确性。然后，我们使用与可信域绑定在一起的轨迹误差来指导基于采样的规划器返回可以在执行中鲁棒跟踪的轨迹。我们展示了4D汽车，6D四旋翼和22D可变形物体操作任务的结果，显示我们的方法使用高维欠驱动系统的学习模型安全地计划，而不考虑跟踪误差范围或可信域的基线计划可能无法稳定系统并变得不安全。
2022-03-01 cs.LG cs.RO cs.SY
Flow Policies as Actions of Skill-Level World Models: Learned and Symbolic Abstractions for Long-Horizon Planning
Delft University of Technology（代尔夫特理工大学）
本文提出将流匹配策略的输入作为技能级动作，构建四种抽象（压缩种子、两种学习代码、符号标签），在块重排任务上验证，符号标签在六技能内成功率超90%，并分析搜索限制。
2026-10-06 cs.LG cs.RO
Efficient Radiation Treatment Planning based on Voxel Importance
Uppsala University（乌普萨拉大学）；Memorial Sloan-Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）
本文提出基于体素重要性采样的放射治疗计划优化方法，通过一次探测选取信息体素子集以缩减问题规模，在IMRT基准上最高提速50倍且保持计划质量。
2024-08-09 cs.LG eess.IV physics.med-ph
Learned Feature Importance Scores for Automated Feature Engineering
Google（谷歌）
本文提出AutoMAN框架，通过学习特征重要性掩码实现端到端的自动化特征工程，无需显式生成变换特征，在保证高精度和低延迟的同时支持异构与时变数据。
2024-06-06 cs.LG
Latent Skill Planning for Exploration and Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Nvidia（英伟达）
为了快速解决复杂环境中的新任务，智能代理需要建立可重用的知识。例如，学习世界模型捕获关于应用于新任务的环境的知识。类似地，技能捕捉可以应用于新任务的一般行为。在本文中，我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说，我们利用部分摊销的思想在测试时快速适应。为此，行动是由一个随着时间的推移而学习的政策产生的，而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处，并证明了提高样本效率在单一的任务，以及在从一个任务转移到另一个，相比有竞争力的基线。视频请访问：https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
学习生成模型通常会产生相对于底层数据分布的有偏统计数据。校正这种偏差的标准技术是重要性抽样，其中来自模型的样本由模型和真实分布下的似然比加权。当似然比未知时，可以通过训练概率分类器来区分来自两种分布的样本来估计它。我们采用这种无似然重要性加权方法来纠正生成模型中的偏差。我们发现，这种技术始终提高了标准拟合优度指标，用于评估最先进的深度生成模型的样本质量，这表明减少了偏差。最后，我们展示了它在以下典型应用中的实用性：a）使用生成对抗网络进行分类的数据增强，以及b）使用非策略数据进行基于模型的策略评估。
2019-11-03 cs.LG cs.NE stat.ML
