Learning Generalized Reactive Policies using Deep Neural Networks
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Arizona State University（亚利桑那州立大学）
我们提出了一种新的方法来学习规划，在解决一组给定的规划问题，而获得的知识被用来规划相关的，但新的问题实例更快。我们表明，深度神经网络可用于学习和表示将问题实例和状态映射到动作的\emph{generalized reactive policy}（GRP），并且学习的GRP有效地解决了大量具有挑战性的问题实例。在这个方向上的先前的努力相比，我们的方法显着减少了手工制作的领域知识或特征选择的学习的依赖。相反，GRP使用一组成功的执行跟踪从头开始训练。我们表明，我们的方法也可以用来自动学习的启发式函数，可用于定向搜索算法。我们评估我们的方法使用一套广泛的实验两个具有挑战性的规划问题域，并表明我们的方法有利于学习复杂的决策政策和强大的启发式功能，以最少的人力投入。我们的结果视频可在goo.gl/Hpy4e3上获得。
2018-07-25 cs.AI
Model Checking for Closed-Loop Robot Reactive Planning
University of Glasgow（格拉斯哥大学）
本文利用模型检验为差速驱动轮式机器人实时生成多步避障规划，通过新颖的LiDAR数据离散化和前向深度优先搜索实现，优于单步反应式代理，展现出在自动驾驶中安全透明轨迹规划的潜力。
2023-11-16 cs.AI cs.LO cs.RO
ReactiveBFM: Reactive Closed-Loop Motion Planning Towards Universal Humanoid Whole-Body Control
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出ReactiveBFM，一种实时闭环规划控制框架，通过调度前缀采样课程和异步重规划机制，解决生成式运动规划器与高频跟踪之间的延迟不匹配和暴露偏差问题，实现人形机器人全身协调和零样本反应式运动。
2026-10-23 cs.AI cs.CV cs.RO
Deep Structured Reactive Planning
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）
在现实世界中运行的智能代理必须在实现其目标与维护自身以及周围场景中其他参与者的安全和舒适之间取得平衡。这就需要在决定自己的行动时，共同推理其他行为者的行为，因为这两个过程本质上是相互交织的-如果我们决定在交叉路口先前进，车辆将首先向我们让步，但如果我们决定让步，车辆将首先前进。然而，在大多数自动驾驶管道中，这一点并没有被捕捉到，在这些管道中，规划遵循预测。在本文中，我们提出了一种新的数据驱动的反应式规划目标，它允许自动驾驶汽车联合推理自己的计划以及其他参与者将如何对它们做出反应。我们将问题表述为基于能量的深度结构化模型，该模型从观测数据中学习，并对规划和预测问题进行编码。通过基于真实驾驶和综合生成的密集交通的模拟，我们证明了我们的反应模型在更快地成功完成高度复杂的机动（车道合并/交通转弯）方面优于非反应变体，而不会权衡碰撞率。
2021-04-29 cs.AI cs.CV cs.LG
Learning Vision-based Reactive Policies for Obstacle Avoidance
Munich School of Robotics and Machine Intelligence（慕尼黑机器人与机器智能学院）；Technical University of Munich（慕尼黑工业大学）
在本文中，我们解决了基于视觉的机器人避障问题。这个主题对感知和运动生成都提出了挑战。虽然该领域的大多数工作旨在改善其中一个方面，但我们为解决这个问题提供了一个统一的框架。该框架的主要目标是通过识别视觉输入和相应的运动表示之间的关系来连接感知和运动。为此，我们提出了一种学习反应式避障策略的方法。我们评估我们的方法达到目标的任务，为单一和多个障碍物的情况。我们证明了所提出的方法能够以高成功率有效地学习稳定的避障策略，同时保持人机交互等关键应用所需的闭环响应能力。
2020-10-30 cs.AI cs.CV cs.LG
No Plan, Yet Human: A Reactive Robotics Model Predicts Human Planning Failures on a Clinical Task
Robotics and Biology Laboratory, Technische Universität Berlin, Germany（技术大学柏林机器人与生物学实验室，德国）；Science of Intelligence, Research Cluster of Excellence, Berlin, Germany（智能科学，卓越研究集群，柏林，德国）；Robotics Institute Germany（德国机器人研究所）
该研究利用反应式梯度下降框架AICON，通过塔罗伦敦测试揭示人类计划能力下降时的反应模式，发现其能更准确预测24个问题的难度排序，并在留出验证中表现优异，揭示了生物系统组织方式的普遍规律。
2026-08-28 cs.AI cs.RO
Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs
Singapore Management University（新加坡管理大学）；University of Toronto（多伦多大学）
深度学习的最新进展通过将参数策略编码为深度神经网络并在基于端到端模型的梯度下降框架中利用自动微分，为连续MDP规划优化了深度反应策略（DRP）。这种方法已被证明对优化非线性连续MDP中的DRP是有效的，但它需要大量的采样轨迹来有效学习，并且可能会受到解决方案质量的高方差的影响。在这项工作中，我们重新审视了整体基于模型的DRP目标，而是采取最小化最大化的角度来迭代优化DRP w.r.t.局部紧下界目标这种将DRP学习作为迭代下限优化（ILBO）的新公式特别有吸引力，因为（i）每个步骤在结构上比整体目标更容易优化，（ii）它保证了在某些理论条件下单调改进的目标，以及（iii）它在迭代之间重用样本，从而降低了样本复杂度。实证评估证实，ILBO是显着更高的采样效率比国家的最先进的DRP计划，并始终产生更好的解决方案质量与较低的方差。我们还证明了ILBO可以很好地推广到新的问题实例（即，不同的初始状态）而不需要再训练。
2022-03-23 cs.AI cs.LG
Compact Policies for Fully-Observable Non-Deterministic Planning as SAT
University of Massachusetts（马萨诸塞大学）；ICREA；Universitat Pompeu Fabra（庞培法布拉大学）
完全可观测的非确定性（FOND）规划正变得越来越重要，作为一种方法来计算适当的政策，在概率规划，LTL规划的扩展时间计划，广义规划的一般计划。在这项工作中，我们引入了一个SAT编码FOND规划，是紧凑的，可以产生紧凑的强循环的政策。编码的简单变化也被引入用于强规划和我们所谓的双重FOND规划，其中一些不确定的动作被假设为公平的（例如，概率性的）和其它不公平的（例如，对抗性的）。由此产生的FOND规划者与现有的规划者在现有的和新的基准经验进行比较。“概率有趣的问题”的概念也重新审视，以产生一个更全面的图片的优势和局限性，目前FOND规划和拟议的SAT方法。
2018-06-25 cs.AI
Active Inference and Behavior Trees for Reactive Action Planning and Execution in Robotics
TU Delft（代尔夫特理工大学）
我们提出了一个混合的主动推理和行为树（BTs）的反应行动规划和执行在动态环境中，显示如何机器人任务可以制定为一个自由能最小化问题。所提出的方法允许处理部分可观察的初始状态，并提高了经典BT对意外事故的鲁棒性，同时减少了树中的节点数。在这项工作中，我们指定的名义行为离线，通过BT。然而，与以前的方法相比，我们引入了一种新类型的叶节点来指定要实现的期望状态，而不是要执行的操作。执行哪个动作以达到期望状态的决策通过主动推理在线执行。这导致持续的在线规划和分层审议。通过这样做，代理可以遵循预定义的离线计划，同时仍然保持在运行时本地适应和自主决策的能力，尊重安全约束。我们提供了收敛性和鲁棒性分析的证明，我们验证了我们的方法在两个不同的移动机械手执行类似的任务，无论是在模拟和真实的零售环境。结果表明，改进的运行时适应性与一小部分的手工编码的节点相比，经典的BT。
2022-11-25 cs.AI cs.RO
SERA: Safe and Efficient Reactive Obstacle Avoidance for Collaborative Robotic Planning in Unstructured Environments
在工业4.0时代，非结构化环境中多个机器人之间的安全高效协作变得越来越重要。然而，实现人类和其他机器人之间的鲁棒和自主协作需要现代机器人系统具有有效的接近感知和反应性避障。在本文中，我们提出了一种新的方法，反应全身避障，确保无冲突的机器人，机器人之间的互动，即使在动态环境中。与现有的基于Jacobian类型、基于采样或几何技术的方法不同，我们的方法利用了最新的深度学习进展和拓扑流形学习，使其能够以高计算效率和快速图遍历技术轻松推广到其他问题设置。我们的方法允许机器人手臂在没有直接接触的情况下主动避开任意3D形状的障碍物，这是对传统工业协作机器人设置的重大改进。为了验证我们的方法，我们在一个机器人平台上实现了它，该平台由具有优化的接近传感器位置的双6自由度机械臂组成，能够在不同程度的干扰下协同工作。具体而言，一只手臂在实现其预定目标的同时执行反应性全身避障，而另一只手臂则模仿具有独立和潜在对抗性运动的人类合作者的存在。我们的方法为非静止环境中的安全人机协作提供了一个强大而有效的解决方案。
2023-03-28 cs.AI cs.RO
Deep Reactive Policy: Learning Reactive Manipulator Motion Planning for Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）
提出深度反应式策略（DRP），一种基于点云输入、以预训练Transformer策略IMPACT为核心的视觉-运动神经策略，结合师生微调与DCP-RMP动态目标提议，在动态杂乱环境中实现高成功率反应式运动规划。
2025-09-08 cs.AI cs.CV cs.LG
Re4MPC: Reactive Nonlinear MPC for Multi-model Motion Planning via Deep Reinforcement Learning
Northeastern University（东北大学）；Institute for Experiential Robotics（体验机器人研究所）；Toyota Research Institute (TRI)（丰田研究院）；Amazon Scholar（亚马逊学者）
本文提出 Re4MPC，用深度强化学习根据任务和状态反应式选择 NMPC 的模型、代价与约束，在移动操作机器人仿真中提升了计算效率和末端执行器目标到达成功率。
2025-06-10 cs.AI cs.LG cs.RO
Autonomy and Unmanned Vehicles Augmented Reactive Mission-Motion Planning Architecture for Autonomous Vehicles
硬件技术的进步促进了复杂软件的更多集成，以增强无人驾驶车辆（UV）的开发并减轻车载智能的限制。因此，无人机可以在复杂的任务中运行，在这些任务中，环境条件的持续变化需要更高水平的态势响应和自主决策。这本书是一本研究专著，旨在提供一个全面的调查紫外线的自主性及其相关属性，在内部和外部的情况意识，病房强大的任务规划在恶劣的条件下。先进的智能水平对于最大限度地减少对人类主管的依赖至关重要，这是自主性的主要概念。自控系统需要一个强大的任务管理策略，以推动边界向自主结构，UV应该知道其内部状态和能力，以评估当前的任务目标是否可以实现或找到替代解决方案。在本书中，AUV将成为主要的案例研究线索，但其他情况/类型的车辆也将被考虑。事实上，我们开发的研究专著，回顾章节和新方法将适合用作高年级或研究生学位的参考，因为它涵盖了与机器人/车辆规划，任务分配，路由和信任相关的文献和算法。
2020-07-19 cs.AI
Learning Generalized Policies for Fully Observable Non-Deterministic Planning Domains
RWTH Aachen University（亚琛工业大学）
该研究将经典域的广义策略学习方法拓展至完全可观测非确定性（FOND）域，在多个基准域验证了方法有效性，提出了一种在特征定义的抽象空间中搜索解的替代型FOND规划方法。
2024-05-13 cs.AI cs.LG
Real-Time Model Checking for Closed-Loop Robot Reactive Planning
School of Computing Science University of Glasgow Glasgow Scotland UK（计算科学学院格拉斯哥大学格拉斯哥苏格兰英国）；School of Biomedical Engineering University of Glasgow Glasgow Scotland UK（生物医学工程学院格拉斯哥大学格拉斯哥苏格兰英国）；University of Glasgow（格拉斯哥大学）
研究利用模型检查让自主机器人实现反应式多步规划与避障，特制算法基于生物知识实时原位生成规划，通过链式系统和临时快照减轻状态空间爆炸，实验证明方法有效且性能提升，为自动驾驶导航发展提供案例，适用于关键任务移动机器人。
2026-07-15 cs.AI cs.FL cs.RO
Reactive and Safe Road User Simulations using Neural Barrier Certificates
Massachusetts Institute of Technology（麻省理工学院）
反应式和安全的代理建模是当今交通模拟器设计和安全规划应用的重要组成部分。在这项工作中，我们提出了一个反应式代理模型，它可以确保安全，而不包括原来的目的，只学习高层次的决策，从专家数据和低层次的分散控制器的指导下，共同学习分散的障碍证书。实证结果表明，我们学习的道路用户模拟模型可以实现一个显着的改善，在安全性相比，国家的最先进的模仿学习和纯粹的控制为基础的方法，而类似于人类代理的专家数据的误差较小。此外，我们学习的反应代理被证明可以更好地概括看不见的交通状况，并对其他道路使用者做出更好的反应，因此可以帮助务实地理解具有挑战性的规划问题。
2021-09-14 cs.AI cs.LG cs.MA
Finding Coordinated Paths for Multiple Holonomic Agents in 2-d Polygonal Environment
FEL, CTU in Prague（布拉格捷克理工大学电气工程学院）
避免冲突是自治移动代理系统的重要任务之一。我们专注于问题的连续协调路径的多个移动磁盘代理在2-D环境中的多边形障碍。该问题是PSPACE困难的，状态空间随着代理数量呈指数级增长。因此，现有技术的方法主要包括反应式技术和基于采样的迭代算法。我们比较了广泛使用的反应方法ORCA的性能与三种变体的流行的规划算法RRT* 应用于多智能体路径规划，并发现一种算法相结合的反应碰撞避免和RRT* 规划，我们称之为ORCA-RRT* 可以用来解决的情况下，是达到的技术。我们的实验表明：1）该算法的反应部分可以有效地解决许多涉及大量代理的多代理路径查找问题，RRT* 算法通常无法在有限的时间内找到解决方案，以及2）该算法的规划组件能够解决许多包含局部最小值的实例，其中反应技术通常失败。
2014-02-14 cs.AI cs.RO
$π\mathbf{R}^2$: Reactive Real-time Flow Policies
Carnegie Mellon University（卡内基梅隆大学）
研究通用操作策略反应性和实时性问题，提出$\pi\mathbf{R}^2$方法，将条件分快速和慢速通道，采用延迟自适应流调度，能在保留大型主干等的同时，让策略实时反应并提高成功率。
2026-07-29 cs.AI cs.LG cs.RO
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute（伍斯特理工学院）
在马尔可夫决策过程（MDP）的层次规划中，时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中，我们提出了一种新的方法，组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合，我们介绍了一种基于广义逻辑组合的策略组合：给定子任务的子策略和一个新的任务表示为子任务的逻辑组合，一个半最优的策略，这是最优的规划与只有子策略，可以通过简单地组合子策略。因此，一个综合算法的开发，以计算最优策略有效地规划与原始行动，子任务的政策，和子政策的组成，以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
Language Models For Generalised PDDL Planning: Synthesising Sound and Programmatic Policies
本研究提出利用语言模型生成Python程序作为广义策略，用于解决PDDL规划问题，并证明策略可靠性，实验显示LMPlan在固定资源下优于传统规划器，且发现LM在无意义符号上规划更有效，挑战了语义推理假设。
2025-08-25 cs.AI
General Policies, Serializations, and Planning Width
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究院）
已经观察到，在许多基准规划域中，原子目标可以通过简单的多项式探索过程（称为IW）来达到，该过程在问题宽度中以时间指数运行。这样的问题确实有一个有界的宽度：一个不随问题变量的数量而增长的宽度，通常不超过2。然而，虽然宽度的概念已经成为最先进的规划算法（如BFWS）的一部分，但仍然没有很好的解释为什么这么多基准域具有有限的宽度。在这项工作中，我们解决这个问题，通过将有界宽度和序列化宽度与广义规划的思想联系起来，其中一般政策的目标是同时解决规划问题的多个实例。我们表明，有界宽度是一个属性的规划域，承认最佳的一般政策，明确或隐含地表示在域编码的功能。结果被扩展到更大的一类域有界序列化宽度的一般政策不一定是最优的。这项研究还导致了一个新的简单的，有意义的，和表现力的语言指定域序列化的形式，政策草图，可用于编码域控制知识的手或学习它的痕迹。草图的使用和理论结果的意义都说明了通过一些例子。
2020-12-23 cs.AI
A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning
German Aerospace Center (DLR)（德国航空航天中心）
研究如何生成适应变化的机器人操作策略，基于策略融合与不确定性量化提出上下文自适应框架，用LfD获取策略并结合MoE提升鲁棒性，在多种场景下评估该方法。
2026-07-29 cs.AI cs.LG cs.RO
Deep Reactive Planning in Dynamic Environments
Mitsubishi Electric（三菱电机）；MERL（三菱电机研究实验室）；Tokyo Institute of Technology（东京工业大学）；AIST（产业技术综合研究所）
所提出的方法的主要新颖之处在于，它允许机器人学习端到端的策略，该策略可以适应执行过程中环境的变化。虽然在RL文献中已经研究了策略的目标调节，但这种方法不容易扩展到机器人的目标在执行过程中可能发生变化的情况。这是人类自然能够做到的。然而，机器人很难学习这样的反射（即，自然地响应动态环境），尤其是当目标位置没有明确地提供给机器人，而是需要通过视觉传感器感知时。在目前的工作中，我们提出了一种方法，可以通过将传统的运动学规划，深度学习和深度强化学习以协同方式结合起来来实现这种行为，以推广到任意环境。我们证明了所提出的方法，在模拟中达到和拾取和放置任务，以及在一个真实的系统的6自由度工业机械手。可以在\url{https://youtu.be/hE-Ew59GRPQ}找到描述我们工作的视频。
2020-11-05 cs.AI cs.LG cs.RO
Imitation Learning of Factored Multi-agent Reactive Models
我们将深度生成建模的最新进展应用于生物制剂的模仿学习任务。具体来说，我们将变分递归神经网络模型的变体应用于多代理设置，在该设置中，我们根据个体不协调代理的感知输入和隐藏的信念状态来学习个体不协调代理的策略。我们直接从观测数据中学习这些代理的随机策略，而不构建奖励函数。与策略联合学习的推理网络允许在给定其当前感知输入序列和其执行的先前动作的情况下对代理的信念状态进行有效推理，这使我们能够将观察到的行为序列外推到未来，同时保持对未来轨迹的不确定性估计。我们在2D环境中相互作用的苍蝇数据集上测试了我们的方法，在那里我们展示了比现有方法更好的预测性能，这些方法使用递归神经网络学习确定性策略。我们进一步表明，我们获得的未来轨迹的不确定性估计是很好的校准，这使得他们有用的各种下游处理任务。
2020-06-30 cs.AI cs.LG cs.MA
Learning Neural Search Policies for Classical Planning
Imperial College London（帝国理工学院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
启发式前向搜索是目前经典规划中的主导范式。前向搜索算法通常依赖于最佳优先搜索的单个相对简单的变化，并且在解决规划问题的整个过程中保持固定。现有的工作结合多种搜索技术通常旨在支持最佳优先搜索与额外的探索机制，触发使用手工制作的标准。一个值得注意的例外是最近的工作，它结合了各种搜索技术，使用可训练的政策。然而，它局限于一个离散的动作空间，包括几个固定的子程序。在本文中，我们介绍了一个参数化的搜索算法模板，它结合了各种搜索技术在一个单一的例程。模板的参数空间定义了搜索算法的无限空间，包括BFS、局部和随机搜索等。我们还介绍了一个神经架构指定的搜索参数的值给定的搜索状态。这使得能够表达神经搜索策略，这些策略随着搜索的进行而改变参数的值。该策略可以自动学习，目标是在给定的规划问题分布上最大化规划者的性能。我们考虑一个训练设置的基础上称为交叉熵方法（CEM）的随机优化算法。我们的方法的实验评估表明，它是能够找到有效的分布特定的搜索策略，优于相关的基线。
2019-11-27 cs.AI
PG3: Policy-Guided Planning for Generalized Policy Generation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
经典规划的一个长期目标是综合政策，从同一个领域的多个问题的概括。在这项工作中，我们研究了广义的策略搜索为基础的方法，重点是得分函数用于指导搜索的政策。我们证明了两个得分函数的局限性，并提出了一种新的方法，克服了这些局限性。我们的方法，政策指导规划广义政策生成（PG3）背后的主要思想是，候选政策应用于指导规划的培训问题作为评估该候选人的机制。在一个简化的设置的理论结果给出的条件下，PG 3是最佳的或容许的。然后，我们研究了一个具体的实例，规划问题是基于PDDL和政策的政策，解除决策列表的政策搜索。在六个领域的实证结果证实，PG3学习广义政策更有效，更有效地比几个基线。代码：https://github.com/ryangpeixu/pg3
2022-04-21 cs.AI
ComfyMind: Toward General-Purpose Generation via Tree-Based Planning and Reactive Feedback
HKUST(GZ)（香港理工大学）
ComfyMind基于ComfyUI，通过语义工作流接口和搜索树规划与反馈机制，提升通用生成任务的稳定性与灵活性，在多个基准上优于开源基线并媲美GPT-Image-1。
2025-05-23 cs.AI cs.CV
EmboTeam: Asymmetric State Grounding for Heterogeneous Multi-Robot Collaboration
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
EmboTeam通过PDDL将LLM推理转化为反应式行为树，提升多机器人协作任务的成功率和目标回忆率
2026-11-06 cs.AI cs.CV cs.LG
Symmetries and Expressive Requirements for Learning General Policies
Linköping University（林雪平大学）；RWTH Aachen University（亚琛工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究探讨了规划和通用规划中的状态对称性检测问题，通过将状态映射为图并运用同构与着色算法，评估了不同规划域中学习通用策略的表达要求，发现对称性检测能提升学习效果，而未能检测非对称性则阻碍策略学习。
2024-09-24 cs.AI
Improving width-based planning with compact policies
Grupo Oesía（奥西亚集团）；Universitat Pompeu Fabra（庞培法布拉大学）
决策问题中的最优行动选择的特点是稀疏，延迟奖励仍然是一个开放的挑战。对于这些问题，目前的深度强化学习方法需要大量的数据来学习达到人类水平性能的控制器。在这项工作中，我们提出了一种方法，交错规划和学习来解决这个问题。规划步骤取决于迭代宽度（IW）规划器，这是一种最先进的规划器，它明确使用状态表示来执行结构化探索。IW能够独立于状态空间的大小来扩展问题。从IW访问的状态动作，学习步骤估计一个紧凑的政策，这反过来又被用来指导规划步骤。我们的方法使用的探索类型与RL中使用的标准随机探索完全不同。我们在简单的问题中评估了我们的方法，在这些问题中，我们证明了它比最先进的强化学习算法A2C和Alpha Zero具有更优越的性能。最后，我们提出了初步的结果，在一个子集的雅达利游戏套件。
2018-06-15 cs.AI
Learning General Policies from Small Examples Without Supervision
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚高等研究院）
广义规划涉及到一次解决规划域的多个实例的一般策略的计算。最近已经表明，这些政策可以计算在两个步骤：首先，一个适当的抽象的形式的定性数值规划问题（QNP）是从样本计划学习，然后从学习QNP使用规划器获得的一般政策。在这项工作中，我们引入了一种替代方法来计算更有表现力的一般政策，不需要样本计划或QNP规划。新的公式非常简单，可以用机器学习中更标准的术语来描述：使用通用语法从规划示例中的谓词定义一个大但有限的特征池，并寻找一个小的特征子集来区分“好”和“坏”状态转换，以及目标和非目标。找到这样的“分离表面”同时将过渡标记为“好”或“坏”的问题被共同解决为单个组合优化问题，表示为加权Max-SAT问题。在给定的特征空间中寻找最简单的策略来解决给定的示例（可能是非最优的）的优点是，许多领域没有最优的通用紧凑策略。该方法产生了一些基准域的一般政策。
2021-02-17 cs.AI
Planning with Goal-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
规划方法可以通过组合简单的行为来解决时间扩展的序列决策问题。然而，规划需要对状态和转换进行适当的抽象，这通常需要手工设计。相比之下，无模型强化学习（RL）可以直接从低级别输入中获取行为，但通常难以处理时间扩展的任务。我们能否利用强化学习来自动形成规划所需的抽象，从而获得两种方法的最佳效果？我们表明，学习RL的目标条件的政策可以纳入规划，使规划者可以专注于达到哪些状态，而不是如何达到这些状态。然而，对于复杂的状态观测（如图像），并非所有输入都表示有效状态。因此，我们还建议使用一个潜在的变量模型来competently表示一组有效的状态的规划，使政策提供了一个抽象的行动，和潜在的变量模型提供了一个抽象的状态。我们将我们的方法与基于规划和无模型的方法进行比较，发现我们的方法在基于图像的机器人导航和操作任务（需要非贪婪的多阶段行为）上进行评估时，显着优于先前的工作。
2019-11-19 cs.AI cs.LG cs.RO
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Autonomous Reactive Mission Scheduling and Task-Path Planning Architecture for Autonomous Underwater Vehicle
Flinders University of South Australia（南澳大利亚弗林德斯大学）
自主水下航行器（AUV）需要在有限的时间内完成复杂的任务。由于现有的AUV电池容量和续航能力有限，它们应该自主管理任务时间和资源，以便在更长的任务中执行有效的持续部署。任务分配需要根据资源约束做出决策，而任务分配的成本和/或价值是预先预算的。任务分布在一个特定的操作区，并通过一个航路点覆盖的网络映射。因此，设计一个有效的路由任务优先级分配框架，考虑车辆的可用性和属性是必要的，以提高任务的生产率和按时完成任务。这在很大程度上取决于任务的顺序和优先级，这些任务位于操作网络中的节点状航路点之间。另一方面，AUV在不熟悉的水下动态环境中自主操作并对突发环境变化做出快速响应是一个复杂的过程。水流的不稳定性会使潜水器偏转到不希望的方向，并干扰AUV的安全。车辆对强烈环境变化的鲁棒性对于其在不确定和动态环境中的安全和最佳操作至关重要。为此，AUV需要在顶层对环境进行总体概述，以执行自主动作选择（任务选择）和较低级别的本地运动规划器，以成功地处理不断变化的情况。本研究涉及开发一种新的反应控制体系结构，提供了更高层次的决策自主权的AUV操作，使一个单一的车辆，以完成多个任务，在一个单一的任务，面对周期性的干扰，在动荡和高度不确定的环境。
2017-06-13 cs.AI cs.RO
General Policies, Subgoal Structure, and Planning Width
Universitat Pompeu Fabra（庞培法布拉大学）；RWTH Aachen University（亚琛工业大学）；Linköping University（林雪平大学）
该研究关联有界规划宽度与通用最优策略的存在性，提出序列化及序列化宽度概念以拓展适用场景，并结合二者得到可紧凑表示序列化的梗概语言，为多项式时间求解相关规划问题提供理论与方法支撑。
2023-11-09 cs.AI
Efficient Lookahead Encoding and Abstracted Width for Learning General Policies in Classical Planning
RWTH Aachen University（亚琛RWTH大学）；Linköping University（林雪平大学）
本文提出了一种高效的方法，通过整体编码和抽象宽度来提升经典规划中学习通用策略的效率和可扩展性，解决了传统方法在计算成本和表达能力上的限制。
2026-05-18 cs.AI
Grounding Vision and Language to 3D Masks for Long-Horizon Box Rearrangement
本文提出RAMP-3D模型，通过3D遮罩的序列预测实现长周期3D箱子整理任务，优于2D VLM基线，证明基于遮罩的反应策略在长周期规划中的潜力。
2026-03-24 cs.AI cs.RO
Imitating Graph-Based Planning with Goal-Conditioned Policies
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
最近，基于图的规划算法得到了很多关注，以解决目标条件强化学习（RL）的任务：他们提供了一系列的子目标，以达到目标的目标，和代理学习执行子目标条件的政策。然而，这种RL方案的样本效率仍然是一个挑战，特别是对于长期任务。为了解决这个问题，我们提出了一个简单而有效的自我模仿计划，蒸馏子目标的条件下的政策目标目标的条件下的政策。我们在这里的直觉是，为了达到目标-目标，智能体应该通过子目标，因此目标-目标和子目标条件策略应该彼此相似。我们还提出了一种新的计划，在计划的路径，进一步提高性能的随机跳过执行的子目标。与只在执行阶段利用基于图的规划的现有方法不同，我们的方法将知识从规划器与图一起转移到策略学习中。我们的经验表明，我们的方法可以显着提高现有的目标条件强化学习方法在各种长期控制任务下的样本效率。
2023-03-20 cs.AI cs.LG
WARPD: World model Assisted Reactive Policy Diffusion
University of Southern California（南加州大学）；Google（谷歌）；Intrinsic LLC（Intrinsic 公司）
WARPD通过直接生成闭环策略，提高了机器人任务中长动作时间跨度和鲁棒性的性能，同时显著降低了推理成本。
2025-12-12 cs.AI cs.LG cs.RO
Code to Control: Synthesizing Parameterized Reactive Controllers
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Florida Institute for Human and Machine Cognition（佛罗里达人类与机器认知研究所）
提出Code to Control方法，通过LLM合成控制器结构、无导数搜索调参，生成无需推理或规划的Python策略，在Atari、Flappy Bird和MuJoCo任务中优于规划式程序合成，媲美深度强化学习且更高效。
2026-10-01 cs.AI cs.LG
Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院）
针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题，提出质量多样性框架，通过进化策略模板构建多样化策略库，实现自适应规划与故障恢复，在ThreeDWorld基准上提升了任务成功率与交互效率。
2026-08-11 cs.AI
Towards Reliable Code-as-Policies: A Neuro-Symbolic Framework for Embodied Task Planning
Sungkyunkwan University（成均馆大学）
提出神经符号框架，在代码生成中集成符号验证与交互验证，提升动态部分可观测环境下的具身任务规划可靠性，成功率较基线提高46.2%。
2025-10-24 cs.AI cs.RO
Safe Motion Planning in Unknown Environments: Optimality Benchmarks and Tractable Policies
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本文解决了规划一个安全的问题（即，无碰撞）轨迹，例如，通过视线感知。尽管它的普遍存在的性质，这种制定运动规划已收到相对较少的理论研究，而不是设置的环境是假定已知的。一个根本的挑战是，与具有已知障碍的运动规划不同，甚至不清楚要争取的最优策略是什么。我们的贡献是三方面的。首先，我们提出了一个概念的安全规划在未知的环境中的比较（而不是竞争）分析的精神，最优性，以获得一个基准，至少在概念上，可实现的目标。其次，通过利用这个理论基准，我们得到了一个伪最优类的政策，可以无缝地结合任何数量的先验或学习的信息，同时仍然保证机器人永远不会碰撞。最后，我们证明了我们的算法方法的实用性，在数值实验中使用一系列的环境类型和动态，包括与最先进的方法进行比较。我们的框架的一个关键方面是，它自动和隐含地权衡探索与开发的方式是最佳的信息。
2018-04-16 cs.AI cs.RO
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
ActionEngine: From Reactive to Programmatic Web Agents via State Machine Memory
Microsoft Research（微软研究院）
ActionEngine通过状态机内存实现从响应式到程序化GUI代理的转变，提升效率和准确性，减少成本和延迟。
2026-09-29 cs.AI cs.LG
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich（慕尼黑大学）；MaibornWolff（迈博尔夫公司）
多智能体系统（MAS）中的决策是一个巨大的挑战，由于巨大的状态和联合行动空间以及不确定性，使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性，但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题，在复杂环境中会导致不稳定和不协调的行为。在本文中，我们提出了强紧急政策近似（STEP），一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此，我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合，只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间，并表明，STEP是能够学习更强的政策比标准的多智能体强化学习算法，结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中，以进一步提高性能。
2019-01-25 cs.AI cs.MA
Towards "AlphaChem": Chemical Synthesis Planning with Tree Search and Deep Neural Network Policies
Westfälische Wilhelms-Universität Münster（明斯特大学）；Shanghai University（上海大学）
逆合成是一种规划有机分子的化学合成的技术，例如药物、农用化学品和精细化学品。在逆合成中，通过递归地分析分子并将其分解成更简单的分子构建块来构建搜索树，直到获得一组已知的构建块。搜索空间大得难以处理，并且难以确定逆合成位置的值。在这里，我们建议将逆合成建模为马尔可夫决策过程。结合从基本上完整的化学出版知识中学习的深度神经网络策略，可以使用蒙特卡罗树搜索（MCTS）来评估位置。在探索性研究中，我们证明了MCTS与神经网络政策优于传统上使用的最佳优先搜索与手工编码的算法。
2017-01-31 cs.AI cs.LG physics.chem-ph
VAMPS: Visual and Motor Policies from Sampling-Based Planning
LAAS-CNRS, Université de Toulouse, CNRS（LAAS-CNRS，图卢兹大学，法国国家科学研究中心）；Machines in Motion Laboratory, New York University（纽约大学运动机器实验室）；Industrial Engineering Department, University of Trento（特伦托大学工业工程系）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所（ANITI））
VAMPS利用MPPI控制，无需人工演示即可在仿真或真实数据上训练可复用机器人策略，支持运动与视觉运动任务，并成功迁移到硬件。
2026-10-06 cs.AI cs.LG cs.RO
Anytime Integrated Task and Motion Policies for Stochastic Environments
Arizona State University（亚利桑那州立大学）
为了解决复杂、长时间任务，智能机器人需要结合运动规划进行高层次、抽象的规划与推理。然而，抽象模型通常是有损的，并且使用它们计算的计划或策略可能无法执行。这些问题在机器人需要推理和计划多个意外事件的随机情况下会加剧。我们提出了一种新的方法，在随机设置的集成任务和运动规划。在这个方向上的先前工作相比，我们表明，我们的方法可以有效地计算综合任务和运动策略，其分支结构编码代理行为处理多个执行时的突发事件。我们证明了我们的算法是概率上完整的，可以计算可行的解决方案的政策，在任何时候的方式，使遇到一个未解决的意外事件的概率随着时间的推移而下降。一组具有挑战性的问题的实证结果表明，我们的方法的实用性和范围。
2020-05-29 cs.AI cs.RO
An Anytime Hierarchical Approach for Stochastic Task and Motion Planning
Arizona State University（亚利桑那州立大学）
为了解决复杂的、长时间的任务，智能机器人需要结合运动规划进行高层次的、抽象的规划与推理。然而，抽象模型通常是有损的，并且使用它们计算的计划或策略可能无法执行。这些问题在机器人需要推理和计划多个意外事件的随机情况下会加剧。我们提出了一种新的方法，在随机设置的集成任务和运动规划。在这个方向的先前工作相比，我们表明，我们的方法可以有效地计算集成的任务和运动策略，其分支结构编码代理的行为，处理多个执行时间的突发事件。我们证明了我们的算法是概率上完整的，可以计算可行的解决方案的政策，在任何时候的方式，使遇到一个未解决的意外事件的概率随着时间的推移而下降。一组具有挑战性的问题的实证结果表明，我们的方法的实用性和范围。
2022-05-26 cs.AI cs.RO
Model-Based Offline Planning
Google Research（谷歌研究院）
离线学习是使强化学习（RL）在真实系统中可用的关键部分。离线RL着眼于这样的场景，即有来自系统操作的数据，但在学习策略时没有对系统的直接存取。最近从离线数据中训练RL策略的工作已经显示了直接从数据中学习的无模型策略，或者在学习的数据模型之上进行规划的结果。无模型策略往往更有性能，但更不透明，更难从外部指挥，也更不容易集成到更大的系统中。我们提出了一个离线学习器，生成一个模型，可用于控制系统直接通过规划。这使我们能够直接从数据中轻松控制策略，而无需与系统交互。我们展示了我们的算法，基于模型的离线规划（MBOP）的一系列机器人启发的任务的性能，并展示了它的能力，利用规划尊重环境约束。我们能够找到接近最优的政策，某些模拟系统，从短短的50秒的实时系统交互，并创建zero-shot目标条件下的政策在一系列的环境。一个附带的视频可以在这里找到：https://youtu.be/nxGGHdZOFts
2021-03-17 cs.AI cs.LG cs.RO
Action Schema Networks: Generalised Policies with Deep Learning
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织 Data61）；Data to Decisions CRC（数据决策合作研究中心）
在本文中，我们介绍了行动模式网络（ASNet）：一个神经网络架构的概率规划问题的学习广义政策。通过模仿规划问题的关系结构，ASNet能够采用权重共享方案，该方案允许网络应用于给定规划域的任何问题。这使得训练网络的成本可以分摊到该领域的所有问题中。此外，我们还提出了一种训练方法，该方法在小问题上平衡探索和监督训练，以产生在较大问题上评估时保持稳健的策略。在实验中，我们表明，ASNet的学习能力，使其显着优于传统的非学习规划在几个具有挑战性的领域。
2017-12-22 cs.AI cs.LG
Learning Bilevel Policies over Symbolic World Models for Long-Horizon Planning
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；LAAS-CNRS（Laas--cnrs）；University of Toulouse（图卢兹大学）；RWTH Aachen University（亚琛工业大学）
本文提出了一种结合低层模仿学习和高层符号抽象的双层策略，用于解决长周期规划问题，通过BISON系统在扩展的MetaWorld基准上验证了其在处理大量物体和长周期任务上的优越性。
2026-05-18 cs.AI cs.RO
When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning
University of São Paulo（圣保罗大学）
提出PACT混合架构，结合快速反应式强化学习策略与慢速小型语言模型规划器，通过异步生成和验证候选动作计划来提升策略在陌生环境中的表现。
2026-06-16 cs.AI cs.LG
