When to Plan: Learning to Select Between Reactive Control and Deliberative Planning
研究智能体如何学习元推理能力，引入基于反应式策略不确定性得分分配计算的强化学习方法训练元推理策略，通过实证研究表明该设计能让元推理策略学会何时采用反应式策略，何时进行决策时规划，且能随反应式策略改进转向完全反应式控制。
2026-10-08 cs.AI
$π\mathbf{R}^2$: Reactive Real-time Flow Policies
Carnegie Mellon University（卡内基梅隆大学）
研究通用操作策略反应性和实时性问题，提出$\pi\mathbf{R}^2$方法，将条件分快速和慢速通道，采用延迟自适应流调度，能在保留大型主干等的同时，让策略实时反应并提高成功率。
2026-07-29 cs.AI cs.LG cs.RO
A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning
German Aerospace Center (DLR)（德国航空航天中心）
研究如何生成适应变化的机器人操作策略，基于策略融合与不确定性量化提出上下文自适应框架，用LfD获取策略并结合MoE提升鲁棒性，在多种场景下评估该方法。
2026-07-29 cs.AI cs.LG cs.RO
Imitation Learning of Factored Multi-agent Reactive Models
我们将深度生成建模的最新进展应用于生物制剂的模仿学习任务。具体来说，我们将变分递归神经网络模型的变体应用于多代理设置，在该设置中，我们根据个体不协调代理的感知输入和隐藏的信念状态来学习个体不协调代理的策略。我们直接从观测数据中学习这些代理的随机策略，而不构建奖励函数。与策略联合学习的推理网络允许在给定其当前感知输入序列和其执行的先前动作的情况下对代理的信念状态进行有效推理，这使我们能够将观察到的行为序列外推到未来，同时保持对未来轨迹的不确定性估计。我们在2D环境中相互作用的苍蝇数据集上测试了我们的方法，在那里我们展示了比现有方法更好的预测性能，这些方法使用递归神经网络学习确定性策略。我们进一步表明，我们获得的未来轨迹的不确定性估计是很好的校准，这使得他们有用的各种下游处理任务。
2020-06-30 cs.AI cs.LG cs.MA
WARPD: World model Assisted Reactive Policy Diffusion
University of Southern California（南加州大学）；Google（谷歌）；Intrinsic LLC（Intrinsic 公司）
WARPD通过直接生成闭环策略，提高了机器人任务中长动作时间跨度和鲁棒性的性能，同时显著降低了推理成本。
2025-12-12 cs.AI cs.LG cs.RO
Towards Abstraction in ASP with an Application on Reasoning about Agent Policies
TU Wien（维也纳工业大学）
ASP程序是解决问题的方便工具，而对于大型问题实例，状态空间的大小可能会令人望而却步。我们认为抽象作为一种手段的过度近似，并介绍了一种方法来自动抽象（可能是非地面）ASP程序，保留其结构，同时减少问题的大小。一个特定的应用程序的情况下，定义声明性的政策反应式代理和推理的问题，我们举例说明。
2018-09-18 cs.AI cs.LO
When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning
University of São Paulo（圣保罗大学）
提出PACT混合架构，结合快速反应式强化学习策略与慢速小型语言模型规划器，通过异步生成和验证候选动作计划来提升策略在陌生环境中的表现。
2026-06-16 cs.AI cs.LG
PG3: Policy-Guided Planning for Generalized Policy Generation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
经典规划的一个长期目标是综合政策，从同一个领域的多个问题的概括。在这项工作中，我们研究了广义的策略搜索为基础的方法，重点是得分函数用于指导搜索的政策。我们证明了两个得分函数的局限性，并提出了一种新的方法，克服了这些局限性。我们的方法，政策指导规划广义政策生成（PG3）背后的主要思想是，候选政策应用于指导规划的培训问题作为评估该候选人的机制。在一个简化的设置的理论结果给出的条件下，PG 3是最佳的或容许的。然后，我们研究了一个具体的实例，规划问题是基于PDDL和政策的政策，解除决策列表的政策搜索。在六个领域的实证结果证实，PG3学习广义政策更有效，更有效地比几个基线。代码：https://github.com/ryangpeixu/pg3
2022-04-21 cs.AI
Learning Generalized Policies for Fully Observable Non-Deterministic Planning Domains
RWTH Aachen University（亚琛工业大学）
该研究将经典域的广义策略学习方法拓展至完全可观测非确定性（FOND）域，在多个基准域验证了方法有效性，提出了一种在特征定义的抽象空间中搜索解的替代型FOND规划方法。
2024-05-13 cs.AI cs.LG
GPG: Generalized Policy Gradient Theorem for Transformer-based Policies
本文提出基于Transformer策略的广义策略梯度定理，揭示了标准策略梯度定理和GRPO的特殊案例，并探讨了其在训练大型语言模型中的应用。
2025-12-11 cs.AI cs.CL cs.LG
Features, Projections, and Representation Change for Generalized Planning
Universidad Simón Bolívar（西蒙·玻利瓦尔大学）；ICREA（加泰罗尼亚研究与高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
广义规划涉及的是一次解决多个实例的规划的表征和计算。在标准公式中，广义计划是从特征或观察历史到动作的映射，假设实例共享一个公共的特征和动作池。然而，这个假设排除了标准的关系规划域，在这些域中，操作和对象在实例之间发生变化。在这项工作中，我们扩展了广义规划的标准制定这样的域。这是通过将动作投影到特征上来实现的，从而产生一组通用的抽象动作，这些抽象动作可以被测试是否正确和完整，并且可以用于生成通用策略，例如“如果夹具是空的，则拾取x上方的透明块并将其放置在桌子上”，这些策略在任何Blocksworld实例中实现目标clear（x）。在此策略中，“pick the clear block above x”是一个抽象动作，在一种情况下可以表示动作Unstack（a，b），在另一种情况下可以表示动作Unstack（b，c）。变换也被引入到计算这样的政策，通过完全可观察的非确定性（FOND）的规划。广义表示学习一般政策的价值也进行了讨论。
2018-06-14 cs.AI
Deep Reactive Policy: Learning Reactive Manipulator Motion Planning for Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）
提出深度反应式策略（DRP），一种基于点云输入、以预训练Transformer策略IMPACT为核心的视觉-运动神经策略，结合师生微调与DCP-RMP动态目标提议，在动态杂乱环境中实现高成功率反应式运动规划。
2025-09-08 cs.AI cs.CV cs.LG
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute（伍斯特理工学院）
在马尔可夫决策过程（MDP）的层次规划中，时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中，我们提出了一种新的方法，组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合，我们介绍了一种基于广义逻辑组合的策略组合：给定子任务的子策略和一个新的任务表示为子任务的逻辑组合，一个半最优的策略，这是最优的规划与只有子策略，可以通过简单地组合子策略。因此，一个综合算法的开发，以计算最优策略有效地规划与原始行动，子任务的政策，和子政策的组成，以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
Research Vision: Multi-Agent Path Planning for Cops And Robbers Via Reactive Synthesis
Columbia University（哥伦比亚大学）；IMDEA Software Institute（IMDEA软件研究所）；Barnard College（巴纳德学院）
本文利用 LTLt 与协调综合研究泛化“警察与强盗”游戏的多智能体路径规划，形式化问题空间并给出可执行策略构造思路。
2025-03-14 cs.AI cs.LO
Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL
University of Maryland（马里兰大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出一种广义对抗攻击框架，可建模攻击者对智能体的部分控制并生成更隐蔽的对抗策略，同时给出基于时间尺度分离对抗训练的可证明高效防御方法，并在Robosumo实验中验证了其隐蔽性和鲁棒性。
2024-02-20 cs.AI cs.LG
Prosocial learning agents solve generalized Stag Hunts better than selfish ones
Facebook AI Research（Facebook人工智能研究院）
深度强化学习已经成为构建能够进入复杂多智能体情况并通过经验改进其策略的智能体的重要范式。一种常用的技术是反应式训练-应用标准RL方法，同时将其他代理视为学习者环境的一部分。众所周知，在一般和游戏中，反应式训练会导致代理群体收敛到低效的结果。我们专注于这样一类环境：猎鹿游戏。在这种情况下，代理人要么选择一个有风险的合作策略（如果双方都选择它，则会导致高收益，但单独尝试它的代理人的收益较低），要么选择一个安全的策略（无论如何都会导致安全的收益）。我们问，我们如何才能改变一个单一的代理的学习规则，以改善其结果在雄鹿狩猎，包括其他反应式学习者。我们扩展了多智能体强化学习中奖励塑造的现有工作，并表明使单个智能体亲社会，也就是说，使他们关心他们的合作伙伴的奖励可以增加群体收敛到好结果的概率。因此，即使我们控制了一个群体中的一个个体，让那个个体亲社会也能增加我们的个体的长期收益。我们的实验表明，这一结果结转到各种更复杂的环境与雄鹿狩猎样的动态，包括代理必须从原始输入像素学习。
2017-12-08 cs.AI cs.GT
Code to Control: Synthesizing Parameterized Reactive Controllers
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Florida Institute for Human and Machine Cognition（佛罗里达人类与机器认知研究所）
提出Code to Control方法，通过LLM合成控制器结构、无导数搜索调参，生成无需推理或规划的Python策略，在Atari、Flappy Bird和MuJoCo任务中优于规划式程序合成，媲美深度强化学习且更高效。
2026-10-01 cs.AI cs.LG
Symbolic Network: Generalized Neural Policies for Relational MDPs
Indian Institute of Technology Delhi（印度理工学院德里分校）
关系马尔可夫决策过程（Relational Markov Decision Process，RMDP）是一种一阶表示方法，用于表示单个概率规划域的所有实例，其中对象的数量可能是无限的。RMDPs的早期工作输出了广义（独立于实例）的一阶策略或价值函数，作为一种同时解决域的所有实例的方法。不幸的是，由于在这些策略或价值函数中使用的表示空间的固有限制，这类工作取得了有限的成功。神经模型是否可以通过轻松地表示更复杂的广义策略来提供缺失的环节，从而使它们对给定域的所有实例都有效？我们提出了SymNet，第一个神经方法来解决RMDPs的概率规划语言的RMDPs。SymNet使用来自域的训练实例为Rounds域训练一组共享参数。对于每个实例，SymNet首先将其转换为实例图，然后使用关系神经模型来计算节点嵌入。然后，它将每个地面动作作为一阶动作符号和与动作相关的节点嵌入的函数进行评分。给定来自同一域的新测试实例，具有预训练参数的SymNet架构会对每个地面动作进行评分并选择最佳动作。这可以在单个前向传递中完成，而无需对测试实例进行任何重新训练，从而隐式地表示整个域的神经广义策略。我们在IPPC的九个Rendezvous域上的实验表明，SymNet策略明显优于随机策略，有时甚至比从头开始训练最先进的深度反应策略更有效。
2020-06-29 cs.AI cs.LG stat.ML
SERA: Safe and Efficient Reactive Obstacle Avoidance for Collaborative Robotic Planning in Unstructured Environments
在工业4.0时代，非结构化环境中多个机器人之间的安全高效协作变得越来越重要。然而，实现人类和其他机器人之间的鲁棒和自主协作需要现代机器人系统具有有效的接近感知和反应性避障。在本文中，我们提出了一种新的方法，反应全身避障，确保无冲突的机器人，机器人之间的互动，即使在动态环境中。与现有的基于Jacobian类型、基于采样或几何技术的方法不同，我们的方法利用了最新的深度学习进展和拓扑流形学习，使其能够以高计算效率和快速图遍历技术轻松推广到其他问题设置。我们的方法允许机器人手臂在没有直接接触的情况下主动避开任意3D形状的障碍物，这是对传统工业协作机器人设置的重大改进。为了验证我们的方法，我们在一个机器人平台上实现了它，该平台由具有优化的接近传感器位置的双6自由度机械臂组成，能够在不同程度的干扰下协同工作。具体而言，一只手臂在实现其预定目标的同时执行反应性全身避障，而另一只手臂则模仿具有独立和潜在对抗性运动的人类合作者的存在。我们的方法为非静止环境中的安全人机协作提供了一个强大而有效的解决方案。
2023-03-28 cs.AI cs.RO
Generalized Beliefs for Cooperative AI
University of Oxford（牛津大学）
自我博弈是马尔可夫博弈中构造解的一种常见范式，可以在协作环境中产生最优策略。然而，这些策略通常采用高度专业化的约定，这使得与新伙伴一起玩变得困难。为了解决这个问题，最近的方法依赖于编码对称性和公约意识到政策培训，但这些需要强有力的环境假设，并可能复杂的政策培训。因此，我们建议将传统的学习转移到信念空间。具体来说，我们提出了一个信念学习模型，可以在训练时看不到的政策推出时保持信念，从而可以在测试时解码和适应新的约定。我们将展示如何利用这个模型搜索和训练的最佳对策，在各种池的政策，大大提高特设团队合作。我们还展示了我们的设置如何促进细致入微的代理约定的可解释性和可解释性。
2022-06-26 cs.AI cs.LG
Deep Reactive Planning in Dynamic Environments
Mitsubishi Electric（三菱电机）；MERL（三菱电机研究实验室）；Tokyo Institute of Technology（东京工业大学）；AIST（产业技术综合研究所）
所提出的方法的主要新颖之处在于，它允许机器人学习端到端的策略，该策略可以适应执行过程中环境的变化。虽然在RL文献中已经研究了策略的目标调节，但这种方法不容易扩展到机器人的目标在执行过程中可能发生变化的情况。这是人类自然能够做到的。然而，机器人很难学习这样的反射（即，自然地响应动态环境），尤其是当目标位置没有明确地提供给机器人，而是需要通过视觉传感器感知时。在目前的工作中，我们提出了一种方法，可以通过将传统的运动学规划，深度学习和深度强化学习以协同方式结合起来来实现这种行为，以推广到任意环境。我们证明了所提出的方法，在模拟中达到和拾取和放置任务，以及在一个真实的系统的6自由度工业机械手。可以在\url{https://youtu.be/hE-Ew59GRPQ}找到描述我们工作的视频。
2020-11-05 cs.AI cs.LG cs.RO
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection
School of Software, Beihang University（北京航空航天大学软件学院）；School of Computer Science, Peking University（北京大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Galbot（盖尔博特（Galbot））
针对闭环机器人系统难同时实现反应式与主动式开集故障检测的问题，提出Code-as-Monitor范式，将两类任务统一为时空约束满足问题，结合约束元素与VLM生成代码实现监控，在仿真与真实场景中均提升了检测成功率与效率，还可集成开环策略构建闭环系统。
2025-03-21 cs.AI cs.CV cs.LG
Learning visual policies for building 3D shape categories
Inria（法国国家信息与自动化研究所（Inria））
操纵和装配任务需要根据环境和最终目标进行非平凡的行动规划。以前在这个领域的工作通常是从已知的原语集合中组装特定的对象实例。相比之下，我们的目标是处理不同的基元集，并构建不同的对象的形状类别。给定一个类别的单个对象实例，例如拱门和二进制形状分类器，我们学习一个视觉策略来组装同一类别的其他实例。特别是，我们提出了一个拆卸过程，并学习状态策略，发现新的对象实例和他们的装配计划在状态空间。然后，我们在观察空间中渲染模拟状态，并学习热图表示来预测给定输入图像的替代动作。为了验证我们的方法，我们首先证明了它的效率，在状态空间中建立对象类别。然后，我们展示了我们的视觉政策的成功，从不同的基元建筑拱门。此外，我们证明了（i）我们的方法使用额外的原语重新组装对象的反应能力，以及（ii）我们的策略对于训练期间使用的类似构建块的不可见原语的鲁棒性能。我们的视觉装配策略是在没有真实图像的情况下训练的，在真实机器人上进行评估时，成功率高达95%。
2020-09-30 cs.AI cs.CV cs.LG
CaRL: Learning Scalable Planning Policies with Simple Rewards
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；NVIDIA Research（NVIDIA研究）
本文提出 CaRL，通过以路线完成度为核心的简单奖励设计替代复杂塑形奖励，使 PPO 能在大批量分布式训练下扩展至数亿样本，在 CARLA 和 nuPlan 自动驾驶规划基准上显著超越现有强化学习方法。
2025-08-20 cs.AI cs.LG cs.RO
Coordinated Anti-Jamming Resilience in Swarm Networks via Multi-Agent Reinforcement Learning
本文提出基于QMIX算法的多智能体强化学习框架，用于提升蜂群网络在反应式干扰下的通信韧性，通过仿真验证其在对抗环境中的有效性。
2025-12-18 cs.AI cs.DC cs.LG
General Agentic Planning Through Simulative Reasoning with World Models
Institute of Foundation Models (IFM)（基础模型研究所）；Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（南加州大学）
本文提出通过模拟推理实现通用代理规划，利用世界模型进行未来状态预测，提升决策能力，通过SiRA架构在不同任务中取得更高任务完成率。
2026-05-21 cs.AI cs.CL cs.LG
A Generalized Apprenticeship Learning Framework for Capturing Evolving Student Pedagogical Strategies
North Carolina State University（北卡罗来纳州立大学）；IBM Research（IBM研究院）
本文提出了一种通用的模仿学习框架THEMES，通过捕捉专家学生学习过程的复杂性，有效诱导教学策略，实验显示其在预测学生教学决策方面表现优异。
2026-02-24 cs.AI cs.LG
A Generalized Apprenticeship Learning Framework for Modeling Heterogeneous Student Pedagogical Strategies
North Carolina State University（北卡罗来纳州立大学）；IBM Research（IBM研究院）
针对智能辅导系统中异构教学策略建模难题，提出通用学徒学习框架EM-EDM，通过处理连续状态空间与异构奖励函数，在极少演示下有效诱导教学策略，性能优于AL与DRL基线。
2024-06-04 cs.AI cs.LG
Generalized Planning: Non-Deterministic Abstractions and Trajectory Constraints
Univ. Simón Bolívar（西蒙玻利瓦尔大学）；Sapienza Univ. Roma（罗马大学）；ICREA（加泰罗尼亚研究与高级研究学院）；Univ. Pompeu Fabra（庞培法布拉大学）；Univ. Federico II（费德里科二世大学）
我们研究的特点和计算的一般政策的家庭的问题，共享一个共同的减少到一个单一的抽象问题的结构特征。解决抽象问题P的策略$μ$已经被证明可以解决所有简化为P的问题Q，只要$μ$终止于Q。在这项工作中，我们阐明了为什么需要这种终止条件以及如何删除它。关键的观察是，抽象问题P捕捉到了具体问题Q中的局部（马尔可夫）公共结构，但忽略了全局的公共结构。我们展示了如何通过轨迹约束，在许多情况下可以表示为LTL公式，从而减少广义规划LTL合成这样的全球结构可以被捕获。此外，对于涉及可以增加或减少的整数变量的广泛类别的问题，轨迹约束可以被编译掉，将广义规划减少为完全可观察的非确定性规划。
2019-09-26 cs.AI cs.LO
Generalized Multi-Objective Reinforcement Learning with Envelope Updates in URLLC-enabled Vehicular Networks
Department of Electrical Engineering and Computer Science, York University（电气工程与计算机科学系，约克大学）
针对支持URLLC的多频段车载网络，提出带凸包络更新的广义MORL框架，联合优化网络选择与驾驶策略，可适配任意目标偏好，实现安全驾驶与通信性能的协同提升。
2025-06-14 cs.AI cs.LG cs.NI
Modular Neural Network Policies for Learning In-Flight Object Catching with a Robot Hand-Arm System
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
提出模块化神经网络框架，结合监督学习与深度强化学习，使机器人手-臂系统实现高成功率、鲁棒的飞行中物体抓取，并泛化到未见过的家用物体。
2023-12-21 cs.AI cs.LG cs.RO
Learning Robust Policies for Generalized Debris Capture with an Automated Tether-Net System
University at Buffalo（布法罗大学）
从追踪航天器发射的绳网为捕获和处置在轨大型空间碎片提供了一种很有前途的方法。该绳网系统在感测和致动方面受到影响其网发射和关闭控制的性能的若干不确定性来源。然而，早期的基于可靠性的优化方法来设计控制行动仍然具有挑战性和计算禁止概括不同的发射方案和目标（碎片）状态相对于追逐。为了寻找一个通用的和可靠的控制策略，本文提出了一种强化学习框架，集成了近端策略优化（PPO 2）的方法与网络动态模拟。后者允许评估基于网络的目标捕获的情节，并估计捕获质量指数，作为对PPO 2的奖励反馈。在这里，学习策略被设计为在任何给定的发射场景下，基于移动网和目标的状态来对收网动作的时机进行建模。为了在状态估计和发射激励中考虑合成不确定性，考虑了一种随机状态转换模型。除了在训练过程中显著的奖励改进外，经过训练的策略还展示了捕获性能（在广泛的发射/目标场景中），该性能接近于在单个场景中运行的基于可靠性的优化所获得的性能。
2022-01-11 cs.AI cs.LG cs.RO
