Planning with State Abstractions for Non-Markovian Task Specifications
Brown University（布朗大学）
通常，我们使用也可以跨越不同抽象级别的时态语言为机器人指定任务。示例命令"go to the kitchen before going to second floor“包含空间抽象，因为”floor“由单独的房间组成，这些房间也可以单独引用（例如“kitchen”）。还有一个时间顺序的事件，定义为“之前”一词。以前的工作已经使用线性时态逻辑（LTL）来解释时间语言（如“之前”），和抽象马尔可夫决策过程（AMDPs）解释层次抽象（如“厨房”和“二楼”），分别。为了同时处理这两种类型的命令，我们引入了抽象产品马尔可夫决策过程（AP-MDP），这是一种能够在不同抽象层次上表示非马尔可夫奖励函数的新方法。AP-MDP框架将LTL转换为相应的自动机，创建LTL规范和环境MDP的产品马尔可夫决策过程（MDP），并将问题分解为子问题，以实现具有抽象的有效规划。在超过95%的任务中，AP-MDP比解决LTL问题的非分层方法执行得更快，并且这个数字只会随着环境域的大小增加而增加。我们还提出了一个神经序列到序列模型训练语言命令翻译成LTL表达，和一个新的语料库的非马尔可夫语言命令跨越不同层次的抽象。我们测试我们的框架与收集的语言命令在无人机上，证明我们的方法使机器人能够有效地解决时间命令在不同的抽象层次。
2019-05-28 cs.AI cs.RO
Accelerated Labeling of Discrete Abstractions for Autonomous Driving Subject to LTL Specifications
Samsung Smart Machines（三星智能机器）；Advanced Technology Group（先进技术集团）
线性时序逻辑和基于自动机的运行时验证为自主智能体的任务和运动规划算法的设计提供了一个强大的框架。这种方法的缺点是对连续动态系统的高分辨率离散抽象进行操作的计算成本。特别是，出现的计算瓶颈是将感知的环境变量转换为Kripke结构状态的标记函数或类似的标记转换系统的转换。本文提出了一种方法来构建的标签功能，暴露了很大程度的并行操作，以及高效的内存访问模式的设计和实证评估。该方法在商品GPU上实现，实验结果证明了标记技术用于实时规划和决策的有效性。
2018-11-01 cs.AI
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；KAIST Graduate School of AI（韩国科学技术院人工智能学院）
元规划，或从经验中学习指导规划，是一种有前途的方法，以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到，（1）施加约束可以诱导特定于上下文的独立性，使域的某些方面不相关，（2）代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程（CAMP），一个抽象的因素MDP，提供有效的规划。然后，我们描述了如何学习约束，使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者，包括机器人在可移动障碍物之间的导航（NAMO），机器人任务和顺序操作的运动规划，以及经典规划。我们发现，使用学习过的CAMP进行规划，可以始终优于基线，包括Stilman的NAMO特定算法。视频：https://youtu.be/wTXt6djcAd4代码：https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Constructing Abstraction Hierarchies Using a Skill-Symbol Loop
Duke University（杜克大学）
我们描述了一个框架，用于建立抽象层次结构，使代理交替的技能和代表收购阶段，以构建一个越来越抽象的马尔可夫决策过程的序列。我们的配方建立在最近的结果表明，适当的抽象表示的问题是由代理人的技能。我们描述了这样的层次结构可以用于快速规划，并说明了一个适当的层次结构的出租车域的建设。
2015-09-25 cs.AI
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU（澳大利亚国立大学计算机科学研究学院）；Google DeepMind（谷歌DeepMind）
一般强化学习（GRL）领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”，它永远不会重复。一方面，这种通用性允许GRL对几乎所有可能的领域进行建模，例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面，在一般情况下，在GRL的近最优策略是完整的历史，这不仅阻碍了学习，而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此，它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合（ESA）框架已经将这一想法扩展到非马尔可夫抽象，而不影响通过（代理）MDP进行规划的可能性。ESA的一个显著特征是，它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界（其中$A$是动作数，$γ$是折扣因子，$\varepsilon$是最优间隙），其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的，我们表明，这个约束是非常松散的。我们提出了一种新的非MDP抽象，它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外，我们表明，这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
In-Context Planning with Latent Temporal Abstractions
Vanderbilt University（范德比大学）；William & Mary（威廉与玛丽学院）
I-TAP通过学习离散时间抽象空间，实现高效且鲁棒的上下文规划，在部分可观测和随机动态环境中表现优异。
2026-02-21 cs.AI cs.LG
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）；McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示，通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Planning with Goal-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
规划方法可以通过组合简单的行为来解决时间扩展的序列决策问题。然而，规划需要对状态和转换进行适当的抽象，这通常需要手工设计。相比之下，无模型强化学习（RL）可以直接从低级别输入中获取行为，但通常难以处理时间扩展的任务。我们能否利用强化学习来自动形成规划所需的抽象，从而获得两种方法的最佳效果？我们表明，学习RL的目标条件的政策可以纳入规划，使规划者可以专注于达到哪些状态，而不是如何达到这些状态。然而，对于复杂的状态观测（如图像），并非所有输入都表示有效状态。因此，我们还建议使用一个潜在的变量模型来competently表示一组有效的状态的规划，使政策提供了一个抽象的行动，和潜在的变量模型提供了一个抽象的状态。我们将我们的方法与基于规划和无模型的方法进行比较，发现我们的方法在基于图像的机器人导航和操作任务（需要非贪婪的多阶段行为）上进行评估时，显着优于先前的工作。
2019-11-19 cs.AI cs.LG cs.RO
The Option-Critic Architecture
McGill University（麦吉尔大学）
时间抽象是强化学习中扩展学习和规划的关键。虽然时间上扩展的行动规划是很好的理解，从数据中自主创建这样的抽象仍然具有挑战性。我们在期权的框架中解决这个问题[Sutton，Precup & Singh，1999; Precup，2000]。我们推导出期权的策略梯度定理，并提出了一种新的期权批评的架构，能够学习的内部政策和终止条件的选项，与政策的选项，而不需要提供任何额外的奖励或子目标。在离散和连续环境中的实验结果显示了该框架的灵活性和效率。
2016-12-03 cs.AI
Elastic Monte Carlo Tree Search with State Abstraction for Strategy Game Playing
Queen Mary University of London（伦敦玛丽女王大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
战略视频游戏挑战人工智能智能体与他们的组合搜索空间所造成的复杂的游戏元素。状态抽象是一种降低状态空间复杂度的流行技术。然而，目前的游戏状态抽象方法依赖于领域知识，使其应用到新的游戏昂贵。不需要领域知识的状态抽象方法在规划领域得到了广泛的研究。然而，没有证据表明它们可以很好地适应策略游戏的复杂性。在本文中，我们提出了弹性MCTS，一个算法，使用状态抽象玩策略游戏。在Elastic MCTS中，树的节点是动态聚类的，首先通过状态抽象逐渐分组在一起，然后在达到迭代阈值时分离。这种弹性变化既得益于状态抽象带来的高效搜索，又避免了状态抽象对整个搜索的负面影响。为了评估我们的方法，我们利用通用策略游戏平台Stratega来生成不同复杂度的场景。结果表明，弹性MCTS优于MCTS基线有很大的利润，同时减少了$10$的一个因素的树的大小。代码可以在：https://github.com/egg-west/Stratega上找到
2022-05-30 cs.AI
LEAGUE: Guided Skill Learning and Abstraction for Long-Horizon Manipulation
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习难处理长程任务、任务与运动规划依赖预定义技能的问题，提出融合二者的LEAGUE框架，用规划器符号引导RL技能学习并构建抽象空间实现复用，在模拟任务中性能优于基线，且技能可跨域复用并迁移到实体机器人。
2023-08-22 cs.AI cs.RO
Autonomous Option Invention for Continual Hierarchical Reinforcement Learning and Planning
Arizona State University（亚利桑那州立大学）
本文提出在持续强化学习中自主发明并利用具有符号表示的高级选项的方法，通过结合状态抽象与前瞻规划，实现了选项的可组合、可重用与互独立，显著提升了跨任务的样本效率与知识迁移能力。
2024-12-20 cs.AI
Brain-Inspired Planning for Better Generalization in Reinforcement Learning
McGill University（麦吉尔大学）
本论文受人类大脑规划机制启发，提出空间抽象注意力、Skipper任务分解框架和可行性评估器，以提升强化学习智能体的零样本系统化泛化能力并避免妄想性规划。
2025-11-09 cs.AI cs.LG
Why Couldn't You do that? Explaining Unsolvability of Classical Planning Problems in the Presence of Plan Advice
Arizona State University（亚利桑那州立大学）
可解释的规划被广泛认为是自主智能体成功与人类合作的先决条件。虽然已经有很多关于生成规划问题解决方案的解释的研究，但解释缺乏解决方案仍然是一个开放和研究不足的问题，即使这种情况可能是最难理解或调试的。在本文中，我们表明，层次抽象可以用来有效地产生规划问题的不可解性的原因。在计算证书的不可解性的相关工作相比，我们表明，这些方法可以产生紧凑的，人类可以理解的原因不可解性。实证分析和用户研究表明，我们的方法的有效性，以及它们的计算效率的一些基准规划域。
2019-03-19 cs.AI
TOMA: Topological Map Abstraction for Reinforcement Learning
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Department of Computer Science and Technology（计算机科学与技术系）；Nanjing University（南京大学）
动物能够发现周围环境的拓扑图（图），这将用于导航。受这种生物现象的启发，研究人员最近提出为马尔可夫决策过程（MDP）生成图表示，并将这些图用于强化学习（RL）中的规划。然而，现有的图生成方法有许多缺点。一个缺点是现有的方法不学习图的抽象，这导致高存储器和计算成本。这个缺点也使得生成的图不健壮，这降低了规划性能。另一个缺点是，现有的方法不能用于促进探索，这在强化学习中很重要。在本文中，我们提出了一种新的方法，称为拓扑图抽象（TOMA），图生成。TOMA可以为MDP生成一个抽象的图表示，这比现有的方法花费更少的内存和计算成本。此外，TOMA可以用于促进探索。特别是，我们建议规划探索，其中TOMA是用来加速探索引导代理对未探索的状态。提出了一种称为顶点记忆的经验回放模块，以提高探索性能。实验结果表明，TOMA算法能够在较低的信噪比下达到最佳的性能。
2020-06-23 cs.AI cs.LG stat.ML
Multi-Timescale, Gradient Descent, Temporal Difference Learning with Linear Options
University of Washington（华盛顿大学）；McGill University（麦吉尔大学）
在强化学习中，考虑大的或连续的状态空间一直是长期存在的挑战。时态抽象在某种程度上使这成为可能，但使用时态抽象进行有效规划仍然是一个问题。此外，在使用时间抽象模型的同时，使用空间抽象来学习各种情况下的策略是一个开放的问题。我们在这里提出了一个有效的算法，它是收敛的线性函数逼近，而规划使用时间抽象的行动。我们展示了如何使用该算法以及随机生成的期权模型在多个时间尺度上计划代理人需要采取行动实时的。在多个时间尺度上使用这些随机生成的选项模型，以减少解决给定任务所需的决策时期的数量，从而有效地减少审议所需的时间。
2017-03-19 cs.AI
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分部）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Sony AI（索尼人工智能公司）；Google DeepMind（谷歌DeepMind）
提出受人类意识启发的Skipper框架，通过时空抽象自动分解任务为子任务，以有向图代理问题端到端学习，在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Option Transfer and SMDP Abstraction with Successor Features
University of Oxford（牛津大学）；University of Vienna（维也纳大学）
抽象在知识和技能的概括中起着重要的作用，是有效学习的关键。在这项工作中，我们研究了联合时间和状态抽象的强化学习，在时间上扩展的行动的形式的选项诱导时间抽象，而抽象选项的相似状态的聚合诱导状态抽象。许多现有的抽象方案忽略了状态和时态抽象的相互作用。因此，所考虑的选项政策往往不能直接转移到新的环境中，由于状态空间和过渡动态的变化。为了解决这个问题，我们提出了一个新的抽象方案的后续功能的建设。这包括在不同环境中传输抽象选项的算法，以及允许我们使用传输的选项执行有效规划的状态抽象机制。
2022-06-08 cs.AI cs.LG
Near Optimal Behavior via Approximate State Abstraction
Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
困扰规划和强化学习（RL）算法的组合爆炸可以使用状态抽象来缓和。过大的任务表示可以被压缩，从而保留必要的信息，因此，解决方案是可追踪计算的。然而，只将完全相同的情况视为等效的精确抽象，无法在没有两种情况完全相同的环境中提供抽象的机会。在这项工作中，我们调查近似的状态抽象，这几乎等同的情况下对待。我们提出了从四种类型的近似抽象中推导出的行为质量的理论保证。此外，我们的经验表明，近似抽象导致减少任务的复杂性和有限的损失，在各种环境中的最优行为。
2017-01-15 cs.AI cs.LG
Hybrid Planning for Dynamic Multimodal Stochastic Shortest Paths
Stanford University（斯坦福大学）
在诸如仓库操作、多步膳食准备和自动车辆网络中的路由等应用中的顺序决策问题通常涉及对不确定性的推理、对离散模式和连续状态的规划以及对动态更新的反应。为了形式化这些问题一般，我们引入一类马尔可夫决策过程（MDP）称为动态多模态随机最短路径（DMSSP）。这些领域的大部分工作解决了确定性变量，当不确定性具有下游效应时，可能会产生不佳的结果。我们开发了一个混合随机规划（HSP）算法，它使用域不可知的抽象有效地统一启发式搜索规划离散模式，近似动态规划随机规划连续状态，分层交错规划和执行。在自治多模式路由领域，HSP获得了比最先进的上置信树算法和两级滚动时域控制算法更高质量的解决方案。
2019-06-21 cs.AI
Automatic Verification of Sound Abstractions for Generalized Planning
Sun Yat-sen University（中山大学）
广义规划研究一组规划问题的一般解的计算。求解广义规划的通解并保证其正确性一直是广义规划中的一个关键问题。抽象被广泛用于解决广义规划问题。合理抽象的解是那些对广义规划问题有正确性保证的解。最近，Cui等人提出了广义规划的统一抽象框架。他们给出了广义规划问题的健全和完整抽象的模型论定义。本文基于Cui et al.的工作，我们探讨了自动验证的声音抽象的广义规划。我们首先提出了声音抽象的证明论特征。在此基础上，给出了一阶可验证的可靠抽象的充分条件。为了实现它，我们利用回归扩展，并开发方法来处理计数和传递闭包。最后，我们实现了一个健全的抽象验证系统，并报告了几个领域的实验结果。
2022-05-24 cs.AI
REBA: A Revealed Belief Automaton Framework for Online Planning in Continuous POMDPs
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Computer Science and Artificial Intelligence, Liaoning Normal University（辽宁师范大学计算机科学与人工智能学院）；Human-Centered AI Lab, Department of Ecosystem Management, Climate and Biodiversity, BOKU University（BOKU大学生态系统管理与气候生物多样性系人本人工智能实验室）；Institute of Human-Centered Computing, Graz University of Technology（格拉茨技术大学人本计算研究所）
提出REBA框架，通过信息论门在线分析连续信念空间并建立可靠锚点，构建有限信念自动机，结合ω-正则规范实现无需预定义离散抽象的在线规划，在巡逻和导航任务中性能提升17%-47.4%。
2026-06-23 cs.AI
Learning Abstract World Model for Value-preserving Planning with Options
Brown University（布朗大学）
针对通用智能体复杂决策难的问题，提出利用时间扩展动作结构学习抽象MDP的方法，保障规划策略值损失有界，在导航任务中提升了样本效率。
2024-06-22 cs.AI cs.LG
Hierarchical Reinforcement Learning with Stable Temporal Abstraction for Language Model Agents
LinkedIn Corporation（领英公司）；University of Maryland（马里兰大学）
提出STAC方法，通过约束边界策略优化解决分层强化学习智能体的时间抽象不稳定性，在ALFWorld和WebShop上显著提升成功率。
2026-10-06 cs.AI
Learning with Expert Abstractions for Efficient Multi-Task Continuous Control
Oregon State University（俄勒冈州立大学）
针对复杂连续多任务环境中决策建模难、纯试错学习效率低的问题，提出基于专家抽象动态规划生成子目标的分层强化学习方法，结合抽象模型最优状态值奖励塑形提升样本效率与零样本泛化能力，实验验证其多方面性能优于现有方法。
2025-03-19 cs.AI cs.LG
A Direct Approximation of AIXI Using Logical State Abstractions
Australian National University（澳大利亚国立大学）
我们提出了一个实际的集成逻辑状态抽象与AIXI，贝叶斯优化概念的强化学习代理，显着扩展模型类，AIXI代理可以近似复杂的历史依赖和结构化的环境。状态表示和推理框架基于高阶逻辑，可用于定义和枚举非马尔可夫和结构化环境中的复杂特征。我们解决的问题，选择正确的子集的功能，形成状态抽象适应状态抽象理论的$Φ$ -MDP优化标准。精确的贝叶斯模型学习，然后实现使用适当的概括上下文树加权抽象状态序列。所得到的架构可以与不同的规划算法集成。在大规模接触网络上控制流行病的实验结果验证了该智能体的性能。
2022-10-13 cs.AI cs.LG
Stochastic Planning and Lifted Inference
Tufts University（塔夫茨大学）；University of Toronto（多伦多大学）
提升概率推理（Poole，2003）和提升随机规划的符号动态规划（Boutilier et al，2001）是在随机系统中使用抽象的算法努力的同时引入的。多年来，这些想法演变成两个不同的研究路线，每一个都有丰富的文献支持。提升概率推理侧重于在有限域假设下对基于模板的图形模型进行有效的算术运算，而符号动态规划侧重于在丰富的量化逻辑动作模型和开放域推理中支持顺序决策。鉴于它们的共同动机，但不同的重点，这两条研究路线产生了高度互补的创新。在本章中，我们的目标是通过从概率推理的角度概述提升的随机规划来帮助缩小这两个研究领域之间的差距，并显示出与本书其他章节的密切联系。这也使我们能够将广义提升推理定义为一种范式，它统一了这些领域，并阐明了未来研究的开放问题，这些问题可以使提升推理和随机规划受益。
2017-01-04 cs.AI
Learning adaptive planning representations with natural language guidance
MIT（麻省理工学院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Microsoft（微软）
本研究提出Ada框架，借助语言模型的通用知识自动构建任务特定的规划表示，交互式学习适配领域的高层动作抽象与低层控制器，在两个规划基准上性能优于现有LM序列决策方法，泛化性更强。
2023-12-13 cs.AI cs.CL cs.RO
Learning High-Level Planning Symbols from Intrinsically Motivated Experience
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在符号规划系统中，领域知识通常由专家提供。最近，在文献中提出了一个自动抽象过程，以创建一个规划域定义语言（PDDL）表示，这是最广泛使用的输入格式，大多数现成的自动规划，从“选项”，用于表示分层强化学习框架内的行动的数据结构。我们提出了一个架构，可能消除了人为干预的需要。特别是，该架构首先在开放式学习的基础上以完全自主的方式获取选项，然后基于符号和运算符构建PDDL域，这些符号和运算符可用于通过标准PDDL规划器实现用户定义的目标。我们从一组基准域上测试的上述过程的实现开始，在这些基准域中，人形机器人可以通过与环境的直接交互来改变某些对象的状态。然后，我们调查的信息抽象过程中，已观察到的一些关键方面，并提出了一个扩展，减轻这种批评，特别是通过分析类型的分类器，允许一个合适的接地符号。
2019-07-18 cs.AI cs.LG
A Theory of Abstraction in Reinforcement Learning
Brown University（布朗大学）
强化学习定义了代理所面临的问题，这些代理仅通过行动和观察来学习做出良好的决策。为了成为有效的问题解决者，这些智能体必须有效地探索广阔的世界，从延迟反馈中分配信用，并推广到新的经验，同时利用有限的数据，计算资源和感知带宽。抽象对于所有这些努力都是必不可少的。通过抽象，智能体可以形成其环境的简洁模型，这些模型支持理性的、自适应的决策者所需的许多实践。在这篇论文中，我提出了一个强化学习的抽象理论。我首先为执行抽象过程的函数提供三个必要条件：它们应该1）保持接近最优行为的表示，2）有效地学习和构建，3）减少规划或学习时间。然后，我提出了一套新的算法和分析，澄清代理如何可以学习抽象根据这些desiderata。总的来说，这些结果提供了一条通往发现和使用抽象的部分路径，最大限度地减少了有效强化学习的复杂性。
2022-03-01 cs.AI cs.LG
Contrastive Abstraction for Reinforcement Learning
LIT AI Lab（LIT人工智能实验室）；Ellis Unit Linz（林茨埃利斯单元）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文提出对比抽象学习方法，通过对比学习聚类状态表示并用现代Hopfield网络映射到抽象状态，从而在不依赖奖励的情况下提升强化学习在长轨迹任务中的效率。
2024-10-01 cs.AI cs.LG
Strategy Synthesis in POMDPs via Game-Based Abstractions
Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Concept Engineering GmbH（Concept Engineering有限公司）；RWTH Aachen University（亚琛工业大学）；Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究部分可观测马尔可夫决策过程（POMDPs）中的约束合成问题，其目标是计算一个代理的策略，保证满足一定的安全性和性能规范。然而，POMDPs的验证和策略合成一般在计算上是难以处理的。我们减轻这个困难，专注于规划应用程序和利用典型的结构特性，这样的情况下，例如，我们假设代理有能力观察自己的位置内的环境。我们提出了一个抽象的细化框架，把这样的POMDP模型变成一个（完全可观察的）概率两人游戏（PG）。对于所获得的PG，有效的验证和合成工具允许确定具有最佳安全性和性能措施的策略，这些措施近似于POMDP上的最佳参数。如果近似值太粗糙而不能满足给定的规范，则细化方案可以改进计算策略。作为一个运行的例子，我们使用的规划问题，代理移动的环境内随机移动的障碍物和有限的可观察性。我们证明了所提出的方法通过解决比现有POMDP求解器可以处理的问题大几个数量级的问题来推进最先进的技术。此外，该方法提供了安全约束的保证，这是不支持的大多数现有的求解器。
2019-05-27 cs.AI cs.RO
Action abstractions for amortized sampling
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Edinburgh（爱丁堡大学）；Recursion（Recursion公司）；CIFAR（加拿大高级研究院）
本研究针对摊销序贯采样中长轨迹带来的探索与泛化难题，提出将动作抽象融入策略优化的方法，提升了高奖励对象发现的样本效率，实现了分层规划的首次演示。
2026-09-03 cs.AI cs.LG
Abstraction Generation for Generalized Planning with Pretrained Large Language Models
Hunan University of Science and Technology（湖南科技大学）；Dongguan University of Technology（东莞理工学院）
本文提出利用预训练大语言模型生成通用规划的抽象，并通过自动化调试修正抽象，以提升规划效率。
2026-02-11 cs.AI
An Automatic Sound and Complete Abstraction Method for Generalized Planning with Baggable Types
Sun Yat-sen University（中山大学）
针对广义规划自动抽象难以保证可靠性和完备性的问题，提出一种基于有界QNP（BQNP）的自动可靠且完备的抽象方法，通过为不可区分对象元组引入计数器，证明了在适当可装包域中精炼规划可解决原问题，实验验证了其有效性。
2025-01-30 cs.AI
Context-Sensitive Abstractions for Reinforcement Learning with Parameterized Actions
AAIR-lab（AAIR实验室）
本文提出了一种能够在线自主学习状态和动作抽象的方法，以提升长周期稀疏奖励环境下参数化动作的样本效率。
2026-04-24 cs.AI cs.LG
Using Large Language Models for Abstraction of Planning Domains - Extended Version
York University（约克大学）
本研究利用大语言模型通过上下文学习生成抽象PDDL规划领域，验证GPT-4o在简单场景下能有效抽象动作，但抽象流的能力较弱。
2025-10-23 cs.AI
Generalized Planning for the Abstraction and Reasoning Corpus
The University of Melbourne（墨尔本大学）
本文提出GPAR方法，将ARC抽象推理任务建模为带指针的广义规划问题，利用PDDL和领域知识约束提升求解性能，在以对象为中心的任务上超越现有最优求解器。
2024-01-15 cs.AI
Graph Transformation Planning via Abstraction
University of Paderborn（帕德博恩大学）
现代软件系统越来越多地包含自我行为，以适应运行时环境的变化。这种调整通常涉及重新配置系统的软件架构。许多系统还需要自己管理其架构，即，他们需要一个规划组件来自主决定执行哪些重新配置以达到所需的目标配置。对于规范的重新配置，我们采用图转换系统（GTS），由于图和UML对象图的密切关系。我们解决了由此产生的规划问题的规划系统，直接在GTS。它具有独立于域的启发式，使用原始问题的抽象的解决方案长度作为估计。最后，我们提供了两个不同的域上的实验结果，这证实了我们的启发式比另一个域独立的启发式，类似于在相关工作中采用的启发式执行更好。
2014-07-30 cs.AI
Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control
School of Engineering and Informatics, University of Sussex（萨塞克斯大学工程与信息学院）；VERSES AI Research Lab（VERSES AI研究实验室）
提出一种基于rSLDS的层次模型算法，结合主动推断与离散MDP，通过时间抽象亚目标和信息论探索，在稀疏连续山地车任务中实现快速系统识别与非平凡规划。
2024-08-20 cs.AI cs.SY eess.SY
Hierarchical State Abstractions for Decision-Making Problems with Computational Constraints
Georgia Institute of Technology（佐治亚理工学院）；D. Guggenheim School of Aerospace Engineering（D.古根海姆航空航天工程学院）；Ulm University（乌尔姆大学）；Institute of Neural Information Processing（神经信息处理研究所）；Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）
在这篇半教程论文中，我们首先回顾了信息理论方法，以考虑在顺序决策问题中搜索最优行动过程中产生的计算成本。传统的（MDP）框架忽略了计算的限制，而寻找最优的政策，基本上假设代理是完全理性的，并以精确的最优性为目标。使用自由能，变分原理，不仅占单独的政策的价值，但也考虑到找到这个最优策略的成本。从该公式产生的变分方程的解可以使用来自动态规划（DP）的熟悉的Bellman样值迭代和来自率失真理论的Blahut-Arimoto（BA）算法来获得。最后，我们展示了实用的方法，生成层次结构的状态抽象，可以用来最好地利用可用的计算资源。一个数值例子展示了这些概念的路径规划问题在网格世界环境。
2017-10-22 cs.AI stat.ML
Building and Refining Abstract Planning Cases by Change of Representation Language
离子是最有前途的方法之一，以提高性能的问题解决者。在几个领域中，通过删除领域描述的句子来进行抽象--正如大多数层次规划者所使用的那样--已经被证明是有用的。在本文中，我们提出的例子，说明了显着的缺点，抽象的下降的句子。为了克服这些缺点，我们提出了一个更一般的抽象视图，涉及表示语言的变化。我们开发了一种新的抽象方法和相关的健全和完整的学习算法，允许规划案例的表示语言从具体到抽象的完全改变。然而，为了实现表示语言的强大改变，必须在领域模型中提供抽象语言本身以及描述抽象状态的可接受方式的规则。这种新的抽象方法是巴黎的核心（计划抽象和完善的综合系统），一个系统中，抽象的规划情况下，自动学习给定的具体情况。在机械工程工艺规划领域的实证研究表明，所提出的推理从抽象的情况下，经典的层次规划的显着优势。
1995-07-01 cs.AI
Unsupervised Learning of Temporal Abstractions with Slot-based Transformers
The Swiss AI Lab (IDSIA), USI & SUPSI（瑞士人工智能实验室（IDSIA），瑞士意大利语区大学与瑞士南部应用科学与艺术大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Google Research（谷歌研究院）
可重用子例程的发现简化了复杂强化学习问题中的决策和规划。以前的方法建议通过观察从执行策略中收集的状态-动作轨迹，以纯粹无监督的方式学习这种时间抽象。然而，目前的限制是，他们处理每个轨迹在一个完全顺序的方式，这使得他们无法修改早期的决定，根据新的传入信息的子程序边界点。在这项工作中，我们提出了SloTTAr，一个完全并行的方法，集成了序列处理Transformers与插槽注意力模块和自适应计算学习的数量，这样的子程序在一个无监督的方式。我们展示了SloTTAr如何能够在边界点发现方面超越强基线，即使对于包含可变数量的子例程的序列，同时在现有基准上的训练速度快7倍。
2022-11-22 cs.AI cs.LG cs.NE
Planning with Abstract Learned Models While Learning Transferable Subtasks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Simmons University（西蒙斯大学）
我们介绍了一种基于模型的分层强化学习算法，以获得自包含的过渡和奖励模型适用于概率规划在多个抽象层次。我们称这个框架为抽象学习模型规划（PALM）。通过使用一种新的形式化结构，即提升抽象马尔可夫决策过程（L-AMDP）来象征性地表示子任务，PALM学习独立和模块化的模型。通过我们的实验，我们展示了PALM如何整合规划和执行，促进快速有效地学习抽象的层次模型。我们还展示了学习模型转移到新的相关任务的潜力。
2020-06-12 cs.AI cs.LG cs.RO
Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research（IBM研究院）；Oregon State University（俄勒冈州立大学）
针对多智能体强化学习在关系型领域中的样本效率低和泛化困难问题，提出将关系型规划器作为集中控制器与强化学习结合，实现高效任务迁移与泛化。
2025-02-26 cs.AI cs.LG cs.MA
Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains
DeepMind（深度思维）
在本文中，我们研究了学习多步动态预测模型（跳跃模型）的问题，从未标记的经验和他们的实用程序的快速推理（高级别）计划在下游任务。特别是，我们建议离线学习一个跳跃模型和一个技能嵌入空间，从以前收集的经验中，不需要标签或奖励注释。然后，我们研究了利用这些学习组件与基于模型的规划或无模型强化学习（RL）相结合的几种选择，以加快下游任务的学习。我们在RGB堆叠环境中进行了一组实验，表明使用学习的技能和相关模型进行规划可以实现对新任务的zero-shot泛化，并可以通过强化学习进一步加快策略的训练。这些实验表明，跳跃模型，结合时间抽象可以促进规划在长期任务中，标准的动态模型失败。
2023-02-24 cs.AI cs.LG cs.RO
Theoretical Foundations for Abstraction-Based Probabilistic Planning
University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）
不确定性下的世界和行为建模是决策理论规划框架中的核心问题之一。这种表示必须足够普遍，以捕捉现实世界的问题，但同时它必须提供一个基础上，理论结果可以得出。我们在这里提出的框架中的中心概念是仿射算子，它是构造概率分布（凸）集的工具，可以被认为是置信函数和区间质量分配的推广。在世界的状态的不确定性建模的概率分布集，表示为仿射树，而行动被定义为树操纵器。一个小集合的仿射算子的关键属性，形成的基础上，大多数现有的基于操作的概率动作投影和动作抽象的定义。我们推导并证明了正确的三个投影规则，生动地说明了在平面投影中的精度和复杂性的权衡。最后，我们将展示Haddawy和Doan确定的三种类型的动作抽象在本框架中的表现。
2013-02-13 cs.AI
Learning Algorithmic Solutions to Symbolic Planning Tasks with a Neural Computer Architecture
Technische Universität Darmstadt（达姆施塔特工业大学）；Universität zu Lübeck（吕贝克大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
智能行为的一个关键特征是学习抽象策略的能力，这些策略可以转移到不熟悉的问题上。因此，我们提出了一种新的架构，基于内存增强网络，这是现代计算机的冯诺依曼和哈佛架构的启发。这种架构能够在强化学习环境中通过演化策略学习抽象算法解决方案。应用于推箱子，滑块拼图和机器人操作任务，我们表明，该架构可以学习算法的解决方案具有很强的泛化和抽象：扩展到任意任务配置和复杂性，并独立于数据表示和任务域。
2020-06-03 cs.AI cs.LG cs.NE
Admissible Abstractions for Near-optimal Task and Motion Planning
Massachusetts Institute of Technology（麻省理工学院）
我们定义了一个可接受的条件，抽象表示使用天使的语义，并表明这些条件使我们能够加快规划，同时保持找到最佳运动计划的能力。然后，我们推导出两个连续状态的运动规划域的容许抽象。我们提取的上限和下限的具体运动计划的成本使用本地度量和拓扑性质的问题域。这些界限在保持性能保证的同时指导对计划的搜索。我们表明，抽象可以显着降低搜索的复杂性相对于一个直接的运动规划。使用我们的抽象，我们发现接近最佳的运动计划，涉及$10^{13}$状态的规划问题，而不使用单独的任务规划。
2018-06-03 cs.AI cs.RO
Implicit Abstraction Heuristics
Technion（以色列理工学院）
状态空间搜索与显式抽象算法是最先进的成本最优规划。然而，这些抽象主义本质上是有限的，因为抽象空间的大小必须受到某个常数的限制，即使是一个非常大的常数。针对这一缺点，我们引入了（添加剂）隐式抽象的概念，其中规划任务是抽象的最佳规划的易处理的片段的实例。然后，我们介绍了一个具体的设置这个框架，称为叉分解，这是基于两个新的片段的易处理的成本优化规划。然后，正式和实证研究的诱导可容许性。这项研究证明了分叉分解算法的准确性，但我们的经验评估也强调了它们的准确性和计算它们的运行时复杂性之间的权衡。实际上，显式抽象启发式的一些能力来自离线预先计算启发式函数，然后通过在数据库中非常快速的查找来确定每个评估状态s的h（s）。相比之下，虽然叉分解算法可以在多项式时间内计算，但计算速度远远不够快。为了解决这个问题，我们表明，每个节点的时间复杂性瓶颈的叉分解算法可以成功地克服。我们证明了一个等价的明确的抽象概念的数据库存在的叉分解抽象，以及，尽管他们的指数大小的抽象空间。然后，我们验证经验，启发式搜索与数据库为基础的”叉分解算法有利的竞争与成本最优规划的艺术状态。
2014-01-16 cs.AI
Guarantees for Sound Abstractions for Generalized Planning (Extended Paper)
Universidad Simón Bolívar（西蒙玻利瓦尔大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
广义规划是关于寻找解决规划实例集合的计划，通常是无限集合，而不是单个实例。最近，它已被证明如何减少规划问题的广义规划的规划问题的定性数值问题;后者是一个重新制定，同时捕捉所有的实例中的集合。因此，一个重要的研究思路在于自动地找到这种重新表述或抽象。最近的一个建议是从集合中的实例的有限和小的转换样本中归纳地学习抽象。然而，在所有归纳过程中，学习的抽象不能保证对整个集合都是正确的。在这项工作中，我们解决了这个限制，通过执行的抽象分析，相对于收集，并展示如何获得正式的保证泛化。这些保证，以一阶公式的形式，可以用于1）定义实例的子集，在这些子集上保证抽象是合理的，2）在某些假设下获得推广的必要条件，以及3）为规划问题自动合成复杂的不变量。我们的框架是通用的，它可以扩展或与其他方法相结合，它有超越广义规划的应用程序。
2019-05-31 cs.AI cs.LO
Using Deep Learning to Bootstrap Abstractions for Hierarchical Robot Planning
Arizona State University（亚利桑那州立大学）
本文讨论了学习抽象的问题，提高机器人规划性能，同时提供强有力的可靠性保证。尽管最先进的分层机器人规划算法允许机器人有效地计算用于实现用户期望的任务的长期运动计划，但是这些方法通常依赖于需要由专家手工设计的环境依赖的状态和动作抽象。我们提出了一种新的方法，引导整个层次规划过程。这使我们能够使用深度神经网络预测的关键区域自动计算新环境的抽象状态和动作，该深度神经网络具有自动生成的机器人特定架构。我们表明，学习的抽象可以使用一种新的多源双向分层机器人规划算法，是健全的和概率完整的。使用完整和非完整机器人对20种不同设置进行的广泛的经验评估表明：（a）我们学习的抽象提供了有效的多源层次规划所需的信息;以及（b）这种学习、抽象和规划的方法在训练过程中没有看到的测试环境的规划时间方面比最先进的基线高出近10倍。
2022-04-24 cs.AI cs.LG cs.RO
Task Scoping: Generating Task-Specific Abstractions for Planning in Open-Scope Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University Department of Computer Science（布朗大学计算机科学系）
一个通用的计划代理需要一个开放范围的世界模型：一个足够丰富的模型，以解决它可能被要求在其操作寿命内解决的任何广泛的任务。这与典型的规划方法形成对比，在典型的规划方法中，模型的范围限于共享重要结构的特定任务系列。不幸的是，计划使用开放范围模型解决任何特定任务在计算上都是棘手的-即使是最先进的方法-因为模型中必然存在许多状态和动作，但与该问题无关。我们建议任务范围：一种方法，利用初始状态，目标条件和过渡系统的知识，自动有效地从规划问题中删除可证明不相关的变量和动作。我们的方法利用因果链接分析和状态变量（而不是状态）的向后可达性以及运算符合并（当对相关变量的影响相同时）。使用任务范围作为预规划步骤可以将搜索空间缩小几个数量级，并显著减少规划时间。我们的经验表明，这些改进发生在各种开放范围的领域，包括Minecraft，我们的方法使用最先进的数字规划器将搜索时间减少了75倍，即使在包括任务范围本身所需的时间之后。
2023-02-04 cs.AI
From Abstractions to Grounded Languages for Robust Coordination of Task Planning Robots
Arizona State University（亚利桑那州立大学）
本文研究如何自动构建兼具灵活性与解释力的协调语言，将计划表达为“计划草图”以在保证最优性的同时实现鲁棒协调，并给出形式化分析与近似解。
2024-02-22 cs.AI
