Algorithms and Conditional Lower Bounds for Planning Problems
IST Austria（奥地利科学技术研究所）；TU Wien（维也纳技术大学）；University of Vienna（维也纳大学）
我们考虑规划问题的图，马尔可夫决策过程（MDP），和游戏的图。虽然图代表最基本的规划模型，但MDP代表与自然的互动，而图上的游戏代表与对抗环境的互动。我们考虑两个规划问题，有k个不同的目标集，问题如下：（a）覆盖问题问是否有一个计划，为每个单独的目标集，和（b）顺序目标可达性问题问是否可以达到的目标顺序。对于覆盖问题，我们给出了图的线性时间算法和图上的MDP和博弈的二次条件下界。对于序列目标问题，我们提出了一个线性时间算法的图，一个次二次算法的MDP，和二次条件下界的游戏图。我们的结果与条件下界建立（i）模型分离的结果表明，对于覆盖问题的MDP和游戏的图是比图和顺序可达性问题的游戏的图是比MDP和图更难;（ii）目标分离的结果表明，MDP的覆盖问题是比顺序目标问题更难。
2018-04-19 cs.AI cs.DS
Distributed Planning in Hierarchical Factored MDPs
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个原则和有效的规划算法的协作多智能体动力系统。在规划和执行阶段，所有的计算都分布在代理之间;每个代理只需要为系统的一小部分建模和规划。这些局部子系统中的每一个都很小，但是一旦它们组合在一起，它们就可以代表一个指数级更大的问题。子系统通过子系统层次结构连接。代理人之间的协调和沟通不是强加的，而是直接来自这个层次结构。一个全局一致的计划是通过消息传递算法实现的，其中消息对应于自然的局部奖励函数，并由局部线性规划计算;另一个消息传递算法允许我们执行产生的策略。当层次结构的两个部分共享相同的结构时，我们的算法可以重用计划和消息以加快计算速度。
2012-12-12 cs.AI
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology（以色列理工学院）
本文提出随时求解器ρPOMCPOW，通过动态细化信念表示和增量计算依赖信念奖励，在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策，满足形式规格的形式，一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性，在他们的能力，以捕捉理想的代理行为，他们的价值是有限的，当得出决策政策，满足某些类型的渐近行为在一般系统模型。特别是，我们感兴趣的是指定代理的稳态行为的约束，它捕获代理在每个状态下花费的时间比例，因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为，除非在其图形结构的连接性方面对底层模型施加强限制，否则相关的规划问题面临着重大挑战。在本文中，我们将探讨这个稳态规划问题，包括推导出一个决策的代理政策，使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程（MDP）一般情况的线性规划解，并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
Symbolic Dynamic Programming for Discrete and Continuous State MDPs
NICTA；the ANU（澳大利亚国立大学）；University of Sao Paulo（圣保罗大学）
许多现实世界中的决策理论规划问题可以很自然地建模与离散和连续状态马尔可夫决策过程（DC-MDP）。虽然以前的工作已经解决了DCMDPs的自动决策理论规划，但到目前为止，仅针对有限的设置定义了最佳解决方案，例如，具有超矩形分段线性价值函数的DC-MDP。在这项工作中，我们扩展了符号动态规划（SDP）技术，提供了一个大大扩展类DCMDPs的最佳解决方案。为了解决SDP固有的组合方面，我们引入了XADD -代数决策图（ADD）的连续变量扩展-保持紧凑的精确价值函数的表示。从经验上讲，我们演示了SDP与XADDs在各种DC-MDP上的实现，显示了DCMDPs与线性和非线性分段价值函数的第一个最佳自动化解决方案，并显示了基于约束的XADDs修剪的优势。
2012-02-14 cs.AI
Planning for Risk-Aversion and Expected Value in MDPs
University of Oxford（牛津大学）
马尔可夫决策过程（MDP）中的规划通常会优化预期成本。然而，优化期望没有考虑对于MDP的任何给定运行，收到的总成本可能高得不可接受的风险。另一种方法是找到一个优化风险规避目标的政策，如条件风险价值（CVaR）。然而，单独优化CVaR可能会导致预期的不良表现。在这项工作中，我们首先表明，可以有多个政策，获得最佳的CVaR。这促使我们提出了一个字典的方法，最大限度地减少了预期成本的约束，总成本的CVaR是最佳的。我们提出了一个算法，这个问题，并评估我们的方法上的四个域。我们的研究结果表明，我们的字典法提高了预期的成本相比，最先进的算法，同时实现了最佳的CVaR。
2022-03-10 cs.AI cs.SY eess.SY
RAPID: A Reachable Anytime Planner for Imprecisely-sensed Domains
University of California, Berkeley（加州大学伯克利分校）
尽管一般的最优部分可观测马尔可夫决策过程规划的棘手性，存在着重要的问题，具有高度结构化的模型。以前的研究人员利用这一洞察力，构建更有效的算法因子域，并与平面状态动力学模型中的拓扑结构的域。在我们的工作中，从教育界相关的自动辅导的研究结果的动机，我们考虑的问题，表现出一种形式的拓扑结构的因子动力学模型。我们的可达的任何时间规划不精确感测域（RAPID）利用这种结构，有效地计算一个良好的初始包络下的最佳MDP政策的可达状态在时间上线性的状态变量的数量。RAPID在有限的状态包络上执行部分可观测规划，并在时间允许的情况下缓慢扩展状态空间。RAPID在具有122个状态变量的大型辅导启发问题模拟中表现良好，对应于超过10^30个状态的平坦状态空间。
2012-03-15 cs.AI
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.（Cycorp公司）；Tufts University（塔夫茨大学）；Oregon State University（俄勒冈州立大学）
我们形式化一个简单而自然的子类服务域的关系规划问题，以对象为中心，独立的外源事件和附加奖励捕获，例如，库存控制问题。针对这一子类，我们提出了一个新的符号规划算法，这是第一个算法，具有明确的性能保证关系MDP与外源事件。特别是，在某些技术条件下，我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法，我们提出了新的评估和减少技术的广义一阶决策图，一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态，作为训练集，简化和近似的符号解决方案，因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；KAIST Graduate School of AI（韩国科学技术院人工智能学院）
元规划，或从经验中学习指导规划，是一种有前途的方法，以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到，（1）施加约束可以诱导特定于上下文的独立性，使域的某些方面不相关，（2）代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程（CAMP），一个抽象的因素MDP，提供有效的规划。然后，我们描述了如何学习约束，使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者，包括机器人在可移动障碍物之间的导航（NAMO），机器人任务和顺序操作的运动规划，以及经典规划。我们发现，使用学习过的CAMP进行规划，可以始终优于基线，包括Stilman的NAMO特定算法。视频：https://youtu.be/wTXt6djcAd4代码：https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Anytime-Constrained Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究带任意时刻约束的 cMDP，通过归约到无约束 MDP 实现高效规划与学习，并针对 NP 难情形提出可证明的近似算法，达到最坏情况下的最优近似保证。
2024-06-13 cs.AI cs.DS cs.LG
Qualitative MDPs and POMDPs: An Order-Of-Magnitude Approximation
我们开发了一个定性的马尔可夫决策过程（MDP）和部分可观察MDP，可用于建模时，只有定性信息的顺序决策任务的理论。我们的方法是基于概率和效用的数量级近似，类似于ε语义。其结果是一个定性的理论，与标准的最大预期效用理论有密切的联系，并服从一般的规划技术。
2012-12-12 cs.AI
Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions
DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Alberta（阿尔伯塔大学）
我们认为，在固定的地平线和折扣马尔可夫决策过程（MDP）与线性函数逼近和生成模型的假设下，最佳的行动价值函数在于一个功能地图，可供规划器的跨度的局部规划问题。以前的工作留下了开放的问题，是否存在健全的规划，只需要多（H，d）查询，而不管MDP，其中H是地平线和d是维数的功能。我们回答这个问题是否定的：我们表明，任何健全的规划必须查询至少$\min(\exp(Ω(d)), Ω(2^H))$样本中的固定水平设置和$\exp(Ω(d))$样本中的折扣设置。我们还表明，对于任何$δ>0$，最小二乘值迭代算法与$O(H^5d^{H+1}/δ^2)$查询可以计算一个$δ$最优的政策，在固定的地平线设置。我们讨论的影响和剩余的开放问题。
2021-02-15 cs.AI cs.LG stat.ML
Near-Optimal Learning and Planning in Separated Latent MDPs
MIT（麻省理工学院）；Archimedes AI（阿基米德人工智能）
针对潜在 MDP 学习的不可能性，论文提出多种分离条件，刻画高效学习所需视界长度的近精确统计阈值，并给出拟多项式算法及基于指数时间假设的近匹配下界。
2024-06-12 cs.AI cs.CC cs.LG
Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs
Singapore Management University（新加坡管理大学）；University of Toronto（多伦多大学）
深度学习的最新进展通过将参数策略编码为深度神经网络并在基于端到端模型的梯度下降框架中利用自动微分，为连续MDP规划优化了深度反应策略（DRP）。这种方法已被证明对优化非线性连续MDP中的DRP是有效的，但它需要大量的采样轨迹来有效学习，并且可能会受到解决方案质量的高方差的影响。在这项工作中，我们重新审视了整体基于模型的DRP目标，而是采取最小化最大化的角度来迭代优化DRP w.r.t.局部紧下界目标这种将DRP学习作为迭代下限优化（ILBO）的新公式特别有吸引力，因为（i）每个步骤在结构上比整体目标更容易优化，（ii）它保证了在某些理论条件下单调改进的目标，以及（iii）它在迭代之间重用样本，从而降低了样本复杂度。实证评估证实，ILBO是显着更高的采样效率比国家的最先进的DRP计划，并始终产生更好的解决方案质量与较低的方差。我们还证明了ILBO可以很好地推广到新的问题实例（即，不同的初始状态）而不需要再训练。
2022-03-23 cs.AI cs.LG
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cornell University（康奈尔大学）
蒙特卡洛规划，例如蒙特卡罗树搜索（MCTS），已被证明在有限空间的应用显着的性能。在本文中，我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划，这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT，这是一种用称为分层乐观优化（HOO）的连续武装强盗策略增强MCTS的算法（Bubeck等人，2011年）。具体来说，我们通过使用适当的多项式，而不是对数，奖金项的置信上限，以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的（Silver等人，2017 b），以及其在实现有限空间MCTS的理论保证方面的重要作用（Shah等人，2019年）。我们调查，第一次，增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木，我们建立非渐近收敛保证POLY-HOOT：值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果，证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。然后，我们将正则化的MDP推广到两次正则化的MDP（$\text{R}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证，从而降低鲁棒性正则化。我们在数值上显示了这种双重优势，在表格和物理域，突出的事实，即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
Retrosynthesis Planning via Worst-path Policy Optimisation in Tree-structured MDPs
University of Warwick（沃里克大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对逆合成规划易受合成路线“最薄弱环节”影响的问题，将其重新定义为树结构MDP的最坏路径优化问题，提出InterRetro方法，在Retro*-190基准上实现100%目标解决率并缩短路线4.9%。
2025-11-17 cs.AI cs.CE cs.LG
Scalable Robust MCTS with Anytime Deterministic Optimality Guarantees
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（以色列理工学院电气与计算机工程学院）；Faculty of Aerospace Engineering, Technion – Israel Institute of Technology（以色列理工学院航空航天工程学院）；Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology（以色列理工学院数据与决策科学学院）
本文提出首个具备任意时间确定性保证的可扩展鲁棒MCTS框架，开发CAR-MCTS规划器，通过确定性界引导探索、修剪分支，可验证最优根动作并收敛至最优鲁棒策略，支持在线规划与策略评估。
2026-10-14 cs.AI
Counterexample-guided Planning
UC Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）；UC San Diego（加州大学圣迭戈分校）；UC Los Angeles（加州大学洛杉矶分校）
对抗性和不确定性环境中的规划问题可以建模为随机完全信息博弈中的策略设计问题。这些游戏是马尔可夫决策过程（MDP）的推广：有两个（对抗性）玩家和一个随机性来源。在这类博弈中计算获胜策略的主要实际障碍是状态空间的大小。因此，在实践中，人们通常使用模型的抽象。困难的是提出一个抽象，既不能太粗糙而不能删除所有获胜的策略（计划），也不能太精细而不能处理。在验证中，反例引导的抽象精化的范例已经成功地自动构造有用但简约的抽象。我们将这种范式扩展到概率模型（即完美信息博弈，作为特例，MDP）。这使我们能够将反例引导的抽象范式应用于AI规划问题。作为特殊情况，我们得到了MDP和确定性系统的规划算法，自动构建系统抽象。
2012-07-04 cs.AI cs.GT
Policy Iteration for Relational MDPs
Tufts University（塔夫茨大学）
关系马尔可夫决策过程是复杂的强化学习问题和随机规划问题的一个有用的抽象。最近的工作开发了表示方案和算法规划在这样的问题，使用值迭代算法。然而，更复杂的算法，包括策略迭代的确切版本尚未开发或分析。本文探讨了这种潜力，并作出了一些贡献。首先，我们观察到两个异常的关系表示，一些政策的价值是没有很好地定义或无法计算的限制表示方案中使用的文献。另一方面，我们开发了一种可以绕过这些异常的政策迭代变体。该算法在策略评估的过程中包含了策略改进的内容，因此与原算法不同。我们表明，尽管存在这种差异，算法收敛到最优策略。
2012-06-20 cs.AI
TensorPlan and the Few Actions Lower Bound for Planning in MDPs under Linear Realizability of Optimal Value Functions
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
我们认为，在固定时间马尔可夫决策过程（MDP）与线性函数逼近的生成模型的在线规划的极大极小查询复杂度。根据最近的工作，我们考虑广泛的问题，其中（i）最佳价值函数$v^\star$或（ii）最佳动作价值函数$q^\star$位于某些功能的线性跨度;或（iii）$v^\star$和$q^\star$都位于线性跨度时，限制到从起始状态可达的状态。最近，Weisz等人（2021 b）表明，在（ii）条件下，当动作集的大小$A$在$\min(d,H)$中可以被选择为指数时，任何规划算法的极小极大查询复杂度在水平$H$或特征维度$d$中至少是指数的。另一方面，对于设置（i），Weisz等人（2021 a）引入了TensorPlan，这是一种规划器，当动作数量固定时，其查询成本在所有相关量中都是多项式。除其他外，这两个作品留下了一个问题，多项式查询复杂性是否可能时，$A$是次指数在$\min(d,H)$。在本文中，我们回答这个问题的否定：我们表明，指数大的下限举行时，$A=Ω(\min(d^{1/4},H^{1/2}))$，根据（i），（ii）或（iii）。特别是，这意味着与Du等人（2021）的工作相比，查询复杂度可能会出现令人惊讶的指数分离，Du等人（2021）证明了当（iii）对所有状态都成立时的多项式上限。此外，我们证明了TensorPlan的上界可以扩展到（iii）下，对于具有确定性转…
2022-03-10 cs.AI cs.LG stat.ML
Online POMDP Planning with Anytime Deterministic Optimality Guarantees
Technion Autonomous Systems Program (TASP)（技术学院自主系统计划）；Stephen B. Klein Faculty of Aerospace Engineering（斯蒂芬·B·克莱因航空航天工程学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文为离散POMDP推导近似解与最优解间的确定性界限，提供可附加于现有算法的确定性保证，以极小开销提升决策性能。
2025-10-27 cs.AI cs.RO
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London（伦敦大学学院）
我们激励和分析一个新的树搜索算法，GPTS，基于最近的理论进展，在使用高斯过程的强盗问题。我们认为树路径的武器，我们假设目标/奖励功能是从GP分布。在观察数据之后，后验均值和方差用于定义函数值的置信区间，并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核：线性和高斯。遗憾以迭代次数T的平方根增长，直到对数因子，具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值，小于臂数。最后，我们将GPTS应用于折扣马尔可夫决策过程中的开环规划，通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Decentralized Planning Using Probabilistic Hyperproperties
Brno University of Technology（布拉格技术大学）
本文提出利用概率超属性和MDP进行去中心化规划，扩展了规划技术的规范能力，并建立了与特定Dec-MDPs规划的联系。
2025-02-19 cs.AI cs.LO
On the Complexity of Solving Markov Decision Problems
Brown University（布朗大学）
马尔可夫决策问题（MDP）为研究自动规划和强化学习的人工智能研究人员感兴趣的许多问题提供了基础。在本文中，我们总结的结果，解决MDP的复杂性和MDP解决方案算法的运行时间。我们认为，虽然MDP可以有效地解决理论上，需要更多的研究，以揭示实用的算法，快速解决大型问题。为了鼓励未来的研究，我们勾画了一些替代的分析方法，依赖于MDP的结构。
2013-02-20 cs.AI
Metrics for Markov Decision Processes with Infinite State Spaces
McGill University（麦吉尔大学）
我们提出了度量马尔可夫决策过程（MDP）的状态相似性无限多个状态，包括连续状态空间的MDP。这样的指标提供了一个稳定的定量模拟的概念MDP的互模拟，并适合于使用MDP近似。我们表明，最佳的价值函数与折扣无限地平线规划任务不断变化，我们的度量距离。
2012-07-04 cs.AI
Metareasoning for Planning Under Uncertainty
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
传统的在线规划模型下的不确定性假设，代理可以停止和计划，而不会产生成本的时间花费规划。然而，在大多数现实世界的设置中，计划时间并不是免费的。例如，自主无人机即使在思考时也会受到自然力（如重力）的影响，并且必须为抵消这些力量而付出代价，或者努力应对默许它们所导致的状态变化。在这些环境中的政策优化需要元推理-一个权衡规划成本和可能实现的潜在政策改进的过程。我们形式化和分析马尔可夫决策过程（MDP）的元推理问题。我们的工作包括以前研究的特殊情况下的元推理，并表明，在一般情况下，元推理是最多多项式比解决MDPs与任何给定的算法，无视思维的成本。由于我们讨论的原因，最佳一般元推理被证明是不切实际的，激励近似。我们提出了近似元推理程序，依赖于特殊属性的BRTDP规划算法，并探讨我们的方法对各种问题的有效性。
2015-05-03 cs.AI
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Planning and Learning with Stochastic Action Sets
Google Research（谷歌研究院）
在强化学习（RL）的许多实际应用中，给定状态下可用的动作集是一个随机变量，其实现由外生随机过程控制。有些令人惊讶的是，这种顺序决策过程的基础一直没有得到解决。在这项工作中，我们正式和调查MDP与随机行动集（SAS-MDP）提供这些基础。我们表明，在这个模型中的最优策略和价值函数有一个结构，承认一个紧凑的表示。从RL的角度来看，我们证明了使用采样动作集的Q学习是合理的。在基于模型的设置中，我们考虑两种重要的特殊情况：当个体动作具有独立概率时;以及未知分布的基于采样的模型。我们开发多时间值和政策迭代方法，这两种情况下，在第一，我们提供了一个多时间线性规划解决方案。
2021-02-12 cs.AI
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute（伍斯特理工学院）
在马尔可夫决策过程（MDP）的层次规划中，时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中，我们提出了一种新的方法，组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合，我们介绍了一种基于广义逻辑组合的策略组合：给定子任务的子策略和一个新的任务表示为子任务的逻辑组合，一个半最优的策略，这是最优的规划与只有子策略，可以通过简单地组合子策略。因此，一个综合算法的开发，以计算最优策略有效地规划与原始行动，子任务的政策，和子政策的组成，以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
On Query-efficient Planning in MDPs under Linear Realizability of the Optimal State-value Function
DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Cambridge（剑桥大学）；University of Alberta（阿尔伯塔大学）
我们认为，在最佳的价值函数位于接近的跨度的特征地图的假设下，在固定水平的MDP与生成模型的局部规划。生成模型提供了对MDP的本地访问：规划器可以要求从先前返回的状态和任意动作进行随机转换，并且仅可访问此过程中遇到的状态的特征。与之前的工作（例如Latestival et al.（2020））相反，假设所有策略都是线性可实现的，我们考虑了单个线性可实现（确定性）策略的显著宽松假设。Weisz等人（2020）最近的一个下限确定了当最优策略的动作价值函数是线性可实现的时，相关问题需要指数数量的查询，无论是在$H$（MDP的视野）还是$d$（特征映射的维度）中。它们的构建关键依赖于具有指数级大的动作集。相比之下，在这项工作中，我们建立了多$(H,d)$规划是可能的状态价值函数实现时，动作集有一个恒定的大小。特别是，我们提出了TensorPlan算法，它使用聚$((dH/δ)^A)$模拟器查询，以找到一个$δ$最优的政策相对于任何确定性的政策，其中的价值函数是线性实现与一些有界参数。这是第一个只使用单个竞争价值函数的线性可实现性来给出多项式查询复杂度保证的算法。计算成本是否同样有界仍然是一个悬而未决的问题。我们将上界扩展到近可实现的情况下，无限地平线贴现设置。我们还提出了一个下界在无限地平线的情节设置：Plancies，实现恒定的次优需要指数许多查询，无论是在$d$或行动的数量。
2021-07-09 cs.AI cs.LG stat.ML
Vulcan: A Monte Carlo Algorithm for Large Chance Constrained MDPs with Risk Bounding Functions
Massachusetts Institute of Technology（麻省理工学院）
机会约束马尔可夫决策过程在有限的失败概率下最大化回报，并且经常被应用于具有潜在危险结果或未知环境的规划。求解算法需要很强的逻辑性，或者仅限于具有数百万个状态的相对较小的问题，因为从给定状态采取的最佳行动取决于策略其余部分的失败概率，导致难以解决的耦合问题。在本文中，我们研究了CCMDP的一个推广，通过函数关系来权衡失败的概率对奖励。我们推导出一个约束，可以单独应用于每个国家的历史政策，并保证机会约束将得到满足。该方法对CCMDP中的状态进行了简化，从而可以有效地解决大型问题。然后，我们介绍Vulcan，它使用我们的约束，以适用于蒙特卡罗树搜索CCMDPs。Vulcan可以应用于无法生成整个状态空间的问题，并且必须以随时随地的方式返回策略。我们表明，火神和它的变种运行速度比线性规划方法快几十到几百倍，比基于启发式的方法快十倍以上，所有这些都不需要启发式，并返回平均次优的解决方案的顺序百分之几。最后，我们使用Vulcan来解决CCMDP中的机会约束策略，在3分钟内具有超过$10^{13}$的状态。
2018-09-04 cs.AI
A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions
Khalifa University（哈利法大学）
针对局部转移下即使视界为2仍NP难的约束MDP及CC-MDP/SSP变体，提出可计算近优确定性策略的完全多项式时间近似方案。
2023-04-18 cs.AI
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代（API）的一个变体，它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的，这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题，我们引入了一种关系策略语言和相应的学习器。此外，我们引入了一个新的自举例程为基础的目标规划域，基于随机游走。这种引导对于许多大型关系型MDP是必要的，其中奖励非常稀疏，因为当使用不知情的策略初始化时，API在这些域中是无效的。我们的实验表明，所得到的系统是能够找到良好的政策，为一些经典的规划域和他们的随机变量，解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性，建议未来的工作。
2011-09-09 cs.AI
Landmark-Assisted Monte Carlo Planning
Department of Computer Science, University of Maryland, College Park, MD, USA（计算机科学系，马里兰大学，学院公园，MD，美国）；Institute for Systems Research, University of Maryland, College Park, MD, USA（系统研究所，马里兰大学，学院公园，MD，美国）；Navy Center for Applied Research in Artificial Intelligence, U.S. Naval Research Laboratory, Washington, DC, USA（人工智能应用研究中心，美国海军研究实验室，华盛顿，DC，美国）
本文将经典规划中的地标概念引入随机领域，通过形式化概率性地标并改进UCT算法，以地标作为子目标分解MDP，在贪心地标达成与最终目标达成之间取得平衡，实验表明精心选择的地标能显著提升在线概率规划性能。
2025-08-15 cs.AI
Preserving the Privacy of Reward Functions in MDPs through Deception
Singapore Management University（新加坡管理大学）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
针对MDPs中奖励函数易被IRL观测者窃取、现有差分隐私方法无法保障最低期望奖励且抗IRL能力不足的问题，提出基于欺骗理论中模拟模式的RL规划算法，在保障期望奖励的同时提升了隐私保护效果。
2026-11-04 cs.AI cs.LG
Robust Combination of Local Controllers
Stanford University（斯坦福大学）
针对高维连续MDP规划问题，提出非参数化组合局部控制器的方法，并分别应用于随机最短路径和折扣MDP，前者保证高概率到达目标，后者通过鲁棒线性规划处理模型不确定性。
2013-01-10 cs.AI cs.SY eess.SY
Anytime Point-Based Approximations for Large POMDPs
McGill University（麦吉尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
部分可观测马尔可夫决策过程长期以来被认为是现实世界规划和控制问题的丰富框架，特别是在机器人领域。然而，在这个框架中的精确解通常是计算上难以处理的，但最小的问题。一种用于加速POMDP求解的众所周知的技术涉及在特定的信念点执行值备份，而不是在整个信念单形上执行值备份。然而，这种方法的效率在很大程度上取决于点的选择。本文提出了一套新的技术，选择信息的信念点，在实践中工作得很好。点选择过程与基于点的值备份相结合，形成一个有效的随时POMDP算法称为基于点的值迭代（PBVI）。本文的第一个目的是介绍这种算法，并提出了一个理论分析证明选择的信念选择技术。本文的第二个目的是提供一个彻底的实证比较PBVI和其他国家的最先进的POMDP方法，特别是英仙座算法，在努力突出他们的相似性和差异。使用标准POMDP域和现实的机器人任务进行评估。
2011-10-04 cs.AI
A Theory of Goal-Oriented MDPs with Dead Ends
University of Washington（华盛顿大学）
随机最短路径MDP是人工智能领域，特别是概率规划领域中广泛研究的一类问题。他们描述了各种各样的场景，但做出了限制性的假设，即目标可以从任何状态到达，即，死胡同状态是不存在的因此，SSP无法对可能发生灾难性事件的各种场景（例如，如果飞机飞进风暴中可能会坠毁）。尽管MDP算法已经被用于解决具有死胡同的问题，但是一直缺乏允许死胡同的SSP扩展的原则性理论，包括用于解决这种MDP的理论上合理的算法。在本文中，我们提出了三个新的MDP类，承认死胡同越来越弱的假设。我们目前的价值迭代为基础，以及更有效的启发式搜索算法，以最佳地解决每个类，并探讨这些类之间的理论关系。我们还进行了初步的实证研究，比较我们的算法在不同的MDP类，特别是在不可避免的死胡同的情况下的性能。
2012-10-16 cs.AI
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程（SSP MDP）的概率推理。此外，我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中，视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP，并广泛用于人工智能社区。此外，我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Lifted Model Checking for Relational MDPs
KU Leuven（鲁汶大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；Örebro University（厄勒布鲁大学）
概率模型检验是为了验证具有随机性和不确定性行为的系统而发展起来的。给定一个概率系统，概率模型检查器获取一个属性，并检查该属性在该系统中是否成立。因此，概率模型检验提供了严格的保证。然而，到目前为止，概率模型检验主要集中在命题模型上，其中状态由符号表示。另一方面，在规划和强化学习中通常需要进行关系抽象。各种框架处理关系域，例如，CNOPS规划和关系马尔可夫决策过程。在关系环境中使用命题模型检验需要将模型接地，这导致了众所周知的状态爆炸问题和棘手性。我们提出了pCTL-REBEL，一个提升的模型检验方法来验证pCTL属性的关系MDP。它将基于关系模型的强化学习技术REBEL扩展到关系pCTL模型检验. PCTL-REBEL被提升，这意味着该模型不是基于基础，而是利用对称性在关系级别上将一组对象作为一个整体进行推理。理论上，我们表明，pCTL模型检验是可判定的关系MDP有可能是无限的域，提供的状态有界的大小。在实践中，我们贡献的算法和实现解除关系模型检验，我们表明，解除的方法提高了可扩展性的模型检验方法。
2022-01-10 cs.AI cs.LG cs.LO
Communication-Based Decomposition Mechanisms for Decentralized MDPs
Samsung Telecom Research Israel（三星以色列电信研究院）
随机环境中的多智能体规划问题可以形式化地归结为一个分散的马尔可夫决策问题。许多现实生活中出现的分布式问题，在制造，多机器人协调和信息收集的情况下，可以使用这个框架形式化。然而，在一般情况下找到最优解是困难的，限制了最近开发的算法的适用性。本文提供了一个实用的方法来解决分散控制问题时，决策者之间的通信是可能的，但成本高。我们开发的概念，基于通信的机制，使我们能够分解成多个单代理问题的分散MDP。在这个框架中，被称为分散式半马尔可夫决策过程与直接通信（Dec-SMDP-Com），代理之间的通信分开操作。我们发现，找到一个最佳的机制是相当于最佳地解决了Dec-SMDP-Com。我们还提供了一个启发式搜索算法，收敛于最佳分解。将分解限制在某些特定类型的局部行为上，可以显著降低规划的复杂性。特别是，我们提出了一个多项式时间算法的情况下，个体代理执行面向目标的行为之间的通信。本文最后提出了一个额外的易于处理的算法，该算法可以引入人类知识，从而将整个问题减少到寻找最佳通信时间。实证结果表明，这些方法提供了良好的近似解。
2011-10-31 cs.AI
Bridging Commonsense Reasoning and Probabilistic Planning via a Probabilistic Action Language
Arizona State University（亚利桑那州立大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
为了响应动态变化的现实世界环境，智能代理需要执行复杂的顺序决策任务，这些任务通常由常识知识指导。在这方面的研究导致了称为“交错常识推理和概率规划”（icorpp）的框架，它使用P-log表示常识知识和马尔可夫决策过程（MDP）或部分可观察MDP（POMDP）在不确定性下进行规划。icorpp的一个主要限制是它的实现需要非平凡的工程努力来桥接常识推理和概率规划形式主义。在本文中，我们提出了一个统一的框架，集成icorpp的推理和规划组件。特别是，我们扩展了概率动作语言pBC+来表达效用，信念状态和观察POMDP模型。继承动作语言的优点，新的动作语言提供了一个详细的宽容表示POMDP，反映常识知识。这个想法导致了系统pbcplus 2 pomdp的设计，它将pBC+动作描述编译成POMDP模型，该模型可以直接由现成的POMDP求解器处理，以计算pBC+动作描述的最佳策略。实验结果表明，该方法保留了icorpp的优点，同时避免了在常识推理器和概率规划器之间进行人工连接。
2019-07-31 cs.AI
Decision-Theoretic Planning: Structural Assumptions and Computational Leverage
University of British Columbia（不列颠哥伦比亚大学）；Brown University（布朗大学）；University of Washington（华盛顿大学）
不确定性下的规划是自动顺序决策研究中的一个核心问题，并且已经被许多不同领域的研究人员所解决，包括人工智能规划，决策分析，运筹学，控制理论和经济学。虽然在这些领域采用的假设和观点往往有很大的不同，但这些领域的研究人员感兴趣的许多规划问题可以建模为马尔可夫决策过程（MDP），并使用决策理论的技术进行分析。本文介绍了一个概述和综合的MDP相关的方法，显示他们如何提供一个统一的框架，在人工智能研究的规划问题建模的许多类。它还描述了MDP的结构特性，当表现出特定类别的问题，可以利用在建设最优或近似最优的政策或计划。规划问题通常在用于描述性能标准的回报和价值函数、用于描述状态转换和观察的函数以及用于描述状态、动作、回报和观察的特征之间的关系中具有结构。专门的表示和采用这些表示的算法可以通过利用这些不同形式的结构来实现计算杠杆。某些人工智能技术--特别是那些基于使用结构化、内涵式表示的技术--可以用这种方式来看待。本文调查了几种类型的表示为经典和决策理论规划问题，规划算法，利用这些表示在许多不同的方式，以减轻计算负担的建设政策或计划。它主要关注基于AI风格表示的抽象、聚合和分解技术。
2011-05-27 cs.AI
Efficient Solution Algorithms for Factored MDPs
Stanford University（斯坦福大学）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了大型马尔可夫决策过程中不确定性条件下的规划问题。分解的MDP表示使用状态变量的复杂状态空间和使用动态贝叶斯网络的转换模型。该表示通常允许结构化MDP的表示大小的指数减小，但是用于这样的MDP的精确解算法的复杂性可以在表示大小上指数地增长。在本文中，我们提出了两个近似的解决方案算法，利用结构因子的MDP。两者都使用近似价值函数表示为基函数的线性组合，其中每个基函数只涉及域变量的一个小子集。本文的一个关键贡献是，它显示了如何在封闭的形式，利用添加剂和上下文特定的结构中的因子MDP的基本操作可以有效地执行。我们的算法的一个核心要素是一种新的线性规划分解技术，类似于变量消除贝叶斯网络，减少了一个指数级大LP到一个可证明的等价，多项式大小的。一种算法使用近似线性规划，第二种算法使用近似动态规划。我们的动态规划算法是新颖的，因为它使用了一个近似的最大范数，一种技术，更直接地最大限度地减少出现在近似MDP算法的误差范围内的条款。我们提供了超过10^40个状态的问题的实验结果，证明了我们的方法的可扩展性的一个有希望的迹象，并将我们的算法与现有的最先进的方法进行比较，在某些问题中，计算时间呈指数级增长。
2011-06-09 cs.AI
Missingness-MDPs: Bridging the Theory of Missing Data and POMDPs
Ruhr University Bochum（博德姆鲁尔大学）；Brno University of Technology（布拉格技术大学）；Radboud University Nijmegen（拉德博德大学奈杰姆）；Harvard University（哈佛大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出缺失性马尔可夫决策过程（miss-MDP），一种结合缺失数据理论的POMDP子类，通过学习缺失函数来解决未知缺失函数下的最优策略问题，证明所得策略在真miss-MDP中近似最优。
2026-05-12 cs.AI cs.LG
Online Robust Planning under Model Uncertainty: A Sample-Based Approach
本文提出鲁棒稀疏采样（RSS），首个面向鲁棒MDP的在线规划算法，利用样本平均近似高效计算鲁棒值函数，在不确定动力学环境中优于标准稀疏采样。
2025-09-19 cs.AI
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Efficient Strategy Synthesis for MDPs with Resource Constraints
Oden Institute, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登研究所）；Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Department of Aerospace Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校航空航天工程系）；Department of Aerospace Engineering and Engineering Mechanics, The University of Texas at Austin（德克萨斯大学奥斯汀分校航空航天工程与工程力学系）
我们认为定性策略合成的形式主义称为消费马尔可夫决策过程。这种形式主义可以在随机环境中的资源约束下运行的代理的动态模型。所提出的算法在时间多项式中工作，相对于模型的表示，它们合成策略，确保以概率1达到给定的一组目标状态（一次或无限次），而不耗尽资源。特别是，当资源量变得太低，无法安全地继续执行任务时，该策略会将代理的过程改变为指定的一组重新加载状态之一，在该状态下，代理将资源分配到满负荷;有足够的资源量，代理会尝试再次完成任务。我们还提出了两种算法，试图减少预期的时间，代理需要完成给定的任务，在实际规划中的一个重要参数。所提出的算法实现和数值例子证明（i）的有效性（在计算时间方面）的规划方法的基础上的消费马尔可夫决策过程和（ii）的积极影响的规划在一个现实的例子。
2021-05-05 cs.AI cs.SY eess.SY
Practical Linear Value-approximation Techniques for First-order MDPs
University of Toronto（多伦多大学）
一阶马尔可夫决策过程（FOMDPs）的近似线性规划（ALP）技术最近的工作表示价值函数线性w.r.t.一组一阶基函数，并使用线性编程技术来确定合适的权重。这种方法提供的优点是，它不需要简化的一阶价值函数，并允许一个解决FOMDPs独立于一个特定的域实例。在本文中，我们解决了几个问题，以提高这项工作的适用性：（1）我们可以扩展一阶ALP框架近似的政策迭代，以解决以前的方法的性能缺陷？(2)我们能自动生成基函数并评估它们对价值函数质量的影响吗？(3)我们怎样才能将具有普遍量化奖励的棘手问题分解为易于处理的子问题？我们提出了一些新的优化这些问题的答案，并提供了一个比较实证评估的物流问题，从ICAPS 2004年的概率规划比赛。
2012-06-27 cs.AI
Solving Factored MDPs with Continuous and Discrete Variables
Berkeley Research Center（伯克利研究中心）；Intel Corporation（英特尔公司）；University of Pittsburgh（匹兹堡大学）
虽然许多现实世界的随机规划问题更自然地制定了离散和连续变量的混合模型，目前的最先进的方法不能充分解决这些问题。我们提出了第一个框架，可以利用问题结构建模和有效地解决混合问题。我们制定这些问题的混合马尔可夫决策过程（连续和离散的状态和动作变量的MDPs），我们假设可以表示在一个因素的方式使用混合动态贝叶斯网络（混合DBN）。这种提法也使我们能够将我们的方法应用于协作多智能体设置。我们提出了一种新的线性规划逼近方法，利用混合MDP的结构，让我们更有效地计算近似价值函数。特别是，我们描述了一个新的连续变量的分解离散化，避免了传统方法的指数爆炸。我们提供了理论界的质量，这样的近似和它的规模扩大的潜力。我们支持我们的理论论点与一组控制问题的实验高达28维连续状态空间和22维动作空间。
2012-07-11 cs.AI
iCORPP: Interleaved Commonsense Reasoning and Probabilistic Planning on Robots
The State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Sony AI, Sony Corporation of America（索尼美国公司索尼人工智能部门）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 iCORPP 算法，将常识推理与概率规划交错耦合，使机器人能同时理解世界状态、主动收集信息并完成长期服务任务。
2023-10-01 cs.AI
Anytime Single-Step MAPF Planning with Anytime PIBT
Carnegie Mellon University（卡内基梅隆大学）；Monash University（莫纳什大学）
本文提出Anytime PIBT方法，在保持PIBT快速求解单步MAPF能力的同时，以任意时间方式持续优化解质量并证明其收敛到最优解，但实验发现单步解质量的提升对完整时间范围的解代价影响不显著。
2025-04-10 cs.AI cs.MA
Structured Reachability Analysis for Markov Decision Processes
决策理论规划的最新研究集中在使马尔可夫决策过程（MDP）的解决方案更加可行。我们开发了一个家庭的结构化的可达性分析的MDP的算法是合适的初始状态（或一组状态）是已知的。使用MDP的紧凑的结构化表示（例如，贝叶斯网络），我们的方法，在复杂性和准确性之间的权衡不同，产生（估计）可达状态的结构化描述，可用于从问题描述中消除变量或变量值，减少MDP的大小，使其更容易解决。我们的工作的一个贡献是从GRAPHOLOGY的想法来处理的分布式性质的动作表示通常体现在贝叶斯网络和相关的动作效果的问题的扩展。我们还证明，我们的算法可以更完整的使用k元约束，而不是二进制约束。另一个贡献是说明如何紧凑的可达性约束的表示可以利用现有的几个（精确和近似）的MDP抽象算法。
2013-04-23 cs.AI
