Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes
Brown University（布朗大学）
我们提出了一种方法来解决隐式（因子化）马尔可夫决策过程（MDP）非常大的状态空间。我们引入了一个属性的状态空间分区，我们称之为ε-均匀性。直观地说，ε-同构分区将在所有策略或策略的某个子集下行为大致相同的状态分组在一起。借用最近的工作模型最小化的计算机辅助软件验证，我们提出了一个算法，采取一个因子表示的MDP和0<= 1 <=1，并计算一个因子ε-齐次分区的状态空间。该分区定义了一系列相关的MDP-具有等于分区的块的状态空间的那些MDP，以及“近似”像源块中的任何（原始MDP）状态的那些的转移概率。为了正式研究这样的家庭的MDP，我们引入了一个新的概念“有界参数MDP”（BMDP），这是一个家庭（传统）MDP定义的转移概率和奖励的上限和下限。我们描述的算法，操作BMDP找到的政策是近似最优的原始MDP。结合，我们的方法减少一个大的隐式MDP可能更小的BMDP使用ε-均匀分区，我们的方法选择行动BMDP构成了一个新的方法来分析大隐式MDP。在其优点中，这种新方法提供了对现有算法的深入了解，以解决隐式MDP，提供了有用的连接，工作在自动机理论和模型最小化，并建议的方法，其中涉及不同的时间间隔，交易的时间和空间（特别是在相应的状态空间的大小方面）的解决方案的质量。
2013-02-06 cs.AI
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；KAIST Graduate School of AI（韩国科学技术院人工智能学院）
元规划，或从经验中学习指导规划，是一种有前途的方法，以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到，（1）施加约束可以诱导特定于上下文的独立性，使域的某些方面不相关，（2）代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程（CAMP），一个抽象的因素MDP，提供有效的规划。然后，我们描述了如何学习约束，使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者，包括机器人在可移动障碍物之间的导航（NAMO），机器人任务和顺序操作的运动规划，以及经典规划。我们发现，使用学习过的CAMP进行规划，可以始终优于基线，包括Stilman的NAMO特定算法。视频：https://youtu.be/wTXt6djcAd4代码：https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Partitioned Linear Programming Approximations for MDPs
Intel Research（英特尔研究院）；University of Pittsburgh（匹兹堡大学）
近似线性规划（ALP）是求解大因子马尔可夫决策过程（MDP）的一种有效方法。该方法的主要思想是用一组基函数逼近最优价值函数，并通过线性规划（LP）优化其权重。本文提出了一种新的ALP近似。与标准ALP公式相比，我们将约束空间分解为一组低维空间。这种结构允许有效地求解新的LP。特别地，LP的约束可以以紧凑的形式满足，而不对ALP约束的树宽具有指数依赖性。我们研究所提出的方法的实践和理论方面。此外，我们证明了它的放大潜力的MDP与超过2^100个国家。
2012-06-13 cs.AI
Property-driven Causal Abstractions for Markov Decision Processes
Ruhr-University Bochum（波鸿鲁尔大学）；Eindhoven University of Technology（埃因霍温理工大学）；Oxford University（牛津大学）；Radboud University（拉德堡德大学）
本研究针对马尔可夫决策过程（MDPs）提出属性驱动因果抽象技术，通过保留模型特性缩减规模，经理论与实验验证，该技术可生成小型抽象模型以计算近最优策略，且能推广至大规模MDP模型。
2026-08-10 cs.AI cs.LO
Scalable Anytime Planning for Multi-Agent MDPs
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个可扩展的树搜索规划算法的大型多智能体顺序决策问题，需要动态协作。代理团队需要在许多领域协调决策，但由于联合行动空间随代理数量的指数增长，幼稚的方法会失败。我们规避这种复杂性，通过一个随时随地的方法，使我们能够交易计算近似质量，并动态协调行动。我们的算法包括三个要素：在线规划与蒙特卡罗树搜索（MCTS），因子表示的本地代理与协调图的相互作用，和迭代最大加联合行动选择的方法。我们评估我们的方法在基准SysAdmin域与静态协调图，并实现可比的性能与低得多的计算成本比我们的MCTS基线。我们还介绍了一个多无人机交付域与动态，即，状态相关的协调图，并展示了我们的方法如何扩展到这个领域的大问题，是其他MCTS方法难以解决。我们在https://github.com/JuliaPOMDP/FactoredValueMCTS.jl上提供了我们算法的开源实现。
2021-01-12 cs.AI cs.MA
Autonomous Extraction of a Hierarchical Structure of Tasks in Reinforcement Learning, A Sequential Associate Rule Mining Approach
Northern Arizona University（北亚利桑那大学）；Washington State University（华盛顿州立大学）
强化学习（RL）技术虽然通常很强大，但学习速度较慢，特别是在高维空间中。将任务分解为层次结构具有显著加速学习、泛化和迁移学习的潜力。然而，当前的任务分解技术通常依赖于由专家提供的高级知识（例如，使用动态贝叶斯网络）来提取分层任务结构;这在自治系统中不一定可用。在本文中，我们提出了一种新的方法，顺序关联规则挖掘的基础上，可以提取层次结构的任务在强化学习（SARM-HSTRL）在一个自治的方式为马尔可夫决策过程（MDP）和因子MDP。该方法利用关联规则挖掘发现状态之间的因果关系和时间关系，在不同的轨迹，并提取一个任务层次结构，捕捉这些子目标之间的关系，作为不同的子任务的终止条件。我们证明，提取的分层政策提供了一个层次上最优的政策，在MDPs和因子化MDPs。应该注意的是，SARM-HSTRL在具有单个任务轨迹以及具有多个任务轨迹的场景中提取这种分层最优策略，而无需动态贝叶斯网络。此外，它已被理论和经验表明，提取的分层任务结构是一致的轨迹，并提供了最有效的，可靠的，紧凑的结构在适当的假设。数值计算结果比较了所提出的SARM-HSTRL方法与传统的HRL算法在检测子目标的准确性，提取层次的有效性，以及在几个测试床的学习速度方面的性能。
2018-11-17 cs.AI
Chi-square Tests Driven Method for Learning the Structure of Factored MDPs
University Pierre et Marie Curie - Paris 6（皮埃尔和玛丽·居里大学（巴黎第六大学））；LIP6（利皮6实验室）
SDYNA是一个通用框架，旨在解决大型随机强化学习问题。与FMDPs中以前的基于模型的方法不同，它使用监督学习技术增量地学习RL问题的结构和参数。然后，它集成基于FMDPs的决策理论规划算法来计算其策略。SPITI是SDYNA的一个实例，它利用ITI（一种增量决策树算法）来学习奖励函数和动态贝叶斯网络，其中局部结构表示问题的转移函数。这些表示被结构化值迭代算法的增量版本使用。为了学习结构，SPITI使用卡方检验来检测两个概率分布之间的独立性。因此，我们研究了卡方检验中使用的阈值，所建模型的大小和诱导策略的价值函数相对于最优值的相对误差之间的关系。我们表明，在随机问题上，可以调整阈值，从而生成一个紧凑的模型和一个有效的政策。然后，我们表明，SPITI，同时保持其模型的紧凑性，使用其学习方法的泛化性能比随机的经典表格算法在大型RL问题与未知的结构。我们还引入了一种基于卡方的新度量来量化SPITI学习的模型的准确性。我们定性地表明，在SPITI的FMDP框架内的泛化属性可能会阻止指数增长的时间需要学习的结构的大型随机RL问题。
2012-06-27 cs.AI cs.LG stat.ML
On the Complexity of Solving Markov Decision Problems
Brown University（布朗大学）
马尔可夫决策问题（MDP）为研究自动规划和强化学习的人工智能研究人员感兴趣的许多问题提供了基础。在本文中，我们总结的结果，解决MDP的复杂性和MDP解决方案算法的运行时间。我们认为，虽然MDP可以有效地解决理论上，需要更多的研究，以揭示实用的算法，快速解决大型问题。为了鼓励未来的研究，我们勾画了一些替代的分析方法，依赖于MDP的结构。
2013-02-20 cs.AI
Solving Long-run Average Reward Robust MDPs via Stochastic Games
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Masaryk University（马萨里克大学）；Singapore Management University（新加坡管理大学）
本文将长期平均奖励多面体鲁棒MDP归约为基于回合的随机博弈，证明其阈值判定问题属于NP∩coNP，并提出更高效的鲁棒多面体策略迭代算法RPPI。
2024-04-30 cs.AI
A Theory of Goal-Oriented MDPs with Dead Ends
University of Washington（华盛顿大学）
随机最短路径MDP是人工智能领域，特别是概率规划领域中广泛研究的一类问题。他们描述了各种各样的场景，但做出了限制性的假设，即目标可以从任何状态到达，即，死胡同状态是不存在的因此，SSP无法对可能发生灾难性事件的各种场景（例如，如果飞机飞进风暴中可能会坠毁）。尽管MDP算法已经被用于解决具有死胡同的问题，但是一直缺乏允许死胡同的SSP扩展的原则性理论，包括用于解决这种MDP的理论上合理的算法。在本文中，我们提出了三个新的MDP类，承认死胡同越来越弱的假设。我们目前的价值迭代为基础，以及更有效的启发式搜索算法，以最佳地解决每个类，并探讨这些类之间的理论关系。我们还进行了初步的实证研究，比较我们的算法在不同的MDP类，特别是在不可避免的死胡同的情况下的性能。
2012-10-16 cs.AI
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代（API）的一个变体，它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的，这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题，我们引入了一种关系策略语言和相应的学习器。此外，我们引入了一个新的自举例程为基础的目标规划域，基于随机游走。这种引导对于许多大型关系型MDP是必要的，其中奖励非常稀疏，因为当使用不知情的策略初始化时，API在这些域中是无效的。我们的实验表明，所得到的系统是能够找到良好的政策，为一些经典的规划域和他们的随机变量，解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性，建议未来的工作。
2011-09-09 cs.AI
Bayesian Reinforcement Learning in Factored POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
贝叶斯方法为强化学习中的探索-利用权衡提供了一个原则性的解决方案。然而，典型的方法要么假设一个完全可观察的环境，要么规模很差。这项工作介绍了因子贝叶斯自适应POMDP模型，一个框架，能够利用底层结构，同时学习部分可观测系统的动态。我们还提出了一个信念跟踪方法来近似联合后验状态和模型变量，和适应的蒙特卡罗树搜索解决方案的方法，这两者一起能够解决潜在的问题接近最优。我们的方法能够有效地学习给定的因子分解，或者同时学习因子分解和模型参数。我们证明，这种方法是能够优于目前的方法和解决问题，以前是不可行的。
2018-11-14 cs.AI
Learning Efficient Representations for Reinforcement Learning
University Of Washington（华盛顿大学）
马尔可夫决策过程（MDP）是解决不确定性下序列决策问题的一个研究框架。基于动态规划的MDP精确求解方法，如策略迭代法和值迭代法，对小问题是有效的。在具有大离散状态空间或连续状态空间的问题中，紧致表示对于提供MDP的有效近似解是必不可少的。常用的近似算法涉及构造用于将价值函数投影到低维子空间上的基函数，以及构建因子化或分层图形模型以分解转移和奖励函数。然而，为给定的强化学习（RL）任务手工编码一个良好的紧凑表示可能非常困难和耗时。最近的方法试图自动发现RL的有效表示。在这篇论文中，我们讨论了基于核的强化学习的结构化核的自动构造问题，这是一种流行的学习价值函数的非参数近似的方法。我们探索的内核结构，这是从基础内核使用上下文无关文法组成的空间。我们研究了一个贪心算法搜索的结构空间。为了证明学习的结构如何在紧凑性和效率方面表示和近似原始RL问题，我们计划在合成问题上评估我们的方法，并将其与其他RL基线进行比较。
2015-08-28 cs.AI
Qualitative Possibilistic Mixed-Observable MDPs
IRIT – Paul Sabatier University（IRIT - 图卢兹第三大学（保罗·萨巴蒂埃大学））；Onera – The French Aerospace Lab（法国国家航空航天研究中心）
可能性和定性POMDP（pi-POMDP）是POMDP的对应物，用于模拟由于缺乏过去的经验或数据汇集不足而导致代理的初始信念或观察概率不精确的情况。然而，像概率POMDPs，最佳解决pi-POMDPs是棘手的：有限的信念状态空间指数增长与系统的状态数。在本文中，一个可能性版本的混合可观测MDP的解决这个问题：解决pi-POMDP的复杂性，其中一些状态变量是完全可观测的，然后可以显着降低。一个值迭代算法，这个新的配方下无限地平线提出和最优性的返回策略（指定的标准）示出假设存在一个“停留”的行动在一些目标状态。实验工作最后表明，这种可能性模型优于概率POMDPs通常用于机器人技术中，对于目标识别问题，代理的意见是不精确的。
2013-09-26 cs.AI
Information-Theoretic Confidence Bounds for Reinforcement Learning
Stanford University（斯坦福大学）
我们将信息理论的概念整合到乐观算法和汤普森采样的设计和分析中。通过信息理论的数量和置信区间之间的连接，我们得到的结果，每一个时期的代理性能与其有关的环境的信息增益，从而明确表征的探索开发权衡。由此产生的累积遗憾界取决于代理人的不确定性的环境和量化的先验信息的价值。我们展示了这种方法在几种环境中的适用性，包括线性土匪，表格MDPs和因子MDPs。这些例子证明了一个通用的信息理论方法的设计和分析的强化学习算法的潜力。
2019-11-21 cs.AI cs.LG stat.ML
Solving Multi-Model MDPs by Coordinate Ascent and Dynamic Programming
Department of Computer Science University of New Hampshire（计算机科学系 新罕布什尔大学）
本文针对NP难的多模型MDP问题，提出结合坐标上升与动态规划的CADP算法，通过迭代调整模型权重保证策略单调改进，理论证明不劣于WSU且在多个基准上显著胜出。
2024-07-08 cs.AI cs.LG
Reinforcement Learning in Low-Rank MDPs with Density Features
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有低秩转换的MDP-也就是说，转换矩阵可以分解为两个矩阵（左和右）的乘积-是一种高度代表性的结构，可以进行易于学习。左矩阵使得表达函数近似能够用于基于值的学习，并且已经被广泛研究。在这项工作中，我们研究了具有密度特征的样本有效学习，即，正确的矩阵，这导致强大的模型状态占用分布。此设置不仅有助于在RL中利用无监督学习，而且还支持凸RL的插件解决方案。在离线设置中，我们提出了一个算法的off-policy估计的占用率，可以处理非探索性数据。以此为子程序，我们进一步设计了一个在线算法，以逐层的方式构建探索性数据分布。作为一个核心技术挑战，占用估计的加性误差与数据覆盖范围的乘法定义不相容。在缺乏像可达性这样的强假设的情况下，这种不兼容性很容易导致指数误差爆炸，我们通过新的技术工具克服了这一点。我们的结果也很容易扩展到表示学习设置，当密度特征是未知的，必须从一个指数级大的候选集学习。
2023-02-04 cs.AI cs.LG stat.ML
Inductive Policy Selection for First-Order MDPs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
我们选择政策的大型马尔可夫决策过程（MDP）与紧凑的一阶表示。我们发现，随着域中对象数量的增长，策略可以很好地泛化，可能没有约束。现有的基于平面、命题或一阶表示的动态编程方法在这里要么是不切实际的，要么不能随着对象数量的无限增长而自然地扩展。我们实现和评估的替代方法，诱导一阶政策使用训练数据，通过解决小问题的实例，使用PGraphplan（Blum和Langford，1999年）。我们的政策表示为决策列表的集合，使用分类概念语言。这种方法将Martin和Geffner（2000）的工作扩展到随机域，集成学习和更广泛的问题。从经验上讲，我们发现“好”的政策，几个随机的一阶MDP超出了以前的方法的范围。我们还讨论了应用这项工作的关系学习问题。
2012-12-12 cs.AI
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.（Cycorp公司）；Tufts University（塔夫茨大学）；Oregon State University（俄勒冈州立大学）
我们形式化一个简单而自然的子类服务域的关系规划问题，以对象为中心，独立的外源事件和附加奖励捕获，例如，库存控制问题。针对这一子类，我们提出了一个新的符号规划算法，这是第一个算法，具有明确的性能保证关系MDP与外源事件。特别是，在某些技术条件下，我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法，我们提出了新的评估和减少技术的广义一阶决策图，一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态，作为训练集，简化和近似的符号解决方案，因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs
Oregon State University（俄勒冈州立大学）
本文提出DAC-MDP，一种基于深度表示的非参数MDP方法，通过引入成本处理有限数据，实现可扩展且支持零样本调整的离线强化学习。
2025-02-04 cs.AI cs.LG stat.ML
CP-MDP: A CANDECOMP-PARAFAC Decomposition Approach to Solve a Markov Decision Process Multidimensional Problem
Pontifical Catholic University of Rio Grande do Sul (PUCRS)（南里奥格兰德天主教大学）
马尔可夫决策过程（MDP）是随机环境中决策理论代理最优规划的基础模型。虽然许多研究都集中在解决MDP问题的表格形式或使用因子表示，没有集中在张量分解方法。使用张量代数求解MDP提供了利用基于张量的计算的进步来进一步提高求解器效率的前景。在本文中，我们开发了一个多维问题的MDP求解器，使用张量分解方法来压缩转换模型，优化值迭代和策略迭代算法。我们根据经验评估我们的方法对表格方法，并表明我们的方法可以计算更大的问题，使用更少的内存，开辟了新的可能性，基于张量的方法在随机规划
2021-02-27 cs.AI
Communication-Based Decomposition Mechanisms for Decentralized MDPs
Samsung Telecom Research Israel（三星以色列电信研究院）
随机环境中的多智能体规划问题可以形式化地归结为一个分散的马尔可夫决策问题。许多现实生活中出现的分布式问题，在制造，多机器人协调和信息收集的情况下，可以使用这个框架形式化。然而，在一般情况下找到最优解是困难的，限制了最近开发的算法的适用性。本文提供了一个实用的方法来解决分散控制问题时，决策者之间的通信是可能的，但成本高。我们开发的概念，基于通信的机制，使我们能够分解成多个单代理问题的分散MDP。在这个框架中，被称为分散式半马尔可夫决策过程与直接通信（Dec-SMDP-Com），代理之间的通信分开操作。我们发现，找到一个最佳的机制是相当于最佳地解决了Dec-SMDP-Com。我们还提供了一个启发式搜索算法，收敛于最佳分解。将分解限制在某些特定类型的局部行为上，可以显著降低规划的复杂性。特别是，我们提出了一个多项式时间算法的情况下，个体代理执行面向目标的行为之间的通信。本文最后提出了一个额外的易于处理的算法，该算法可以引入人类知识，从而将整个问题减少到寻找最佳通信时间。实证结果表明，这些方法提供了良好的近似解。
2011-10-31 cs.AI
Solving Transition-Independent Multi-agent MDPs with Sparse Interactions (Extended version)
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）
在不确定性条件下的多智能体序贯决策中，智能体必须协调一致，以找到一个最优的联合策略，使联合价值最大化。典型的算法在价值函数中利用加法结构，但是在完全可观察的多智能体MDP设置（MMDP）中不存在这样的结构。我们提出了一个新的最优求解器过渡独立的MMDPs，代理只能影响自己的状态，但他们的奖励取决于联合过渡。我们将这些依赖关系用条件返回图（CRG）表示。使用CRG的联合策略的值和部分指定的联合策略的界限可以有效地计算。我们提出了Core，一种新的分支定界策略搜索算法建立在CRG。Core通常需要比可用的替代方案更少的运行时间，并找到以前无法解决的问题的解决方案。
2016-02-11 cs.AI cs.MA
Reachability and Differential based Heuristics for Solving Markov Decision Processes
University of Southern California（南加利福尼亚大学）；Indiana University（印第安纳大学）
马尔可夫决策过程（MDP）的解决方案的收敛速度可以通过优先级扫描的状态排序，他们对其他状态的潜在影响。在本文中，我们提出了新的算法，以加快解决方案的收敛MDP。首先，我们使用平均第一通过时间（MFPT）量化每个状态的可达性水平，并表明这种可达性表征很好地评估了用于有效的状态优先级的状态的重要性。然后，我们引入了备份差异的概念作为优先扫描机制的扩展，以评估状态的影响，在更细的尺度。最后，我们将状态优先级扩展到时间过程，在某些中间值迭代阶段只能执行部分扫描。为了验证我们的设计，我们已经进行了数值评估，通过比较提出的新算法与相应的经典基线机制。评估结果表明，我们的基于可达性的框架及其差分变体在实际运行时间和迭代次数方面都优于最先进的解决方案。
2019-01-03 cs.AI
Solution Methods for Constrained Markov Decision Process with Continuous Probability Modulation
IBM T.J. Watson Research Center（IBM T.J. Watson研究中心）
我们提出了解决方法，以前未解决的约束MDPs中的行动可以不断修改的转移概率在一些可接受的集合。虽然已经提出了许多方法来解决具有大状态集的规则MDP，但很少有实用的方法来解决具有大动作集的约束MDP。特别是，我们表明，连续的行动集可以取代他们的极端点时，奖励是线性的调制。我们还开发了一个易于处理的凹奖励函数的优化公式，令人惊讶的是，还将其扩展到非凹奖励函数，通过使用其凹信封。我们评估的有效性的方法上的问题，管理拖欠贷款组合。
2013-09-26 cs.AI
Reductive MDPs: A Perspective Beyond Temporal Horizons
J.P. Morgan AI Research（摩根大通人工智能研究院）
求解一般马尔可夫决策过程（MDP）是一个计算困难的问题。另一方面，用众所周知的多项式时间算法求解有限时域MDP是非常容易处理的。是什么导致了这种极端的差异，在这些截然相反的复杂性之间是否存在问题？在本文中，我们确定和分析的一般状态-动作空间的动态满足一个特定的漂移条件的随机最短路径问题（SSP）的一个子类。这种构造通过减少可达性来推广传统的时间视界概念：一种称为还原性的属性。结果表明，最佳的政策可以恢复在多项式时间还原SSP-通过向后归纳的扩展-与一个有效的模拟还原MDP。所提出的方法的实际考虑进行了讨论，并提供了一个典型的最优清算问题的数值验证。
2022-05-15 cs.AI cs.CC cs.LG
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程（SSP MDP）的概率推理。此外，我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中，视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP，并广泛用于人工智能社区。此外，我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
An Anytime Algorithm for Task and Motion MDPs
Arizona State University（亚利桑那州立大学）；United Technologies Research Center（联合技术研究中心）；University of Massachusetts（马萨诸塞大学）
集成的任务和运动规划已经成为一个具有挑战性的问题，在顺序决策，机器人需要计算高层次的战略和低层次的运动计划，以解决复杂的任务。虽然高层次的战略需要在较长的时间范围和规模的决策，其可行性取决于低层次的约束条件的基础上的几何形状和环境的连续动态。这个问题的混合性质使其难以扩展;大多数现有的方法都集中在确定性，完全可观察的场景。我们提出了一种新的方法，高层次的决策问题发生在一个随机设置，可以建模为马尔可夫决策过程。在以前的努力相比，我们表明，完整的MDP政策，或偶然的行为，可以有效地计算在任何时候的时尚。我们的算法不断提高解决方案的质量，并保证概率完整。我们评估我们的方法上的一个具有挑战性的，现实的测试问题：自主飞机检查的性能。我们的研究结果表明，我们可以有效地计算一致的任务和运动的政策，最有可能的执行时间的结果，只使用一小部分的计算所需的开发完整的任务和运动的政策。
2018-02-16 cs.AI
Exploiting Anonymity in Approximate Linear Programming: Scaling to Large Multiagent MDPs (Extended Version)
MIT Media Lab（麻省理工学院媒体实验室）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）；Stanford University（斯坦福大学）
马尔可夫决策过程（MDP）的许多精确和近似的解决方法试图利用问题的结构，并基于价值函数的因式分解。然而，特别是多智能体设置，众所周知，遭受指数增长的价值组件的大小，因为相互作用变得更加密集，这意味着近似架构的限制，在问题的大小和类型，他们可以处理。我们提出了一种方法来减轻这种限制，某些类型的多智能体系统，利用一个属性，可以被认为是“匿名影响”的因素MDP。匿名影响有效地总结了联合变量的影响时，显式表示的变量身份的问题可以避免。我们展示了如何从匿名的代表性的好处转化为计算效率，无论是一般的变量消除因子图，但特别是也为近似的线性规划解决方案，因子化的MDP。后者允许将线性规划扩展到以前无法解决的分解的MDP。我们的研究结果显示，在一个密集连接的图与50个节点和25个代理的随机疾病过程的控制。
2016-02-20 cs.AI cs.MA
Howard's Policy Iteration is Subexponential for Deterministic Markov Decision Problems with Rewards of Fixed Bit-size and Arbitrary Discount Factor
Department of Computer Science and Engineering, IIT Bombay（印度理工学院孟买分校计算机科学与工程学院）
本文针对确定性马尔可夫决策问题（DMDPs），证明了Howard策略迭代算法在奖励位数为固定值且折扣因子任意时具有次指数的运行时间上界，显著改进了此前的指数级上界。
2025-05-01 cs.AI
Learning Domain Invariant Representations in Goal-conditioned Block MDPs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
深度强化学习（RL）在解决许多复杂的马尔可夫决策过程（MDP）问题上取得了成功。然而，在现实世界中部署后，代理经常面临无法预料的环境变化。这些变化通常是虚假的，与潜在的问题无关，例如视觉输入代理的背景变化。不幸的是，深度RL策略通常对这些变化很敏感，并且无法对它们采取有力的行动。这类似于监督学习中的领域泛化问题。在这项工作中，我们研究这个问题的目标条件RL代理。我们提出了一个理论框架，在块MDP设置的目标条件下的政策，以新的环境的概括性的特点。在此框架下，我们开发了一个实用的方法PA-SkewFit，增强领域泛化。实证评估表明，我们的目标条件强化学习代理可以在各种看不见的测试环境中表现良好，比基线提高了50%。
2021-10-28 cs.AI cs.LG
Polynomial Value Iteration Algorithms for Detrerminstic MDPs
University of Alberta（阿尔伯塔大学）
价值迭代法是求解马尔可夫决策过程问题的一种常用方法。然而，众所周知，值迭代一般只有伪多项式复杂度。我们建立了一个有点令人惊讶的多项式界值迭代确定性马尔可夫决策（DMDP）问题。我们证明了基本值迭代过程在heta（n^2）次迭代或heta（mn^2）次总时间内收敛到DMDP问题的最高平均回报周期，其中n表示状态数，m表示边数。给出了在heta（mn）时间内求解DMDP的值迭代的两个推广.我们探讨的政策迭代算法的分析和报告的实证研究的价值迭代表明，它的收敛速度更快的随机稀疏图。
2012-12-12 cs.AI cs.DS
Sample and Oracle Efficient Reinforcement Learning for MDPs with Linearly-Realizable Value Functions
Google（谷歌公司）
本文针对状态-动作价值函数线性可实现的MDP提出了一种样本与计算均高效的强化学习算法，通过多项式次数的回合和代价敏感分类预言机调用找到近最优策略，并在常数特征维度下显著降低了计算复杂度。
2024-10-03 cs.AI cs.LG
Learning and Solving Regular Decision Processes
规则决策过程（RDPs）是最近引入的一种模型，它扩展了MDP与非马尔可夫动力学和奖励。非马尔可夫行为被限制为依赖于历史的正则性质。这些可以使用有限迹上的线性动态逻辑中的正则表达式或公式来指定。完全指定的RDP可以通过将其编译为适当的MDP来解决。从数据中学习RDP是一个具有挑战性的问题，尚未得到解决，我们在本文中集中。我们的方法依赖于一个新的表示RDPs使用Mealy机发出的分布和每个状态动作对的预期奖励。在此表示的基础上，我们将自动机学习技术与历史聚类相结合，学习这样一个Mealy机，并通过调整MCTS来解决它。
2020-03-02 cs.AI
Iterative Bounding MDPs: Learning Interpretable Policies via Non-Interpretable Methods
Carnegie Mellon University（卡内基梅隆大学）
当前在可解释强化学习中的工作通常以状态空间上的决策树的形式产生策略。这些策略可用于正式的安全验证、代理行为预测和重要功能的手动检查。然而，现有的方法在训练之后拟合决策树，或者使用与新的学习技术（诸如使用神经网络的那些学习技术）不兼容的定制学习过程。为了解决这个问题，我们提出了一种新的马尔可夫决策过程（MDP）类型的学习决策树政策：迭代边界MDP（IBMDP）。IBMDP是围绕基本MDP构建的，因此在使用与方法无关的掩码过程时，保证每个IBMDP策略对应于基本MDP的决策树策略。由于这种决策树等价性，在训练期间可以使用任何函数近似器，包括神经网络，同时产生用于基本MDP的决策树策略。我们提出了所需的掩蔽过程，以及修改后的值更新步骤，允许IBMDP使用现有的算法来解决。我们应用这个过程来产生最近的强化学习方法的IBMDP变体。我们的经验表明，我们的方法的好处，通过解决IBMDP产生决策树政策的基础MDP。
2021-02-25 cs.AI cs.LG
Reinforcement Learning with Non-Markovian Rewards
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
标准的RL世界模型是马尔可夫决策过程（MDP）的模型。MDP的一个基本前提是奖励仅取决于最后的状态和动作。然而，许多现实世界的奖励是非马尔可夫的。例如，如果国家只记录当前的请求和交付，那么仅在请求较早且尚未送达时才提供咖啡的奖励是非马尔可夫的。过去的工作考虑了用非马尔可夫奖励（NMR）建模和解决MDP的问题，但我们不知道用NMR进行RL的原则性方法。在这里，我们解决的问题，策略学习从经验与这种奖励。我们描述和经验评估四个组合的经典RL算法Q-学习和R-max与自动机学习算法，以获得新的RL算法与NMR域。我们还证明了这些变种收敛到一个最优策略的限制。
2019-12-05 cs.AI
Sharpe Ratio Optimization in Markov Decision Processes
School of Business, Sun Yat-sen University, Guangzhou, China（中山大学商学院）；College of Business, City University of Hong Kong, Hong Kong, China（香港城市大学商学院）
针对马尔可夫决策过程中夏普比率优化的动态规划应用难题，提出结合Dinkelbach变换与迭代策略迭代的动态规划类算法，可求解平均和折扣设置下的最优解，为分式目标MDP求解提供新思路。
2025-08-31 cs.AI
Analysis of approximate linear programming solution to Markov decision problem with log barrier function
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
本文提出利用对数障碍函数将马尔可夫决策问题的线性规划转换为无约束优化问题，以提高求解效率并填补理论空白。
2026-02-23 cs.AI
Improved Regret Bounds for Linear Adversarial MDPs via Linear Optimization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在对抗环境中学习马尔可夫决策过程（MDP）一直是一个具有挑战性的问题。这个问题在函数近似中变得更具挑战性，因为损失函数和过渡核的底层结构在变化的环境中特别难以估计。事实上，线性对抗MDP的最新结果实现了$\tilde{O}(K^{6/7})$的遗憾（$K$表示发作次数），这允许有很大的改进空间。在本文中，我们研究了一个新的观点，这减少了线性MDP线性优化通过巧妙地设置的强盗武器的特征映射。这种新的技术，探索性的假设下，产生一个改进的界限的$\tilde{O}(K^{4/5})$的线性对抗MDP没有访问一个过渡模拟器。新的观点可能是独立的利益解决其他MDP问题，具有线性结构。
2023-02-14 cs.AI cs.LG
Reward is enough for convex MDPs
DeepMind（深度思维）
针对无法由平稳奖励表示、以平稳分布凸函数定义目标的凸 MDP，论文利用 Fenchel 对偶将其转化为策略与代价的 min-max 博弈，并提出统一多种现有算法的元算法。
2023-06-02 cs.AI cs.LG stat.ML
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程（MDPs）的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程，并给出最优政策存在的条件。在此基础上，我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现，并表明他们是实用的。此外，我们表明，结合有效的未经验证的实现，我们的系统可以竞争，甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
Metrics for Finite Markov Decision Processes
我们提出了度量的相似性状态在有限马尔可夫决策过程（MDP）。我们的指标的制定是基于MDP互模拟的概念，目的是解决折扣无限时域强化学习任务。这样的度量可以用于聚集状态，以及更好地构造其他价值函数近似器（例如，基于存储器或最近邻逼近器）。我们提供的界限，我们的度量距离在给定的MDP的状态的最佳值。
2012-07-11 cs.AI
Robust Counterfactual Inference in Markov Decision Processes
King's College London（伦敦国王学院）
针对马尔可夫决策过程（MDP）中现有反事实推断方法依赖特定因果模型导致结果有效性和鲁棒性受限的问题，提出一种非参数方法，通过计算所有兼容因果模型下反事实转移概率的紧界，并构建区间反事实MDP以优化最坏情况奖励，从而获得鲁棒反事实策略。
2026-05-22 cs.AI
Generalized Hidden Parameter MDPs Transferable Model-based RL in a Handful of Trials
Uber AI Labs（优步人工智能实验室）
人们对创建能够解决许多（相关）任务并在初始训练后适应新任务和环境的RL代理有广泛的兴趣。基于模型的强化学习利用学习的代理模型来描述单个任务的动态和奖励，以便在良好的代理中进行规划可以实现对真实系统的良好控制。分层模型不是从头开始单独解决每个任务，而是可以利用任务通常与（未观察到的）因果变化因素相关的事实，以实现有效的泛化，因为在学习物品的质量如何影响提升它所需的力时，可以泛化到以前未观察到的质量。我们提出了广义隐藏参数MDP（GHP-MDP），它描述了一个MDP家族，其中动态和奖励都可以作为隐藏参数的函数在任务中变化。GHP-MDP通过捕获这些隐藏参数的潜在变量来增强基于模型的RL，从而促进任务之间的传输。我们还探索了一个变体的模型，它包含了明确的潜在结构，反映了跨任务变化的因果因素（例如：代理属性，环境因素和目标）。我们通过实验证明了最先进的性能和样本效率的一个新的具有挑战性的MuJoCo任务，使用奖励和动态潜在空间，同时击败了以前的最先进的基线与$>10\times$更少的数据。使用测试时的推理的潜变量，我们的方法概括在一个单一的情节，以新颖的组合的动态和奖励，和新颖的奖励。
2020-02-08 cs.AI cs.LG stat.ML
Bidding Games on Markov Decision Processes with Quantitative Reachability Objectives
University of Haifa（海法大学）；Masaryk University（马萨里克大学）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；IMDEA Software Institute（IMDEA软件研究所）
本文研究MDP上的竞标博弈，将随机环境不确定性与拍卖式交互结合，提出值迭代算法逼近阈值和最优策略，并证明阈值求解至少与简单随机博弈同难度。
2024-12-27 cs.AI cs.GT
Is RLHF More Difficult than Standard RL?
Princeton University（普林斯顿大学）
该研究从理论上证明RLHF并不比标准RL更难，通过将偏好类RL问题归约为鲁棒RL、多智能体RL等现有奖励类RL问题，可在极小额外成本下求解，还给出了K元比较场景的理论保证。
2023-11-03 cs.AI cs.LG stat.ML
Retrosynthesis Planning via Worst-path Policy Optimisation in Tree-structured MDPs
University of Warwick（沃里克大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对逆合成规划易受合成路线“最薄弱环节”影响的问题，将其重新定义为树结构MDP的最坏路径优化问题，提出InterRetro方法，在Retro*-190基准上实现100%目标解决率并缩短路线4.9%。
2025-11-17 cs.AI cs.CE cs.LG
Solving Continual Combinatorial Selection via Deep Reinforcement Learning
KAIST（韩国科学技术院）；King’s College London（伦敦国王学院）；Naver Corporation（Naver公司）
我们考虑马尔可夫决策过程（MDP）选择一个子集的项目在每一步，称为选择MDP（S-MDP）。S-MDP的大的状态和动作空间使得它们难以用典型的强化学习（RL）算法来解决，特别是当项目数量巨大时。在本文中，我们提出了一个深度RL算法来解决这个问题，采用以下关键思想。首先，我们将原始的S-MDP转换成迭代选择MDP（IS-MDP），这是等价于S-MDP的最优行动。IS-MDP将同时选择K个项目的联合动作分解为K个迭代选择，从而以指数级增加的状态为代价减少动作。其次，我们克服了这种状态空间爆炸，利用一种特殊的对称性IS-MDP与新的权重共享Q-网络，可证明保持足够的表达能力。各种实验表明，即使项目空间很大，我们的方法也能很好地工作，并且它可以扩展到项目空间与训练中使用的项目空间不同的环境。
2019-09-09 cs.AI cs.LG stat.ML
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind（深度思维）；Princeton University（普林斯顿大学）；Google Research India（谷歌印度研究院）；University of Alberta（阿尔伯塔大学）
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计，这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习（RL）问题（如表MDP，因子MDP，低见证秩问题，表弱揭示/可观察POMDP和多步可解码POMDP），而且还包括许多新的具有挑战性的RL问题，特别是在部分可观察的设置中，以前不知道是易处理的。值得注意的是，本文所解决的新问题包括：（1）具有连续观测和函数逼近的可观测POMDPs，其中我们获得了与观测空间大小完全无关的第一样本复杂度;（2）良态低秩序贯决策问题（也称为预测状态表示（PSR）），其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;（3）SAIL条件下的一般序贯决策问题，统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件，它可以看作是Bellman/witness秩的自然推广，以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法，它学习近似的动态模型，使计算接近最优的政策，同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
Multi-level meta-reinforcement learning with skill-based curriculum
本文提出基于技能的多级元强化学习框架，通过多级分解和策略分解实现技能转移，提升复杂MDP的求解效率与泛化能力。
2026-03-09 cs.AI cs.LG stat.ML
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University（首尔国立大学）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学技术研究所（UNIST））
MATE通过使用累积转移嵌入的记忆架构，解决了由未观察上下文参数化的上下文马尔可夫决策过程（CMDPs），在保持后验信念的同时，避免了传统方法的计算和梯度问题，实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
Training on Irrelevant States Implies Data Augmentation: Generalization in Contextual MDPs
研究上下文马尔可夫决策过程零样本策略转移中智能体泛化问题，提出Explore-Go方法，通过在训练开始引入纯探索阶段，结合现有纯探索策略提升智能体覆盖范围与准确性来增强泛化能力，经实验验证该方法在多种基准测试中有效。
2026-07-14 cs.AI cs.LG
A Heuristic Search Algorithm for Solving First-Order MDPs
提出了一种求解一阶MDP（FOMDP）的启发式搜索算法。我们的方法结合了一阶状态抽象，避免单独评估状态，和启发式搜索，避免评估所有的状态。首先，我们直接在FOMDP上应用状态抽象，避免了命题化。这种抽象被称为一阶状态抽象。其次，引导一个可接受的启发式，搜索仅限于从初始状态可达的那些状态。我们证明了上述技术的有用性，用于解决FOMDPs的系统，称为FCPlanner，进入概率轨道的国际规划竞赛（IPC'2004）。
2014-08-09 cs.AI
