Qualitative MDPs and POMDPs: An Order-Of-Magnitude Approximation
我们开发了一个定性的马尔可夫决策过程（MDP）和部分可观察MDP，可用于建模时，只有定性信息的顺序决策任务的理论。我们的方法是基于概率和效用的数量级近似，类似于ε语义。其结果是一个定性的理论，与标准的最大预期效用理论有密切的联系，并服从一般的规划技术。
2012-12-12 cs.AI
Metrics for Markov Decision Processes with Infinite State Spaces
McGill University（麦吉尔大学）
我们提出了度量马尔可夫决策过程（MDP）的状态相似性无限多个状态，包括连续状态空间的MDP。这样的指标提供了一个稳定的定量模拟的概念MDP的互模拟，并适合于使用MDP近似。我们表明，最佳的价值函数与折扣无限地平线规划任务不断变化，我们的度量距离。
2012-07-04 cs.AI
First Order Decision Diagrams for Relational MDPs
Tufts University（塔夫茨大学）
马尔可夫决策过程捕获不确定性下的顺序决策，其中代理必须选择行动以优化长期回报。本文研究了关系马尔可夫决策过程（RMDP）的有效推理机制，其中世界状态有一个内部的关系结构，可以自然地描述的对象和它们之间的关系。提出了两项贡献。首先，本文开发了一阶决策图（FODD），一个新的紧凑的关系结构的功能表示，连同一组操作符结合FODD，和新的减少技术，以保持小的表示。其次，本文展示了如何FODDs可以用来开发解决方案的RMDPs，推理是在抽象层次上进行的，所得到的最优策略是独立的域大小（对象的数量）或实例化。特别是，值迭代算法的一个变种，通过使用特殊的操作FODDs，该算法收敛到最优策略。
2011-10-31 cs.AI
Generalization in Monitored Markov Decision Processes (Mon-MDPs)
University of Alberta（阿尔伯塔大学）；Amii（艾伯塔机器智能研究所）
针对奖励仅部分可观测的 Mon-MDP，本文结合函数逼近与学习型奖励模型实现跨状态泛化，并提出利用奖励不确定性的谨慎策略优化以缓解过度泛化。
2025-05-13 cs.AI
A Geometric Traversal Algorithm for Reward-Uncertain MDPs
KAIST（韩国科学技术院）；Department of Computer Science（计算机科学系）
马尔可夫决策过程（MDP）被广泛应用于随机环境中的决策问题建模。然而，在MDP中的奖励函数的精确规范通常是非常困难的。最近的方法都集中在计算最优策略的基础上的极小极大后悔准则获得一个强大的政策下的不确定性的奖励函数。计算极小极大后悔策略的核心任务之一是求出对于某个候选奖励函数最优的所有策略的集合。在本文中，我们提出了一个有效的算法，利用与政策的奖励函数的几何性质。我们还提出了一个近似版本的方法，以进一步加快。我们的实验表明，我们的算法提高了性能的数量级。
2012-02-14 cs.AI
dtControl2+$\varepsilon$: Trading Optimality for Explainability in MDPs via Decision Trees
Lancaster University Leipzig（莱斯特大学莱比锡分校）；Ruhr-University Bochum（鲁尔-波鸿大学）
研究在马尔可夫决策过程中，通过扩展dtControl2的“$\varepsilon$”功能，构建更小决策树，在保证$\varepsilon$-最优性的同时提供更简单解释，所建决策树比现有技术小几个数量级。
2026-07-29 cs.AI
Solving Factored MDPs with Hybrid State and Action Variables
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
具有连续和离散变量的大型决策问题的有效表示和解决方案是自动决策支持系统设计者面临的最重要的挑战之一。在本文中，我们描述了一种新的混合因子马尔可夫决策过程（MDP）模型，允许这些问题的紧凑表示，和一个新的混合近似线性规划（HALP）框架，允许他们的有效解决方案。HALP的核心思想是通过基函数的线性组合来逼近最优价值函数，并通过线性规划来优化其权重。我们分析了这种方法的理论和计算方面，并证明了它的放大潜力的几个混合优化问题。
2011-09-30 cs.AI
Structured Reachability Analysis for Markov Decision Processes
决策理论规划的最新研究集中在使马尔可夫决策过程（MDP）的解决方案更加可行。我们开发了一个家庭的结构化的可达性分析的MDP的算法是合适的初始状态（或一组状态）是已知的。使用MDP的紧凑的结构化表示（例如，贝叶斯网络），我们的方法，在复杂性和准确性之间的权衡不同，产生（估计）可达状态的结构化描述，可用于从问题描述中消除变量或变量值，减少MDP的大小，使其更容易解决。我们的工作的一个贡献是从GRAPHOLOGY的想法来处理的分布式性质的动作表示通常体现在贝叶斯网络和相关的动作效果的问题的扩展。我们还证明，我们的算法可以更完整的使用k元约束，而不是二进制约束。另一个贡献是说明如何紧凑的可达性约束的表示可以利用现有的几个（精确和近似）的MDP抽象算法。
2013-04-23 cs.AI
Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes
Brown University（布朗大学）
我们提出了一种方法来解决隐式（因子化）马尔可夫决策过程（MDP）非常大的状态空间。我们引入了一个属性的状态空间分区，我们称之为ε-均匀性。直观地说，ε-同构分区将在所有策略或策略的某个子集下行为大致相同的状态分组在一起。借用最近的工作模型最小化的计算机辅助软件验证，我们提出了一个算法，采取一个因子表示的MDP和0<= 1 <=1，并计算一个因子ε-齐次分区的状态空间。该分区定义了一系列相关的MDP-具有等于分区的块的状态空间的那些MDP，以及“近似”像源块中的任何（原始MDP）状态的那些的转移概率。为了正式研究这样的家庭的MDP，我们引入了一个新的概念“有界参数MDP”（BMDP），这是一个家庭（传统）MDP定义的转移概率和奖励的上限和下限。我们描述的算法，操作BMDP找到的政策是近似最优的原始MDP。结合，我们的方法减少一个大的隐式MDP可能更小的BMDP使用ε-均匀分区，我们的方法选择行动BMDP构成了一个新的方法来分析大隐式MDP。在其优点中，这种新方法提供了对现有算法的深入了解，以解决隐式MDP，提供了有用的连接，工作在自动机理论和模型最小化，并建议的方法，其中涉及不同的时间间隔，交易的时间和空间（特别是在相应的状态空间的大小方面）的解决方案的质量。
2013-02-06 cs.AI
Solving Long-run Average Reward Robust MDPs via Stochastic Games
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Masaryk University（马萨里克大学）；Singapore Management University（新加坡管理大学）
本文将长期平均奖励多面体鲁棒MDP归约为基于回合的随机博弈，证明其阈值判定问题属于NP∩coNP，并提出更高效的鲁棒多面体策略迭代算法RPPI。
2024-04-30 cs.AI
Inductive Policy Selection for First-Order MDPs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
我们选择政策的大型马尔可夫决策过程（MDP）与紧凑的一阶表示。我们发现，随着域中对象数量的增长，策略可以很好地泛化，可能没有约束。现有的基于平面、命题或一阶表示的动态编程方法在这里要么是不切实际的，要么不能随着对象数量的无限增长而自然地扩展。我们实现和评估的替代方法，诱导一阶政策使用训练数据，通过解决小问题的实例，使用PGraphplan（Blum和Langford，1999年）。我们的政策表示为决策列表的集合，使用分类概念语言。这种方法将Martin和Geffner（2000）的工作扩展到随机域，集成学习和更广泛的问题。从经验上讲，我们发现“好”的政策，几个随机的一阶MDP超出了以前的方法的范围。我们还讨论了应用这项工作的关系学习问题。
2012-12-12 cs.AI
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代（API）的一个变体，它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的，这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题，我们引入了一种关系策略语言和相应的学习器。此外，我们引入了一个新的自举例程为基础的目标规划域，基于随机游走。这种引导对于许多大型关系型MDP是必要的，其中奖励非常稀疏，因为当使用不知情的策略初始化时，API在这些域中是无效的。我们的实验表明，所得到的系统是能够找到良好的政策，为一些经典的规划域和他们的随机变量，解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性，建议未来的工作。
2011-09-09 cs.AI
Solution Methods for Constrained Markov Decision Process with Continuous Probability Modulation
IBM T.J. Watson Research Center（IBM T.J. Watson研究中心）
我们提出了解决方法，以前未解决的约束MDPs中的行动可以不断修改的转移概率在一些可接受的集合。虽然已经提出了许多方法来解决具有大状态集的规则MDP，但很少有实用的方法来解决具有大动作集的约束MDP。特别是，我们表明，连续的行动集可以取代他们的极端点时，奖励是线性的调制。我们还开发了一个易于处理的凹奖励函数的优化公式，令人惊讶的是，还将其扩展到非凹奖励函数，通过使用其凹信封。我们评估的有效性的方法上的问题，管理拖欠贷款组合。
2013-09-26 cs.AI
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。然后，我们将正则化的MDP推广到两次正则化的MDP（$\text{R}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证，从而降低鲁棒性正则化。我们在数值上显示了这种双重优势，在表格和物理域，突出的事实，即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
An Anytime Algorithm for Task and Motion MDPs
Arizona State University（亚利桑那州立大学）；United Technologies Research Center（联合技术研究中心）；University of Massachusetts（马萨诸塞大学）
集成的任务和运动规划已经成为一个具有挑战性的问题，在顺序决策，机器人需要计算高层次的战略和低层次的运动计划，以解决复杂的任务。虽然高层次的战略需要在较长的时间范围和规模的决策，其可行性取决于低层次的约束条件的基础上的几何形状和环境的连续动态。这个问题的混合性质使其难以扩展;大多数现有的方法都集中在确定性，完全可观察的场景。我们提出了一种新的方法，高层次的决策问题发生在一个随机设置，可以建模为马尔可夫决策过程。在以前的努力相比，我们表明，完整的MDP政策，或偶然的行为，可以有效地计算在任何时候的时尚。我们的算法不断提高解决方案的质量，并保证概率完整。我们评估我们的方法上的一个具有挑战性的，现实的测试问题：自主飞机检查的性能。我们的研究结果表明，我们可以有效地计算一致的任务和运动的政策，最有可能的执行时间的结果，只使用一小部分的计算所需的开发完整的任务和运动的政策。
2018-02-16 cs.AI
NS-Gym: Open-Source Simulation Environments and Benchmarks for Non-Stationary Markov Decision Processes
Vanderbilt University（范德堡大学）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出集成于 Gymnasium 的开源仿真工具包 NS-Gym，通过分离非平稳环境参数演化与智能体决策模块，提供标准化接口、基准问题及六类算法评测，以支持 NS-MDP 算法的可复现评估。
2025-01-16 cs.AI
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Iterative Bounding MDPs: Learning Interpretable Policies via Non-Interpretable Methods
Carnegie Mellon University（卡内基梅隆大学）
当前在可解释强化学习中的工作通常以状态空间上的决策树的形式产生策略。这些策略可用于正式的安全验证、代理行为预测和重要功能的手动检查。然而，现有的方法在训练之后拟合决策树，或者使用与新的学习技术（诸如使用神经网络的那些学习技术）不兼容的定制学习过程。为了解决这个问题，我们提出了一种新的马尔可夫决策过程（MDP）类型的学习决策树政策：迭代边界MDP（IBMDP）。IBMDP是围绕基本MDP构建的，因此在使用与方法无关的掩码过程时，保证每个IBMDP策略对应于基本MDP的决策树策略。由于这种决策树等价性，在训练期间可以使用任何函数近似器，包括神经网络，同时产生用于基本MDP的决策树策略。我们提出了所需的掩蔽过程，以及修改后的值更新步骤，允许IBMDP使用现有的算法来解决。我们应用这个过程来产生最近的强化学习方法的IBMDP变体。我们的经验表明，我们的方法的好处，通过解决IBMDP产生决策树政策的基础MDP。
2021-02-25 cs.AI cs.LG
Property-driven Causal Abstractions for Markov Decision Processes
Ruhr-University Bochum（波鸿鲁尔大学）；Eindhoven University of Technology（埃因霍温理工大学）；Oxford University（牛津大学）；Radboud University（拉德堡德大学）
本研究针对马尔可夫决策过程（MDPs）提出属性驱动因果抽象技术，通过保留模型特性缩减规模，经理论与实验验证，该技术可生成小型抽象模型以计算近最优策略，且能推广至大规模MDP模型。
2026-08-10 cs.AI cs.LO
Lecture Notes on Partially Known MDPs
Universiteit Antwerpen（安特卫普大学）
在这些笔记中，我们将解决为马尔可夫决策过程（MDP）寻找最优策略的问题，这对我们来说并不完全清楚。我们的目的是慢慢地从离线设置过渡到在线（学习）设置。也就是说，我们正在走向强化学习。
2022-06-20 cs.AI cs.FL
Multi-Objective Approaches to Markov Decision Processes with Uncertain Transition Parameters
TU Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
马尔可夫决策过程（MDP）是随机系统性能分析和优化的一个流行模型。MDP随机行为的参数是从系统的经验观察中估计的;它们的值并不精确。文献中存在不同类型的不确定的，不精确的或有界的转移率或概率和奖励的MDP。通常，对具有不确定性的模型的分析相当于寻找最稳健的政策，这意味着目标是生成具有最大性能下限（或者对称地，成本最低上限）的政策。然而，对冲不太可能出现的最坏情况可能会导致其他情况下的损失。一般来说，人们感兴趣的是在所有情况下表现良好的政策，从而导致决策的多目标观点。在本文中，我们考虑的政策，预期折扣奖励措施的MDP与不确定参数。特别是，该方法是针对有界参数MDP（BMDP）定义的[8]。在这种设置中，最坏的，最好的和平均情况下的性能的政策同时进行分析，这产生了一个多场景多目标优化问题。本文提出并评价了在价值向量空间中计算纯帕累托最优策略的方法。
2017-10-20 cs.AI cs.GT
Universal Policies for Software-Defined MDPs
Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）
我们介绍了一种新的编程范式，称为预言机引导的决策编程，其中一个程序指定了马尔可夫决策过程（MDP）和语言提供了一个通用的政策。我们原型一个新的程序设计语言，多多纳，体现了这种模式使用一个原始的“选择”代表非确定性的选择。Dodona解释器返回一个值或一个choicepoint，其中包括原则上做出最佳决策所需的所有信息的无损编码。元解释器在这些选择点上查询Dodona的（神经）预言以获得策略和值估计，它们可以使用这些估计来对底层MDP执行启发式搜索。我们展示了Dodona的潜力zero-shot启发式指导元学习超过数百个合成任务，模拟基本操作列表，树，教堂数据结构，多项式，一阶项和高阶项。
2020-12-21 cs.AI cs.PL
Clustering Markov Decision Processes For Continual Transfer
University of Edinburgh（爱丁堡大学）；Blue Yonder UK Ltd.（英国Blue Yonder有限公司）；Council for Scientific and Industrial Research（科学与工业研究理事会）；University of the Witwatersrand（威特沃特斯兰德大学）
我们提出的算法，有效地表示一组马尔可夫决策过程（MDP），其最佳政策已经学会，终身，基于策略重用的迁移学习强化学习的一个较小的源子集。当先前任务的数量很大并且测量相似性的成本抵消了转移的好处时，这是必要的。源子集在原始MDP集合上形成“$ε$ -网”，在这个意义上，对于每个先前的MDP $M_p$，存在其最优策略在$M_p$中具有$<ε$遗憾的源$M^s$。我们的贡献如下。我们提出了EXP-3-传输，一个原则性的策略重用算法，最佳地重用一个给定的源策略集时，学习一个新的MDP。我们提出了一个框架来聚类以前的MDP提取源子集。该框架包括：（i）一个距离$d_V$在MDP衡量MDP之间的基于策略的相似性;（ii）一个成本函数$g(\cdot)$，使用$d_V$来衡量一个特定的集群是如何产生有用的源任务的EXP-3-传输和（iii）一个可证明收敛的算法，MHAV，找到最佳的集群。我们验证我们的算法通过实验在一个监视域。
2016-05-01 cs.AI cs.LG
Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act
Google Research（谷歌研究院）；Inria（法国国家信息与自动化研究所）；CRIStAL, CNRS, Université de Lille（里尔大学法国国家科学研究中心CRIStAL实验室）
传统上，强化学习（RL）旨在决定如何为人工智能体采取最佳行动。我们认为，决定何时采取行动同样重要。作为人类，我们会从默认的、本能的或记忆的行为转向专注的、深思熟虑的行为。为了增强具有这种能力的RL代理，我们建议增强标准马尔可夫决策过程，并提供一种新的行动模式：懒惰，这将决策推迟到默认策略。此外，我们惩罚非懒惰行为，以鼓励最小的努力，并使代理只关注关键决策。我们命名的形式主义懒惰的MDPs。我们研究了惰性MDP的理论性质，表达了价值函数并刻画了最优解。然后，我们实证表明，在懒惰的MDP学习的政策一般都带有一种形式的可解释性：通过建设，他们向我们展示了代理控制默认策略的状态。我们认为这些状态和相应的操作很重要，因为它们解释了默认策略和新的惰性策略之间的性能差异。使用次优策略作为默认（预训练或随机），我们观察到代理能够在Atari游戏中获得有竞争力的性能，同时只控制有限的状态子集。
2022-03-16 cs.AI cs.LG
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Bidding Games on Markov Decision Processes with Quantitative Reachability Objectives
University of Haifa（海法大学）；Masaryk University（马萨里克大学）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；IMDEA Software Institute（IMDEA软件研究所）
本文研究MDP上的竞标博弈，将随机环境不确定性与拍卖式交互结合，提出值迭代算法逼近阈值和最优策略，并证明阈值求解至少与简单随机博弈同难度。
2024-12-27 cs.AI cs.GT
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高，更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程（MDP）的无模型算法。第一个算法减少了问题的折扣奖励版本，并实现$\mathcal{O}(T^{2/3})$遗憾后，$T$步骤，弱通信的MDP的最小假设。据我们所知，这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展，对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$，虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人（2019 a）在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science（印度科学学院）
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题，识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件，证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach
Stanford University（斯坦福大学）；The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，在马尔可夫决策过程（MDP）的框架内，风险和建模误差考虑的决策。我们的方法是最小化风险敏感的条件风险价值（CVaR）目标，而不是标准的风险中性预期。我们把这样的问题称为CVaRMDP。我们的第一个贡献是表明，CVaR的目标，除了捕捉风险敏感性，有一个替代的解释，在最坏情况下的建模误差的预期成本，对于给定的误差预算。这一结果，这是独立的利益，激励CVaRMDP作为一个统一的框架，风险敏感和强大的决策。我们的第二个贡献是提出了一个近似值迭代算法CVaRMDP和分析其收敛速度。据我们所知，这是CVaRMDP的第一个解决方案算法，享有误差保证。最后，我们提出的数值实验结果，证实了我们的理论研究结果，并显示我们的方法的实用性。
2015-06-06 cs.AI math.OC
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes
本文提出 RED 强化学习框架，利用平均回报 MDP 的结构性质同时处理多类学习子任务，并给出含收敛保证的预测与控制算法，首次实现完全在线 CVaR 风险感知策略优化。
2025-08-28 cs.AI cs.LG
A Gauss-Newton Method for Markov Decision Processes
University College London（伦敦大学学院）
近似牛顿方法是一种标准的优化工具，其目的是保持牛顿方法的优点，例如快速收敛，同时减轻其缺点，例如计算昂贵的计算或逆Hessian的估计。在这项工作中，我们研究近似牛顿方法的政策优化马尔可夫决策过程（MDP）。我们首先分析了MDP目标函数的Hessian结构。我们表明，像梯度，海森表现出有用的结构的背景下，MDPs和我们使用这种分析，以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样，这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能，如负定性，我们证明了几个重要的性能保证，包括保证上升方向，仿射变换的参数空间的不变性，收敛保证。最后，我们提供了一个统一的角度来看，关键的政策搜索算法，证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP，但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
Tableaux for Policy Synthesis for MDPs with PCTL* Constraints
Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61）；Research School of Computer Science, ANU（澳大利亚国立大学计算机科学研究学院）
马尔可夫决策过程（MDP）是在随机环境中建模序列决策的标准形式。策略合成解决了如何控制或限制代理做出的决策的问题，以便满足给定的规范。在本文中，我们考虑PCTL*，CTL* 的概率对应，作为规约语言。因为在一般情况下的政策综合问题PCTL* 是不可判定的，我们限制的政策，其执行历史的记忆是有界的先验。令人惊讶的是，没有算法的政策合成这个自然和表达框架已经开发到目前为止。我们缩小了这一差距，并描述了一种基于表格的算法，在给定MDP和PCTL* 规范的情况下，该算法以非确定性的方式推导出（可能是非线性的）等式和不等式系统。这个系统的解决方案，如果有的话，描述所需的（随机）政策。本文的主要结果是我们方法的正确性，即，健全性、完整性和终止性。
2017-10-06 cs.AI cs.LO
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程（MDPs）的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程，并给出最优政策存在的条件。在此基础上，我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现，并表明他们是实用的。此外，我们表明，结合有效的未经验证的实现，我们的系统可以竞争，甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
Accelerating Policy Synthesis in Large-Scale MDPs via Hierarchical Adaptive Refinement
University of York（约克大学）；Cyprus University of Technology（塞浦路斯技术大学）
本文提出通过动态细化马尔可夫决策过程并迭代选择最脆弱区域来加速大规模MDP的策略合成，证明合成策略在标准假设下近优，实验证明在100万状态的MDP中相比PRISM提速达2倍。
2026-04-30 cs.AI cs.LO cs.SE
Robust Markov Decision Processes: A Place Where AI and Formal Methods Meet
Radboud University（拉德堡德大学）；University of Oxford（牛津大学）；Ruhr-University Bochum（鲁尔-波鸿大学）
本文以教程式综述介绍鲁棒马尔可夫决策过程（RMDP），说明其通过不确定性集合放松MDP精确转移概率假设，涵盖语义、求解方法、相关模型与应用，并指出未来挑战。
2024-12-10 cs.AI math.OC
Strongly Polynomial Time Complexity of Policy Iteration for $L_\infty$ Robust MDPs
Institute for Computer Science, Austrian Academy of Sciences（奥地利科学院计算机科学研究所）；Concordia University（康科迪亚大学）
针对 $(s,a)$-矩形 $L_\infty$ 鲁棒 MDP 的折扣问题，证明了策略迭代算法在固定折扣因子下具有强多项式时间复杂度。
2026-06-02 cs.AI cs.CC
Efficient Solution and Learning of Robust Factored MDPs
本文提出了一种基于因式分解状态空间的鲁棒马尔可夫决策过程求解与学习方法，通过将非凸优化问题转化为线性规划问题，提高了样本效率和策略性能保证。
2025-11-20 cs.AI cs.LG
Robust Active Measuring under Model Uncertainty
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；Eindhoven University of Technology（埃因霍温理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Ruhr-University Bochum（波鸿鲁尔大学）
针对序贯决策中的部分可观测与模型不确定性问题，该研究提出鲁棒主动测量MDP框架及高效求解启发式，抵消模型不确定性导致的测量减少问题，实验验证其可扩展性与性能优于多个基准。
2023-12-18 cs.AI cs.LG
Polynomial Value Iteration Algorithms for Detrerminstic MDPs
University of Alberta（阿尔伯塔大学）
价值迭代法是求解马尔可夫决策过程问题的一种常用方法。然而，众所周知，值迭代一般只有伪多项式复杂度。我们建立了一个有点令人惊讶的多项式界值迭代确定性马尔可夫决策（DMDP）问题。我们证明了基本值迭代过程在heta（n^2）次迭代或heta（mn^2）次总时间内收敛到DMDP问题的最高平均回报周期，其中n表示状态数，m表示边数。给出了在heta（mn）时间内求解DMDP的值迭代的两个推广.我们探讨的政策迭代算法的分析和报告的实证研究的价值迭代表明，它的收敛速度更快的随机稀疏图。
2012-12-12 cs.AI cs.DS
MultiGain: A controller synthesis tool for MDPs with multiple mean-payoff objectives
Masaryk University（马萨里克大学）；IST Austria（奥地利科学技术研究所）；University of Oxford（牛津大学）
我们提出了MultiGain，一个工具来合成多个平均回报目标的马尔可夫决策过程（MDP）的策略。我们的模型在PRISM中描述，我们的工具使用PRISM现有的接口和模拟器。我们的工具通过为多个平均收益目标添加新算法来扩展PRISM，并且还提供了以下功能：（i）生成策略并探索它们进行模拟，并检查它们的其他属性;以及（ii）为两个平均收益目标生成近似的帕累托曲线。此外，我们提出了一个新的实用算法分析的MDP与多个平均收益目标下的无记忆策略。
2015-01-13 cs.AI cs.LO
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题，提出k-自适应策略合成算法KAPS，可优化小策略集的极小极大遗憾，实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（奥多比研究院）；University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器智能研究所））
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法，是安全的部署，他们假设的根本问题是固定的。然而，许多现实世界的问题表现出非平稳性，当风险很高时，与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步，以确保安全性，高信心，平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法，称为Seldonian算法，通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能，并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
Graph-Based Reductions for Parametric and Weighted MDPs
University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文研究参数化马尔可夫决策过程中加权可达性的归约复杂性，证明判定状态间不劣关系为coETR完全，并提出多项式时间算法及两个推理规则用于高效预处理。
2023-05-09 cs.AI cs.LO
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
Intervention Efficient Algorithm for Two-Stage Causal MDPs
Indian Institute of Science（印度科学院）；Adobe Research（Adobe研究院）
我们研究马尔可夫决策过程（MDP），其中状态对应于随机产生奖励的因果图。在这种设置中，学习者的目标是通过干预每个状态的变量来识别导致高回报的原子干预。推广最近的cabet-bandit框架，目前的工作发展（简单）的遗憾最小化保证两阶段的因果MDP，并行因果图在每个状态。我们提出了一个算法，实现了一个依赖于实例的遗憾界。我们的算法的一个关键特征是，它利用凸优化来解决勘探问题。我们确定类的情况下，我们的遗憾的保证基本上是紧的，并通过实验验证我们的理论结果。
2021-11-01 cs.AI cs.LG
Utility Theory for Sequential Decision Making
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）
冯·诺伊曼-摩根斯坦（VNM）效用定理表明，在某些理性公理下，决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置，并确定相应的效用函数的结构。特别是，我们表明，无记忆的偏好导致效用的形式，每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程（MDP）的推广与代理的回报，我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束，以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数，其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理，揭开了强化学习中理性代理设计的奖励假设的神秘面纱，并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对PPO算法理论基础不足的问题，提出面向回合式对抗线性MDPs的乐观PPO变体，推导得到更优悔界，采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Scalable methods for computing state similarity in deterministic Markov Decision Processes
Google Brain（谷歌大脑）
我们提出了新的算法计算和近似互模拟指标的马尔可夫决策过程（MDP）。互模拟度量是一种优雅的形式主义，它捕获状态之间的行为等价性，并为最佳行为的差异提供强有力的理论保证。不幸的是，他们的计算是昂贵的，需要一个表格表示的状态，这迄今为止，使他们不切实际的大问题。在本文中，我们提出了一个新版本的度量，是绑在一个MDP的行为政策，随着其理论性质的分析。然后，我们提出了两个新的算法近似互模拟度量大，确定性的MDP。第一个通过采样来实现，并保证收敛到真实的度量。第二个是可微损失，它使我们能够学习连续状态MDP的近似值，这在此之前是不可能的。
2019-11-21 cs.AI cs.LG stat.ML
Supermartingale Certificates for Parametric MDPs
IMDEA Software Institute（IMDEA软件研究所）；Nanyang Technological University（南洋理工大学）
本文提出参数展平变换和参数化超鞅证书，用于一般状态和动作空间的参数化MDPs，实现首个验证与近似综合算法，并在连续参数化随机游走基准上验证有效性。
2026-09-14 cs.AI cs.LO cs.SY
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Computational Approaches for Stochastic Shortest Path on Succinct MDPs
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）；Shanghai Jiao Tong University（上海交通大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
我们考虑简洁的马尔可夫决策过程（MDP）的随机最短路径（SSP）问题，其中MDP由一组变量和一组更新变量的不确定性规则组成。首先，我们展示了人工智能文献中的几个例子可以建模为简洁的MDP。然后，我们提出了计算方法的SSP问题的上限和下限：（a）~计算上限，我们的方法是多项式时间的隐式描述的MDP;（b）~下限，我们提出了一个多项式时间（在隐式描述的大小）减少到二次规划。我们的方法甚至适用于无限状态的MDP。最后，我们提出了实验结果来证明我们的方法在人工智能文献中的几个经典例子的有效性。
2018-07-17 cs.AI cs.PL math.PR
