Policy Iteration for Factored MDPs
Stanford University（斯坦福大学）
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构，但最近的工作表明，因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似：<I>限制</I>基函数的线性组合，每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数，但是这种方法（以及其他方法）只能产生相对于距离度量的近似值，该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值，使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后，我们使用此值确定算法作为策略迭代过程中的子例程。我们表明，在合理的限制下，由一个因子化的价值函数诱导的政策是compensable表示，并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法，用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
Metrics for Markov Decision Processes with Infinite State Spaces
McGill University（麦吉尔大学）
我们提出了度量马尔可夫决策过程（MDP）的状态相似性无限多个状态，包括连续状态空间的MDP。这样的指标提供了一个稳定的定量模拟的概念MDP的互模拟，并适合于使用MDP近似。我们表明，最佳的价值函数与折扣无限地平线规划任务不断变化，我们的度量距离。
2012-07-04 cs.AI
A maximum-entropy approach to off-policy evaluation in average-reward MDPs
DeepMind（深度思维）；Google（谷歌）
本文主要研究无限时域非折扣马尔可夫决策过程中的函数逼近离政策评估问题。对于遍历性和线性的MDP（即奖励和动态在一些已知特征中是线性的），我们提供了第一个有限样本OPE误差界，将现有结果扩展到情节和折扣情况之外。在一个更一般的设置，当特征动态近似线性和任意奖励，我们提出了一种新的方法来估计平稳分布函数近似。我们制定了这个问题，找到最大熵分布的经验动力学下匹配功能的期望。我们表明，这导致指数族分布，其充分的统计特征，并行最大熵方法在监督学习。我们证明了所提出的OPE方法在多种环境中的有效性。
2020-06-17 cs.AI cs.LG
Bounded Approximate Symbolic Dynamic Programming for Hybrid MDPs
University of Sao Paulo（圣保罗大学）；NICTA（澳大利亚国家信息通信技术局）；ANU（澳大利亚国立大学）
符号动态规划（SDP）结合扩展代数决策图（XADD）数据结构的最新进展为具有分段线性动态和连续动作的混合离散和连续（混合）MDP提供了精确解。由于XADD为基础的精确解可能会增长棘手的大许多问题，我们提出了一个有界误差压缩技术XADD，涉及到一个约束的双线性鞍点问题的解决方案。幸运的是，我们表明，由于这个问题的特殊结构，它可以表示为一个双层线性规划问题，并解决了在有限时间内通过约束生成的最优性，尽管有一个无限的约束。该解决方案允许使用有效的线性规划求解器的XADD压缩，并使一类新的有界近似SDP算法的混合MDP，经验提供了一个小的近似误差交换的精确解的数量级的加速比。
2013-09-26 cs.AI
Approximate Linear Programming for First-order MDPs
University of Toronto（多伦多大学）
介绍一种新的一阶马尔可夫决策过程（FOMDPs）的近似解技术。线性表示价值函数。一组一阶基函数，我们计算适当的权重铸造相应的优化作为一阶线性规划，并显示如何现成的定理证明和LP软件可以有效地使用。这种技术允许一个解决FOMDPs独立于一个特定的域实例化，此外，它允许一个确定的近似误差的界限，同样适用于所有域实例化。我们将这种解决方案技术应用于电梯调度任务，具有丰富的特征空间和多标准的附加奖励，并证明它优于一些直观的，economisticallyguided政策。
2012-07-04 cs.AI
MultiGain: A controller synthesis tool for MDPs with multiple mean-payoff objectives
Masaryk University（马萨里克大学）；IST Austria（奥地利科学技术研究所）；University of Oxford（牛津大学）
我们提出了MultiGain，一个工具来合成多个平均回报目标的马尔可夫决策过程（MDP）的策略。我们的模型在PRISM中描述，我们的工具使用PRISM现有的接口和模拟器。我们的工具通过为多个平均收益目标添加新算法来扩展PRISM，并且还提供了以下功能：（i）生成策略并探索它们进行模拟，并检查它们的其他属性;以及（ii）为两个平均收益目标生成近似的帕累托曲线。此外，我们提出了一个新的实用算法分析的MDP与多个平均收益目标下的无记忆策略。
2015-01-13 cs.AI cs.LO
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Vega Protocol（维加协议）；The Alan Turing Institute（艾伦·图灵研究所）
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程（MDP）下策略梯度的整体收敛。我们考虑一个softmax政策（一个隐藏层）神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化，并在2-Wasserstein度量中研究了相应的梯度流。我们表明，目标函数是增加沿梯度流。此外，我们证明了，如果正则化的平均场措施是足够的，梯度流指数快速收敛到唯一的固定的解决方案，这是唯一的最大化的正则化MDP目标。最后，我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析，并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作，这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
2022-06-16 cs.AI cs.LG math.OC
Efficient Solution Algorithms for Factored MDPs
Stanford University（斯坦福大学）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了大型马尔可夫决策过程中不确定性条件下的规划问题。分解的MDP表示使用状态变量的复杂状态空间和使用动态贝叶斯网络的转换模型。该表示通常允许结构化MDP的表示大小的指数减小，但是用于这样的MDP的精确解算法的复杂性可以在表示大小上指数地增长。在本文中，我们提出了两个近似的解决方案算法，利用结构因子的MDP。两者都使用近似价值函数表示为基函数的线性组合，其中每个基函数只涉及域变量的一个小子集。本文的一个关键贡献是，它显示了如何在封闭的形式，利用添加剂和上下文特定的结构中的因子MDP的基本操作可以有效地执行。我们的算法的一个核心要素是一种新的线性规划分解技术，类似于变量消除贝叶斯网络，减少了一个指数级大LP到一个可证明的等价，多项式大小的。一种算法使用近似线性规划，第二种算法使用近似动态规划。我们的动态规划算法是新颖的，因为它使用了一个近似的最大范数，一种技术，更直接地最大限度地减少出现在近似MDP算法的误差范围内的条款。我们提供了超过10^40个状态的问题的实验结果，证明了我们的方法的可扩展性的一个有希望的迹象，并将我们的算法与现有的最先进的方法进行比较，在某些问题中，计算时间呈指数级增长。
2011-06-09 cs.AI
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm
Hanyang University（汉阳大学）
本文针对鲁棒强化学习提出了一种排除不合理MDP的实用不确定性集合与基于样本的ARQ-Learning算法，并引入悲观智能体解决大状态空间扩展瓶颈，提出双智能体无模型算法，在保证收敛速度的同时提升了鲁棒性。
2023-11-20 cs.AI cs.LG
Principal-Agent Reward Shaping in MDPs
Technion—Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文研究预算约束下MDP中双人Stackelberg博弈的委托-代理奖励塑造问题，证明其NP困难性，并为随机树和有限视界确定性决策过程提供多项式近似算法。
2023-12-30 cs.AI
Learning Efficient Representations for Reinforcement Learning
University Of Washington（华盛顿大学）
马尔可夫决策过程（MDP）是解决不确定性下序列决策问题的一个研究框架。基于动态规划的MDP精确求解方法，如策略迭代法和值迭代法，对小问题是有效的。在具有大离散状态空间或连续状态空间的问题中，紧致表示对于提供MDP的有效近似解是必不可少的。常用的近似算法涉及构造用于将价值函数投影到低维子空间上的基函数，以及构建因子化或分层图形模型以分解转移和奖励函数。然而，为给定的强化学习（RL）任务手工编码一个良好的紧凑表示可能非常困难和耗时。最近的方法试图自动发现RL的有效表示。在这篇论文中，我们讨论了基于核的强化学习的结构化核的自动构造问题，这是一种流行的学习价值函数的非参数近似的方法。我们探索的内核结构，这是从基础内核使用上下文无关文法组成的空间。我们研究了一个贪心算法搜索的结构空间。为了证明学习的结构如何在紧凑性和效率方面表示和近似原始RL问题，我们计划在合成问题上评估我们的方法，并将其与其他RL基线进行比较。
2015-08-28 cs.AI
Solution Methods for Constrained Markov Decision Process with Continuous Probability Modulation
IBM T.J. Watson Research Center（IBM T.J. Watson研究中心）
我们提出了解决方法，以前未解决的约束MDPs中的行动可以不断修改的转移概率在一些可接受的集合。虽然已经提出了许多方法来解决具有大状态集的规则MDP，但很少有实用的方法来解决具有大动作集的约束MDP。特别是，我们表明，连续的行动集可以取代他们的极端点时，奖励是线性的调制。我们还开发了一个易于处理的凹奖励函数的优化公式，令人惊讶的是，还将其扩展到非凹奖励函数，通过使用其凹信封。我们评估的有效性的方法上的问题，管理拖欠贷款组合。
2013-09-26 cs.AI
Reductive MDPs: A Perspective Beyond Temporal Horizons
J.P. Morgan AI Research（摩根大通人工智能研究院）
求解一般马尔可夫决策过程（MDP）是一个计算困难的问题。另一方面，用众所周知的多项式时间算法求解有限时域MDP是非常容易处理的。是什么导致了这种极端的差异，在这些截然相反的复杂性之间是否存在问题？在本文中，我们确定和分析的一般状态-动作空间的动态满足一个特定的漂移条件的随机最短路径问题（SSP）的一个子类。这种构造通过减少可达性来推广传统的时间视界概念：一种称为还原性的属性。结果表明，最佳的政策可以恢复在多项式时间还原SSP-通过向后归纳的扩展-与一个有效的模拟还原MDP。所提出的方法的实际考虑进行了讨论，并提供了一个典型的最优清算问题的数值验证。
2022-05-15 cs.AI cs.CC cs.LG
Learning Domain Invariant Representations in Goal-conditioned Block MDPs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
深度强化学习（RL）在解决许多复杂的马尔可夫决策过程（MDP）问题上取得了成功。然而，在现实世界中部署后，代理经常面临无法预料的环境变化。这些变化通常是虚假的，与潜在的问题无关，例如视觉输入代理的背景变化。不幸的是，深度RL策略通常对这些变化很敏感，并且无法对它们采取有力的行动。这类似于监督学习中的领域泛化问题。在这项工作中，我们研究这个问题的目标条件RL代理。我们提出了一个理论框架，在块MDP设置的目标条件下的政策，以新的环境的概括性的特点。在此框架下，我们开发了一个实用的方法PA-SkewFit，增强领域泛化。实证评估表明，我们的目标条件强化学习代理可以在各种看不见的测试环境中表现良好，比基线提高了50%。
2021-10-28 cs.AI cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Logarithmic Switching Cost in Reinforcement Learning beyond Linear MDPs
UC Santa Barbara（加州大学圣巴巴拉分校）
在许多现实生活中的强化学习（RL）问题中，部署新策略的成本很高。在这些场景中，算法必须解决探索（这需要自适应性），同时稀疏地切换部署的策略（这限制了自适应性）。在本文中，我们超越了现有的国家的最先进的这个问题，集中在线性马尔可夫决策过程（MDP）考虑线性贝尔曼完全MDP低固有贝尔曼错误。我们提出了ELEANOR LowSwitching算法，该算法实现了接近最优的遗憾，其切换成本在事件数量上是对数的，在时间范围$H$和特征维度$d$上是线性的。我们还证明了一个下界成比例的$dH$在所有的算法与次线性遗憾。此外，我们还展示了在ELEANOR LowSwitching中使用的“加倍技巧”可以进一步用于广义线性函数近似，在此基础上，我们设计了一种具有接近最佳切换成本的样本高效算法。
2023-02-24 cs.AI cs.LG stat.ML
Agent-Specific Effects: A Causal Effect Propagation Analysis in Multi-Agent MDPs
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Saarland University（萨尔大学）；University of Warwick（华威大学）
本文在多智能体MDP中提出智能体特定效应（ASE）以量化行动经其他智能体传播的因果效应，并给出其反事实版本cf-ASE的识别条件与采样估计算法，通过脓毒症管理等仿真环境验证其有效性。
2024-06-10 cs.AI
Randomized Policy Learning for Continuous State and Action MDPs
University of Southern California（南加州大学）
深度强化学习方法已经在从视频游戏到运动的各种具有挑战性的高维领域取得了最先进的成果。成功的关键是使用深度神经网络来近似策略和价值函数。然而，为了获得好的结果，需要对权重进行实质性的调整。相反，我们使用随机函数逼近。这样的网络不仅比训练全连接网络更便宜，而且还提高了数值性能。我们提出了\texttt{RANDPOL}，一个广义的策略迭代算法的连续状态和动作空间的MDP。策略函数和价值函数都用随机网络表示。我们也给有限的时间保证算法的性能。然后，我们展示了在具有挑战性的环境中的数值性能，并将其与基于深度神经网络的算法进行了比较。
2020-11-16 cs.AI cs.LG stat.ML
Communication-Based Decomposition Mechanisms for Decentralized MDPs
Samsung Telecom Research Israel（三星以色列电信研究院）
随机环境中的多智能体规划问题可以形式化地归结为一个分散的马尔可夫决策问题。许多现实生活中出现的分布式问题，在制造，多机器人协调和信息收集的情况下，可以使用这个框架形式化。然而，在一般情况下找到最优解是困难的，限制了最近开发的算法的适用性。本文提供了一个实用的方法来解决分散控制问题时，决策者之间的通信是可能的，但成本高。我们开发的概念，基于通信的机制，使我们能够分解成多个单代理问题的分散MDP。在这个框架中，被称为分散式半马尔可夫决策过程与直接通信（Dec-SMDP-Com），代理之间的通信分开操作。我们发现，找到一个最佳的机制是相当于最佳地解决了Dec-SMDP-Com。我们还提供了一个启发式搜索算法，收敛于最佳分解。将分解限制在某些特定类型的局部行为上，可以显著降低规划的复杂性。特别是，我们提出了一个多项式时间算法的情况下，个体代理执行面向目标的行为之间的通信。本文最后提出了一个额外的易于处理的算法，该算法可以引入人类知识，从而将整个问题减少到寻找最佳通信时间。实证结果表明，这些方法提供了良好的近似解。
2011-10-31 cs.AI
Towards Computationally Efficient Responsibility Attribution in Decentralized Partially Observable MDPs
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
责任归属是责任型多主体决策的一个重要概念。鉴于一系列行动，责任归属机制量化了每个参与者对最终结果的影响。其中一个流行的机制是基于实际的因果关系，它根据被认为对所考虑的结果至关重要的行为来分配（因果）责任。然而，查明实际原因，从而确定确切的责任分配的固有问题已被证明是计算上棘手的。在本文中，我们的目标是提供一个实用的算法解决问题的责任归属下的计算预算。我们首先正式的问题的框架下，分散的部分可观测马尔可夫决策过程（Dec-POMDPs）的结构因果模型（SCM）的一个特定的类增强。在这个框架下，我们引入了一个蒙特卡罗树搜索（MCTS）类型的方法，有效地近似代理的责任度。该方法利用了一种新的搜索树的结构和修剪技术，都适合于责任归属的问题。我们的方法的其他新组件是（a）基于线性标量化的子选择策略和（b）考虑通常用于定义实际因果关系的最小条件的反向传播过程。我们通过一个基于模拟的测试平台，其中包括三个团队为基础的纸牌游戏实验评估我们的算法的有效性。
2023-02-24 cs.AI
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University（胡安·卡洛斯国王大学）；University of Pennsylvania（宾夕法尼亚大学）
针对连续空间约束MDPs计算确定性最优策略的难题，提出具有非渐近收敛性的D-PGPD算法，通过二次正则化原始-对偶更新求解，并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Optimizing Norm-Bounded Weighted Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
马尔可夫决策过程（MDP）中的最优策略对模型误设定非常敏感。这引起了人们对在高风险领域部署它们的严重担忧。鲁棒MDP（RMDP）提供了一个很有前途的框架，以减轻脆弱性的最坏情况下保证强化学习计算政策。RMDP的解质量取决于模糊度集，模糊度集是模型不确定性的量化。在本文中，我们提出了一种新的方法来优化形状的模糊集RMDPs。我们的方法偏离了传统的想法，构造一个范数有界的均匀和对称的模糊集。相反，我们认为，一个接近最佳的模糊集的结构是特定的问题。我们所提出的方法从价值函数计算权重参数，然后这些权重驱动模糊集的形状。我们的理论分析证明了所提出的想法的基本原理。我们将我们的方法应用到几个不同的问题域，实证结果进一步提供了加权近优模糊集的实际承诺。
2019-12-04 cs.AI cs.LG stat.ML
Beyond Scalar Rewards: An Axiomatic Framework for Lexicographic MDPs
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克AI研究所）
本文基于 Hausner 的字典序期望效用理论，在无记忆偏好假设下刻画 MDP 中的二维及 d 维奖励函数，并证明其最优策略保留标量奖励情形的优良性质，而 CMDP 中则不然。
2025-05-17 cs.AI cs.LG
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
针对平均准则约束MDP，提出ACPO算法，基于信赖域与敏感性理论，提供性能保证，并在OpenAI Gym环境中优于现有方法。
2024-05-24 cs.AI cs.LG
Shields to Guarantee Probabilistic Safety in MDPs
Radboud University（拉德堡德大学）；Brno University of Technology（布拉格技术大学）
本文提出一种框架，扩展传统护盾以保证概率安全，证明强安全保证不可行，提供弱保证护盾，并引入离线和在线护盾构造以确保强安全保证。
2026-05-13 cs.AI cs.LO
Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）
本文针对拟双曲折扣MDP中的预承诺智能体，首次证明最优策略可简化为一步非平稳形式，并设计了首个具有收敛保证的无模型策略评估与Q学习算法。
2025-09-07 cs.AI cs.LG
Solving Multi-Model MDPs by Coordinate Ascent and Dynamic Programming
Department of Computer Science University of New Hampshire（计算机科学系 新罕布什尔大学）
本文针对NP难的多模型MDP问题，提出结合坐标上升与动态规划的CADP算法，通过迭代调整模型权重保证策略单调改进，理论证明不劣于WSU且在多个基准上显著胜出。
2024-07-08 cs.AI cs.LG
Refined Regret for Adversarial MDPs with Linear Function Approximation
Tsinghua University（清华大学）；University of Southern California（南加州大学）；Google Research（谷歌研究院）
本文研究对抗式线性 MDP 的在线学习遗憾，通过精细 FTRL 分析和幅度缩减损失估计，将有模拟器情形改进至 $\tilde{\mathcal O}(\sqrt K)$，并提升无模拟器情形的界。
2023-06-01 cs.AI cs.LG stat.ML
Improved Regret Bounds for Linear Adversarial MDPs via Linear Optimization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在对抗环境中学习马尔可夫决策过程（MDP）一直是一个具有挑战性的问题。这个问题在函数近似中变得更具挑战性，因为损失函数和过渡核的底层结构在变化的环境中特别难以估计。事实上，线性对抗MDP的最新结果实现了$\tilde{O}(K^{6/7})$的遗憾（$K$表示发作次数），这允许有很大的改进空间。在本文中，我们研究了一个新的观点，这减少了线性MDP线性优化通过巧妙地设置的强盗武器的特征映射。这种新的技术，探索性的假设下，产生一个改进的界限的$\tilde{O}(K^{4/5})$的线性对抗MDP没有访问一个过渡模拟器。新的观点可能是独立的利益解决其他MDP问题，具有线性结构。
2023-02-14 cs.AI cs.LG
Learning Policy Committees for Effective Personalization in MDPs with Diverse Tasks
针对多样任务MDP中个性化问题，提出学习策略委员会方法，保证高概率含近优策略，并提供两种算法，实验优于多任务、元学习和聚类基线。
2025-05-26 cs.AI cs.LG
RLShield: Practical Multi-Agent RL for Financial Cyber Defense with Attack-Surface MDPs and Real-Time Response Orchestration
RLShield 通过多智能体强化学习实现金融网络安全防御，结合攻击面马尔可夫决策过程与实时响应协调，提升网络攻击遏制效率与响应效果。
2026-02-26 cs.AI cs.CL cs.CR
Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions
DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Alberta（阿尔伯塔大学）
我们认为，在固定的地平线和折扣马尔可夫决策过程（MDP）与线性函数逼近和生成模型的假设下，最佳的行动价值函数在于一个功能地图，可供规划器的跨度的局部规划问题。以前的工作留下了开放的问题，是否存在健全的规划，只需要多（H，d）查询，而不管MDP，其中H是地平线和d是维数的功能。我们回答这个问题是否定的：我们表明，任何健全的规划必须查询至少$\min(\exp(Ω(d)), Ω(2^H))$样本中的固定水平设置和$\exp(Ω(d))$样本中的折扣设置。我们还表明，对于任何$δ>0$，最小二乘值迭代算法与$O(H^5d^{H+1}/δ^2)$查询可以计算一个$δ$最优的政策，在固定的地平线设置。我们讨论的影响和剩余的开放问题。
2021-02-15 cs.AI cs.LG stat.ML
Lifted Model Checking for Relational MDPs
KU Leuven（鲁汶大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；Örebro University（厄勒布鲁大学）
概率模型检验是为了验证具有随机性和不确定性行为的系统而发展起来的。给定一个概率系统，概率模型检查器获取一个属性，并检查该属性在该系统中是否成立。因此，概率模型检验提供了严格的保证。然而，到目前为止，概率模型检验主要集中在命题模型上，其中状态由符号表示。另一方面，在规划和强化学习中通常需要进行关系抽象。各种框架处理关系域，例如，CNOPS规划和关系马尔可夫决策过程。在关系环境中使用命题模型检验需要将模型接地，这导致了众所周知的状态爆炸问题和棘手性。我们提出了pCTL-REBEL，一个提升的模型检验方法来验证pCTL属性的关系MDP。它将基于关系模型的强化学习技术REBEL扩展到关系pCTL模型检验. PCTL-REBEL被提升，这意味着该模型不是基于基础，而是利用对称性在关系级别上将一组对象作为一个整体进行推理。理论上，我们表明，pCTL模型检验是可判定的关系MDP有可能是无限的域，提供的状态有界的大小。在实践中，我们贡献的算法和实现解除关系模型检验，我们表明，解除的方法提高了可扩展性的模型检验方法。
2022-01-10 cs.AI cs.LG cs.LO
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程（MDPs）的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程，并给出最优政策存在的条件。在此基础上，我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现，并表明他们是实用的。此外，我们表明，结合有效的未经验证的实现，我们的系统可以竞争，甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
Scalable Anytime Planning for Multi-Agent MDPs
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个可扩展的树搜索规划算法的大型多智能体顺序决策问题，需要动态协作。代理团队需要在许多领域协调决策，但由于联合行动空间随代理数量的指数增长，幼稚的方法会失败。我们规避这种复杂性，通过一个随时随地的方法，使我们能够交易计算近似质量，并动态协调行动。我们的算法包括三个要素：在线规划与蒙特卡罗树搜索（MCTS），因子表示的本地代理与协调图的相互作用，和迭代最大加联合行动选择的方法。我们评估我们的方法在基准SysAdmin域与静态协调图，并实现可比的性能与低得多的计算成本比我们的MCTS基线。我们还介绍了一个多无人机交付域与动态，即，状态相关的协调图，并展示了我们的方法如何扩展到这个领域的大问题，是其他MCTS方法难以解决。我们在https://github.com/JuliaPOMDP/FactoredValueMCTS.jl上提供了我们算法的开源实现。
2021-01-12 cs.AI cs.MA
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Q-Learning for Reachability in MEC-Free MDPs
Georgia Institute of Technology（佐治亚理工学院）
本文提出Quasar，首个无模型Q学习算法，用于无最大端分量MDP的可达性，通过时序差分更新实现渐近最优，内存从O(|S|^2|A|)降至O(|S||A|)，样本效率显著优于基于模型方法。
2026-10-02 cs.AI cs.LG cs.LO
Reinforcement Learning in Low-Rank MDPs with Density Features
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有低秩转换的MDP-也就是说，转换矩阵可以分解为两个矩阵（左和右）的乘积-是一种高度代表性的结构，可以进行易于学习。左矩阵使得表达函数近似能够用于基于值的学习，并且已经被广泛研究。在这项工作中，我们研究了具有密度特征的样本有效学习，即，正确的矩阵，这导致强大的模型状态占用分布。此设置不仅有助于在RL中利用无监督学习，而且还支持凸RL的插件解决方案。在离线设置中，我们提出了一个算法的off-policy估计的占用率，可以处理非探索性数据。以此为子程序，我们进一步设计了一个在线算法，以逐层的方式构建探索性数据分布。作为一个核心技术挑战，占用估计的加性误差与数据覆盖范围的乘法定义不相容。在缺乏像可达性这样的强假设的情况下，这种不兼容性很容易导致指数误差爆炸，我们通过新的技术工具克服了这一点。我们的结果也很容易扩展到表示学习设置，当密度特征是未知的，必须从一个指数级大的候选集学习。
2023-02-04 cs.AI cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London（伦敦大学学院）
我们激励和分析一个新的树搜索算法，GPTS，基于最近的理论进展，在使用高斯过程的强盗问题。我们认为树路径的武器，我们假设目标/奖励功能是从GP分布。在观察数据之后，后验均值和方差用于定义函数值的置信区间，并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核：线性和高斯。遗憾以迭代次数T的平方根增长，直到对数因子，具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值，小于臂数。最后，我们将GPTS应用于折扣马尔可夫决策过程中的开环规划，通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach
Stanford University（斯坦福大学）；The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，在马尔可夫决策过程（MDP）的框架内，风险和建模误差考虑的决策。我们的方法是最小化风险敏感的条件风险价值（CVaR）目标，而不是标准的风险中性预期。我们把这样的问题称为CVaRMDP。我们的第一个贡献是表明，CVaR的目标，除了捕捉风险敏感性，有一个替代的解释，在最坏情况下的建模误差的预期成本，对于给定的误差预算。这一结果，这是独立的利益，激励CVaRMDP作为一个统一的框架，风险敏感和强大的决策。我们的第二个贡献是提出了一个近似值迭代算法CVaRMDP和分析其收敛速度。据我们所知，这是CVaRMDP的第一个解决方案算法，享有误差保证。最后，我们提出的数值实验结果，证实了我们的理论研究结果，并显示我们的方法的实用性。
2015-06-06 cs.AI math.OC
Wasserstein Auto-encoded MDPs: Formal Verification of Efficiently Distilled RL Policies with Many-sided Guarantees
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文提出WAE-MDP潜空间模型，通过惩罚化最优传输蒸馏RL策略并提供互模拟等形式化保证，显著提升学习速度、模型质量与验证可行性。
2023-04-21 cs.AI cs.LG
Counterexample-guided Planning
UC Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）；UC San Diego（加州大学圣迭戈分校）；UC Los Angeles（加州大学洛杉矶分校）
对抗性和不确定性环境中的规划问题可以建模为随机完全信息博弈中的策略设计问题。这些游戏是马尔可夫决策过程（MDP）的推广：有两个（对抗性）玩家和一个随机性来源。在这类博弈中计算获胜策略的主要实际障碍是状态空间的大小。因此，在实践中，人们通常使用模型的抽象。困难的是提出一个抽象，既不能太粗糙而不能删除所有获胜的策略（计划），也不能太精细而不能处理。在验证中，反例引导的抽象精化的范例已经成功地自动构造有用但简约的抽象。我们将这种范式扩展到概率模型（即完美信息博弈，作为特例，MDP）。这使我们能够将反例引导的抽象范式应用于AI规划问题。作为特殊情况，我们得到了MDP和确定性系统的规划算法，自动构建系统抽象。
2012-07-04 cs.AI cs.GT
Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity
提出一种基于状态增强的静态 CVaR 目标新公式，通过奖励再分配得到稠密奖励和压缩 Bellman 算子，并开发风险厌恶值迭代和无模型 Q 学习算法，具有收敛保证和离散化误差界。
2026-07-01 cs.AI cs.LG
Towards Painless Policy Optimization for Constrained MDPs
Simon Fraser University（西蒙弗雷泽大学）；SAIT AI Lab（SAIT人工智能实验室）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
研究了无限时域$γ$ -折扣约束马尔可夫决策过程（CMDP）中的策略优化问题.我们的目标是返回一个策略，实现大的预期回报与一个小的约束违反。我们认为在线设置与线性函数近似，并假设全球访问相应的功能。我们提出了一个通用的原始-对偶框架，使我们能够约束奖励次优和约束违反任意算法的原始和对偶遗憾在线线性优化问题。我们实例化这个框架使用硬币投注算法，并提出硬币投注Politex（CBP）算法。假设动作-价值函数是$\varepsilon_b$ -接近$d$维状态-动作特征的跨度并且没有采样误差，我们证明了CBP的$T$迭代导致$O\left(\frac{1}{(1 - γ)^3 \sqrt{T}} + \frac{\varepsilon_b\sqrt{d}}{(1 - γ)^2} \right)$奖励次优和$O\left(\frac{1}{(1 - γ)^2 \sqrt{T}} + \frac{\varepsilon_b \sqrt{d}}{1 - γ} \right)$约束违反。重要的是，与梯度下降-上升和其他最近的方法不同，CBP不需要广泛的超参数调整。通过在合成环境和Cartpole环境下的实验，我们证明了CBP的有效性和鲁棒性。
2022-04-11 cs.AI cs.LG
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对PPO算法理论基础不足的问题，提出面向回合式对抗线性MDPs的乐观PPO变体，推导得到更优悔界，采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Scalable methods for computing state similarity in deterministic Markov Decision Processes
Google Brain（谷歌大脑）
我们提出了新的算法计算和近似互模拟指标的马尔可夫决策过程（MDP）。互模拟度量是一种优雅的形式主义，它捕获状态之间的行为等价性，并为最佳行为的差异提供强有力的理论保证。不幸的是，他们的计算是昂贵的，需要一个表格表示的状态，这迄今为止，使他们不切实际的大问题。在本文中，我们提出了一个新版本的度量，是绑在一个MDP的行为政策，随着其理论性质的分析。然后，我们提出了两个新的算法近似互模拟度量大，确定性的MDP。第一个通过采样来实现，并保证收敛到真实的度量。第二个是可微损失，它使我们能够学习连续状态MDP的近似值，这在此之前是不可能的。
2019-11-21 cs.AI cs.LG stat.ML
TensorPlan and the Few Actions Lower Bound for Planning in MDPs under Linear Realizability of Optimal Value Functions
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
我们认为，在固定时间马尔可夫决策过程（MDP）与线性函数逼近的生成模型的在线规划的极大极小查询复杂度。根据最近的工作，我们考虑广泛的问题，其中（i）最佳价值函数$v^\star$或（ii）最佳动作价值函数$q^\star$位于某些功能的线性跨度;或（iii）$v^\star$和$q^\star$都位于线性跨度时，限制到从起始状态可达的状态。最近，Weisz等人（2021 b）表明，在（ii）条件下，当动作集的大小$A$在$\min(d,H)$中可以被选择为指数时，任何规划算法的极小极大查询复杂度在水平$H$或特征维度$d$中至少是指数的。另一方面，对于设置（i），Weisz等人（2021 a）引入了TensorPlan，这是一种规划器，当动作数量固定时，其查询成本在所有相关量中都是多项式。除其他外，这两个作品留下了一个问题，多项式查询复杂性是否可能时，$A$是次指数在$\min(d,H)$。在本文中，我们回答这个问题的否定：我们表明，指数大的下限举行时，$A=Ω(\min(d^{1/4},H^{1/2}))$，根据（i），（ii）或（iii）。特别是，这意味着与Du等人（2021）的工作相比，查询复杂度可能会出现令人惊讶的指数分离，Du等人（2021）证明了当（iii）对所有状态都成立时的多项式上限。此外，我们证明了TensorPlan的上界可以扩展到（iii）下，对于具有确定性转…
2022-03-10 cs.AI cs.LG stat.ML
Last-Iterate Convergence of General Parameterized Policies in Constrained MDPs
IIT Kanpur（IIT坎普尔）；Purdue University（普渡大学）
本文提出了一种基于对偶的正则化加速自然策略梯度算法，用于学习约束马尔可夫决策过程，改进了通用参数化CMDP的最后迭代保证。
2026-05-01 cs.AI cs.LG
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Robust Combination of Local Controllers
Stanford University（斯坦福大学）
针对高维连续MDP规划问题，提出非参数化组合局部控制器的方法，并分别应用于随机最短路径和折扣MDP，前者保证高概率到达目标，后者通过鲁棒线性规划处理模型不确定性。
2013-01-10 cs.AI cs.SY eess.SY
Prior-dependent analysis of posterior sampling reinforcement learning with function approximation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对线性混合MDP的函数逼近RL，提出先验相关贝叶斯遗憾界，通过解耦与方差缩减优化PSRL上界至O(d√(H³T logT))。
2024-03-17 cs.AI cs.IT cs.LG
Efficient Strategy Synthesis for MDPs with Resource Constraints
Oden Institute, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登研究所）；Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Department of Aerospace Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校航空航天工程系）；Department of Aerospace Engineering and Engineering Mechanics, The University of Texas at Austin（德克萨斯大学奥斯汀分校航空航天工程与工程力学系）
我们认为定性策略合成的形式主义称为消费马尔可夫决策过程。这种形式主义可以在随机环境中的资源约束下运行的代理的动态模型。所提出的算法在时间多项式中工作，相对于模型的表示，它们合成策略，确保以概率1达到给定的一组目标状态（一次或无限次），而不耗尽资源。特别是，当资源量变得太低，无法安全地继续执行任务时，该策略会将代理的过程改变为指定的一组重新加载状态之一，在该状态下，代理将资源分配到满负荷;有足够的资源量，代理会尝试再次完成任务。我们还提出了两种算法，试图减少预期的时间，代理需要完成给定的任务，在实际规划中的一个重要参数。所提出的算法实现和数值例子证明（i）的有效性（在计算时间方面）的规划方法的基础上的消费马尔可夫决策过程和（ii）的积极影响的规划在一个现实的例子。
2021-05-05 cs.AI cs.SY eess.SY
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
