Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题，提出k-自适应策略合成算法KAPS，可优化小策略集的极小极大遗憾，实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Quantifying stability of non-power-seeking in artificial agents
ML Alignment & Theory Scholars (MATS)（机器学习对齐与理论研究学者计划（MATS））；University of Toronto（多伦多大学）；Google DeepMind（谷歌DeepMind）
本研究探讨了AI代理在相似环境间部署时安全性的稳定性，基于权力寻求理论，证明不抵抗关闭在近最优策略下稳定，但在自然情况下可能因小扰动失稳。
2024-01-07 cs.AI
Universal Policies for Software-Defined MDPs
Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）
我们介绍了一种新的编程范式，称为预言机引导的决策编程，其中一个程序指定了马尔可夫决策过程（MDP）和语言提供了一个通用的政策。我们原型一个新的程序设计语言，多多纳，体现了这种模式使用一个原始的“选择”代表非确定性的选择。Dodona解释器返回一个值或一个choicepoint，其中包括原则上做出最佳决策所需的所有信息的无损编码。元解释器在这些选择点上查询Dodona的（神经）预言以获得策略和值估计，它们可以使用这些估计来对底层MDP执行启发式搜索。我们展示了Dodona的潜力zero-shot启发式指导元学习超过数百个合成任务，模拟基本操作列表，树，教堂数据结构，多项式，一阶项和高阶项。
2020-12-21 cs.AI cs.PL
Learning Diagnostic Policies from Examples by Systematic Search
Oregon State University（俄勒冈州立大学）
诊断策略根据先前测试的结果指定接下来要执行的测试，以及何时停止并进行诊断。成本敏感的诊断策略在（a）测试成本和（b）误诊成本之间进行权衡。一个最优的诊断策略使期望的总成本最小化。我们将此诊断过程形式化为马尔可夫决策过程（MDP）。我们研究了两种类型的算法来解决这个MDP：基于AO* 算法和贪婪搜索（特别是信息值方法）的系统搜索。我们调查的问题，学习的MDP概率的例子，但只有当他们是相关的搜索良好的政策。我们不学习也不假设诊断过程的贝叶斯网络。正则化器的发展，以控制过拟合和加快搜索。这项研究是第一个将过拟合预防集成到系统搜索中的研究。本文有两个贡献：它讨论的因素，使系统搜索可行的诊断，它表明实验，在基准数据集，系统搜索方法产生更好的诊断策略比贪婪的方法。
2012-07-12 cs.AI
Algorithms for Batch Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
分层强化学习（HRL）利用时间抽象来解决大型马尔可夫决策过程（MDP），并提供可转移的子任务策略。在本文中，我们介绍了一种非策略HRL算法：分层Q值迭代（HQI）。我们表明，它是可以有效地学习递归最优策略的任何有效的层次分解的原始MDP，给定一个固定的数据集收集从一个平面的随机行为的政策。我们首先正式证明了该算法的收敛性表MDP。然后我们在Taxi域上的实验表明，HQI比平坦Q值迭代收敛得更快，并且易于进行状态抽象。此外，我们证明了我们的算法能够从相同的固定数据集学习不同层次结构的最佳策略，这使得模型比较无需重新收集数据。
2016-03-29 cs.AI
Low-complexity modular policies: learning to play Pac-Man and a new framework beyond MDPs
在本文中，我们提出了一种学习玩吃豆人的方法。我们定义了一组高级观察和动作模块。动作在时间上被延长，并且多个动作模块可以同时生效。代理的决策被表示为基于规则的策略。对于学习，我们应用交叉熵方法，最近的全局优化算法。学习的策略比手工制定的策略得分更高，接近人类玩家的平均得分。我们认为，学习是成功的，主要是因为（i）政策空间包括个人行动的组合，因此它是足够丰富的，（ii）搜索是偏向于低复杂度的政策和低复杂度的解决方案，可以很快找到，如果它们存在。基于这些原则，我们制定了一个新的理论框架，可以在附录中找到作为支持材料。
2006-10-30 cs.AI cs.LG
Efficient Policy Iteration for Robust Markov Decision Processes via Regularization
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
鲁棒马尔可夫决策过程（MDP）提供了一个通用的框架来建模决策问题，其中系统动态变化或仅部分已知。一些\texttt{sa} -矩形鲁棒MDP的有效方法存在，使用其与奖励正则化MDP的等价性，可推广到在线设置。与\texttt{sa} -矩形鲁棒MDP相比，\texttt{s} -矩形鲁棒MDP限制较少，但更难以处理。有趣的是，最近的工作已经建立了\texttt{s} -矩形鲁棒MDP和策略正则化MDP之间的等价性。但是，我们没有一个明确的认识，利用这种等价性，做政策改进的步骤，以获得最佳的价值函数或政策。我们对贪婪/最优策略没有一个清晰的理解，除了它可以是随机的。不存在可以自然地推广到无模型设置的方法。我们展示了\texttt{s} -矩形$L_p$鲁棒MDP和策略正则化MDP之间的清晰和明确的等价性，这些MDP非常类似于在实践中广泛使用的策略熵正则化MDP。进一步，我们深入研究了策略改进步骤，具体推导了\texttt{s} -矩形$L_p$鲁棒MDP的最优鲁棒Bellman算子.我们发现，在\texttt{s} -矩形$L_p$鲁棒MDP中，贪婪/最优策略是阈值策略，其$k$值大于某个阈值，与其优势的$(p-1)$次幂成正比.此外，我们还证明了（\texttt{sa}和\texttt{s} -矩形）$L_p$鲁棒MDP的时间复杂度与非鲁棒MDP的时间复杂度相同。我们的工作极大地扩…
2022-10-05 cs.AI
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University（罗格斯大学）
在本文中，我们考虑的基本版本的强化学习（RL），涉及到计算最佳的数据驱动（自适应）的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查，该地区的最先进的，我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策，我们在这里开发的，我们称之为MDP-Deterministic最小经验分歧（MDP-DMED），和一个方法的基础上后验抽样（MDP-PS）。
2019-09-13 cs.AI cs.LG stat.ML
A method for the online construction of the set of states of a Markov Decision Process using Answer Set Programming
Universidade Metodista de São Paulo（圣保罗卫理公会大学）；Centro Universitário FEI（FEI大学中心）；IIIA-CSIC（西班牙国家研究委员会人工智能研究所）
非平稳域，以不可预测的方式变化，是一个挑战，为代理搜索最优策略的顺序决策问题。本文提出了一种结合马尔可夫决策过程（MDP）和回答集编程（ASP）的方法，称为{ \em Online ASP for MDP}（oASP（MDP）），它是一种能够在Agent与变化的环境交互时构造域状态集的方法。oASP（MDP）使用代表代理观察到的域变化的规则，更新通过强化学习（RL）学习的先前获得的策略。这些规则表示一组域约束，这些域约束作为减少搜索空间的ASP程序来处理。结果表明，oASP（MDP）是能够找到解决方案的问题，在非平稳域，而不干扰的行动-价值函数逼近过程。
2017-06-05 cs.AI
Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs
Singapore Management University（新加坡管理大学）；University of Toronto（多伦多大学）
深度学习的最新进展通过将参数策略编码为深度神经网络并在基于端到端模型的梯度下降框架中利用自动微分，为连续MDP规划优化了深度反应策略（DRP）。这种方法已被证明对优化非线性连续MDP中的DRP是有效的，但它需要大量的采样轨迹来有效学习，并且可能会受到解决方案质量的高方差的影响。在这项工作中，我们重新审视了整体基于模型的DRP目标，而是采取最小化最大化的角度来迭代优化DRP w.r.t.局部紧下界目标这种将DRP学习作为迭代下限优化（ILBO）的新公式特别有吸引力，因为（i）每个步骤在结构上比整体目标更容易优化，（ii）它保证了在某些理论条件下单调改进的目标，以及（iii）它在迭代之间重用样本，从而降低了样本复杂度。实证评估证实，ILBO是显着更高的采样效率比国家的最先进的DRP计划，并始终产生更好的解决方案质量与较低的方差。我们还证明了ILBO可以很好地推广到新的问题实例（即，不同的初始状态）而不需要再训练。
2022-03-23 cs.AI cs.LG
Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes
Brown University（布朗大学）
我们提出了一种方法来解决隐式（因子化）马尔可夫决策过程（MDP）非常大的状态空间。我们引入了一个属性的状态空间分区，我们称之为ε-均匀性。直观地说，ε-同构分区将在所有策略或策略的某个子集下行为大致相同的状态分组在一起。借用最近的工作模型最小化的计算机辅助软件验证，我们提出了一个算法，采取一个因子表示的MDP和0<= 1 <=1，并计算一个因子ε-齐次分区的状态空间。该分区定义了一系列相关的MDP-具有等于分区的块的状态空间的那些MDP，以及“近似”像源块中的任何（原始MDP）状态的那些的转移概率。为了正式研究这样的家庭的MDP，我们引入了一个新的概念“有界参数MDP”（BMDP），这是一个家庭（传统）MDP定义的转移概率和奖励的上限和下限。我们描述的算法，操作BMDP找到的政策是近似最优的原始MDP。结合，我们的方法减少一个大的隐式MDP可能更小的BMDP使用ε-均匀分区，我们的方法选择行动BMDP构成了一个新的方法来分析大隐式MDP。在其优点中，这种新方法提供了对现有算法的深入了解，以解决隐式MDP，提供了有用的连接，工作在自动机理论和模型最小化，并建议的方法，其中涉及不同的时间间隔，交易的时间和空间（特别是在相应的状态空间的大小方面）的解决方案的质量。
2013-02-06 cs.AI
Wasserstein Auto-encoded MDPs: Formal Verification of Efficiently Distilled RL Policies with Many-sided Guarantees
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文提出WAE-MDP潜空间模型，通过惩罚化最优传输蒸馏RL策略并提供互模拟等形式化保证，显著提升学习速度、模型质量与验证可行性。
2023-04-21 cs.AI cs.LG
Robust Entropy-regularized Markov Decision Processes
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
由熵正则化马尔可夫决策过程（ER-MDP）产生的随机和软最优策略对于探索和模仿学习应用是理想的。出于这样一个事实，即这些政策是敏感的状态转移概率，这些概率的估计可能是不准确的，我们研究了一个强大的版本的ER-MDP模型，其中随机最优的政策是需要强大的模糊性，在底层的转移概率。我们的工作是在强化学习（RL）的两个重要计划，即鲁棒MDP和熵正则化MDP的十字路口。我们发现，在我们的设置中，非鲁棒ER-MDP和鲁棒非正则化MDP模型的基本属性也成立，使得鲁棒ER-MDP问题易于处理。我们展示了我们的框架和结果如何可以集成到不同的算法方案，包括价值或（修改）的政策迭代，这将导致新的强大的RL和逆RL算法来处理不确定性。分析了传统不确定度设置下的计算复杂性和误差传播。
2021-12-31 cs.AI cs.LG
Computing Policies That Account For The Effects Of Human Agent Uncertainty During Execution In Markov Decision Processes
Arizona State University（亚利桑那州立大学）
当人类被赋予一个策略来执行时，如果在识别状态时存在不确定性，则可能存在策略执行错误和策略偏差。这可能是由于人类代理的认知限制和/或感知错误而发生的。因此，计算供人类执行的策略的算法应该在计算中考虑这些影响。一个最优的马尔可夫决策过程（MDP）政策，执行不佳（由于人类代理）可能比另一个政策是次优的MDP，但考虑人类代理的执行行为。在本文中，我们考虑两个问题，从状态的不确定性，这些是错误的状态推断，和额外的感知行动，一个人可能会采取由于他们的不确定性。我们提出了一个框架来模拟人类代理的行为与状态的不确定性，并可用于计算MDP政策，占这些问题。其次是一个爬山算法，以寻找良好的政策，我们的模型的人类代理。我们还提出了一个分支定界算法，可以找到这样的问题的最优策略。我们展示了在Gridworld域和仓库工人域中的实验结果。最后，我们提出了支持我们的人类模型假设的人类受试者研究。
2022-03-03 cs.AI
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Lecture Notes on Partially Known MDPs
Universiteit Antwerpen（安特卫普大学）
在这些笔记中，我们将解决为马尔可夫决策过程（MDP）寻找最优策略的问题，这对我们来说并不完全清楚。我们的目的是慢慢地从离线设置过渡到在线（学习）设置。也就是说，我们正在走向强化学习。
2022-06-20 cs.AI cs.FL
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Efficient Solution and Learning of Robust Factored MDPs
本文提出了一种基于因式分解状态空间的鲁棒马尔可夫决策过程求解与学习方法，通过将非凸优化问题转化为线性规划问题，提高了样本效率和策略性能保证。
2025-11-20 cs.AI cs.LG
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
Windowed A-K-MDP
Monash University（莫纳什大学）
针对 A-K-MDP 算法可能跳过更好抽象状态的问题，提出窗口化 A-K-MDP，在除数窗口内生成并评估所有可行分区，在 33 个实例中改进 25 个、持平 8 个。
2026-10-02 cs.AI
Missingness-MDPs: Bridging the Theory of Missing Data and POMDPs
Ruhr University Bochum（博德姆鲁尔大学）；Brno University of Technology（布拉格技术大学）；Radboud University Nijmegen（拉德博德大学奈杰姆）；Harvard University（哈佛大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出缺失性马尔可夫决策过程（miss-MDP），一种结合缺失数据理论的POMDP子类，通过学习缺失函数来解决未知缺失函数下的最优策略问题，证明所得策略在真miss-MDP中近似最优。
2026-05-12 cs.AI cs.LG
Online Learning of Weakly Coupled MDP Policies for Load Balancing and Auto Scaling
Indian Institute of Science（印度科学学院）；IMT Atlantique Bretagne-Pays de la Loire（大西洋理工学院布列塔尼-卢瓦尔河地区校区）；Institute of Computing, Federal University of Rio de Janeiro (UFRJ)（里约热内卢联邦大学计算机研究所）
针对突发流量下负载均衡与自动扩缩容的动态资源分配问题，本文将其建模为弱耦合MDP，提出更易求解的松弛LP公式，并基于拉格朗日双时间尺度算法实现在线参数学习与策略优化。
2024-06-20 cs.AI cs.NI cs.SY
Last-Iterate Convergence of General Parameterized Policies in Constrained MDPs
IIT Kanpur（IIT坎普尔）；Purdue University（普渡大学）
本文提出了一种基于对偶的正则化加速自然策略梯度算法，用于学习约束马尔可夫决策过程，改进了通用参数化CMDP的最后迭代保证。
2026-05-01 cs.AI cs.LG
Learning Domain Invariant Representations in Goal-conditioned Block MDPs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
深度强化学习（RL）在解决许多复杂的马尔可夫决策过程（MDP）问题上取得了成功。然而，在现实世界中部署后，代理经常面临无法预料的环境变化。这些变化通常是虚假的，与潜在的问题无关，例如视觉输入代理的背景变化。不幸的是，深度RL策略通常对这些变化很敏感，并且无法对它们采取有力的行动。这类似于监督学习中的领域泛化问题。在这项工作中，我们研究这个问题的目标条件RL代理。我们提出了一个理论框架，在块MDP设置的目标条件下的政策，以新的环境的概括性的特点。在此框架下，我们开发了一个实用的方法PA-SkewFit，增强领域泛化。实证评估表明，我们的目标条件强化学习代理可以在各种看不见的测试环境中表现良好，比基线提高了50%。
2021-10-28 cs.AI cs.LG
A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions
Khalifa University（哈利法大学）
针对局部转移下即使视界为2仍NP难的约束MDP及CC-MDP/SSP变体，提出可计算近优确定性策略的完全多项式时间近似方案。
2023-04-18 cs.AI
Constrained and Robust Policy Synthesis with Satisfiability-Modulo-Probabilistic-Model-Checking
Radboud University（拉德堡德大学）；Brno University of Technology（布尔诺理工大学）
针对有限MDP上带结构约束的鲁棒奖励最优策略计算难题，本文提出结合可满足性求解器与概率模型检查的合成框架，实验证明其可行且性能媲美现有最优方法。
2025-11-15 cs.AI cs.LO
Compact Mathematical Programs For DEC-MDPs With Structured Agent Interactions
BBN Technologies（BBN技术公司）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
为了解决分散式MDP中计算策略的复杂性，研究人员提出了利用结构化代理交互的模型。大多数代理动作都是独立的设置，除了影响其他代理的转换和/或奖励的少数动作之外，可以使用事件驱动的复杂奖励交互（EDI-CR）来建模。寻找最优联合策略可以用公式表示为优化问题。然而，现有的公式过于冗长和/或缺乏最优性保证。我们提出了一个紧凑的混合线性规划公式的EDI-CR实例。关键的见解是，一组代理的大多数动作序列对给定代理具有相同的效果。这使我们能够类似地处理这些序列，并使用更少的变量。实验表明，我们的配方更紧凑，导致更快的解决方案的时间和更好的解决方案比现有的配方。
2012-02-14 cs.AI
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University（上海交通大学）；University of South Florida（佛罗里达州立大学）
针对马尔可夫决策过程中决策树策略优化难的问题，提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法，实现了可解释性与可扩展性兼具的高质量策略，速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Multi-Objective Approaches to Markov Decision Processes with Uncertain Transition Parameters
TU Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
马尔可夫决策过程（MDP）是随机系统性能分析和优化的一个流行模型。MDP随机行为的参数是从系统的经验观察中估计的;它们的值并不精确。文献中存在不同类型的不确定的，不精确的或有界的转移率或概率和奖励的MDP。通常，对具有不确定性的模型的分析相当于寻找最稳健的政策，这意味着目标是生成具有最大性能下限（或者对称地，成本最低上限）的政策。然而，对冲不太可能出现的最坏情况可能会导致其他情况下的损失。一般来说，人们感兴趣的是在所有情况下表现良好的政策，从而导致决策的多目标观点。在本文中，我们考虑的政策，预期折扣奖励措施的MDP与不确定参数。特别是，该方法是针对有界参数MDP（BMDP）定义的[8]。在这种设置中，最坏的，最好的和平均情况下的性能的政策同时进行分析，这产生了一个多场景多目标优化问题。本文提出并评价了在价值向量空间中计算纯帕累托最优策略的方法。
2017-10-20 cs.AI cs.GT
Optimizing Percentile Criterion Using Robust MDPs
University of New Hampshire（新罕布什尔大学）；City University of Hong Kong（香港城市大学）
我们解决了在有限数据的强化学习问题中计算可靠策略的问题。特别是，我们计算的政策，实现良好的回报与高信心时部署。这个目标称为\emph{percentile criterion}，可以使用Robust MDP ~（RMDP）进行优化。RMDPs将MDPs推广到允许从给定的模糊集中逆向选择不确定的转移概率。我们发现，RMDP解决方案的次优性取决于沿价值函数的模糊集的跨度。然后，我们提出了新的算法，最大限度地减少由加权$L_1$和$L_\infty$规范定义的模糊集的跨度。我们的主要重点是贝叶斯保证，但我们也描述了我们的方法如何适用于频率论的保证，并获得新的浓度不等式加权$L_1$和$L_\infty$规范。实验结果表明，我们优化的模糊集显着提高了以前的建设方法。
2021-02-25 cs.AI cs.LG stat.ML
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Formally Verifying and Explaining Sepsis Treatment Policies with COOL-MC
Dennis Gross
COOL-MC通过形式验证和可解释性分析，揭示脓毒症治疗策略中依赖于给药历史而非患者状况的决策驱动因素。
2026-02-16 cs.AI cs.LG
Symbolic Network: Generalized Neural Policies for Relational MDPs
Indian Institute of Technology Delhi（印度理工学院德里分校）
关系马尔可夫决策过程（Relational Markov Decision Process，RMDP）是一种一阶表示方法，用于表示单个概率规划域的所有实例，其中对象的数量可能是无限的。RMDPs的早期工作输出了广义（独立于实例）的一阶策略或价值函数，作为一种同时解决域的所有实例的方法。不幸的是，由于在这些策略或价值函数中使用的表示空间的固有限制，这类工作取得了有限的成功。神经模型是否可以通过轻松地表示更复杂的广义策略来提供缺失的环节，从而使它们对给定域的所有实例都有效？我们提出了SymNet，第一个神经方法来解决RMDPs的概率规划语言的RMDPs。SymNet使用来自域的训练实例为Rounds域训练一组共享参数。对于每个实例，SymNet首先将其转换为实例图，然后使用关系神经模型来计算节点嵌入。然后，它将每个地面动作作为一阶动作符号和与动作相关的节点嵌入的函数进行评分。给定来自同一域的新测试实例，具有预训练参数的SymNet架构会对每个地面动作进行评分并选择最佳动作。这可以在单个前向传递中完成，而无需对测试实例进行任何重新训练，从而隐式地表示整个域的神经广义策略。我们在IPPC的九个Rendezvous域上的实验表明，SymNet策略明显优于随机策略，有时甚至比从头开始训练最先进的深度反应策略更有效。
2020-06-29 cs.AI cs.LG stat.ML
Comparing Socially-Equitable Renewable Energy Budget Allocation MDP Policies in Mature and Emerging Economies
Management \& Technology University of Pennsylvania Philadelphia, PA, USA；Systems Engineering Institute Technology of Sepuluh Nopember (ITS) Surabaya, Indonesia；Systems Engineering King Fahd University of Petroleum
研究成熟与新兴经济体中社会公平的可再生能源预算分配问题，将其建模为马尔可夫决策过程，用单一求解器接口比较政策，结果显示滚动时域值迭代政策占优，还揭示简单启发式方法在不同经济体效果不同。
2026-10-14 cs.AI cs.SY eess.SY
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore（南洋理工大学）
本文提出了一种结合$ω$-正则目标与约束的强化学习算法，以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Optimizing Norm-Bounded Weighted Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
马尔可夫决策过程（MDP）中的最优策略对模型误设定非常敏感。这引起了人们对在高风险领域部署它们的严重担忧。鲁棒MDP（RMDP）提供了一个很有前途的框架，以减轻脆弱性的最坏情况下保证强化学习计算政策。RMDP的解质量取决于模糊度集，模糊度集是模型不确定性的量化。在本文中，我们提出了一种新的方法来优化形状的模糊集RMDPs。我们的方法偏离了传统的想法，构造一个范数有界的均匀和对称的模糊集。相反，我们认为，一个接近最佳的模糊集的结构是特定的问题。我们所提出的方法从价值函数计算权重参数，然后这些权重驱动模糊集的形状。我们的理论分析证明了所提出的想法的基本原理。我们将我们的方法应用到几个不同的问题域，实证结果进一步提供了加权近优模糊集的实际承诺。
2019-12-04 cs.AI cs.LG stat.ML
Extreme State Aggregation Beyond MDPs
Australian National University（澳大利亚国立大学）
我们考虑一个强化学习设置，其中智能体在观察-奖励-动作循环中与环境交互，而没有任何（特别是）MDP）对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是，由此产生的简化过程（近似）形成一个小的稳态有限状态MDP，然后可以有效地求解或学习。我们大大推广现有的聚合结果表明，即使减少的过程是不是一个MDP，（q-）价值函数和（最佳）的政策相关联的MDP具有相同的状态空间大小解决了原来的问题，只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限，保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
COOL-MC: Verifying and Explaining RL Policies for Multi-bridge Network Maintenance
COOL-MC通过概率模型检查和可解释性方法，验证并解释多桥网络维护的强化学习策略，揭示策略的安全性和偏见问题。
2026-03-08 cs.AI cs.LG
Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act
Google Research（谷歌研究院）；Inria（法国国家信息与自动化研究所）；CRIStAL, CNRS, Université de Lille（里尔大学法国国家科学研究中心CRIStAL实验室）
传统上，强化学习（RL）旨在决定如何为人工智能体采取最佳行动。我们认为，决定何时采取行动同样重要。作为人类，我们会从默认的、本能的或记忆的行为转向专注的、深思熟虑的行为。为了增强具有这种能力的RL代理，我们建议增强标准马尔可夫决策过程，并提供一种新的行动模式：懒惰，这将决策推迟到默认策略。此外，我们惩罚非懒惰行为，以鼓励最小的努力，并使代理只关注关键决策。我们命名的形式主义懒惰的MDPs。我们研究了惰性MDP的理论性质，表达了价值函数并刻画了最优解。然后，我们实证表明，在懒惰的MDP学习的政策一般都带有一种形式的可解释性：通过建设，他们向我们展示了代理控制默认策略的状态。我们认为这些状态和相应的操作很重要，因为它们解释了默认策略和新的惰性策略之间的性能差异。使用次优策略作为默认（预训练或随机），我们观察到代理能够在Atari游戏中获得有竞争力的性能，同时只控制有限的状态子集。
2022-03-16 cs.AI cs.LG
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute（伍斯特理工学院）
在马尔可夫决策过程（MDP）的层次规划中，时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中，我们提出了一种新的方法，组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合，我们介绍了一种基于广义逻辑组合的策略组合：给定子任务的子策略和一个新的任务表示为子任务的逻辑组合，一个半最优的策略，这是最优的规划与只有子策略，可以通过简单地组合子策略。因此，一个综合算法的开发，以计算最优策略有效地规划与原始行动，子任务的政策，和子政策的组成，以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
Multi-level meta-reinforcement learning with skill-based curriculum
本文提出基于技能的多级元强化学习框架，通过多级分解和策略分解实现技能转移，提升复杂MDP的求解效率与泛化能力。
2026-03-09 cs.AI cs.LG stat.ML
DeepTOP: Deep Threshold-Optimal Policy for MDPs and RMABs
Texas A&M University（得克萨斯农工大学）
我们考虑学习控制问题的最优阈值策略的问题。阈值策略通过评估系统状态的元素是否超过特定阈值来做出控制决策，该阈值的值由系统状态的其他元素确定。通过利用阈值策略的单调性，我们证明了它们的策略梯度有一个令人惊讶的简单表达式。我们使用这个简单的表达式来构建一个离线策略的演员-评论家算法来学习最优阈值策略。仿真结果表明，我们的政策显着优于其他强化学习算法，由于其能够利用单调属性。此外，我们表明，惠特尔指数，一个强大的工具，不安分的多臂土匪问题，是等价的最优阈值政策的替代问题。这一观察导致了一个简单的算法，通过学习替代问题中的最优阈值策略来找到Whittle指数。仿真结果表明，我们的算法学习的Whittle指数远远快于最近的几项研究，通过间接手段学习的Whittle指数。
2022-09-28 cs.AI cs.LG
Learning Near Optimal Policies with Low Inherent Bellman Error
Stanford University（斯坦福大学）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
我们研究了在低固有贝尔曼误差的概念下，情景强化学习中近似线性作用值函数的探索问题，这是一个通常用于显示近似值迭代收敛的条件。首先，我们将这个条件与其他常见的框架，并表明它是严格更普遍的比低秩（或线性）MDP假设先前的工作。其次，我们提供了一个算法的高概率遗憾界$\widetilde O(\sum_{t=1}^H d_t \sqrt{K} + \sum_{t=1}^H \sqrt{d_t} \IBE K)$，其中$H$是地平线，$K$是事件的数量，$\IBE$是值，如果固有的贝尔曼错误和$d_t$是在时间步长$t$的特征维数。此外，我们表明，结果是不可改进的超越常数和日志显示匹配的下限。这有两个重要的结果：1）它表明，探索是可能的，只使用\emph{batch assumptions}与算法，实现最佳的统计率为我们考虑的设置，这是更普遍的比以前的工作低秩MDP 2）缺乏封闭性（由固有的贝尔曼误差测量）只放大了$\sqrt{d_t}$，尽管在在线设置工作。最后，该算法减少到著名的\textsc{LinUCB}时，$H=1$，但具有不同的选择的探索参数，允许处理错误指定的上下文线性强盗。虽然计算易处理性问题对于MDP设置仍然是开放的，但这丰富了MDP类，其中可以使用统计上有效的强化学习的动作值函数的线性表示。
2020-06-28 cs.AI cs.LG
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Preference-Based Planning in Stochastic Environments: From Partially-Ordered Temporal Goals to Most Preferred Policies
Missouri State University（密苏里州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
本文研究随机系统中基于偏序时序偏好的规划问题，提出偏好自动机模型，并将最偏好策略求解转化为多目标MDP中的Pareto最优策略计算。
2024-10-18 cs.AI cs.FL cs.LO
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策，满足形式规格的形式，一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性，在他们的能力，以捕捉理想的代理行为，他们的价值是有限的，当得出决策政策，满足某些类型的渐近行为在一般系统模型。特别是，我们感兴趣的是指定代理的稳态行为的约束，它捕获代理在每个状态下花费的时间比例，因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为，除非在其图形结构的连接性方面对底层模型施加强限制，否则相关的规划问题面临着重大挑战。在本文中，我们将探讨这个稳态规划问题，包括推导出一个决策的代理政策，使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程（MDP）一般情况的线性规划解，并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University（胡安·卡洛斯国王大学）；University of Pennsylvania（宾夕法尼亚大学）
针对连续空间约束MDPs计算确定性最优策略的难题，提出具有非渐近收敛性的D-PGPD算法，通过二次正则化原始-对偶更新求解，并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome（罗马萨皮恩扎大学）；King’s College London（伦敦国王学院）
本文提出可实现的抽象概念，通过定义新的关系解决HRL中抽象的表达能力和效率保证问题，并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
Verification of indefinite-horizon POMDPs
RWTH Aachen University（亚琛工业大学）；University of California, Berkeley（加州大学伯克利分校）
MDP中的验证问题是，对于任何解决不确定性的策略，发生不好的事情的概率是否受某个给定阈值的限制。这个验证问题通常过于悲观，因为它考虑的策略可能依赖于完整的系统状态。本文考虑了部分可观测MDP的验证问题，其中策略根据系统发出的观测（历史）做出决策。我们提出了一个抽象细化框架扩展以前的实例化的Lovejoy的方法。我们的实验表明，该框架显着提高了方法的可扩展性。
2020-06-30 cs.AI cs.LO
Robust Anytime Learning of Markov Decision Processes
Radboud University（拉德堡德大学）；University of Oxford（牛津大学）
提出一种结合贝叶斯推断与鲁棒策略计算的任意时间学习方法，用于从有限数据中学习MDP转移概率，并能在任何时刻停止以生成鲁棒策略。
2023-06-19 cs.AI cs.LG
Property-driven Causal Abstractions for Markov Decision Processes
Ruhr-University Bochum（波鸿鲁尔大学）；Eindhoven University of Technology（埃因霍温理工大学）；Oxford University（牛津大学）；Radboud University（拉德堡德大学）
本研究针对马尔可夫决策过程（MDPs）提出属性驱动因果抽象技术，通过保留模型特性缩减规模，经理论与实验验证，该技术可生成小型抽象模型以计算近最优策略，且能推广至大规模MDP模型。
2026-08-10 cs.AI cs.LO
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
