首页/论文/2108.02701

arXiv 2108.027012021-08-05cs.LGcs.SYeess.SY

Lyapunov鲁棒约束MDP：模型不确定下的软约束鲁棒稳定策略优化

Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty

Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）

Reazul Hasan Russel, Mouhacine Benosman, Jeroen Van Baar, Radu Corcodel

备注：: arXiv admin note: text overlap with arXiv:2010.04870

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束，RMDPs可以在模型不确定性下表现良好。在本文中，我们建议将这两个框架结合起来，产生强大的约束MDPs（RCMDPs）。我们的动机是开发一个框架，可以满足安全约束，同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标，推导出梯度更新公式来优化这个目标，然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs，产生更好的稳定性和收敛性。

英文摘要：

Safety and robustness are two desired properties for any reinforcement learning algorithm. CMDPs can handle additional safety constraints and RMDPs can perform well under model uncertainties. In this paper, we propose to unite these two frameworks resulting in robust constrained MDPs (RCMDPs). The motivation is to develop a framework that can satisfy safety constraints while also simultaneously offer robustness to model uncertainties. We develop the RCMDP objective, derive gradient update formula to optimize this objective and then propose policy gradient based algorithms. We also independently propose Lyapunov based reward shaping for RCMDPs, yielding better stability and convergence properties.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于投影的Lyapunov方法用于完全异质的弱耦合马尔可夫决策过程

Projection-based Lyapunov method for fully heterogeneous weakly-coupled MDPs

Weiyang College, Tsinghua University（清华大学韦阳学院）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）

本文提出基于投影的Lyapunov方法，解决了完全异质弱耦合马尔可夫决策过程的渐近最优性问题。

2026-01-15cs.LGmath.OCmath.PR

基于Lyapunov的弱耦合MDP样本复杂度分析

Lyapunov-Based Sample Complexity Analysis for Weakly-Coupled MDPs

Department of Industrial and Systems Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工业与系统工程系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）

针对平均奖励弱耦合MDP和Restless Bandits，提出基于Lyapunov的分析框架，实现样本和计算复杂度关于臂数N的多项式级界限，并给出首个有限样本PAC保证。

2026-06-16cs.LGmath.OCmath.PR

目标条件块MDP中的域不变表示学习

Learning Domain Invariant Representations in Goal-conditioned Block MDPs

Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）

深度强化学习（RL）在解决许多复杂的马尔可夫决策过程（MDP）问题上取得了成功。然而，在现实世界中部署后，代理经常面临无法预料的环境变化。这些变化通常是虚假的，与潜在的问题无关，例如视觉输入代理的背景变化。不幸的是，深度RL策略通常对这些变化很敏感，并且无法对它们采取有力的行动。这类似于监督学习中的领域泛化问题。在这项工作中，我们研究这个问题的目标条件RL代理。我们提出了一个理论框架，在块MDP设置的目标条件下的政策，以新的环境的概括性的特点。在此框架下，我们开发了一个实用的方法PA-SkewFit，增强领域泛化。实证评估表明，我们的目标条件强化学习代理可以在各种看不见的测试环境中表现良好，比基线提高了50%。

2021-10-28cs.AIcs.LG

强化学习的凸规划和李雅普诺夫函数：基于值方法分析的统一视角

Convex Programs and Lyapunov Functions for Reinforcement Learning: A Unified Perspective on the Analysis of Value-Based Methods

Coordinated Science Laboratory（协同科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

基于值的方法在马尔可夫决策过程（MDP）和强化学习（RL）中发挥着重要作用。在本文中，我们提出了一个统一的控制理论框架，用于分析基于值的方法，如值计算（VC），值迭代（VI）和时间差（TD）学习（线性函数近似）。建立在基于值的方法和动态系统之间的内在联系，我们可以直接使用现有的凸测试条件在控制理论得到各种收敛性的结果，上述基于值的方法。这些测试条件是线性规划（LP）或半定规划（SDP）形式的凸规划，并且可以以直接的方式求解以构造李雅普诺夫函数。我们的分析揭示了反馈控制系统和RL算法之间的一些有趣的联系。我们希望这样的联系可以激发更多的工作在交叉的系统/控制理论和RL。

2022-02-14cs.LGcs.SYeess.SY

有限模型逼近、模型学习及无界空间MDPs的量化Q学习的量化器设计

Quantizer Design for Finite Model Approximations, Model Learning, and Quantized Q-Learning for MDPs with Unbounded Spaces

Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计学系）

本文针对无界状态空间MDPs，通过优化量化器改进有限模型逼近误差上界，并分析量化Q学习与模型学习中的量化器设计，在Lyapunov条件下给出随箱数增加趋于零的显式上界。

2025-10-14cs.LGmath.OC

一种基于李雅普诺夫的安全强化学习方法

A Lyapunov-based Approach to Safe Reinforcement Learning

Google DeepMind（谷歌DeepMind）；Google Brain（谷歌大脑）

在许多现实世界的强化学习（RL）问题中，除了优化主目标函数外，智能体还必须同时避免违反多个约束。特别是，除了优化性能之外，在训练和部署期间保证代理的安全性也至关重要（例如，机器人应避免采取可能损害其硬件的行为-探索性或非探索性）。为了将安全性纳入RL，我们推导出算法的框架下的约束马尔可夫决策问题（CMDPs），扩展的标准马尔可夫决策问题（MDPs）的预期累积成本的约束。我们的方法取决于一个新的\emph{Lyapunov}方法。我们定义并提出了一种构造李雅普诺夫函数的方法，该方法通过一组局部线性约束提供了一种有效的方法来保证训练过程中行为策略的全局安全性。利用这些理论基础，我们展示了如何使用李雅普诺夫方法系统地将动态规划（DP）和RL算法转换为安全的算法。为了说明它们的有效性，我们评估这些算法在几个CMDP规划和决策任务的安全基准域。我们的研究结果表明，我们提出的方法显着优于现有的基线平衡约束满足和性能。

2018-05-20cs.AIcs.LGstat.ML

更多相关论文收起更多论文

基于Lyapunov的不确定性感知安全强化学习

Lyapunov-based uncertainty-aware safe reinforcement learning

Ohio State University（俄亥俄州立大学）

强化学习（RL）在学习各种顺序决策任务的最优策略方面表现出很好的性能。然而，在许多现实世界的RL问题中，除了优化主要目标之外，还期望代理满足一定的安全级别（例如，避免自动驾驶中的碰撞）。虽然RL问题通常被形式化为马尔可夫决策过程（MDP），但安全约束通过约束马尔可夫决策过程（CMDPs）进行合并。尽管安全RL的最新进展使得能够在CMD中学习安全策略，但这些安全要求应该在培训和部署过程中得到满足。此外，它表明，在基于内存和部分可观察的环境中，这些方法无法保持安全看不见的分布外的意见。为了解决这些限制，我们提出了一个基于Lyapunov的不确定性感知的安全RL模型。引入的模型采用了一个李雅普诺夫函数，转换为一组局部线性约束的随机性为基础的约束。此外，为了确保安全的代理在高度不确定的环境中，不确定性量化方法的开发，使识别风险规避行动，通过估计违反约束的概率。此外，一个Transformers模型被集成到提供记忆的代理处理长时间的视野的信息，通过自我注意机制。该模型在网格世界导航任务中进行评估，其中安全性被定义为在完全和部分可观察的环境中避免静态和动态障碍物。这些实验的结果表明，在实现最优性和满足安全约束的代理的性能显着改善。

2021-07-29cs.AIcs.LGstat.ML

不确定性下的决策：超越概率

Decision-Making Under Uncertainty: Beyond Probabilities

Radboud University（拉德堡德大学）

这份立场文件反映了在不确定情况下决策的最新技术水平。一个经典的假设是，概率可以充分捕获系统中的所有不确定性。在本文中，重点是不确定性，超越了这一经典的解释，特别是通过采用一个明确的区别任意和认识的不确定性。本文概述了马尔可夫决策过程（MDP）和扩展，以解释部分可观测性和对抗行为。这些模型充分捕捉任意的不确定性，但未能考虑到认知的不确定性鲁棒。因此，我们提出了一个全面的概述，所谓的不确定性模型，表现出更强大的解释不确定性。我们展示了几种离散和连续模型的解决方案技术，从形式化验证，基于控制的抽象，到强化学习。作为本文的一个组成部分，我们列出并讨论了几个关键的挑战，在处理丰富类型的不确定性在基于模型的方式。

2023-03-10cs.AIcs.LGcs.RO

基于局部Lyapunov稳定性的分数感知策略梯度与性能保证

Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability

LAAS–CNRS, Université de Toulouse, CNRS（LAAS–CNRS，图卢兹大学，CNRS）；Eindhoven University of Technology（埃因霍温理工大学）；LAAS-CNRS, IRIT, and Université de Toulouse（LAAS-CNRS，IRIT，图卢兹大学）

本文提出了适用于基于模型的强化学习的分数感知梯度估计器SAGE，无需值函数估计即可估计策略梯度，证明了其局部收敛性与遗憾界，实验显示其比actor-critic方法更快找到近优策略。

2025-10-29cs.LGcs.PFmath.OC

基于隐参数马尔可夫决策过程的跨患者变量迁移学习

Transfer Learning Across Patient Variations with Hidden Parameter Markov Decision Processes

Harvard University（哈佛大学）；Brown University（布朗大学）

由于生理变化，诊断为相同病症的患者可能对相同治疗表现出不同但相关的反应。隐参数马尔可夫决策过程（HiP-MDP）通过将这些任务嵌入到低维空间中来解决这个迁移学习问题。然而，HiP-MDP的原始公式有一个严重的缺陷：嵌入不确定性独立于代理的状态不确定性建模，需要一个不自然的训练过程，其中所有任务都访问状态空间的每个部分-对于可以移动到特定位置的机器人来说是可能的，对于人类患者来说是不可能的。我们更新了HiP-MDP框架，并将其扩展到更强大的开发个性化的HIV治疗药物策略。

2016-12-01cs.AIcs.LGstat.ML

基于紧贝叶斯似然集的鲁棒探测

Robust Exploration with Tight Bayesian Plausibility Sets

University of New Hampshire（新罕布什尔大学）

对于许多被证明有效的强化学习算法来说，对状态和动作的乐观态度是探索的主要驱动力。我们提出了乐观面对明智的价值函数（OFVF）-一种新的数据驱动的贝叶斯算法来构建MDP的似然集，以探索鲁棒地最小化最坏情况下的探索成本。该方法通过引入两个新的想法来计算具有更严格的乐观估计的探索策略。首先，它是基于贝叶斯后验分布，而不是分布自由边界。其次，OFVF不构造可扩展性集作为简单的置信区间。置信区间作为相容性集是一个充分条件，但不是必要条件。OFVF使用价值函数的结构来优化可扩展性集合的位置和形状，以直接保证上界，而不必强制要求集合是置信区间。OFVF以发作的方式进行，其中发作的持续时间是固定和已知的。我们的算法本质上是贝叶斯的，可以利用先验信息。我们的理论分析表明，OFVF的鲁棒性，和实证结果表明其实际的承诺。

2019-04-17cs.AIcs.LGstat.ML

策略优化中的分形景观

Fractal Landscapes in Policy Optimization

UC San Diego（加州大学圣迭戈分校）

本文揭示策略梯度在特定MDP中面临分形、非光滑优化景观这一固有局限，并提出基于Lyapunov与Hölder指数分析及样本局部光滑度估计的检测方法。

2023-10-24cs.AIcs.LG

基于Nash强化学习的垃圾邮件检测

Robust Spammer Detection by Nash Reinforcement Learning

Univ. of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）；Lehigh University（理海大学）

在线评论为客户提供产品评估以做出决策。不幸的是，评估可以被专业垃圾邮件发送者使用虚假评论（“垃圾邮件”）操纵，他们通过适应部署的检测器来学习越来越阴险和强大的垃圾邮件策略。垃圾邮件发送策略很难捕捉，因为它们可以随着时间的推移而迅速变化，在垃圾邮件发送者和目标产品之间存在差异，更重要的是，在大多数情况下仍然未知。此外，大多数现有的检测器专注于检测精度，这与保持产品评估的可信度的目标并不一致。为了应对这些挑战，我们制定了一个极大极小的游戏，垃圾邮件发送者和垃圾邮件检测器相互竞争的实际目标，而不仅仅是基于检测的准确性。纳什均衡的游戏导致稳定的检测器是不可知的任何混合检测策略。然而，该博弈没有封闭形式的解决方案，是不可微的承认典型的基于梯度的算法。我们把游戏变成两个依赖马尔可夫决策过程（MDP），允许有效的随机优化的基础上，多臂强盗和策略梯度。我们使用各种最先进的垃圾邮件和检测策略在三个大型评论数据集上进行了实验，并表明优化算法可以可靠地找到一个平衡检测器，该检测器可以鲁棒地有效地防止垃圾邮件发送者使用任何混合垃圾邮件策略实现其实际目标。我们的代码可在https://github.com/YingtongDou/Nash-Detect上获得。

2020-06-22cs.CRcs.GTcs.LG