Hierarchical Multilevel Monte Carlo for Order-Optimal Neural Actor-Critic in Average-Reward CMDPs
该研究针对平均回报CMDP中神经评论家的阶最优收敛问题,提出分层MLMC神经评论家,开发出实现阶最优的原始-对偶自然演员-评论家算法,无需知晓混合时间。
2026-10-20 cs.LG
Near-Optimal Primal-Dual Algorithm for Learning Linear Mixture CMDPs with Adversarial Rewards
Department of Industrial and Systems Engineering, KAIST(韩国科学技术院工业与系统工程系);Department of Mathematical Sciences, Seoul National University(首尔大学数学科学系);Research Institute of Mathematics, Seoul National University(首尔大学数学研究所);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学人工智能跨学科项目);Korea Institute for Advanced Study(韩国高等研究院)
本文提出了一种 primal-dual 算法,在有限时间 horizon 的线性混合约束马尔可夫决策过程 (CMDP) 中,针对对抗性奖励和全信息反馈,实现了近最优的 regret 和约束违反界。
2026-09-21 cs.LG math.OC
A Policy Gradient Primal-Dual Algorithm for Constrained MDPs with Uniform PAC Guarantees
The University of Tokyo(东京大学);OMRON SINIC X(欧姆龙SINIC X公司);Mizuho–DL Financial Technology(瑞穗-DL金融科技公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心);Osaka University(大阪大学);Kyoto University(京都大学)
本文提出首个具有Uniform-PAC保证的策略梯度原始-对偶算法,用于在线约束MDP,同时实现收敛到最优策略、次线性遗憾和多项式样本复杂度,并在实验中验证其优于基线算法。
2024-07-01 cs.LG
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA(普渡大学,美国);Indian Institute of Science, Bengaluru, India(印度班加罗尔印度理工学院);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文提出了一种对偶-actor-critic算法,实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Primal-Dual Approach
Purdue University(普渡大学);US Army Research Laboratory(美国陆军研究实验室)
强化学习广泛应用于需要在与环境交互的同时执行顺序决策的应用中。当决策要求包括满足一些安全约束时,问题变得更具挑战性。该问题在数学上表示为约束马尔可夫决策过程(CMDP)。在文献中,各种算法可用于以无模型的方式解决CMDP问题,以实现具有$ε$可行策略的$ε$ -最优累积奖励。一个$ε$可行的策略意味着它受到约束违反。这里的一个重要问题是我们是否可以实现$ε$ -最优的累积奖励与零约束违规或没有。为了实现这一目标,我们提倡使用随机原始-对偶方法来解决CMDP问题,并提出了一个保守的随机原始-对偶算法(CSPDA),它表现出$\tilde{\mathcal{O}}\left(1/ε^2\right)$样本复杂性,以实现$ε$ -最优的累积奖励与零约束违反。在现有的工作中,最好的可用的样本复杂度的$ε$ -最优策略的零约束违反是$\tilde{\mathcal{O}}\left(1/ε^5\right)$。因此,与现有技术相比,所提出的算法提供了显著的改进。
2022-07-13 cs.LG
An Optimistic Algorithm for online CMDPS with Anytime Adversarial Constraints
KAIST(韩国科学技术院);ShanghaiTech University(上海科技大学)
针对对抗性约束下的在线安全强化学习问题,提出OMDPD算法,首次解决任意时刻对抗性约束的在线CMDP,实现最优遗憾和约束违反界限且无需依赖Slater条件。
2025-05-28 cs.AI cs.LG
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints
University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind)
针对平均准则约束MDP,提出ACPO算法,基于信赖域与敏感性理论,提供性能保证,并在OpenAI Gym环境中优于现有方法。
2024-05-24 cs.AI cs.LG
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院);Bradley Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学布拉德利电气与计算机工程学院)
本文研究约束马尔可夫决策过程的策略优化问题,提出在线原始-对偶自然演员-评论家算法,并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Exploration-Exploitation in Constrained MDPs
Technion(以色列理工学院);Facebook AI Research(Facebook人工智能研究院)
在许多序贯决策问题中,目标是优化效用函数,同时满足对不同效用的一组约束。这个学习问题通过约束马尔可夫决策过程(CMDPs)形式化。在本文中,我们研究了CMDPs中的探索-开发困境。当在未知的CMDP中学习时,Agent应该权衡探索以发现关于MDP的新信息,以及利用现有知识以在满足约束的情况下最大化奖励。虽然智能体最终会学习到一个好的或最优的策略,但我们不希望智能体在学习过程中过于频繁地违反约束。在这项工作中,我们分析了两种方法在CMDP学习。第一种方法利用CMDP的线性公式在每个事件中执行乐观规划。第二种方法利用CMDP的对偶公式(或鞍点公式)来执行原始变量和对偶变量的增量式乐观更新。我们发现,这两个实现次线性后悔w.r.t.主效用,同时对违反约束具有次线性遗憾。话虽如此,我们强调这两种方法之间的一个关键区别;线性规划方法比基于对偶公式的方法有更强的保证。
2020-03-04 cs.LG stat.ML
Near-Constant Strong Violation and Last-Iterate Convergence for Online CMDPs via Decaying Safety Margins
School of Informatics, University of Edinburgh, Edinburgh, United Kingdom(爱丁堡大学信息学院);School of Mathematics, University of Edinburgh, Edinburgh, United Kingdom(爱丁堡大学数学学院)
FlexDOME算法通过递减安全边际和正则化项,在在线CMDP中实现了近常数强约束违反、次线性强遗憾和非渐近最后迭代收敛。
2026-03-03 cs.LG
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法,将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程,并保证了全局收敛性。
2026-04-21 cs.LG
Best-of-Both-Worlds Policy Optimization for CMDPs with Bandit Feedback
Politecnico di Milano(米兰理工大学)
本文针对带赌博机反馈的约束马尔可夫决策过程提出首个两全其美策略优化算法,在随机和对抗性约束下均达到近最优遗憾与约束违反界,且比占用测度方法更高效。
2025-02-07 cs.LG
Model-Free, Regret-Optimal Best Policy Identification in Online CMDPs
Tsinghua University(清华大学);Washington State University(华盛顿州立大学);University of Michigan(密歇根大学)
本文针对在线CMDPs的最优策略识别问题,基于有限随机性性质提出无模型的PRI算法,实现高概率输出近似最优策略,且遗憾与约束违反界达$\tilde{\boldsymbol{\text{O}}}(H\boldsymbol{\text{K}})$,并给出匹配下界。
2024-04-15 cs.LG
Cancellation-Free Regret Bounds for Lagrangian Approaches in Constrained Markov Decision Processes
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
针对有限时域CMDPs,提出基于增广拉格朗日的新算法OptAug-CMDP,在K回合内实现目标和约束违反的$\tilde{O}(\sqrt{K})$遗憾,且无需误差抵消。
2023-08-30 cs.LG stat.ML
Rate-Optimal Algorithm for Adversarial Linear CMDPs
KAIST(韩国科学技术院);Washington State University(华盛顿州立大学);Seoul National University(首尔国立大学)
针对未知转移的对抗性线性约束MDP,提出结合自适应FTRL、收缩值估计和指数Lyapunov函数的新原始-对偶算法,实现最优$\tilde{O}(\sqrt{K})$遗憾与约束违反,无需Slater条件。
2026-10-07 cs.LG
Achieving Instance-dependent Sample Complexity for Constrained Markov Decision Process
Department of Industrial Engineering & Decision Analytics, Hong Kong University of Science and Technology(香港科技大学工业工程与决策分析系);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Management Science & Engineering, Stanford University(斯坦福大学管理科学与工程系)
针对转移概率、奖励与资源消耗均未知的约束马尔可夫决策过程,本文提出新分析框架与在线原空间算法,首次推导得到实例依赖的对数遗憾界与更优的样本复杂度。
2025-11-18 cs.LG math.OC
Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Conservative Natural Policy Gradient Primal-Dual Algorithm
Purdue University(普渡大学);University of Maryland(马里兰大学)
针对连续状态-动作空间的约束马尔可夫决策过程问题,提出保守自然策略梯度原始-对偶算法C-NPG-PD,实现零约束违反与更优收敛性,将样本复杂度从O(1/ε^6)提升至O(1/ε^4),并通过实验验证了算法优势。
2024-05-16 cs.AI cs.LG cs.SY
Learning Weakly Communicating Average-Reward CMDPs: Strong Duality and Improved Regret
Department of Industrial & Systems Engineering, KAIST(韩国科学技术院工业与系统工程系);Department of Mathematical Sciences, Seoul National University(首尔国立大学数学科学系)
本文研究弱通信假设下的无限时间平均奖励约束马尔可夫决策过程,通过建立强对偶性和改进的后悔界,提出了一种基于对偶的剪裁值迭代算法。
2026-05-12 cs.LG math.OC
Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside(加州大学河滨分校);CUHK Shenzhen(香港中文大学(深圳));Caltech(加州理工学院)
本文提出ACRL算法,解决随时竞争马尔可夫决策过程,在保证每轮成本有界的同时优化期望奖励,并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley(加州大学伯克利分校)
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程(CMDPs),提出了一种加速对偶下降方法,并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程,提出统计高效的框架,分离正则化原始-对偶动力学与演员近似及统计误差,实现无模型最后迭代收敛,并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
Reconnaissance and Planning algorithm for constrained MDP
Preferred Networks, Inc.(Preferred Networks公司);The University of Tokyo(东京大学)
实际的强化学习问题通常被表述为约束马尔可夫决策过程(CMDP)问题,其中代理必须在满足一组指定的安全约束的情况下最大化期望收益。在这项研究中,我们提出了一种新的基于模拟器的方法来近似解决CMDP问题,而不会对安全约束做出任何妥协。我们通过将CMDP分解为一对MDP来实现这一点;侦察MDP和计划MDP。侦察MDP的目的是评估一组安全的行动,而规划MDP的目的是在使用侦察MDP授权的行动的同时使收益最大化。RMDP可以为任何给定的安全约束定义一组安全策略,这组安全策略可以用来解决另一个具有不同回报的CMDP问题。我们的方法不仅比以前的基于模拟器的CMDP方法在计算上要求更低,而且能够在高维环境中找到有竞争力的奖励寻求政策,包括涉及多个移动障碍物的环境。
2019-09-20 cs.LG stat.ML
Explicit Explore, Exploit, or Escape ($E^4$): near-optimal safety-constrained reinforcement learning in polynomial time
University of Southampton(南安普顿大学)
在强化学习(RL)中,智能体必须探索一个初始未知的环境,以学习所需的行为。当RL代理部署在真实世界环境中时,安全性是首要考虑的问题。约束马尔可夫决策过程(CMDPs)可以提供长期的安全约束,但是,代理可能会违反约束,努力探索其环境。本文提出了一种基于模型的强化学习算法,称为显式探索,利用,或逃逸($E^{4}$),它扩展了显式探索或利用($E^{3}$)算法的一个强大的CMDP设置。$E^4$明确地分离了利用、探索和逃逸CMDR,从而允许有针对性的策略来改进已知状态、发现未知状态以及安全地返回到已知状态。$E^4$根据一组与部署环境的经验观察一致的CMDP模型,对最坏情况下的CMDP稳健地优化这些策略。理论结果表明,$E^4$发现一个接近最优的约束满足政策在多项式时间,同时满足整个学习过程中的安全约束。然后,我们讨论$E^4$作为一个实用的算法框架,包括鲁棒约束离线优化算法,未知状态的过渡动态的不确定性集的设计,以及如何进一步利用经验观察和先验知识放松一些最坏情况下的假设理论。
2022-06-23 cs.AI cs.LG cs.RO
Primal-Dual Sample Complexity Bounds for Constrained Markov Decision Processes with Multiple Constraints
Google(谷歌公司);ETH Zurich(苏黎世联邦理工学院)
本文针对转移动态未知的多约束马尔可夫决策过程,提出基于模型的原始-对偶算法,并分别在松弛可行性和严格可行性设置下给出并证明了学习近最优策略的样本复杂度上界。
2025-03-09 cs.LG
Initial Distribution Sensitivity of Constrained Markov Decision Processes
本研究针对约束马尔可夫决策过程(CMDPs)因无全局最优策略需随初始分布重解的问题,通过对偶分析与线性规划扰动分析推导最优值随初始分布变化的边界,并展示其用于分析策略遗憾值的应用。
2025-09-30 cs.LG
A safe exploration approach to constrained Markov decision processes
Sycamore(赛卡莫尔);EPFL(洛桑联邦理工学院)
针对约束马尔可夫决策过程(CMDP),提出无模型且无模拟器的LB-SGD算法,利用对数障碍函数内点法确保学习过程始终满足约束,并以 Õ(ε⁻⁶) 样本复杂度收敛至 ε-最优策略。
2025-03-03 cs.LG math.OC
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization
University of Southern California(南加利福尼亚大学);Facebook Inc.(脸书公司);Princeton University(普林斯顿大学);Northwestern University(西北大学)
我们研究了安全强化学习(SRL)问题,使用约束马尔可夫决策过程(CMDP)制定,其中代理的目标是最大化预期的总回报受到安全约束的效用函数的预期总值。我们专注于一个情节设置与函数近似的马尔可夫转移内核具有线性结构,但不施加任何额外的假设上的采样模型。在这种情况下,设计具有可证明的计算和统计效率的SRL算法是特别具有挑战性的,因为需要将安全约束和函数近似结合到基本的开发/探索权衡中。为此,我们提出了一个\underline{O}乐观的\underline{P}原始\underline{D} ual接近的政策\underline{OP}优化(OPDOP)算法,其中的价值函数估计相结合的最小二乘政策评估和额外的奖金长期安全的探索。我们证明了该算法实现了$\tilde{O}(d H^{2.5}\sqrt{T})$遗憾和$\tilde{O}(d H^{2.5}\sqrt{T})$约束违反,其中$d$是特征映射的维度,$H$是每个情节的地平线,和$T$是总步骤数。当奖励/效用函数固定,但每次发作后的反馈是强盗时,这些界限成立。我们的边界取决于状态-动作空间的容量,仅通过特征映射的维度,因此我们的结果即使在状态数趋于无穷大时也成立。据我们所知,我们提供了第一个可证明有效的在线策略优化算法CMDP与安全的探索在函数近似设置。
2020-10-26 cs.LG math.OC stat.ML
Near-Optimal Regret for Policy Optimization in Contextual MDPs with General Offline Function Approximation
Department of XXX, University of YYY, Location, Country;School of ZZZ, Institute of WWW, Location, Country;Blavatnik School of Computer Science, Tel Aviv University;Google Research;School of Electrical Engineering, Tel Aviv University
OPO-CMDP在一般离线函数近似下,首次实现了Contextual MDPs中策略优化的近最优后悔界,提升了计算效率和理论性能。
2026-02-14 cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich(慕尼黑工业大学);Peking University(北京大学);BIGAI(北京通用人工智能研究院);King's College London(伦敦国王学院);Tongji University(同济大学);University College London(伦敦大学学院)
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题,本文提出SCPO算法,用安全评判器取消违规所得奖励,并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Safe Exploration by Solving Early Terminated MDP
CUHK(香港中文大学);University of Michigan(密歇根大学);Tencent(腾讯);HKUST(香港科技大学);NTU(南洋理工大学)
安全探索对于强化学习(RL)的实际应用至关重要。以前的工作考虑安全的探索问题的约束马尔可夫决策过程(CMDP),其中的政策正在优化的约束。然而,当遇到任何潜在的危险时,人类往往会立即停止,很少学会在危险中安全行事。受人类学习的启发,我们在早期终止MDP(ET-MDP)框架下引入了一种新的方法来解决安全的RL问题。我们首先定义ET-MDP作为一个无约束的MDP具有相同的最佳价值函数作为其相应的CMDP。提出了一种基于上下文模型的离线算法来求解ET-MDP,从而获得了具有更好渐近性能和学习效率的CMDP。在各种CMDP任务上的实验表明,与以前直接求解CMDP的方法相比,该方法有了很大的改进。
2021-07-09 cs.LG
Physics-Informed Causal MDPs for Sequential Constraint Repair in Engineering Simulation Pipelines
Beijing JiaoTong University(北京交通大学)
本文提出PI-CMDP框架,通过因果识别、压缩和估计三步流程,在工程仿真流水线中实现高效的约束修复,提升修复成功率并减少故障率。
2026-04-20 cs.AI cs.LG
Confident Natural Policy Gradient for Local Planning in $q_π$-realizable Constrained MDPs
University of Alberta(阿尔伯塔大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google DeepMind(谷歌DeepMind)
针对无限状态 $q_π$-可实现 CMDP,提出基于局部访问与离策略评估的置信自然策略梯度原对偶算法,实现多项式样本复杂度并高概率获得近优且严格满足约束的策略。
2024-12-09 cs.LG
A Gradient-Aware Search Algorithm for Constrained Markov Decision Processes
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室)
有限约束马尔可夫决策过程(CMDPs)的规范求解方法是基于凸线性规划的,其目标是在期望的无限时域贴现成本约束下最大化期望的无限时域贴现报酬.本文首先证明了有限CMDP对偶线性规划的优化目标是关于Lagrange罚乘子的分段线性凸函数。接下来,我们提出了一种新的两级感知搜索(GAS)算法,该算法利用PWLC结构来找到有限CMDP的最佳状态价值函数和拉格朗日罚乘子。该算法被应用于两个随机控制问题的约束:机器人导航在网格世界和太阳能无人机(UAV)的无线网络管理。我们经验比较建议的GAS算法与二叉搜索(BS),拉格朗日原对偶优化(PDO),线性规划(LP)的收敛性能。与基准算法相比,该算法收敛速度更快,不需要超参数调整,对Lagrange罚乘子的初始化不敏感.
2020-05-07 cs.LG eess.SP math.OC
Anytime-Constrained Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究带任意时刻约束的 cMDP,通过归约到无约束 MDP 实现高效规划与学习,并针对 NP 难情形提出可证明的近似算法,达到最坏情况下的最优近似保证。
2024-06-13 cs.AI cs.DS cs.LG
Sample-Efficient Constrained Reinforcement Learning with General Parameterization
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Purdue University(普渡大学)
针对约束马尔可夫决策过程的样本效率问题,提出原始-对偶加速自然策略梯度算法,在通用参数化策略下显著提升样本复杂度并达到ε^{-1}维度的理论下界。
2024-10-31 cs.AI cs.LG
Markov Decision Processes with Long-Term Average Constraints
Purdue University(普渡大学)
我们考虑约束马尔可夫决策过程(CMDP)的问题,其中一个代理与一个单链马尔可夫决策过程。在每一次互动中,智能体都会获得奖励。此外,还有$K$成本函数。代理的目标是最大化长期平均回报,同时保持$K$长期平均成本低于一定的阈值。在本文中,我们提出了CMDP-PSRL,一个后验采样算法,使用该算法的代理可以学习最佳的政策与CMDP进行交互。进一步,对于具有$S$状态、$A$动作和直径$D$的MDP,我们证明了在CMDP-PSRL算法下,Agent可以通过$\Tilde{O}(poly(DSA)\sqrt{T})$约束没有从最优策略中积累奖励的遗憾.此外,我们表明,任何$K$约束的违规行为也有界的$\Tilde{O}(poly(DSA)\sqrt{T})$。据我们所知,这是第一个工作,获得了$\Tilde{O}(\sqrt{T})$遗憾界的遍历MDP长期平均约束。
2022-06-21 cs.AI cs.LG cs.SY
Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process
Georgia Institute of Technology(佐治亚理工学院);The Ohio State University(俄亥俄州立大学);University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
研究了受约束的马尔可夫决策过程(CMDP)问题,其中代理人的目标是在效用/成本受到多个约束的情况下最大化期望的累积折扣报酬.提出了一种新的原始-对偶方法,该方法将熵正则化策略优化器、对偶变量正则化器和Nesterov的加速梯度下降对偶优化器这三种成分进行了新的整合,所有这些都是实现更快收敛的关键。所提出的方法的有限时间误差界的特点。尽管非凹约束的非凹目标的挑战,所提出的方法收敛到全局最优值的最优性差距和约束违反方面的$\tilde{\mathcal O}(1/ε)$的复杂性,这提高了现有的原始-对偶方法的复杂性的一个因素$\mathcal O(1/ε)$ \citep{ding2020natural,paternain2019constrained}。这是第一次证明非凹CMDP问题可以达到凸优化的$\mathcal O(1/ε)$的复杂性下界。我们的原始-对偶方法和非渐近分析对所使用的RL优化器是不可知的,因此对于实际应用更灵活。更一般地说,我们的方法也作为第一个算法,可证明加速约束非凸优化与零对偶间隙,利用几何形状,如梯度优势条件,现有的加速方法约束凸优化是不适用的。
2021-10-20 cs.LG math.OC
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park(马里兰大学学院市分校);Purdue University West Lafayette(普渡大学西拉法叶分校)
本文提出了一种基于对偶的自然策略-批评算法,解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题,实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee
The Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
在安全强化学习(SRL)问题中,智能体探索环境以最大化期望的总回报,同时避免违反对若干期望总成本的某些约束。一般来说,这样的SRL问题有非凸目标函数受到多个非凸约束,因此是非常具有挑战性的解决,特别是提供一个全局最优的政策。许多流行的SRL算法采用原始-对偶结构,利用对偶变量的更新来满足约束。相比之下,我们提出了一个原始的方法,称为约束校正策略优化(CRPO),更新的政策之间的目标改进和约束满足交替。CRPO提供了一个原始类型的算法框架来解决SRL问题,其中每个策略更新可以采取任何策略优化步骤的变体。为了证明CRPO的理论性能,我们采用自然策略梯度(NPG)的每个政策更新步骤,并表明CRPO实现了$\mathcal{O}(1/\sqrt{T})$收敛速度的全局最优政策的约束政策集和约束满足的$\mathcal{O}(1/\sqrt{T})$误差界。这是第一次有限时间分析的原始SRL算法的全局最优性保证。我们的实证结果表明,CRPO可以优于现有的原始-对偶基线算法显着。
2021-05-31 cs.LG stat.ML
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University(得克萨斯农工大学)
我们解决的问题,找到一个有约束的马尔可夫决策过程(CMDP)使用梯度下降为基础的算法的最优策略。以前的结果表明,原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶(PMD-PD)算法,可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始(策略)更新,PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤,其等效于具有适当正则化的镜像下降步骤。对于双重更新,PMD-PD算法使用修改的拉格朗日乘子,以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明,与现有的基于策略梯度的算法相比,PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Non-asymptotic Confidence Intervals of Off-policy Evaluation: Primal and Dual Bounds
University of Texas at Austin(德克萨斯大学奥斯汀分校);Tsinghua University(清华大学)
离线策略评估(OPE)是基于先前在不同策略下收集的离线数据来估计给定策略的预期回报的任务。因此,OPE是将强化学习应用于医疗等现实世界领域的关键一步,在这些领域,交互式数据汇集是昂贵的,甚至是不安全的。由于观察到的数据往往是嘈杂和有限的,它是必不可少的,以提供严格的不确定性量化,而不仅仅是一个点估计,当应用OPE作出高风险的决策。本文研究了在无限时域外策略评估中构造非渐近置信区间的问题,这仍然是一个具有挑战性的公开问题。我们开发了一个实用的算法,通过原始对偶优化为基础的方法,利用内核贝尔曼损失(KBL)冯等。(2019)和一个新的鞅浓度不等式的KBL适用于时间依赖的数据与未知的混合条件。我们的算法对数据和Q函数的函数类做了最小的假设,并适用于行为不可知的设置,其中数据是在任意未知行为策略的混合下收集的。我们提出的实证结果清楚地表明,我们的方法比现有的方法的优势。
2021-03-09 cs.LG stat.ML
Learning with Safety Constraints: Sample Complexity of Reinforcement Learning for Constrained MDPs
许多物理系统都有潜在的安全考虑,要求所采用的策略确保满足一组约束。分析公式通常采用约束马尔可夫决策过程(CMDP)的形式。我们专注于CMDP是未知的情况下,RL算法获得的样本,发现模型和计算的最优约束策略。我们的目标是表征安全约束和样本数量之间的关系,以确保所需的准确性水平-目标最大化和约束满足-在PAC意义上。我们探索了两类RL算法,即(i)基于生成模型的方法,其中最初采用样本来估计模型,以及(ii)在线方法,其中模型随着样本的获得而更新。我们的主要发现是,相比于最好的已知的无约束制度的界限,约束RL算法的样本复杂性增加了一个因素,是对数的限制,这表明该方法可以很容易地利用在实际系统中。
2021-03-01 cs.LG stat.ML
A Sample-Efficient Algorithm for Episodic Finite-Horizon MDP with Constraints
University of Southern California(南加利福尼亚大学)
约束马尔可夫决策过程(CMDPs)形式化的顺序决策问题,其目标是最小化的成本函数,同时满足各种成本函数的约束。在本文中,我们考虑设置的情节固定地平线CMDP。我们提出了一种在线算法,利用有限时域CMDP的线性规划公式进行重复乐观规划,以提供可能近似正确(PAC)的保证,以确保$ε$最优策略所需的事件数,即,得到的目标值在最优值的$ε$内,并且满足$ε$ -公差内的约束,概率至少为$1-δ$。所需的发作次数为$\tilde{\mathcal{O}}\big(\frac{|S||A|C^{2}H^{2}}{ε^{2}}\log\frac{1}δ\big)$,其中$C$是状态-动作对的可能后继状态数的上限。因此,如果为$C \ll |S|$,则所需的发作次数分别与状态和动作空间大小$|S|$和$|A|$具有线性相关性,并且与时间范围$H$具有二次相关性。
2020-09-23 cs.AI cs.LG cs.SY
CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning
University of Luxembourg(卢森堡大学)
提出约束敏感策略优化(CSPO),通过引入局部约束敏感性修正原目标,加速安全恢复并减少振荡,在导航与运动基准上取得更高约束回报。
2026-06-15 cs.AI
Provable Last-Iterate Convergence for Multi-Objective Safe LLM Alignment via Optimistic Primal-Dual
The Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学)
本文提出了一种乐观对偶算法,用于多目标安全大语言模型对齐,解决了传统方法在最终迭代中的不稳定问题,并证明了该算法的收敛性。
2026-02-25 cs.AI cs.LG
A Deep Reinforcement Learning-Based Charging Scheduling Approach with Augmented Lagrangian for Electric Vehicle
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院)
研究电动汽车参与需求响应时的充放电优化问题。由于电动汽车的剩余能量、到达和离开时间以及未来电价存在不确定性,因此很难在保证电动汽车电池荷电状态(SOC)在一定范围内的情况下做出最小化充电成本的充电决策。为了解决这一难题,本文将电动汽车充电调度问题描述为一个约束马尔可夫决策过程(CMDP)。将增广拉格朗日方法和软演员评判算法相结合,提出了一种新的安全的非策略强化学习(RL)方法来求解CMDP问题.行动者网络更新的策略梯度的方式与拉格朗日价值函数。采用双批评网络同步估计动作-价值函数,以避免高估偏差。该算法不需要强凸性保证的检查问题,是样本有效的。通过对实际电价问题的数值实验表明,该算法具有较高的解的最优性和约束的一致性。
2022-09-20 cs.AI cs.LG
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园);Indian Institute of Technology, Kanpur(印度理工学院坎浦尔);Department of Electrical Engineering Indian Institute of Technology, Kanpur(电气工程系印度理工学院坎浦尔);Department of Industrial Engineering Purdue University West Lafayette(工业工程系普渡大学威斯康星拉法叶)
本文提出了一种基于神经批评者和通用策略参数化的算法,实现了约束马尔可夫决策过程的全局收敛性保障,突破了传统线性批评者方法的限制。
2026-03-08 cs.LG
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University(胡安·卡洛斯国王大学);University of Pennsylvania(宾夕法尼亚大学)
针对连续空间约束MDPs计算确定性最优策略的难题,提出具有非渐近收敛性的D-PGPD算法,通过二次正则化原始-对偶更新求解,并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania(宾夕法尼亚大学);University of Virginia(弗吉尼亚大学);University of Maryland, College Park(马里兰大学帕克分校)
本文针对约束马尔可夫决策过程,提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法,首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University(普林斯顿大学);Northwestern University(西北大学);Yale University(耶鲁大学)
针对约束凸MDP的挑战,提出基于模型的VPDPO算法,利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化,结合OFU价值迭代与梯度上升更新,在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反,并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
Utility-Constrained Policy Optimization
York University(约克大学);Google DeepMind(谷歌DeepMind)
提出一种简单而强大的效用约束MDP方法,支持风险敏感约束,无需预先固定约束限值,在多个安全基准任务上匹配或超越现有基线。
2026-11-10 cs.LG
Off-Policy Primal-Dual Safe Reinforcement Learning
Sun Yat-sen University(中山大学);Meituan(美团);Institute for Advanced Algorithms Research(高级算法研究院)
针对离策略原始-对偶安全强化学习中代价估计误差导致约束不满足的问题,提出保守策略优化结合局部策略凸化的方法,在少样本下实现媲美最优同策略方法的性能并降低训练约束违反。
2024-04-15 cs.LG
Primal-Dual Spectral Representation for Off-policy Evaluation
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院)
本文提出 SpectralDICE 算法,通过转移算子的谱分解建立原始-对偶变量的线性表示,以高效求解离策略评估中的 DICE 鞍点优化问题,兼具计算与样本效率,并提供了理论保证和实证验证。
2024-10-23 cs.AI cs.LG math.OC
Stochastic Primal-Dual Methods and Sample Complexity of Reinforcement Learning
Princeton University(普林斯顿大学)
研究了马尔可夫决策过程最优策略的在线估计问题。我们提出了一类随机原始对偶(SPD)方法,利用固有的极大极小对偶贝尔曼方程。SPD方法在观察到新的状态转换时更新价值和策略估计的一些坐标。这些方法使用小的存储器并且每次迭代具有低的计算复杂度。SPD方法使用$\mathcal{O}\left(\frac{|\mathcal{S}|^4 |\mathcal{A}|^2σ^2 }{(1-γ)^6ε^2} \right)$迭代/样本为无限时域折扣奖励MDP和$\mathcal{O}\left(\frac{|\mathcal{S}|^4 |\mathcal{A}|^2H^6σ^2 }{ε^2} \right)$为有限时域MDP找到具有高概率的绝对- $ε$ -最优策略。
2016-12-08 cs.AI math.OC stat.ML