A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan（密歇根大学）
本文提出PDCA算法，通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题，仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss
University of Michigan（密歇根大学）；University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑在线学习情景随机约束马尔可夫决策过程（CMDPs），这在确保强化学习的安全性中起着核心作用。在这里，损失函数可以在不同的剧集中任意变化，并且在每个剧集结束时都会显示收到的损失和预算消耗。以前的工作解决了这个问题的限制性假设下，马尔可夫决策过程（MDP）的过渡模型是已知的先验和建立后悔界多项式依赖于状态空间$\mathcal{S}$和动作空间$\mathcal{A}$的基数。在这项工作中，我们提出了一个新的\emph{upper confidence primal-dual}算法，它只需要从过渡模型采样的轨迹。特别是，我们证明了该算法实现$\widetilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$上限的遗憾和约束违反，其中$L$是每个情节的长度。我们的分析将拉格朗日乘子过程的新的高概率漂移分析融入到上置信强化学习的著名遗憾分析中，这表明了在受限在线学习中“面对不确定性的乐观”的力量。
2021-10-18 cs.LG math.OC stat.ML
Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University（普林斯顿大学）
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法，用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比，我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战：（1）每次更新都需要计算状态空间上的概率分布，并且是难以处理的;（2）迭代是不稳定的，因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战，提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明，在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下，而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起，因此信息量更大。一个简单的推车极点问题的实验表明，该算法显着优于一步的时间差actor-critic方法，这是最相关的基准方法进行比较。我们相信，对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance
Department of Computer Science University of Konstanz（康斯坦茨大学计算机科学系）；Department of Economics University of St.Gallen（圣加尔登大学经济学系）
本文提出PGDA-RL算法，结合正则化线性规划与随机逼近理论，解决正则化马尔可夫决策过程，实现双时间尺度分解与在线策略更新，证明其收敛性与有限时间保证。
2026-04-14 cs.LG math.OC
Scalable Primal-Dual Actor-Critic Method for Safe Multi-Agent RL with General Utilities
UC Berkeley（加州大学伯克利分校）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文针对安全多智能体强化学习中状态-动作空间指数增长和全局耦合问题，提出基于影子奖励与κ跳邻居截断的可扩展原始-对偶Actor-Critic方法，并证明其收敛性与样本复杂度。
2023-05-27 cs.LG math.OC
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。
2026-04-21 cs.LG
Off-Policy Primal-Dual Safe Reinforcement Learning
Sun Yat-sen University（中山大学）；Meituan（美团）；Institute for Advanced Algorithms Research（高级算法研究院）
针对离策略原始-对偶安全强化学习中代价估计误差导致约束不满足的问题，提出保守策略优化结合局部策略凸化的方法，在少样本下实现媲美最优同策略方法的性能并降低训练约束违反。
2024-04-15 cs.LG
Safe Policies for Reinforcement Learning via Primal-Dual Methods
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们研究了安全策略的学习在强化学习问题的设置。这是，我们的目标是控制一个马尔可夫决策过程（MDP），我们不知道的转移概率，但我们有机会通过经验的样本轨迹。我们将安全性定义为在操作时间内代理以高概率保持在期望的安全集中。因此，我们考虑一个受约束的MDP的约束是概率。由于在强化学习框架中没有直接的方法来优化策略的概率约束，我们提出了一个遍历放松的问题。建议放宽的优点有三方面。(i)在执行偶发任务的情况下维持安全保障，在执行连续任务的情况下，安全保障保持在给定的时间范围内。(ii)约束优化问题尽管是非凸的，但如果策略的参数化足够丰富，则它具有任意小的对偶间隙。(iii)与安全学习问题相关联的拉格朗日函数的梯度可以使用标准策略梯度结果和随机近似工具来容易地计算。利用这些优势，我们建立了原始对偶算法能够找到安全和最优的策略。我们在一个连续域的导航任务中测试所提出的方法。数值结果表明，我们的算法是能够动态地适应环境和所需的安全级别的政策。
2022-01-12 cs.LG cs.SY eess.SY
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
针对约束凸MDP的挑战，提出基于模型的VPDPO算法，利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化，结合OFU价值迭代与梯度上升更新，在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反，并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning
University of Luxembourg（卢森堡大学）
提出约束敏感策略优化（CSPO），通过引入局部约束敏感性修正原目标，加速安全恢复并减少振荡，在导航与运动基准上取得更高约束回报。
2026-06-15 cs.AI
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan（密歇根大学）
针对无限时域折扣设置下的线性MDP离线强化学习，提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法，并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Primal-Dual Approach
Purdue University（普渡大学）；US Army Research Laboratory（美国陆军研究实验室）
强化学习广泛应用于需要在与环境交互的同时执行顺序决策的应用中。当决策要求包括满足一些安全约束时，问题变得更具挑战性。该问题在数学上表示为约束马尔可夫决策过程（CMDP）。在文献中，各种算法可用于以无模型的方式解决CMDP问题，以实现具有$ε$可行策略的$ε$ -最优累积奖励。一个$ε$可行的策略意味着它受到约束违反。这里的一个重要问题是我们是否可以实现$ε$ -最优的累积奖励与零约束违规或没有。为了实现这一目标，我们提倡使用随机原始-对偶方法来解决CMDP问题，并提出了一个保守的随机原始-对偶算法（CSPDA），它表现出$\tilde{\mathcal{O}}\left(1/ε^2\right)$样本复杂性，以实现$ε$ -最优的累积奖励与零约束违反。在现有的工作中，最好的可用的样本复杂度的$ε$ -最优策略的零约束违反是$\tilde{\mathcal{O}}\left(1/ε^5\right)$。因此，与现有技术相比，所提出的算法提供了显著的改进。
2022-07-13 cs.LG
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley（加州大学伯克利分校）
我们考虑基于原始-对偶的强化学习（RL）在具有非平稳目标和约束的情景约束马尔可夫决策过程（CMDPs）中的应用，它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中，奖励/效用函数和状态转换函数都允许随时间任意变化，只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性，因为需要集成约束违反减少，安全探索和适应非平稳性。为此，我们确定了两个可供选择的条件下，我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略（PROPD-PPO）算法，该算法可以协调这两种情况。此外，在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下，分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
Proximal Reinforcement Learning: A New Theory of Sequential Decision Making in Primal-Dual Spaces
Hajim School of Engineering and Applied Sciences, University of Rochester（罗切斯特大学哈吉姆工程与应用科学学院）
在这篇论文中，我们提出了我们在过去几年中开发的强化学习的新愿景，它为长期存在的重要问题提供了数学上严格的解决方案，这些问题尚未得到解决：（i）如何设计可靠、收敛和鲁棒的强化学习算法（ii）如何保证强化学习满足预先指定的“安全”保证，并且保持在参数空间的稳定区域中（iii）如何以可靠和稳定的方式设计“偏离策略”的时间差学习算法，以及最后（iv）如何将强化学习的研究整合到随机优化的丰富理论中。在本文中，我们提供了详细的答案，所有这些问题使用强大的框架，邻近运营商。出现的关键思想是通过使用勒让德变换连接的原始对偶空间的使用。这允许在双空间中发生时间差异更新，从而允许各种重要的技术优势。勒让德变换优雅地概括了过去用于解决强化学习问题的算法，例如自然梯度方法，我们发现它与先前未连接的镜像下降方法框架密切相关。同样重要的是，邻近算子理论使算子分裂方法的系统化发展成为可能，这些方法展示了如何安全可靠地分解最近基于梯度的时间差学习变体中出现的复杂梯度乘积。这一关键的技术创新使得最终为强化学习设计“真正的”随机梯度方法成为可能。最后，勒让德变换还具有其他各种好处，包括建模稀疏性和域几何。我们的工作广泛建立在最近的工作收敛的鞍点算法，单调算子的理论。
2014-05-26 cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee
The Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
在安全强化学习（SRL）问题中，智能体探索环境以最大化期望的总回报，同时避免违反对若干期望总成本的某些约束。一般来说，这样的SRL问题有非凸目标函数受到多个非凸约束，因此是非常具有挑战性的解决，特别是提供一个全局最优的政策。许多流行的SRL算法采用原始-对偶结构，利用对偶变量的更新来满足约束。相比之下，我们提出了一个原始的方法，称为约束校正策略优化（CRPO），更新的政策之间的目标改进和约束满足交替。CRPO提供了一个原始类型的算法框架来解决SRL问题，其中每个策略更新可以采取任何策略优化步骤的变体。为了证明CRPO的理论性能，我们采用自然策略梯度（NPG）的每个政策更新步骤，并表明CRPO实现了$\mathcal{O}(1/\sqrt{T})$收敛速度的全局最优政策的约束政策集和约束满足的$\mathcal{O}(1/\sqrt{T})$误差界。这是第一次有限时间分析的原始SRL算法的全局最优性保证。我们的实证结果表明，CRPO可以优于现有的原始-对偶基线算法显着。
2021-05-31 cs.LG stat.ML
Interpreting Primal-Dual Algorithms for Constrained Multiagent Reinforcement Learning
University of Washington（华盛顿大学）；National Renewable Energy Laboratory（国家可再生能源实验室）
本文分析 C-MARL 中原始-对偶惩罚项的结构，改进惩罚以支持机会约束与 CVaR 约束，并提出 C-MAA2C，提升安全联合策略的价值估计与收敛速度。
2023-04-26 cs.LG cs.MA cs.SY
Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Conservative Natural Policy Gradient Primal-Dual Algorithm
Purdue University（普渡大学）；University of Maryland（马里兰大学）
针对连续状态-动作空间的约束马尔可夫决策过程问题，提出保守自然策略梯度原始-对偶算法C-NPG-PD，实现零约束违反与更优收敛性，将样本复杂度从O(1/ε^6)提升至O(1/ε^4)，并通过实验验证了算法优势。
2024-05-16 cs.AI cs.LG cs.SY
Offline Primal-Dual Reinforcement Learning for Linear MDPs
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出一种基于线性规划公式的原始-对偶优化方法，通过新的重新参数化推导低方差梯度估计器，在无限时间范围折扣和平均奖励 MDP 中实现了样本与计算高效性，并首次提供了平均奖励离线 RL 的理论保证。
2023-05-22 cs.LG
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization
University of Southern California（南加利福尼亚大学）；Facebook Inc.（脸书公司）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们研究了安全强化学习（SRL）问题，使用约束马尔可夫决策过程（CMDP）制定，其中代理的目标是最大化预期的总回报受到安全约束的效用函数的预期总值。我们专注于一个情节设置与函数近似的马尔可夫转移内核具有线性结构，但不施加任何额外的假设上的采样模型。在这种情况下，设计具有可证明的计算和统计效率的SRL算法是特别具有挑战性的，因为需要将安全约束和函数近似结合到基本的开发/探索权衡中。为此，我们提出了一个\underline{O}乐观的\underline{P}原始\underline{D} ual接近的政策\underline{OP}优化（OPDOP）算法，其中的价值函数估计相结合的最小二乘政策评估和额外的奖金长期安全的探索。我们证明了该算法实现了$\tilde{O}(d H^{2.5}\sqrt{T})$遗憾和$\tilde{O}(d H^{2.5}\sqrt{T})$约束违反，其中$d$是特征映射的维度，$H$是每个情节的地平线，和$T$是总步骤数。当奖励/效用函数固定，但每次发作后的反馈是强盗时，这些界限成立。我们的边界取决于状态-动作空间的容量，仅通过特征映射的维度，因此我们的结果即使在状态数趋于无穷大时也成立。据我们所知，我们提供了第一个可证明有效的在线策略优化算法CMDP与安全的探索在函数近似设置。
2020-10-26 cs.LG math.OC stat.ML
Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality
针对鲁棒约束强化学习中强对偶性不成立的问题，提出仅原始算法RRPO，直接优化原始问题并给出收敛保证，实验证明其在模型不确定性下能实现鲁棒安全性能。
2025-09-19 cs.LG
RL-SPH: Learning to Achieve Feasible Solutions for Integer Linear Programs
School of Computing, KAIST, Daejeon, Republic of Korea（韩国釜山国立大学计算机学院）
本文提出RL-SPH，一种基于强化学习的起始启发式方法，能独立生成高质量可行解，尤其适用于包含非二元整数的整数线性规划问题。
2026-08-03 cs.AI cs.LG
Accelerating Primal-dual Methods for Regularized Markov Decision Processes
Stanford University（斯坦福大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
针对熵正则化马尔可夫决策过程原对偶问题标准一阶法收敛慢的问题，提出二次凸化原对偶表述及新插值度量，实现指数收敛与显著加速，多设置实验验证了性能。
2023-06-12 cs.LG math.OC stat.ML
One-Shot Safety Alignment for Large Language Models via Optimal Dualization
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过最优对偶化将带约束的RLHF安全对齐转化为等价无约束问题，预优化具有闭式解的光滑凸对偶函数，从而避免原始-对偶迭代，并据此设计了MoCAN和PeCAN两种高效稳定的一次性安全对齐算法。
2024-11-22 cs.AI cs.CL cs.LG
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards
Universitat Pompeu Fabra（庞培法布拉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Stuttgart（斯图加特大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对约束强化学习中奖励线性组合无法诱导最优策略的问题，提出用拉格朗日乘子增广状态并将原始-对偶方法重新解释为乘子演化动力学，从而保证求解带约束的强化学习问题。
2023-09-21 cs.LG cs.RO math.OC
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar（印度理工学院罗帕尔）
本文提出了一种安全强化学习框架，通过离线学习概率性控制-仿射动力学模型，构建考虑模型不确定性的控制屏障函数以提供保守安全约束，从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qizhi Institute（上海期智研究院）
安全性是利用强化学习控制复杂动力系统的主要考虑因素，其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数，并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念，两者的综合都具有挑战性。因此，现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个，这限制了它们对一般未知动态的适用性。本文提出了一种新的方法，同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是，我们制定了一个损失函数，以优化安全证书参数，最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习（CRL）中，我们联合更新策略和安全证书参数，并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明，该算法学习可证明安全的策略，没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
A Dual Perspective of Reinforcement Learning for Imposing Policy Constraints
Leuven.AI - KU Leuven institute for AI（鲁汶大学Leuven.AI人工智能研究所）
本文提出统一原始-对偶框架，将强化学习中的策略约束与经典优化理论关联，并引入新型约束，推导出支持多种约束组合的DualCRL算法，在可解释环境中验证了其有效性。
2025-04-25 cs.AI cs.LG cs.SY
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation（LY公司）；Osaka University（大阪大学）；Tsinghua University（清华大学）
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联，并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算学院和数据科学学院，新加坡）；Sony Corporation（索尼公司）
SB-TRPO通过动态平衡成本降低与奖励提升，提供硬约束强化学习的原理性算法，确保安全性和奖励的改进，实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
Safety Modulation: Enhancing Safety in Reinforcement Learning through Cost-Modulated Rewards
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
提出安全调制策略优化（SMPO）方法，通过代价感知加权函数调制奖励并引入Q代价函数作为安全评论家，在标准策略优化框架内学习安全策略，实验证明其在整体安全RL性能上优于现有方法。
2025-04-03 cs.AI cs.LG
Safe-RULE: Safe Reinforcement UnLEarning
University of Notre Dame（圣母大学）
针对离线安全强化学习易受数据投毒攻击的问题，提出Safe-RULE框架，通过反学习移除恶意样本影响，无需从头训练或访问原始环境，实验证明能有效提升安全性。
2026-06-08 cs.AI cs.CR cs.LG
Towards Safe Continuing Task Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
安全性是物理系统控制器设计的关键特征。在设计控制策略时，已经提出了几种方法来保证这方面的自主性，如鲁棒控制器或控制障碍函数。然而，这些解决方案强烈依赖于设计者可用的系统模型。作为一个平行的发展，强化学习提供了模型不可知的控制解决方案，但在一般情况下，它缺乏安全所需的理论保证。最近的进展表明，在温和的条件下，控制策略可以通过强化学习来学习，通过将这些要求作为优化问题的约束来保证控制策略是安全的。然而，要从学习安全转移到学习安全，需要克服两个障碍：（i）必须能够在不必重新初始化系统的情况下学习策略;以及（ii）系统的推出本身需要安全。在本文中，我们解决了第一个问题，提出了一种算法，能够在连续的任务设置，而不需要重新启动。我们评估我们的方法在一个数值例子中，这表明所提出的方法在学习安全的政策，通过安全的探索能力。
2021-02-24 cs.LG math.OC
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题，提出可学习的安全模型进行信用分配，并通过对偶梯度方法动态调整奖励与安全的权衡，实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
Skill-based Safe Reinforcement Learning with Risk Planning
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出安全技能规划（SSkP）方法，利用离线演示数据通过PU学习构建技能风险预测器，并结合在线风险规划高效学习风险规避的安全策略，在多个机器人仿真基准中优于现有安全强化学习方法。
2025-05-02 cs.AI cs.LG
Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models
Imperial College London, Department of Computing（伦敦帝国学院计算机系）
本文提出一种基于高斯过程的恢复防护机制，用于在未知非线性系统中实现安全强化学习，通过动态恢复和内部模型采样实现安全与高效的学习。
2026-11-02 cs.AI cs.LG
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
本文提出一种基于最优传输代价不确定性集的安全强化学习框架，通过构造最坏情况虚拟状态转移实现鲁棒性，在连续控制任务中显著提升部署安全性。
2024-03-28 cs.AI cs.LG stat.ML
Enhancing Efficiency of Safe Reinforcement Learning via Sample Manipulation
University of California, Berkeley（加州大学伯克利分校）；Technical University of Munich（慕尼黑工业大学）；California Institute of Technology（加州理工学院）；Virginia Tech（弗吉尼亚理工大学）
提出ESPO方法，通过动态调整采样过程平衡奖励与安全约束，在理论上保证收敛性和优化稳定性，实验显示其样本需求减少25-29%，训练时间降低21-38%。
2024-05-31 cs.LG
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划，在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
