Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-11-09 cs.LG
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
使用深度生成模型从离线演示中提取策略原语的方法在加速新任务的强化学习（RL）方面表现出了希望。直观地说，这些方法也应该有助于训练安全RL代理，因为它们强制使用有用的技能。然而，我们发现这些技术并不适合安全的策略学习，因为它们忽略了负面经验（例如，不安全或不成功），只关注积极的经验，这会损害他们安全地概括新任务的能力。相反，我们使用来自许多任务的演示的离线数据集上的原则性对比训练来建模latentsafetycontext，包括消极和积极的经验。使用这个后期变量，我们的RL框架，SAFEty skill pRiors（SAFER）提取特定于任务的安全原始技能，以安全并成功地推广到新任务。在推理阶段，使用SAFER训练的策略学习将安全技能组合到成功的策略中。我们从理论上描述了为什么SAFER可以执行安全的策略学习，并证明了它的有效性在几个复杂的安全关键的机器人抓取任务的启发游戏操作，其中SAFER优于国家的最先进的原始学习方法的成功和安全。
2022-06-30 cs.LG
A Safe Reinforcement Learning Architecture for Antenna Tilt Optimisation
LM Ericsson（爱立信）；Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
与环境的安全交互是强化学习（RL）应用于现实世界问题时最具挑战性的方面之一。当不安全的行动对环境造成严重或不可逆转的负面影响时，这一点尤其重要。在网络管理操作的上下文中，远程电气干扰（RET）优化是安全关键型应用，其中基站的天线倾斜角度的探索性修改可能导致网络中的显著性能下降。在本文中，我们提出了一个模块化的安全强化学习（SRL）架构，然后用于解决蜂窝网络中的RET优化。在这种方法中，安全防护罩不断地将RL代理的性能与安全基线进行基准测试，并确定要在网络上执行的安全天线倾斜更新。我们的研究结果表明，SRL代理的性能比基线有所改善，同时确保了所执行操作的安全性。
2021-10-20 cs.LG
Safe Reinforcement Learning by Imagining the Near Future
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
安全强化学习是将强化学习算法应用于现实世界问题的一条有前途的道路，其中次优行为可能导致实际的负面后果。在这项工作中，我们专注于设置不安全的状态，可以通过提前规划到未来很短的时间来避免。在这种情况下，具有足够准确模型的基于模型的代理可以避免不安全状态。我们设计了一个基于模型的算法，严重惩罚不安全的轨迹，并得到保证，我们的算法可以避免在某些假设下的不安全状态。实验表明，我们的算法可以在几个连续的控制任务，以较少的安全违规，实现竞争性的回报。
2022-02-15 cs.LG
Trustworthy Reinforcement Learning Against Intrinsic Vulnerabilities: Robustness, Safety, and Generalizability
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
一个值得信赖的强化学习算法应该能够解决具有挑战性的现实问题，包括{鲁棒}处理不确定性，满足{安全}约束以避免灾难性故障，以及{推广}部署期间看不见的场景。本研究的目的是综述这些主要观点的可信强化学习考虑其内在的脆弱性，鲁棒性，安全性和泛化能力。特别是，我们给出了严格的配方，分类相应的方法，并讨论每个角度的基准。此外，我们提供了一个展望部分，以刺激有前途的未来方向，并简要讨论考虑人类反馈的外在脆弱性。我们希望这项调查能够将不同的研究线索汇集在一个统一的框架中，并促进强化学习的可信度。
2022-09-16 cs.LG
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）
本文提出一种基于容许性的新框架，通过将安全性自然融入容许性机制来构建盾牌，从而在消除非最优动作提升训练效率的同时保障安全，有效解决了传统强化学习盾牌方法学习延迟高或依赖预计算的问题。
2024-05-29 cs.LG
A Unified Bellman Operator for Safety-Critical Reinforcement Learning
Princeton University（普林斯顿大学）
本研究提出统一贝尔曼算子，将安全关键强化学习的性能与安全目标整合，经理论证明收敛，在连续控制任务上实现近零安全违规的稳定收敛。
2026-10-09 cs.LG
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University（麦克马斯特大学）
研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。
2026-07-27 cs.LG
Safe In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学）
提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。
2026-07-27 cs.LG
Robust Safe Reinforcement Learning under Adversarial Disturbances
Tsinghua University（清华大学）
针对外部扰动下的安全强化学习问题，提出基于零和博弈与策略迭代求解鲁棒不变集并集成到约束策略优化的框架，实现最坏扰动下零约束违反且保持高性能。
2023-10-11 cs.LG
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
在许多工程实施中，安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而，强化学习算法不能完全保证实际操作的安全性。为了解决这个问题，这项工作采用了控制障碍函数强化学习，并提出了一个补偿算法，完全保持安全。具体而言，已利用平方和规划来搜索最优控制器，并同时调整学习超参数。因此，保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比，本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
How to Learn from Risk: Explicit Risk-Utility Reinforcement Learning for Efficient and Safe Driving Strategies
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
自动驾驶有可能彻底改变移动性，因此是一个活跃的研究领域。在实践中，自动驾驶车辆的行为必须是可接受的，即，高效、安全和可解释。虽然普通的强化学习（RL）发现了性能良好的行为策略，但它们通常是不安全和不可解释的。安全性是通过安全强化学习方法引入的，但它们仍然大多无法解释，因为学习的行为是针对安全性和性能进行联合优化的，而不是单独建模。可解释的机器学习很少应用于RL。本文提出了SafeDQN，它允许使自动驾驶汽车的行为安全和可解释，同时仍然有效。SafeDQN在预期风险和操作效用之间提供了一个可理解的语义权衡，同时在算法上是透明的。我们表明，SafeDQN发现可解释的和安全的驾驶政策的各种情况下，并展示了如何国家的最先进的显着性技术可以帮助评估风险和效用。
2022-08-02 cs.LG
Evaluating Reinforcement Learning Safety and Trustworthiness in Cyber-Physical Systems
University of Notre Dame（圣母大学）
针对CPS中RL组件安全案例构建困难的问题，本文提出SAFE-RL框架，采用设计科学方法支持基于RL的CPS开发、验证与安全部署，并在sUAS的三个RL应用中验证其有效性。
2025-03-12 cs.LG cs.SE
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Efficient Policy Evaluation with Safety Constraint for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习同策略评估高方差且现有降方差方法缺乏安全保障的问题，提出安全约束下的最优最小方差行为策略，理论无偏且方差更低，实验验证其在降方差和安全性上均优于现有方法。
2025-03-20 cs.LG
Reinforcement Learning with Adaptive Regularization for Safe Control of Critical Systems
Dyson School of Design Engineering（戴森设计工程学院）；Imperial College London（伦敦帝国学院）
针对强化学习探索动作不可预测、威胁关键系统安全的问题，提出带自适应正则化的RL-AR算法，通过聚焦模块按状态探索程度组合RL策略与安全正则项，兼顾训练安全性与接近无模型RL的性能。
2024-10-31 cs.LG
Fuz-RL: A Fuzzy-Guided Robust Framework for Safe Reinforcement Learning under Uncertainty
本文提出Fuz-RL框架，通过模糊测度指导的稳健方法，解决安全强化学习中的不确定性问题，提升安全性和控制性能。
2026-03-16 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
本文提出OASIS，利用条件扩散模型塑形离线数据分布，以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题，在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning in Non-stationary Environments
Institute for Software Integrated Systems（软件集成系统研究所）
本文研究了非平稳环境中安全持续强化学习的核心挑战，分析了现有方法在安全与防止灾难性遗忘之间的矛盾，并提出基于正则化的策略以改善性能。
2026-04-21 cs.LG
Feasible Actor-Critic: Constrained Reinforcement Learning for Ensuring Statewise Safety
Tsinghua University（清华大学）
现有的安全强化学习（RL）方法通常使用的安全约束仅基于初始状态的期望来定义，但允许每个特定的状态是不安全的，这对于现实世界的安全关键任务是不令人满意的。在本文中，我们介绍了可行的演员-评论家（FAC）算法，这是第一个无模型约束RL方法，考虑状态安全，例如，安全的每个初始状态。我们主张，无论我们选择什么政策，有些国家本质上是不安全的，而对于其他国家，存在确保安全的政策，我们说这样的国家和政策是可行的。通过构造一个可用于RL采样的状态Lagrange函数，并采用一个附加的神经网络来逼近状态Lagrange乘子，得到了对每个可行状态都能保证安全的最优可行策略和对不可行状态都能保证安全的可能策略.此外，训练后的乘子网络可以通过状态互补松弛条件来指示给定状态是否可行。我们提供了理论保证，FAC优于以前的基于期望的约束RL方法的约束满足和奖励优化。机器人移动任务和安全探测任务的实验结果验证了该方法的安全性增强和可行性解释。
2021-06-14 cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）；Tencent Robotics X Lab, Tencent（腾讯机器人X实验室）
安全强化学习旨在学习控制策略，同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习，一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域，该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的，因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡，提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例，验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar（印度理工学院罗帕尔）
本文提出了一种安全强化学习框架，通过离线学习概率性控制-仿射动力学模型，构建考虑模型不确定性的控制屏障函数以提供保守安全约束，从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Safe Reinforcement Learning with Nonlinear Dynamics via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）；Deapartment of Computer and Information Science（计算机与信息科学系）
强化学习是一种很有前途的方法来合成具有挑战性的机器人任务的政策。一个关键问题是如何确保学习策略的安全性-例如，步行机器人不会摔倒，或者自动驾驶汽车不会遇到障碍物。我们专注于动态已知的设置，目标是确保在模拟中训练的策略满足给定的安全约束。我们提出了一种称为模型预测屏蔽（MPS）的方法，该方法可以在学习策略和备份策略之间动态切换以确保安全性。我们证明，我们的方法保证安全性，并经验评估它的推车杆。
2020-10-21 cs.LG stat.ML
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Enhancing Navigational Safety in Crowded Environments using Semantic-Deep-Reinforcement-Learning-based Navigation
Berlin Institute of Technology（柏林工业大学）
社交人群中的智能导航是移动机器人的一个重要方面，用于交付，医疗保健或援助等应用。深度强化学习作为保守方法的替代规划方法出现，并承诺更有效和灵活的导航。然而，在高度动态的环境中，采用不同种类的障碍物类，安全航行仍然提出了一个巨大的挑战。在本文中，我们提出了一种基于语义深度强化学习的导航方法，该方法通过考虑高级障碍物信息来教授特定于对象的安全规则。特别是，智能体通过考虑特定的危险区域来学习特定于对象的行为，以增强脆弱对象类周围的安全性。我们测试的方法对基准避障方法，并发现增加了安全性。此外，我们证明了智能体可以通过保持依赖于语义信息的个人安全距离来学习更安全地导航。
2021-09-23 cs.LG cs.RO
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
本文提出一种基于最优传输代价不确定性集的安全强化学习框架，通过构造最坏情况虚拟状态转移实现鲁棒性，在连续控制任务中显著提升部署安全性。
2024-03-28 cs.AI cs.LG stat.ML
Safe Reinforcement Learning Using Robust Action Governor
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
强化学习（RL）本质上是一种试错学习过程，在探索和利用过程中可能会导致不安全的行为。这阻碍了RL在现实世界控制问题中的应用，特别是对安全关键系统的应用。在本文中，我们介绍了一个安全RL的框架，该框架基于RL算法与附加安全监督模块的集成，称为鲁棒动作总督（RAG），该模块利用集合理论技术和在线优化来管理学习过程中的安全相关要求。我们说明了这一建议的安全RL框架，通过应用汽车自适应巡航控制。
2021-04-30 cs.LG cs.SY eess.SY
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qizhi Institute（上海期智研究院）
安全性是利用强化学习控制复杂动力系统的主要考虑因素，其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数，并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念，两者的综合都具有挑战性。因此，现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个，这限制了它们对一般未知动态的适用性。本文提出了一种新的方法，同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是，我们制定了一个损失函数，以优化安全证书参数，最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习（CRL）中，我们联合更新策略和安全证书参数，并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明，该算法学习可证明安全的策略，没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages
University of Surrey（萨里大学）
神经网络和强化学习的使用在自主车辆控制中变得越来越流行。然而，由此产生的控制策略的不透明性对在自主车辆中部署基于神经网络的控制提出了重大障碍。在本文中，我们提出了一种基于强化学习的方法，自主车辆纵向控制，其中基于规则的安全笼提供增强的安全性的车辆以及弱监督的强化学习代理。通过将代理引导到有意义的状态和动作，这种弱监督改善了训练过程中的收敛性，并增强了最终训练策略的安全性。这种基于规则的监督控制器具有完全可解释的进一步优势，从而使传统的验证和验证方法能够确保车辆的安全性。我们比较了有和没有安全笼的模型，以及具有最佳和约束模型参数的模型，并表明弱监督始终提高了探索的安全性，收敛速度和模型性能。此外，我们表明，当模型参数受到约束或次优时，安全笼可以使模型学习安全驾驶策略，即使模型无法单独通过强化学习进行训练。
2021-03-17 cs.LG cs.SY eess.SY
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划，在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation（LY公司）；Osaka University（大阪大学）；Tsinghua University（清华大学）
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联，并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
Handling Long-Term Safety and Uncertainty in Safe Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI（德国人工智能研究中心）
本文通过引入可学习约束扩展安全探索方法ATACOM，解决安全强化学习中任务特定安全约束难以获取、长期安全性难以预见及不确定性问题，在保持训练安全性的同时实现优异最终性能。
2024-09-23 cs.LG cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
