Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Parenting: Safe Reinforcement Learning from Human Input
通过强化学习训练的自主智能体存在许多安全问题：奖励投机、负面副作用和不安全的探索等。在不久的将来，自主智能体在人类了解现有危险的环境中运行，人类参与学习过程已被证明是实现人工智能安全的一种有前途的方法。在这里，我们证明了一个精确的框架，从人类的输入，松散的启发，人类父母的孩子，解决了广泛的安全问题，在这种情况下。我们表明，我们的父母算法解决了Leike等人（2017）的相关AI安全网格世界中的这些问题，代理可以学习在“成熟”时超越其父母，并且通过父母学习的政策可以推广到新的环境。
2019-02-18 cs.AI cs.LG stat.ML
Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs
本文提出通过可验证奖励的强化学习方法，在提升LLM推理能力的同时维持安全性，挑战了传统安全性与能力权衡的假设。
2025-11-26 cs.AI cs.LG stat.ML
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-11-09 cs.LG
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
使用深度生成模型从离线演示中提取策略原语的方法在加速新任务的强化学习（RL）方面表现出了希望。直观地说，这些方法也应该有助于训练安全RL代理，因为它们强制使用有用的技能。然而，我们发现这些技术并不适合安全的策略学习，因为它们忽略了负面经验（例如，不安全或不成功），只关注积极的经验，这会损害他们安全地概括新任务的能力。相反，我们使用来自许多任务的演示的离线数据集上的原则性对比训练来建模latentsafetycontext，包括消极和积极的经验。使用这个后期变量，我们的RL框架，SAFEty skill pRiors（SAFER）提取特定于任务的安全原始技能，以安全并成功地推广到新任务。在推理阶段，使用SAFER训练的策略学习将安全技能组合到成功的策略中。我们从理论上描述了为什么SAFER可以执行安全的策略学习，并证明了它的有效性在几个复杂的安全关键的机器人抓取任务的启发游戏操作，其中SAFER优于国家的最先进的原始学习方法的成功和安全。
2022-06-30 cs.LG
A Safe Reinforcement Learning Architecture for Antenna Tilt Optimisation
LM Ericsson（爱立信）；Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
与环境的安全交互是强化学习（RL）应用于现实世界问题时最具挑战性的方面之一。当不安全的行动对环境造成严重或不可逆转的负面影响时，这一点尤其重要。在网络管理操作的上下文中，远程电气干扰（RET）优化是安全关键型应用，其中基站的天线倾斜角度的探索性修改可能导致网络中的显著性能下降。在本文中，我们提出了一个模块化的安全强化学习（SRL）架构，然后用于解决蜂窝网络中的RET优化。在这种方法中，安全防护罩不断地将RL代理的性能与安全基线进行基准测试，并确定要在网络上执行的安全天线倾斜更新。我们的研究结果表明，SRL代理的性能比基线有所改善，同时确保了所执行操作的安全性。
2021-10-20 cs.LG
Safe Reinforcement Learning by Imagining the Near Future
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
安全强化学习是将强化学习算法应用于现实世界问题的一条有前途的道路，其中次优行为可能导致实际的负面后果。在这项工作中，我们专注于设置不安全的状态，可以通过提前规划到未来很短的时间来避免。在这种情况下，具有足够准确模型的基于模型的代理可以避免不安全状态。我们设计了一个基于模型的算法，严重惩罚不安全的轨迹，并得到保证，我们的算法可以避免在某些假设下的不安全状态。实验表明，我们的算法可以在几个连续的控制任务，以较少的安全违规，实现竞争性的回报。
2022-02-15 cs.LG
Virtuously Safe Reinforcement Learning
EPFL（洛桑联邦理工学院）
我们表明，当第三方，对手，进入安全可中断的强化学习的两方设置（代理和操作员）的步骤，必须在极限内遵循最优策略的概率和逃避对手造成的危险情况的概率之间进行权衡。到目前为止，关于安全可中断代理的工作已经假设代理对其环境（没有对手）的完美感知，因此通过显式地寻求第一概率的值1，隐式地将第二概率设置为零。我们表明，（1）代理可以被中断和adversary-resilient，（2）中断可以是安全的，在这个意义上，代理本身不会寻求避免它。我们还解决了问题时，代理不去完全贪婪，即安全探索的限制问题。对干扰感知的恢复力、对极限的安全探索以及安全可中断性是我们称之为\emph{virtuously safe reinforcement learning}的三大支柱。
2018-05-29 cs.AI cs.GT cs.LG
Trustworthy Reinforcement Learning Against Intrinsic Vulnerabilities: Robustness, Safety, and Generalizability
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
一个值得信赖的强化学习算法应该能够解决具有挑战性的现实问题，包括{鲁棒}处理不确定性，满足{安全}约束以避免灾难性故障，以及{推广}部署期间看不见的场景。本研究的目的是综述这些主要观点的可信强化学习考虑其内在的脆弱性，鲁棒性，安全性和泛化能力。特别是，我们给出了严格的配方，分类相应的方法，并讨论每个角度的基准。此外，我们提供了一个展望部分，以刺激有前途的未来方向，并简要讨论考虑人类反馈的外在脆弱性。我们希望这项调查能够将不同的研究线索汇集在一个统一的框架中，并促进强化学习的可信度。
2022-09-16 cs.LG
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）
本文提出一种基于容许性的新框架，通过将安全性自然融入容许性机制来构建盾牌，从而在消除非最优动作提升训练效率的同时保障安全，有效解决了传统强化学习盾牌方法学习延迟高或依赖预计算的问题。
2024-05-29 cs.LG
A Unified Bellman Operator for Safety-Critical Reinforcement Learning
Princeton University（普林斯顿大学）
本研究提出统一贝尔曼算子，将安全关键强化学习的性能与安全目标整合，经理论证明收敛，在连续控制任务上实现近零安全违规的稳定收敛。
2026-10-09 cs.LG
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
在许多工程实施中，安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而，强化学习算法不能完全保证实际操作的安全性。为了解决这个问题，这项工作采用了控制障碍函数强化学习，并提出了一个补偿算法，完全保持安全。具体而言，已利用平方和规划来搜索最优控制器，并同时调整学习超参数。因此，保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比，本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University（麦克马斯特大学）
研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。
2026-07-27 cs.LG
Safe In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学）
提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。
2026-07-27 cs.LG
Evaluating Reinforcement Learning Safety and Trustworthiness in Cyber-Physical Systems
University of Notre Dame（圣母大学）
针对CPS中RL组件安全案例构建困难的问题，本文提出SAFE-RL框架，采用设计科学方法支持基于RL的CPS开发、验证与安全部署，并在sUAS的三个RL应用中验证其有效性。
2025-03-12 cs.LG cs.SE
Robust Safe Reinforcement Learning under Adversarial Disturbances
Tsinghua University（清华大学）
针对外部扰动下的安全强化学习问题，提出基于零和博弈与策略迭代求解鲁棒不变集并集成到约束策略优化的框架，实现最坏扰动下零约束违反且保持高性能。
2023-10-11 cs.LG
WiseMove: A Framework for Safe Deep Reinforcement Learning for Autonomous Driving
University of Waterloo（滑铁卢大学）
机器学习可以为自动驾驶中遇到的复杂问题提供有效的解决方案，但确保其安全性仍然是一个挑战。许多作者试图解决这个问题，但很少有公开可用的工具来充分探索功能，可伸缩性和安全性之间的权衡。因此，我们提出了WiseMove，这是一个软件框架，用于在自动驾驶运动规划的背景下研究安全的深度强化学习。WiseMove采用模块化的学习架构，既适合我们当前的研究问题，又可以适应新技术和新问题。我们介绍了WiseMove的详细信息，演示了它在常见交通场景中的使用，并描述了我们如何在正在进行的安全学习研究中使用它。
2019-02-11 cs.LG cs.NE cs.PF
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: $\sqrt{T}$-Regret
Department of Statistics, Harvard University（哈佛大学统计系）
本文研究未知动态的一维线性系统安全约束强化学习问题，提出了首个实现$\tilde{O}_T(\sqrt{T})$遗憾的安全算法，并引入截断线性控制器基准，证明了其最优控制器的连续性及受约束时更快的非线性学习速率。
2025-04-25 cs.LG cs.SY eess.SY
How to Learn from Risk: Explicit Risk-Utility Reinforcement Learning for Efficient and Safe Driving Strategies
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
自动驾驶有可能彻底改变移动性，因此是一个活跃的研究领域。在实践中，自动驾驶车辆的行为必须是可接受的，即，高效、安全和可解释。虽然普通的强化学习（RL）发现了性能良好的行为策略，但它们通常是不安全和不可解释的。安全性是通过安全强化学习方法引入的，但它们仍然大多无法解释，因为学习的行为是针对安全性和性能进行联合优化的，而不是单独建模。可解释的机器学习很少应用于RL。本文提出了SafeDQN，它允许使自动驾驶汽车的行为安全和可解释，同时仍然有效。SafeDQN在预期风险和操作效用之间提供了一个可理解的语义权衡，同时在算法上是透明的。我们表明，SafeDQN发现可解释的和安全的驾驶政策的各种情况下，并展示了如何国家的最先进的显着性技术可以帮助评估风险和效用。
2022-08-02 cs.LG
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
SAMBA: Safe Model-Based & Active Reinforcement Learning
Huawei R&D UK（华为英国研发部）；Technical University Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
在本文中，我们提出了SAMBA，一个新的安全强化学习框架，结合了概率建模，信息论和统计学方面。我们的方法建立在PILCO的基础上，通过支持条件风险价值约束的多目标问题，使用新的（半）样本外高斯过程评估指标进行积极探索。我们评估我们的算法在各种安全的动力系统基准，涉及低维和高维状态表示。我们的研究结果显示，与最先进的方法相比，样本和违规行为的数量级减少。最后，我们通过对我们的主动指标和安全约束的详细分析，提供了关于框架有效性的直觉。
2020-06-12 cs.AI cs.LG cs.RO
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks
University of Washington（华盛顿大学）
本文的重点是寻找强化学习政策的控制系统的硬状态和行动的约束。尽管强化学习在许多领域取得了成功，但它在应用于具有硬约束的问题时仍具有挑战性，特别是在状态变量和动作都受到约束的情况下。以前的工作，寻求确保约束满足，或安全性，集中在增加一个投影步骤，学习的政策。然而，这种方法需要在每个策略执行步骤中解决优化问题，这可能导致显著的计算成本。为了解决这个问题，本文提出了一种新的方法，称为顶点网络（VNs），保证在探索过程中的安全性和学习控制策略，将安全约束的政策网络架构。利用凸集内所有点都可以表示为顶点的凸组合的几何性质，该算法首先学习凸组合权重，然后使用这些权重以及预先计算的顶点来输出动作。通过结构保证输出动作安全。数值算例表明，所提出的VN算法优于香草强化学习在各种基准控制任务。
2020-03-20 cs.LG cs.SY eess.SY
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）；Tencent Robotics X Lab, Tencent（腾讯机器人X实验室）
安全强化学习旨在学习控制策略，同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习，一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域，该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的，因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡，提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例，验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
Efficient Policy Evaluation with Safety Constraint for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习同策略评估高方差且现有降方差方法缺乏安全保障的问题，提出安全约束下的最优最小方差行为策略，理论无偏且方差更低，实验验证其在降方差和安全性上均优于现有方法。
2025-03-20 cs.LG
Reinforcement Learning with Adaptive Regularization for Safe Control of Critical Systems
Dyson School of Design Engineering（戴森设计工程学院）；Imperial College London（伦敦帝国学院）
针对强化学习探索动作不可预测、威胁关键系统安全的问题，提出带自适应正则化的RL-AR算法，通过聚焦模块按状态探索程度组合RL策略与安全正则项，兼顾训练安全性与接近无模型RL的性能。
2024-10-31 cs.LG
Fuz-RL: A Fuzzy-Guided Robust Framework for Safe Reinforcement Learning under Uncertainty
本文提出Fuz-RL框架，通过模糊测度指导的稳健方法，解决安全强化学习中的不确定性问题，提升安全性和控制性能。
2026-03-16 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
本文提出OASIS，利用条件扩散模型塑形离线数据分布，以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题，在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar（印度理工学院罗帕尔）
本文提出了一种安全强化学习框架，通过离线学习概率性控制-仿射动力学模型，构建考虑模型不确定性的控制屏障函数以提供保守安全约束，从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning in Non-stationary Environments
Institute for Software Integrated Systems（软件集成系统研究所）
本文研究了非平稳环境中安全持续强化学习的核心挑战，分析了现有方法在安全与防止灾难性遗忘之间的矛盾，并提出基于正则化的策略以改善性能。
2026-04-21 cs.LG
Feasible Actor-Critic: Constrained Reinforcement Learning for Ensuring Statewise Safety
Tsinghua University（清华大学）
现有的安全强化学习（RL）方法通常使用的安全约束仅基于初始状态的期望来定义，但允许每个特定的状态是不安全的，这对于现实世界的安全关键任务是不令人满意的。在本文中，我们介绍了可行的演员-评论家（FAC）算法，这是第一个无模型约束RL方法，考虑状态安全，例如，安全的每个初始状态。我们主张，无论我们选择什么政策，有些国家本质上是不安全的，而对于其他国家，存在确保安全的政策，我们说这样的国家和政策是可行的。通过构造一个可用于RL采样的状态Lagrange函数，并采用一个附加的神经网络来逼近状态Lagrange乘子，得到了对每个可行状态都能保证安全的最优可行策略和对不可行状态都能保证安全的可能策略.此外，训练后的乘子网络可以通过状态互补松弛条件来指示给定状态是否可行。我们提供了理论保证，FAC优于以前的基于期望的约束RL方法的约束满足和奖励优化。机器人移动任务和安全探测任务的实验结果验证了该方法的安全性增强和可行性解释。
2021-06-14 cs.LG
Enhancing Navigational Safety in Crowded Environments using Semantic-Deep-Reinforcement-Learning-based Navigation
Berlin Institute of Technology（柏林工业大学）
社交人群中的智能导航是移动机器人的一个重要方面，用于交付，医疗保健或援助等应用。深度强化学习作为保守方法的替代规划方法出现，并承诺更有效和灵活的导航。然而，在高度动态的环境中，采用不同种类的障碍物类，安全航行仍然提出了一个巨大的挑战。在本文中，我们提出了一种基于语义深度强化学习的导航方法，该方法通过考虑高级障碍物信息来教授特定于对象的安全规则。特别是，智能体通过考虑特定的危险区域来学习特定于对象的行为，以增强脆弱对象类周围的安全性。我们测试的方法对基准避障方法，并发现增加了安全性。此外，我们证明了智能体可以通过保持依赖于语义信息的个人安全距离来学习更安全地导航。
2021-09-23 cs.LG cs.RO
CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.（Nuro公司）
本文提出CIMRL框架，结合模仿学习和强化学习，利用模仿先验与安全约束在仿真中训练驾驶策略，无需复杂奖励设计，在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
Safe Reinforcement Learning Using Robust Action Governor
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
强化学习（RL）本质上是一种试错学习过程，在探索和利用过程中可能会导致不安全的行为。这阻碍了RL在现实世界控制问题中的应用，特别是对安全关键系统的应用。在本文中，我们介绍了一个安全RL的框架，该框架基于RL算法与附加安全监督模块的集成，称为鲁棒动作总督（RAG），该模块利用集合理论技术和在线优化来管理学习过程中的安全相关要求。我们说明了这一建议的安全RL框架，通过应用汽车自适应巡航控制。
2021-04-30 cs.LG cs.SY eess.SY
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages
University of Surrey（萨里大学）
神经网络和强化学习的使用在自主车辆控制中变得越来越流行。然而，由此产生的控制策略的不透明性对在自主车辆中部署基于神经网络的控制提出了重大障碍。在本文中，我们提出了一种基于强化学习的方法，自主车辆纵向控制，其中基于规则的安全笼提供增强的安全性的车辆以及弱监督的强化学习代理。通过将代理引导到有意义的状态和动作，这种弱监督改善了训练过程中的收敛性，并增强了最终训练策略的安全性。这种基于规则的监督控制器具有完全可解释的进一步优势，从而使传统的验证和验证方法能够确保车辆的安全性。我们比较了有和没有安全笼的模型，以及具有最佳和约束模型参数的模型，并表明弱监督始终提高了探索的安全性，收敛速度和模型性能。此外，我们表明，当模型参数受到约束或次优时，安全笼可以使模型学习安全驾驶策略，即使模型无法单独通过强化学习进行训练。
2021-03-17 cs.LG cs.SY eess.SY
