Safe Exploration in Model-based Reinforcement Learning using Control Barrier Functions
Boston University（波士顿大学）
本文提出了一种基于基于模型的强化学习（MBRL）框架，用于在线学习无限时域最优控制问题的价值函数，同时服从以控制障碍函数（CBF）表示的安全约束。我们的方法是促进了一类新的CBFs，称为Lyapunov样CBFs（LCBFs）的发展，保留CBFs的开发微创安全控制政策的有益特性，同时也具有理想的Lyapunov样的质量，如积极的半定。我们展示了如何使用这些LCBFs来增强基于学习的控制策略以保证安全，然后利用这种方法在MBRL环境中开发安全的探索框架。我们证明，我们的方法可以处理更一般的安全约束比比较方法通过数值例子。
2022-09-19 cs.LG cs.SY eess.SY
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）；Tencent Robotics X Lab, Tencent（腾讯机器人X实验室）
安全强化学习旨在学习控制策略，同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习，一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域，该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的，因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡，提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例，验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Safe Meta-Reinforcement Learning via Information Space Reachability
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种安全元强化学习框架，通过在信息空间中推理安全性并学习安全值函数，实现适应过程中的安全过滤与约束策略优化，实验验证了其有效性。
2026-09-15 cs.LG cs.SY eess.SY
Safe Reinforcement Learning for Grid Voltage Control
Pacific Northwest National Laboratory（太平洋西北国家实验室）
低压减载被认为是在紧急情况下恢复电网电压稳定的标准方法，然而该方案通常无效地切除大量负荷。强化学习（RL）被认为是一种很有前途的方法来解决这些问题，但RL方法通常不能保证系统的安全性。在本文中，我们讨论了一对夫妇的新的安全RL方法，即约束优化方法和基于障碍函数的方法，可以安全地恢复紧急事件下的电压。该方法具有通用性，可应用于其它安全关键控制问题。在39节点IEEE基准上进行了数值仿真，以验证所提出的安全RL紧急控制的有效性。
2021-12-02 cs.LG cs.SY eess.SY
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）；University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute for Artificial Intelligence（向量人工智能研究院）
在过去的五年中，控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾，重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括：通过学习不确定动态安全地提高性能的基于学习的控制方法，鼓励安全性或鲁棒性的强化学习方法，以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们，例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战，并强调需要现实的基于物理的基准，以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Safe Reinforcement Learning via Confidence-Based Filters
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
在将强化学习（RL）部署到现实世界系统时，确保安全性是一个至关重要的挑战。我们开发了基于置信度的安全过滤器，一种控制理论方法，用于验证通过标准RL技术学习的标称策略的状态安全约束，基于概率动力学模型。我们的方法是基于重新制定的状态约束的成本函数，减少安全验证的标准RL任务。通过利用幻觉输入的概念，我们扩展了这个公式，以确定一个“备份”的政策，是安全的未知系统的高概率。最后，标称策略在向备份策略推出期间的每个时间步骤被最小化地调整，使得可以在之后保证安全恢复。我们提供正式的安全保证，并以经验证明我们的方法的有效性。
2022-07-04 cs.AI cs.LG cs.SY
safe-control-gym: a Unified Benchmark Suite for Safe Learning-based Control and Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
近年来，强化学习和基于学习的控制-以及对它们的安全性的研究，这对于在现实世界的机器人中部署至关重要-都获得了巨大的吸引力。然而，为了充分衡量新结果的进展和适用性，我们需要工具来公平地比较控制和强化学习社区提出的方法。在这里，我们提出了一个新的开源基准套件，称为安全控制健身房，支持基于模型和基于数据的控制技术。我们提供了三个动态系统的实现-车杆，1D和2D四旋翼-和两个控制任务-稳定和轨迹跟踪。我们建议扩展OpenAI的Gym API -强化学习研究中的事实标准-（i）指定（和查询）符号动力学的能力和（ii）约束，以及（iii）（可重复）在控制输入，状态测量和惯性属性中注入模拟干扰。为了证明我们的建议，并试图使研究社区更紧密地联系在一起，我们展示了如何使用安全控制健身房定量比较控制性能，数据效率和安全性的多种方法从传统的控制，基于学习的控制，和强化学习的领域。
2022-07-26 cs.LG cs.RO cs.SY
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系）；School of Computing and Data Science, Xiamen University Malaysia（厦门大学马来西亚分校计算与数据科学学院）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法，通过逆动力学恢复控制策略，在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich（慕尼黑工业大学）；Stony Brook University（石溪大学）
虽然强化学习在许多应用中产生了非常有前途的结果，但其主要缺点是缺乏安全保证，这阻碍了其在安全关键系统中的使用。在这项工作中，我们解决这个问题的安全盾的非线性连续系统，解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影，并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析，使用多项式zonotopes，这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比，我们的安全防护罩可以有效地处理输入约束和动态障碍物，简化将空间机器人尺寸纳入安全约束，尽管有过程噪声和测量误差，但仍能保证鲁棒的安全性，并且非常适合高维系统，正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）
研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中，使用糖尿病管理作为测试平台，发现安全泛化差距并通过测试时屏蔽有效恢复安全性。
2026-05-24 cs.AI cs.LG cs.SY
Safe and Sample-efficient Reinforcement Learning for Clustered Dynamic Environments
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出一个安全且样本效率高的强化学习（RL）框架，以解决开发适用RL算法的两个主要挑战：满足安全约束和在有限样本下有效学习。为了保证在现实世界中的复杂环境中的安全性，我们使用安全集算法（SSA）来监视和修改标称控制，并评估SSA+RL在集群动态环境中，这是具有挑战性的解决现有的RL算法。然而，SSA+RL框架通常不是样本有效的，特别是在奖励稀疏环境中，这在以前的安全RL作品中没有得到解决。为了提高学习效率，我们提出了三种技术：（1）通过调整SSA来避免表现得过于保守;（2）使用具有安全约束的随机网络蒸馏来鼓励安全探索;（3）通过将SSA视为专家演示并直接从中学习来提高政策收敛性。实验结果表明，与其他安全RL方法相比，我们的框架在训练过程中可以实现更好的安全性能，并以更少的事件解决任务。项目网址：https://hychen-naza.github.io/projects/Safe_RL/。
2023-03-24 cs.LG cs.RO cs.SY
Safe Reinforcement Learning via Projection on a Safe Set: How to Achieve Optimality?
Norwegian University of Technology, NTNU（挪威科技大学）；IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
尽管强化学习（RL）取得了巨大的成功，但它仍然很难为学习策略的闭环行为提供正式的保证。除此之外，保证RL相对于安全关键系统的安全性是一个非常活跃的研究课题。最近的一些贡献建议依赖于学习策略提供的输入到安全集的预测，确保系统安全性永远不会受到危害。不幸的是，目前还不清楚是否可以在不中断学习过程的情况下执行此操作。本文探讨了这一问题。这个问题进行了分析的上下文中的$Q$ -学习和政策梯度技术。我们表明，投影方法通常是破坏性的背景下，$Q$ -学习虽然一个简单的替代方案解决了这个问题，而简单的校正可以使用的政策梯度方法的背景下，以确保政策梯度是公正的。所提出的结果扩展到安全的预测鲁棒MPC技术的基础上。
2020-04-02 cs.AI cs.LG cs.SY
Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of Science and Technology Beijing（北京科技大学）
安全的强化学习（RL）解决了约束满意的策略，为RL在机器人等现实世界问题中更广泛的安全关键应用提供了一种有前途的方法。在所有安全的RL方法中，基于模型的方法由于其高样本效率而进一步减少了训练时间违规。然而，缺乏对模型不确定性的安全鲁棒性仍然是安全的基于模型的强化学习中的一个问题，特别是在训练时间安全性方面。在本文中，我们提出了一个分布式的可达性证书（DRC）和Bellman方程，以解决模型的不确定性和鲁棒持久安全状态的特征。此外，我们建立了一个安全的RL框架，以解决DRC及其相应的屏蔽策略所需的约束。我们还设计了一个线搜索方法，以保持安全，同时达到更高的回报，同时利用盾牌政策。经典的基准测试，如约束跟踪和导航的综合实验表明，该算法实现了可比的回报，在训练过程中的约束违反少得多。
2022-10-14 cs.LG cs.RO cs.SY
DeepSafeMPC: Deep Learning-Based Model Predictive Control for Safe Multi-Agent Reinforcement Learning
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
针对多智能体强化学习中安全保障难、MPC因环境动力学复杂应用有限的问题，提出DeepSafeMPC方法，用集中式深度学习模型预测环境动力学，结合MARL寻优与MPC约束动作安全，在Safe Multi-agent MuJoCo上验证了有效性。
2024-03-12 cs.AI cs.LG cs.SY
Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: $\sqrt{T}$-Regret
Department of Statistics, Harvard University（哈佛大学统计系）
本文研究未知动态的一维线性系统安全约束强化学习问题，提出了首个实现$\tilde{O}_T(\sqrt{T})$遗憾的安全算法，并引入截断线性控制器基准，证明了其最优控制器的连续性及受约束时更快的非线性学习速率。
2025-04-25 cs.LG cs.SY eess.SY
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）；Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长，伴随着对其安全性和鲁棒性的日益关注。近年来，已经提出了各种方法来解决安全意识强化学习的挑战;然而，这些方法通常需要预先提供手工制作的环境模型，或者环境相对简单且低维。我们提出了一种新的方法，安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹，并避免那些被认为不安全的轨迹。我们的实验表明，这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
Computationally efficient safe exploration in reinforcement learning
Aalto University（阿尔托大学）
本文提出一种基于Nadaraya-Watson估计器的计算高效安全探索算法CoLSafe-MDP，用于约束马尔可夫决策过程，相比高斯过程方法大幅降低计算成本，并在网格环境和火星地形数据上验证了性能。
2026-09-22 cs.LG cs.RO cs.SY
Safety Verification of Model Based Reinforcement Learning Controllers
School of Aeronautics and Astronautics（航空航天学院）；Purdue University（普渡大学）
基于模型的强化学习（RL）已经成为开发用于现实世界系统的控制器的有前途的工具（例如，机器人、自动驾驶等）。然而，实际系统往往有约束强加在他们的状态空间，必须满足，以确保系统及其环境的安全。为RL算法开发验证工具是具有挑战性的，因为神经网络的非线性结构阻碍了对此类模型或控制器的分析验证。为此，我们提出了一种新的基于模型的RL控制器使用可达集分析的安全验证框架。所提出的框架可以有效地处理使用神经网络表示的模型和控制器。此外，如果控制器不能满足一般的安全约束，所提出的框架也可以用来识别的初始状态的子集，从该控制器可以安全地执行。
2020-10-21 cs.LG cs.RO cs.SY
Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks
University of Washington（华盛顿大学）
本文的重点是寻找强化学习政策的控制系统的硬状态和行动的约束。尽管强化学习在许多领域取得了成功，但它在应用于具有硬约束的问题时仍具有挑战性，特别是在状态变量和动作都受到约束的情况下。以前的工作，寻求确保约束满足，或安全性，集中在增加一个投影步骤，学习的政策。然而，这种方法需要在每个策略执行步骤中解决优化问题，这可能导致显著的计算成本。为了解决这个问题，本文提出了一种新的方法，称为顶点网络（VNs），保证在探索过程中的安全性和学习控制策略，将安全约束的政策网络架构。利用凸集内所有点都可以表示为顶点的凸组合的几何性质，该算法首先学习凸组合权重，然后使用这些权重以及预先计算的顶点来输出动作。通过结构保证输出动作安全。数值算例表明，所提出的VN算法优于香草强化学习在各种基准控制任务。
2020-03-20 cs.LG cs.SY eess.SY
Approximate Model-Based Shielding for Safe Reinforcement Learning
Imperial College London（帝国理工学院）
针对强化学习应用于安全关键系统时样本效率低、无最坏性能保障的问题，提出无需系统安全动力学先验的近似基于模型屏蔽算法AMBS，有理论支撑且在带状态依赖安全标签的Atari游戏上性能优于其他安全方法。
2023-07-27 cs.AI cs.LG cs.SY
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA（宾夕法尼亚大学GRASP实验室）；Department of Computer and Information Science, University of Pennsylvania, USA（宾夕法尼亚大学计算机与信息科学系（注：根据机构粒度要求，这里提取到大学级别，即“宾夕法尼亚大学”，但原文明确写了具体部门，所以保留原文部门名+大学的组合））
本文提出了一个安全的强化学习框架，可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的，并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性，例如，在一个模拟的环境中。我们基于模型预测屏蔽（MPS）的思想，其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道，利用统计学习理论的思想来获得高概率的保证。我们的经验表明，我们的方法可以确保安全的随机系统，包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal（蒙特利尔理工学院）
本文综述了安全强化学习中控制障碍函数的应用，并探讨了自动学习控制障碍函数的数据驱动方法，以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Princeton University（普林斯顿大学）
针对竞争性任务中机器人策略易被利用的问题，提出S2C两阶段框架，分离安全综合与任务学习，通过对抗性RL学习安全过滤器，在模拟和硬件测试中优于八个基线，实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Safe Reinforcement Learning Using Robust Control Barrier Functions
Georgia Institute of Technology（佐治亚理工学院）；University of Waterloo（滑铁卢大学）；Outrider（Outrider公司）；University of California, Irvine（加州大学欧文分校）
强化学习（RL）已被证明在许多情况下是有效的。然而，它通常需要探索足够大数量的状态-动作对，其中一些可能是不安全的。因此，将其应用于安全关键系统仍然是一个挑战。一种越来越常见的解决安全性的方法涉及添加一个安全层，该安全层将RL操作投影到一组安全的操作上。反过来，这种框架的难点是如何有效地将RL与安全层耦合以提高学习性能。在本文中，我们将安全性框架作为基于模型的RL框架中的可微鲁棒控制障碍功能层。此外，我们还提出了一种方法来模块化学习的基本奖励驱动的任务，独立的安全约束。我们证明了这种方法既确保了安全性，又有效地指导了一系列实验中训练过程中的探索，包括以模块化方式学习奖励时的zero-shot转移。
2022-06-22 cs.AI cs.LG cs.RO
Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
当我们在现实世界中部署强化学习算法时，训练时间安全违规一直是一个主要问题。本文探讨了在具有挑战性的环境中零训练时间安全违规的安全RL算法的可能性，在这种环境中，我们只得到一个安全但微不足道的初始策略，而没有任何动力学模型和额外离线数据的先验知识。我们提出了一种算法，共同训练的屏障证书安全RL（CRABS），迭代学习屏障证书，动态模型和政策。通过对抗训练学习的屏障证书确保了策略的安全性，假设校准的学习动力学模型。我们还添加了一个正则化项，以鼓励更大的认证区域进行更好的探索。经验模拟表明，零安全违规已经具有挑战性的一套简单的环境，只有2-4维的状态空间，特别是如果高回报的政策必须访问安全边界附近的区域。以前的方法需要数百次违规才能在这些任务上获得体面的奖励，而我们提出的算法则不会产生违规行为。
2022-03-11 cs.AI cs.LG cs.RO
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model
University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）
针对安全强化学习早期数据不足导致约束近似难的问题，提出基于降阶马尔可夫决策过程的GenSafe安全增强层，可在保证任务性能的同时提升学习早期安全性，且兼容多种SRL算法。
2025-01-14 cs.AI cs.LG cs.RO
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-11-09 cs.LG
Evaluating Reinforcement Learning Safety and Trustworthiness in Cyber-Physical Systems
University of Notre Dame（圣母大学）
针对CPS中RL组件安全案例构建困难的问题，本文提出SAFE-RL框架，采用设计科学方法支持基于RL的CPS开发、验证与安全部署，并在sUAS的三个RL应用中验证其有效性。
2025-03-12 cs.LG cs.SE
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
使用深度生成模型从离线演示中提取策略原语的方法在加速新任务的强化学习（RL）方面表现出了希望。直观地说，这些方法也应该有助于训练安全RL代理，因为它们强制使用有用的技能。然而，我们发现这些技术并不适合安全的策略学习，因为它们忽略了负面经验（例如，不安全或不成功），只关注积极的经验，这会损害他们安全地概括新任务的能力。相反，我们使用来自许多任务的演示的离线数据集上的原则性对比训练来建模latentsafetycontext，包括消极和积极的经验。使用这个后期变量，我们的RL框架，SAFEty skill pRiors（SAFER）提取特定于任务的安全原始技能，以安全并成功地推广到新任务。在推理阶段，使用SAFER训练的策略学习将安全技能组合到成功的策略中。我们从理论上描述了为什么SAFER可以执行安全的策略学习，并证明了它的有效性在几个复杂的安全关键的机器人抓取任务的启发游戏操作，其中SAFER优于国家的最先进的原始学习方法的成功和安全。
2022-06-30 cs.LG
A Safe Reinforcement Learning Architecture for Antenna Tilt Optimisation
LM Ericsson（爱立信）；Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
与环境的安全交互是强化学习（RL）应用于现实世界问题时最具挑战性的方面之一。当不安全的行动对环境造成严重或不可逆转的负面影响时，这一点尤其重要。在网络管理操作的上下文中，远程电气干扰（RET）优化是安全关键型应用，其中基站的天线倾斜角度的探索性修改可能导致网络中的显著性能下降。在本文中，我们提出了一个模块化的安全强化学习（SRL）架构，然后用于解决蜂窝网络中的RET优化。在这种方法中，安全防护罩不断地将RL代理的性能与安全基线进行基准测试，并确定要在网络上执行的安全天线倾斜更新。我们的研究结果表明，SRL代理的性能比基线有所改善，同时确保了所执行操作的安全性。
2021-10-20 cs.LG
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Safe Reinforcement Learning by Imagining the Near Future
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
安全强化学习是将强化学习算法应用于现实世界问题的一条有前途的道路，其中次优行为可能导致实际的负面后果。在这项工作中，我们专注于设置不安全的状态，可以通过提前规划到未来很短的时间来避免。在这种情况下，具有足够准确模型的基于模型的代理可以避免不安全状态。我们设计了一个基于模型的算法，严重惩罚不安全的轨迹，并得到保证，我们的算法可以避免在某些假设下的不安全状态。实验表明，我们的算法可以在几个连续的控制任务，以较少的安全违规，实现竞争性的回报。
2022-02-15 cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Trustworthy Reinforcement Learning Against Intrinsic Vulnerabilities: Robustness, Safety, and Generalizability
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
一个值得信赖的强化学习算法应该能够解决具有挑战性的现实问题，包括{鲁棒}处理不确定性，满足{安全}约束以避免灾难性故障，以及{推广}部署期间看不见的场景。本研究的目的是综述这些主要观点的可信强化学习考虑其内在的脆弱性，鲁棒性，安全性和泛化能力。特别是，我们给出了严格的配方，分类相应的方法，并讨论每个角度的基准。此外，我们提供了一个展望部分，以刺激有前途的未来方向，并简要讨论考虑人类反馈的外在脆弱性。我们希望这项调查能够将不同的研究线索汇集在一个统一的框架中，并促进强化学习的可信度。
2022-09-16 cs.LG
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）
本文提出一种基于容许性的新框架，通过将安全性自然融入容许性机制来构建盾牌，从而在消除非最优动作提升训练效率的同时保障安全，有效解决了传统强化学习盾牌方法学习延迟高或依赖预计算的问题。
2024-05-29 cs.LG
A Unified Bellman Operator for Safety-Critical Reinforcement Learning
Princeton University（普林斯顿大学）
本研究提出统一贝尔曼算子，将安全关键强化学习的性能与安全目标整合，经理论证明收敛，在连续控制任务上实现近零安全违规的稳定收敛。
2026-10-09 cs.LG
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University（麦克马斯特大学）
研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。
2026-07-27 cs.LG
Safe In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学）
提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。
2026-07-27 cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
