Learning over Forward-Invariant Policy Classes: Reinforcement Learning without Safety Concerns
本文提出了一种基于前向不变性诱导的动作空间设计的安全强化学习框架，通过构造有限可接受动作集，确保策略安全性和性能优化分离，验证了在四旋翼飞行器悬停调节中的有效性。
2026-04-09 cs.SY eess.SY
Robust Predictive Output-Feedback Safety Filter for Uncertain Nonlinear Control Systems
在现实世界的应用中，我们经常需要可靠的决策下动态不确定性使用嘈杂的高维传感器数据。最近，我们已经看到越来越多的基于学习的控制算法，以解决动态不确定性下的决策的挑战。这些算法通常对潜在的未知动态做出假设，因此可以提供安全保证。这对于其他广泛使用的基于学习的决策算法（如强化学习）更具挑战性。此外，大多数现有的方法假设访问状态测量，这在实践中可能是限制性的。在本文中，安全滤波器和鲁棒输出反馈控制的文献的启发，我们提出了一个鲁棒预测输出反馈安全滤波器（RPOF-SF）框架，提供安全认证的任意控制器应用于不确定的非线性控制系统。建议的RPOF-SF结合了一个鲁棒稳定的观测器，估计系统状态从嘈杂的测量数据和一个预测的安全过滤器，使任意的控制器安全（可能）最小限度地修改控制器的输入，以保证安全。我们在理论上表明，建议的RPOF-SF保证约束的满意度，尽管施加到系统的干扰。我们证明了所提出的RPOF-SF算法使用不确定的质量弹簧阻尼器系统的有效性。
2022-12-17 cs.SY eess.SY
Safety-Critical Reinforcement Learning with Viability-Based Action Shielding for Hypersonic Longitudinal Flight
The University of Arizona（亚利桑那大学）
本文提出一种基于可行性行动防护的安全关键强化学习框架，用于高超音速纵向飞行，通过安全区域划分和模式依赖奖励实现安全控制与恢复。
2026-02-03 cs.SY eess.SY
Deep Reinforcement Learning with Enhanced Safety for Autonomous Highway Driving
West Virginia University（西弗吉尼亚大学）；Ford Greenfield Labs（福特Greenfield实验室）；University of Michigan（密歇根大学）；Ford Research and Innovation Center（福特研究与创新中心）
在本文中，我们提出了一个用于自动驾驶的安全深度强化学习系统。建议的框架利用基于规则和基于学习的安全保证方法的优点。我们的安全系统由两个模块组成，即手工安全模块和动态学习安全模块。手工安全模块是基于常见驾驶实践的启发式安全规则，其确保与交通车辆的最小相对间隙。另一方面，动态学习安全模块是从驾驶数据学习安全模式的数据驱动安全规则。具体而言，动态学习安全模块结合了一个超越强化学习即时奖励的模型前瞻，以预测未来更长时间的安全性。如果其中一个未来状态导致接近或碰撞，则将向奖励函数分配负奖励以避免碰撞并加速学习过程。我们证明了所提出的框架在不同的交通密度的模拟环境中的能力。我们的研究结果表明，卓越的能力的政策增强了动态学习的安全模块。
2020-04-23 cs.RO cs.SY eess.SY
Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages
University of Surrey（萨里大学）
神经网络和强化学习的使用在自主车辆控制中变得越来越流行。然而，由此产生的控制策略的不透明性对在自主车辆中部署基于神经网络的控制提出了重大障碍。在本文中，我们提出了一种基于强化学习的方法，自主车辆纵向控制，其中基于规则的安全笼提供增强的安全性的车辆以及弱监督的强化学习代理。通过将代理引导到有意义的状态和动作，这种弱监督改善了训练过程中的收敛性，并增强了最终训练策略的安全性。这种基于规则的监督控制器具有完全可解释的进一步优势，从而使传统的验证和验证方法能够确保车辆的安全性。我们比较了有和没有安全笼的模型，以及具有最佳和约束模型参数的模型，并表明弱监督始终提高了探索的安全性，收敛速度和模型性能。此外，我们表明，当模型参数受到约束或次优时，安全笼可以使模型学习安全驾驶策略，即使模型无法单独通过强化学习进行训练。
2021-03-17 cs.LG cs.SY eess.SY
Output Feedback Backup Control Barrier Functions: Safety Guarantees Under Input Bounds and State Estimation Error
California Institute of Technology（加州理工学院）；Wichita State University（威奇托州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Texas A&M University（德克萨斯农工大学）
本文提出输出反馈备份控制屏障函数，以应对状态估计误差和输入限制下的安全问题，证明了在存在状态不确定性时，总存在可行控制输入保证真实状态安全。
2026-04-21 cs.SY eess.SY
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（Deep Reinforcement Learning，DRL）在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而，安全性和稳定性仍然是主要的问题，阻碍了日间行车灯的应用，安全关键的自治系统。为了解决这些问题，我们提出了Phy-DRL：一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的：i）类似于Lyapunov的奖励，以及ii）剩余控制（即，基于物理模型控制和数据驱动控制的集成）。并发的物理奖励和剩余控制赋予Phy-DRL（数学上）可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验，验证了Phy-DRL在保证安全性和稳定性的同时，具有较强的鲁棒性，并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Safety Filtering for Reinforcement Learning-based Adaptive Cruise Control
基于强化学习（RL）的自适应巡航控制系统（ACC）学习并适应道路、交通和车辆状况，对于提高车辆能量效率和交通流量具有吸引力。然而，RL在安全关键系统（如ACC）中的应用需要强有力的安全保证，这是很难实现的学习代理，有一个基本的需要探索。在本文中，我们推导出控制障碍函数作为安全过滤器，允许基于RL的ACC控制器在碰撞安全集内自由探索。具体而言，我们推导出控制障碍函数的高相对度非线性系统考虑到惯性效应有关的商用车。我们还概述了一个算法，用于容纳驱动饱和与这些障碍函数。虽然任何RL算法都可以用作性能ACC控制器与这些过滤器，我们实现了最大后验策略优化（MPO）算法与混合行动空间，学习燃料最佳档位选择和扭矩控制策略。安全过滤RL方法与仅在充分训练后学习以避免冲突的奖励整形RL方法形成对比。在不同的驱动周期的评价表明，所提出的方法相比，基线ACC算法的燃油经济性显着改善。
2023-01-02 cs.SY eess.SY
Reinforcement Learning for Distributed Transient Frequency Control with Stability and Safety Guarantees
本文提出基于强化学习的分布式暂态频率控制方法，结合Lyapunov稳定性与安全关键控制推导充分条件，并通过分布式动态预算分配降低保守性，在IEEE 39节点系统上验证了稳定性、安全性及最优性的提升。
2024-01-06 cs.SY eess.SY math.OC
Safe Controller for Output Feedback Linear Systems using Model-Based Reinforcement Learning
本研究的目的是使安全关键系统，同时学习和执行最优控制策略，以安全的方式实现复杂的自治。通过试验和错误学习最佳策略，即，传统的强化学习难以在安全关键系统中实现，特别是当任务重启不可用时。最近开发了基于屏障变换的安全的基于模型的强化学习技术来解决这个问题。然而，这些方法依赖于完整的状态反馈，限制了它们在现实世界环境中的可用性。在这项工作中，一个输出反馈安全的基于模型的强化学习技术的基础上，一种新的障碍感知动态状态估计器已被设计来解决这个问题。所开发的方法有利于同时学习和执行的安全关键线性系统的安全控制策略。仿真结果表明，屏障变换是一种有效的方法来实现在线强化学习的安全关键系统使用输出反馈。
2022-04-04 cs.SY eess.SY
Safety Verification of Output Feedback Controllers for Nonlinear Systems
Department of Computer Science, University of Oxford（牛津大学计算机科学系）
本文针对可线性化非线性系统，利用高增益观测器设计安全控制器，通过推导轨迹距离界证明其收敛性，并构造最大安全不变集以保证安全性。
2016-03-21 cs.SY eess.SY math.OC
Enforcing Cooperative Safety for Reinforcement Learning-based Mixed-Autonomy Platoon Control
针对混合自主队列控制中MARL缺乏理论安全保证、未探索协同安全及假设不切实际的问题，提出一种集成协同CBF、可微QP层和保形预测模块的安全MARL框架，有效提升了系统级安全性。
2024-11-15 cs.SY eess.SY
Finite- and Fixed-Time Nonovershooting Stabilizers and Safety Filters by Homogeneous Feedback
非超调稳定是一种安全控制形式，其中用户选择的设定点位于安全设置的边界处。指数非超调稳定，包括适当的扩展系统的确定性和随机干扰，已经解决了第二作者和他的合著者。在本文中，我们为输入-输出可线性化的非线性系统的固定时间无超调镇定设计了齐次反馈律，对于与积分器链同形等价的系统。这些齐次反馈定律也可以承担“固定时间安全过滤器”的次要作用。（FxTSf滤波器），其将系统始终保持在封闭的安全设置内，但是在用户的标称控制命令接近不安全设置的情况下，允许所述系统不迟于独立于标称控制且独立于所述状态的值的期望时间达到所述安全设置的边界在标称控制开始被超驰时。
2022-02-15 cs.SY eess.SY
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一，提供了一种理论严谨且实用的离线安全强化学习框架，以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Safety Verification of Neural Feedback Systems Based on Constrained Zonotopes
人工神经网络近来已被用于许多反馈控制系统中，并引入了关于此类系统的安全性的新挑战。利用约束带域方法研究了以前馈神经网络作为反馈控制器的动力系统的安全性验证问题。提出了一种新的基于集合的方法来计算线性模型的神经反馈系统的精确可达集和过逼近可达集，并给出了基于线性规划的充分条件来验证这种系统的轨迹是否能避开以约束区域表示的不安全区域.所得结果也推广到具有非线性模型的神经反馈系统。通过两个数值算例证明了该方法的计算效率和精度，并与现有方法进行了比较。
2022-10-10 cs.SY eess.SY math.OC
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）；Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长，伴随着对其安全性和鲁棒性的日益关注。近年来，已经提出了各种方法来解决安全意识强化学习的挑战;然而，这些方法通常需要预先提供手工制作的环境模型，或者环境相对简单且低维。我们提出了一种新的方法，安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹，并避免那些被认为不安全的轨迹。我们的实验表明，这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
GENESIS-RL: GEnerating Natural Edge-cases with Systematic Integration of Safety considerations and Reinforcement Learning
Iowa State University（爱荷华州立大学）；University of Tennessee（田纳西大学）
GENESIS-RL框架结合系统级安全考量与强化学习，系统生成自然边缘案例，以严格测试自主系统安全可靠性，并在高保真模拟器中验证其有效性。
2024-09-19 cs.RO cs.SY eess.SY
Safety Control of Uncertain MIMO Systems Using Dynamic Output Feedback Barrier Pairs
本文针对不确定MIMO系统在部分状态信息下的安全控制问题，提出结合向量范数障碍函数与动态输出反馈控制器的方法，并设计障碍函数估计器提供鲁棒上界，在紧输入约束下优于现有方法。
2024-09-30 cs.SY eess.SY math.OC
DODGER: Safety-Guided Reinforcement Learning for Robot Navigation Among Dynamic Obstacles
Yonsei University（延世大学）；Seoul National University（首尔大学）；University of Michigan（密歇根大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
提出DODGER安全引导强化学习框架，直接执行策略动作并利用CBF过滤参考和约束违反塑造避碰行为，在仿真和真实人形实验中实现无运行时安全过滤器的动态障碍物导航。
2026-10-06 cs.RO cs.SY eess.SY
Barrier Pairs for Safety Control of Uncertain Output Feedback Systems
针对部分状态信息下不确定单输入单输出系统的安全控制问题，提出同时构建障碍函数与动态输出反馈安全控制器的方法，并设计基于标识符的估计器与故障检测器以保障系统安全。
2023-08-01 cs.SY eess.SY math.OC
Safety-Constrained Reinforcement Learning for MDPs
RWTH Aachen University（亚琛工业大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出安全约束的强化学习方法，用于处理不确定环境中的控制器合成问题，通过迭代学习生成安全且最优的策略，讨论了启发式方法以提高可扩展性。
2015-10-20 cs.SE cs.SY eess.SY
Hamilton-Jacobi Reachability-Based Safe Reinforcement Learning for Emergency Collision Avoidance
Tsinghua University（清华大学）；Jilin University（吉林大学）
提出一种基于Hamilton-Jacobi可达性运动安全集的安全强化学习框架，通过离线数据近似安全集并嵌入约束马尔可夫决策过程，实现紧急避撞中的前瞻性安全监督与策略优化。
2026-06-16 cs.RO cs.SY eess.SY
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich（慕尼黑工业大学）；Stony Brook University（石溪大学）
虽然强化学习在许多应用中产生了非常有前途的结果，但其主要缺点是缺乏安全保证，这阻碍了其在安全关键系统中的使用。在这项工作中，我们解决这个问题的安全盾的非线性连续系统，解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影，并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析，使用多项式zonotopes，这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比，我们的安全防护罩可以有效地处理输入约束和动态障碍物，简化将空间机器人尺寸纳入安全约束，尽管有过程噪声和测量误差，但仍能保证鲁棒的安全性，并且非常适合高维系统，正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Safety Verification of Model Based Reinforcement Learning Controllers
School of Aeronautics and Astronautics（航空航天学院）；Purdue University（普渡大学）
基于模型的强化学习（RL）已经成为开发用于现实世界系统的控制器的有前途的工具（例如，机器人、自动驾驶等）。然而，实际系统往往有约束强加在他们的状态空间，必须满足，以确保系统及其环境的安全。为RL算法开发验证工具是具有挑战性的，因为神经网络的非线性结构阻碍了对此类模型或控制器的分析验证。为此，我们提出了一种新的基于模型的RL控制器使用可达集分析的安全验证框架。所提出的框架可以有效地处理使用神经网络表示的模型和控制器。此外，如果控制器不能满足一般的安全约束，所提出的框架也可以用来识别的初始状态的子集，从该控制器可以安全地执行。
2020-10-21 cs.LG cs.RO cs.SY
PB-OEL: A Performance-Bounded Online Ensemble Learning Framework With Mixed Feedback for Real-Time Safety Assessment
Department of Automation（自动化系）；Institute for Embodied Intelligence and Robotics（具身智能与机器人研究院）；Tsinghua University（清华大学）；China Ship Research and Development Academy（中国船舶研究发展academy）
针对实时安全评估中混合反馈及概念漂移问题，现有方法性能无保证，本文提出PB-OEL框架。通过建立理论框架和引入惩罚更新策略，在蛟龙载人潜水器数据集实验中展现强大预测性能，优于现有方法。
2026-07-09 cs.LG cs.SY eess.SY
Safe Model-Based Reinforcement Learning for Systems with Parametric Uncertainties
强化学习在过去的十年中已经被建立为一种有效的工具，以找到最优的控制策略的动力系统，最近的重点是在学习和/或执行阶段，保证安全的方法。一般来说，当系统是安全关键的和/或任务重启实际上不可行时，安全保证在强化学习中是至关重要的。在最优控制理论中，安全要求通常用状态和/或控制约束来表示。近年来，依赖于持续激励的强化学习方法已经与障碍变换相结合，以学习状态约束下的最优控制策略。为了软化激励要求，依赖于精确模型知识的基于模型的强化学习方法也与屏障转换框架相集成。针对确定性非线性系统，在模型中存在参数不确定性的情况下，提出一种安全的强化学习方法，在不依赖严格激励条件的情况下学习近似约束最优策略。为此，基于模型的强化学习技术，利用一种新的过滤并发学习方法，随着屏障变换，本文开发的实现同时学习未知的模型参数和近似最优的状态约束控制策略的安全关键系统。
2021-10-05 cs.SY eess.SY math.OC
Safety Filtering While Training: Improving the Performance and Sample Efficiency of Reinforcement Learning Agents
University of Toronto（多伦多大学）；University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Technical University of Munich（慕尼黑工业大学）；Munich Institute for Robotics and Machine Intelligence（慕尼黑机器人与机器智能研究所）
本文提出在训练阶段结合安全过滤器以提升强化学习控制器性能与样本效率，通过Crazyflie 2.0无人机的仿真与真实实验分析了训练修改和超参数对各项指标的影响。
2024-11-25 cs.LG cs.RO cs.SY
Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning
West Virginia University（西弗吉尼亚大学）；Rochester Institute of Technology（罗切斯特理工学院）
提出一种并发学习方法，在强化学习中同时学习安全控制策略和识别未知安全约束参数，通过双层优化结合TD3拉格朗日变体与贝叶斯优化，实验证明其能准确识别约束并学习高回报的安全策略。
2024-03-24 cs.LG cs.SY eess.SY
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Princeton University（普林斯顿大学）
针对竞争性任务中机器人策略易被利用的问题，提出S2C两阶段框架，分离安全综合与任务学习，通过对抗性RL学习安全过滤器，在模拟和硬件测试中优于八个基线，实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Enforcing safety for vision-based controllers via Control Barrier Functions and Neural Radiance Fields
Tsinghua University（清华大学）；MIT（麻省理工学院）
为了在复杂的环境中导航，机器人必须越来越多地使用高维视觉反馈（例如图像）进行控制。然而，依赖于高维图像数据来做出控制决策提出了重要的问题;特别是，我们如何证明视觉反馈控制器的安全性？控制障碍函数（CBF）是验证反馈控制器在状态反馈设置中的安全性的有力工具，但是CBF传统上不太适合于视觉反馈控制，这是由于需要预测未来的观测以评估障碍函数。在这项工作中，我们利用神经辐射场（NeRFs）的最新进展来解决这个问题，NeRFs学习3D场景的隐式表示，并可以从以前看不见的相机视角渲染图像，为基于CBF的控制器提供单步视觉预见。这种新颖的组合能够过滤掉不安全的行为，并进行干预以保护安全。我们展示了我们的控制器在实时仿真实验中的效果，它成功地防止机器人采取危险的行动。
2023-02-28 cs.RO cs.SY eess.SY
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）
研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中，使用糖尿病管理作为测试平台，发现安全泛化差距并通过测试时屏蔽有效恢复安全性。
2026-05-24 cs.AI cs.LG cs.SY
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Safe Meta-Reinforcement Learning via Information Space Reachability
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种安全元强化学习框架，通过在信息空间中推理安全性并学习安全值函数，实现适应过程中的安全过滤与约束策略优化，实验验证了其有效性。
2026-09-15 cs.LG cs.SY eess.SY
Constructive Safety-Critical Control: Synthesizing Control Barrier Functions for Partially Feedback Linearizable Systems
California Institute of Technology（加州理工学院）
本文建立部分反馈线性化与 CBF 综合的联系，证明输入-输出线性化系统可将输出安全约束扩展为全阶 CBF，并在四旋翼仿真与硬件中验证。
2024-06-04 cs.RO cs.SY eess.SY
Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions
UC Berkeley（加州大学伯克利分校）
在本文中，安全关键控制中的模型不确定性的问题是解决与数据驱动的方法。为此，我们利用输入-输出线性化控制器的结构的基础上的标称模型以及控制障碍函数和控制李雅普诺夫函数基于二次规划（CBF-CLF-QP）。具体来说，我们提出了一种新的强化学习框架，学习模型的不确定性存在于CBF和CLF约束，以及其他控制仿射动态约束的二次规划。将训练后的策略与基于名义模型的CBF-CLF-QP相结合，得到基于强化学习的CBF-CLF-QP（RL-CBF-CLF-QP），解决了安全约束中的模型不确定性问题。通过在一个欠驱动非线性双足机器人上的实验，验证了该方法的有效性，在模型不确定的情况下，该机器人在具有一步预瞄的随机间隔踏脚石上行走，获得了稳定和安全的行走。
2020-06-04 cs.LG cs.RO cs.SY
Safe Reinforcement Learning via Confidence-Based Filters
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
在将强化学习（RL）部署到现实世界系统时，确保安全性是一个至关重要的挑战。我们开发了基于置信度的安全过滤器，一种控制理论方法，用于验证通过标准RL技术学习的标称策略的状态安全约束，基于概率动力学模型。我们的方法是基于重新制定的状态约束的成本函数，减少安全验证的标准RL任务。通过利用幻觉输入的概念，我们扩展了这个公式，以确定一个“备份”的政策，是安全的未知系统的高概率。最后，标称策略在向备份策略推出期间的每个时间步骤被最小化地调整，使得可以在之后保证安全恢复。我们提供正式的安全保证，并以经验证明我们的方法的有效性。
2022-07-04 cs.AI cs.LG cs.SY
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University（首尔国立大学）
机器人和自主系统中的新兴应用，如自动驾驶和机器人手术，通常涉及关键的安全约束，即使有关系统模型的信息有限，也必须满足这些约束。在这方面，我们提出了一个无模型的安全规范方法，学习安全操作的最大概率，通过仔细结合概率可达性分析和安全强化学习（RL）。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是，它产生了一系列的安全策略，确定安全操作的范围，称为安全集，单调扩展，并逐渐收敛。我们还开发了一个有效的安全的探索计划，加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽，我们的方法调节的探索性政策，以避免危险状态的高置信度。为了处理高维系统，我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL，以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明，通过连续控制基准问题，如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Runtime Safety Assurance Using Reinforcement Learning
Stanford University（斯坦福大学）；GE Research（通用电气研究）
非血统自动驾驶仪的适航性和安全性必须得到验证，但正式这样做的成本可能令人望而却步。我们可以通过将安全性保证（RTSA）作为确保安全性的机制来绕过非血统组件的形式化验证。RTSA由一个元控制器组成，它观察非血统组件的输入和输出，并在系统运行时验证正式指定的行为。当系统被触发时，部署经验证的恢复控制器。恢复控制器的设计是安全的，但很可能破坏系统的操作目标，因此RTSA系统必须平衡安全和效率。本文的目的是设计一个元控制器，能够识别不安全的情况下，具有较高的准确性。高维和非线性动态，其中现代控制器部署随着黑盒子性质的名义控制器，使这是一个困难的问题。目前的方法在很大程度上依赖于领域专业知识和人类工程。我们用马尔可夫决策过程（MDP）框架设计RTSA，并使用强化学习（RL）来解决它。我们学习的元控制器在我们的实验中始终表现出优于我们的基线，人类工程方法。
2020-10-20 cs.AI cs.LG cs.SY
Safety and Liveness Guarantees through Reach-Avoid Reinforcement Learning
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）
到达-避免最优控制问题是自主机器人系统的安全性和活性保证的核心问题，在该问题中，系统必须达到特定的目标条件，同时避免不可接受的故障模式，但其精确解对于复杂的动力学和环境是难以处理的。最近成功的强化学习方法近似解决最优控制问题的性能目标，使其应用程序的认证问题的吸引力，然而，拉格朗日型目标中使用的强化学习是不适合编码时序逻辑的要求。最近的工作已经显示出将强化学习机制扩展到安全型问题的希望，其目标不是总和，而是随着时间的推移的最小值（或最大值）。在这项工作中，我们推广的强化学习制定处理所有最优控制问题的达到避免类别。我们推导出一个时间折扣的到达-避免Bellman备份与压缩映射的属性，并证明所得到的到达-避免Q-学习算法收敛在类似的条件下，传统的拉格朗日型问题，产生一个任意紧的保守逼近的到达-避免集。我们进一步展示了这种配方与深度强化学习方法的使用，通过将近似解视为模型预测监督控制框架中的不可信预言来保持零违规保证。我们评估我们提出的框架上的一系列非线性系统，验证分析和数值解的结果，并通过Monte Carlo模拟在以前棘手的问题。我们的研究结果为一系列基于学习的方法打开了大门，这些方法用于安全和生活的自主行为，并应用于机器人和自动化。有关代码和补充材料，请参见https://github.com/SafeRoboticsLab/safety_rl。
2021-12-23 cs.LG cs.RO cs.SY
Tutoring Reinforcement Learning via Feedback Control
University of Salerno（萨勒诺大学）
我们介绍了一个控制辅导强化学习（CTRL）算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程，可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准，数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
Approximate Model-Based Shielding for Safe Reinforcement Learning
Imperial College London（帝国理工学院）
针对强化学习应用于安全关键系统时样本效率低、无最坏性能保障的问题，提出无需系统安全动力学先验的近似基于模型屏蔽算法AMBS，有理论支撑且在带状态依赖安全标签的Atari游戏上性能优于其他安全方法。
2023-07-27 cs.AI cs.LG cs.SY
Searching for Optimal Runtime Assurance via Reachability and Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rational CyPhy Inc.（理性赛博物理公司）；Air Force Research Laboratory（美国空军研究实验室）
针对现有运行时保证系统（RTA）设计保守或存安全隐患的问题，提出基于奖励塑形与强化学习的最优RTA设计方法，可在保障安全的同时提升实验性控制器利用率。
2023-10-06 cs.AI cs.FL cs.SY
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系）；School of Computing and Data Science, Xiamen University Malaysia（厦门大学马来西亚分校计算与数据科学学院）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法，通过逆动力学恢复控制策略，在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
Safe Reinforcement Learning Using Robust Control Barrier Functions
Georgia Institute of Technology（佐治亚理工学院）；University of Waterloo（滑铁卢大学）；Outrider（Outrider公司）；University of California, Irvine（加州大学欧文分校）
强化学习（RL）已被证明在许多情况下是有效的。然而，它通常需要探索足够大数量的状态-动作对，其中一些可能是不安全的。因此，将其应用于安全关键系统仍然是一个挑战。一种越来越常见的解决安全性的方法涉及添加一个安全层，该安全层将RL操作投影到一组安全的操作上。反过来，这种框架的难点是如何有效地将RL与安全层耦合以提高学习性能。在本文中，我们将安全性框架作为基于模型的RL框架中的可微鲁棒控制障碍功能层。此外，我们还提出了一种方法来模块化学习的基本奖励驱动的任务，独立的安全约束。我们证明了这种方法既确保了安全性，又有效地指导了一系列实验中训练过程中的探索，包括以模块化方式学习奖励时的zero-shot转移。
2022-06-22 cs.AI cs.LG cs.RO
Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: $\sqrt{T}$-Regret
Department of Statistics, Harvard University（哈佛大学统计系）
本文研究未知动态的一维线性系统安全约束强化学习问题，提出了首个实现$\tilde{O}_T(\sqrt{T})$遗憾的安全算法，并引入截断线性控制器基准，证明了其最优控制器的连续性及受约束时更快的非线性学习速率。
2025-04-25 cs.LG cs.SY eess.SY
GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model
University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）
针对安全强化学习早期数据不足导致约束近似难的问题，提出基于降阶马尔可夫决策过程的GenSafe安全增强层，可在保证任务性能的同时提升学习早期安全性，且兼容多种SRL算法。
2025-01-14 cs.AI cs.LG cs.RO
SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving
National Natural Science Foundation (NNSF) of China（中国国家自然科学基金委员会）；National Science and Major Project（国家科学技术重大专项）
提出SARAD框架，结合大语言模型和深度强化学习，通过检索增强生成和碰撞预测模块提升自动驾驶的安全性和效率。
2026-05-27 cs.AI cs.LG cs.RO
Bridging Model-based Safety and Model-free Reinforcement Learning through System Identification of Low Dimensional Linear Models
University of California, Berkeley（加州大学伯克利分校）
桥接基于模型的安全性和无模型强化学习（RL）的动态机器人是有吸引力的，因为基于模型的方法能够提供正式的安全保证，而基于RL的方法能够利用机器人的敏捷性，从全阶系统动力学的学习。然而，目前解决这个问题的方法大多局限于简单的系统。在本文中，我们提出了一种新的方法来结合基于模型的安全性与无模型强化学习明确找到一个低维模型的RL策略控制的系统，并应用稳定性和安全性保证简单的模型。以复杂双足机器人Cassie及其基于RL的步行控制器为例，Cassie是一个具有混合动力学和欠驱动的高维非线性系统。我们证明了低维动力学模型足以捕捉闭环系统的动力学。我们证明了该模型是线性的，渐近稳定的，并在所有维度的控制输入解耦。我们进一步证明，即使使用不同的RL控制策略，这种线性也存在。这些结果为理解强化学习与最优控制之间的关系指出了一个有趣的方向：在某些情况下，强化学习在训练过程中是否倾向于使非线性系统线性化。此外，我们说明，所发现的线性模型是能够提供保证的安全关键的最优控制框架，例如，具有控制障碍函数的模型预测控制，以使用Cassie的自主导航为例，同时利用基于RL的控制器提供的灵活性。
2022-05-11 cs.AI cs.LG cs.RO
Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization
Faculty of Engineering and Computer Science, University of Victoria（维多利亚大学工程与计算机科学学院）
本研究提出基于多目标策略优化的无模型安全强化学习算法SORL，无需约束策略搜索空间即可平衡安全与最优性，经理论分析给出安全保证条件与调节参数，在七个机器人环境中优于六种前沿方法，适配安全关键场景。
2024-02-23 cs.AI cs.LG cs.RO
CBF-RL: Safety Filtering Reinforcement Learning in Training with Control Barrier Functions
Caltech MCE（加州理工学院机械工程系）
本文提出CBF-RL框架，通过在训练过程中强制控制屏障函数以生成安全行为，使强化学习策略内在化安全约束，实现无需在线安全过滤的鲁棒安全部署。
2026-06-22 cs.AI cs.LG cs.RO
