Safe reinforcement learning control for continuous-time nonlinear systems without a backup controller
针对一类具有自定义状态约束的不确定连续非线性系统,提出了一种基于策略的强化学习(RL)控制算法.我们制定的安全RL问题的最小化的哈密顿受到限制的时间导数的障碍李雅普诺夫函数(BLF)。随后,我们使用的优化问题的解析解修改的Actor-Critic-Identifier架构,安全地学习最优控制策略。所提出的方法不需要外部备份控制器的存在,并且RL策略确保了整个持续时间的安全性。所提出的控制器的有效性证明了对一类欧拉-拉格朗日系统。
2022-09-19 cs.SY eess.SY
Learning over Forward-Invariant Policy Classes: Reinforcement Learning without Safety Concerns
本文提出了一种基于前向不变性诱导的动作空间设计的安全强化学习框架,通过构造有限可接受动作集,确保策略安全性和性能优化分离,验证了在四旋翼飞行器悬停调节中的有效性。
2026-04-09 cs.SY eess.SY
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
在许多工程实施中,安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而,强化学习算法不能完全保证实际操作的安全性。为了解决这个问题,这项工作采用了控制障碍函数强化学习,并提出了一个补偿算法,完全保持安全。具体而言,已利用平方和规划来搜索最优控制器,并同时调整学习超参数。因此,保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比,本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
Anytime Safe Reinforcement Learning
University of California San Diego(加州大学圣迭戈分校)
针对具备任意时间保证的约束强化学习问题,本文提出同策略算法RL-SGF,通过求解凸二次约束二次规划更新策略,证明了其安全更新概率与渐近收敛性,并在导航任务中验证了性能。
2025-11-17 cs.SY eess.SY
SafePG: Safe and Globally Optimal Reinforcement Learning with Hard Constraints
Purdue University(普渡大学);U.S. Army Research Laboratory(美国陆军研究实验室)
SafePG提出一种无模型策略梯度强化学习框架,通过构造随机包装策略并截断至硬安全约束,实现非线性系统安全控制,具备收敛性与全局最优性保证,并在四旋翼导航仿真中验证。
2026-09-15 cs.SY eess.SY
A Control Barrier Function-Constrained Model Predictive Control Framework for Safe Reinforcement Learning
New York University(纽约大学)
本文提出了一种基于模型预测控制的安全强化学习框架PECTS,通过联合学习随机系统动力学和控制屏障函数来确保安全,采用采样优化方法提升安全性。
2026-11-16 cs.SY eess.SY
TRUST-UP: Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院);Air Traffic Management Research Institute, Nanyang Technological University(南洋理工大学空中交通管理研究所);Georgia Institute of Technology(佐治亚理工学院)
提出TRUST-UP算法,通过控制障碍函数安全滤波和切换策略,实现无人机在拥挤城市环境中的安全自主追踪,满足航空认证的可信需求。
2026-06-15 cs.SY eess.SY
Safety-Critical Reinforcement Learning with Viability-Based Action Shielding for Hypersonic Longitudinal Flight
The University of Arizona(亚利桑那大学)
本文提出一种基于可行性行动防护的安全关键强化学习框架,用于高超音速纵向飞行,通过安全区域划分和模式依赖奖励实现安全控制与恢复。
2026-02-03 cs.SY eess.SY
Learning a Low-dimensional Representation of a Safe Region for Safe Reinforcement Learning on Dynamical Systems
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
为了安全地将强化学习算法应用于高维非线性动力系统,利用简化的系统模型构造了安全的强化学习框架.基于简化的系统模型,识别安全区域的低维表示,并用于为学习算法提供安全估计。然而,为复杂的动态系统找到一个令人满意的简化系统模型通常需要相当大的努力。为了克服这一限制,我们在这项工作中提出了一种通用的数据驱动的方法,能够有效地学习安全区域的低维表示。通过在线自适应方法,通过使用反馈数据更新低维表示,从而获得更准确的安全性估计。所提出的方法用于识别安全区域的低维表示的性能证明与四轴飞行器的例子。结果表明,与以往的工作相比,本文提出的安全区域的低维表示方法更可靠、更有代表性,从而扩展了安全强化学习框架的适用范围.
2021-09-08 cs.RO cs.SY eess.SY
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley(加州大学伯克利分校)
现实世界中的强化学习(RL)问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制(MPC)的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后,策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明,这种惩罚允许一个可证明安全的最佳基础政策,并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Safe Reinforcement Learning Using Robust Action Governor
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
强化学习(RL)本质上是一种试错学习过程,在探索和利用过程中可能会导致不安全的行为。这阻碍了RL在现实世界控制问题中的应用,特别是对安全关键系统的应用。在本文中,我们介绍了一个安全RL的框架,该框架基于RL算法与附加安全监督模块的集成,称为鲁棒动作总督(RAG),该模块利用集合理论技术和在线优化来管理学习过程中的安全相关要求。我们说明了这一建议的安全RL框架,通过应用汽车自适应巡航控制。
2021-04-30 cs.LG cs.SY eess.SY
Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages
University of Surrey(萨里大学)
神经网络和强化学习的使用在自主车辆控制中变得越来越流行。然而,由此产生的控制策略的不透明性对在自主车辆中部署基于神经网络的控制提出了重大障碍。在本文中,我们提出了一种基于强化学习的方法,自主车辆纵向控制,其中基于规则的安全笼提供增强的安全性的车辆以及弱监督的强化学习代理。通过将代理引导到有意义的状态和动作,这种弱监督改善了训练过程中的收敛性,并增强了最终训练策略的安全性。这种基于规则的监督控制器具有完全可解释的进一步优势,从而使传统的验证和验证方法能够确保车辆的安全性。我们比较了有和没有安全笼的模型,以及具有最佳和约束模型参数的模型,并表明弱监督始终提高了探索的安全性,收敛速度和模型性能。此外,我们表明,当模型参数受到约束或次优时,安全笼可以使模型学习安全驾驶策略,即使模型无法单独通过强化学习进行训练。
2021-03-17 cs.LG cs.SY eess.SY
Deep Reinforcement Learning with Enhanced Safety for Autonomous Highway Driving
West Virginia University(西弗吉尼亚大学);Ford Greenfield Labs(福特Greenfield实验室);University of Michigan(密歇根大学);Ford Research and Innovation Center(福特研究与创新中心)
在本文中,我们提出了一个用于自动驾驶的安全深度强化学习系统。建议的框架利用基于规则和基于学习的安全保证方法的优点。我们的安全系统由两个模块组成,即手工安全模块和动态学习安全模块。手工安全模块是基于常见驾驶实践的启发式安全规则,其确保与交通车辆的最小相对间隙。另一方面,动态学习安全模块是从驾驶数据学习安全模式的数据驱动安全规则。具体而言,动态学习安全模块结合了一个超越强化学习即时奖励的模型前瞻,以预测未来更长时间的安全性。如果其中一个未来状态导致接近或碰撞,则将向奖励函数分配负奖励以避免碰撞并加速学习过程。我们证明了所提出的框架在不同的交通密度的模拟环境中的能力。我们的研究结果表明,卓越的能力的政策增强了动态学习的安全模块。
2020-04-23 cs.RO cs.SY eess.SY
Safe Model-Based Reinforcement Learning for Systems with Parametric Uncertainties
强化学习在过去的十年中已经被建立为一种有效的工具,以找到最优的控制策略的动力系统,最近的重点是在学习和/或执行阶段,保证安全的方法。一般来说,当系统是安全关键的和/或任务重启实际上不可行时,安全保证在强化学习中是至关重要的。在最优控制理论中,安全要求通常用状态和/或控制约束来表示。近年来,依赖于持续激励的强化学习方法已经与障碍变换相结合,以学习状态约束下的最优控制策略。为了软化激励要求,依赖于精确模型知识的基于模型的强化学习方法也与屏障转换框架相集成。针对确定性非线性系统,在模型中存在参数不确定性的情况下,提出一种安全的强化学习方法,在不依赖严格激励条件的情况下学习近似约束最优策略。为此,基于模型的强化学习技术,利用一种新的过滤并发学习方法,随着屏障变换,本文开发的实现同时学习未知的模型参数和近似最优的状态约束控制策略的安全关键系统。
2021-10-05 cs.SY eess.SY math.OC
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学);Tencent Robotics X Lab, Tencent(腾讯机器人X实验室)
安全强化学习旨在学习控制策略,同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习,一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域,该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的,因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡,提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例,验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich(苏黎世联邦理工学院)
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题,提出了一种安全的强化学习算法。在这个问题中,每个单位的目标是找到一个投标策略,最大限度地提高其收入,同时保持其可靠性,通过安排预防性维护。维护调度提供了一些安全约束,这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下,满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而,无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战,我们提出了安全的深度确定性策略梯度强化学习算法,该算法基于强化学习和预测安全过滤器的组合。实例研究表明,该方法可以实现更高的利润相比,其他国家的最先进的方法,同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一,提供了一种理论严谨且实用的离线安全强化学习框架,以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich(慕尼黑工业大学);Wayne State University(韦恩州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度强化学习(Deep Reinforcement Learning,DRL)在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而,安全性和稳定性仍然是主要的问题,阻碍了日间行车灯的应用,安全关键的自治系统。为了解决这些问题,我们提出了Phy-DRL:一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的:i)类似于Lyapunov的奖励,以及ii)剩余控制(即,基于物理模型控制和数据驱动控制的集成)。并发的物理奖励和剩余控制赋予Phy-DRL(数学上)可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验,验证了Phy-DRL在保证安全性和稳定性的同时,具有较强的鲁棒性,并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Safe Exploration in Model-based Reinforcement Learning using Control Barrier Functions
Boston University(波士顿大学)
本文提出了一种基于基于模型的强化学习(MBRL)框架,用于在线学习无限时域最优控制问题的价值函数,同时服从以控制障碍函数(CBF)表示的安全约束。我们的方法是促进了一类新的CBFs,称为Lyapunov样CBFs(LCBFs)的发展,保留CBFs的开发微创安全控制政策的有益特性,同时也具有理想的Lyapunov样的质量,如积极的半定。我们展示了如何使用这些LCBFs来增强基于学习的控制策略以保证安全,然后利用这种方法在MBRL环境中开发安全的探索框架。我们证明,我们的方法可以处理更一般的安全约束比比较方法通过数值例子。
2022-09-19 cs.LG cs.SY eess.SY
Reinforcement Learning for Distributed Transient Frequency Control with Stability and Safety Guarantees
本文提出基于强化学习的分布式暂态频率控制方法,结合Lyapunov稳定性与安全关键控制推导充分条件,并通过分布式动态预算分配降低保守性,在IEEE 39节点系统上验证了稳定性、安全性及最优性的提升。
2024-01-06 cs.SY eess.SY math.OC
Reachability-based Trajectory Safeguard (RTS): A Safe and Fast Reinforcement Learning Safety Layer for Continuous Control
School of Mechanical Engineering, University of Michigan(密歇根大学机械工程学院);Robotics Institute, University of Michigan(密歇根大学机器人研究所);Stanford University(斯坦福大学)
强化学习(RL)算法在决策和控制任务中取得了显着的性能,因为它们能够使用试错来推理长期累积的奖励。然而,在RL训练期间,将这种试错方法应用于在安全关键环境中操作的真实世界机器人可能会导致碰撞。为了应对这一挑战,本文提出了一种基于可达性的轨迹保障(RTS),它利用可达性分析,以确保在训练和操作过程中的安全。给定一个已知的(但不确定的)模型的机器人,RTS预先计算的机器人跟踪一个连续的参数化轨迹的前向可达集。在运行时,RL代理以滚动时域的方式从这个连续体中进行选择以控制机器人; FRS用于识别代理的选择是否安全,并调整不安全的选择。三个非线性机器人模型,包括一个12-D四旋翼无人机,在仿真和比较国家的最先进的安全运动规划方法,说明了这种方法的有效性。
2021-03-02 cs.RO cs.SY eess.SY
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto(多伦多大学航空航天研究所);University of Toronto Robotics Institute(多伦多大学机器人研究所);Vector Institute for Artificial Intelligence(向量人工智能研究院)
在过去的五年中,控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾,重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括:通过学习不确定动态安全地提高性能的基于学习的控制方法,鼓励安全性或鲁棒性的强化学习方法,以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力,研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们,例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战,并强调需要现实的基于物理的基准,以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg(弗赖堡大学);ETH Zurich(苏黎世联邦理工学院)
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而,这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的,因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中,我们提出了一种基于学习的模型预测控制方案,在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型,我们构建可证明准确的置信区间预测轨迹。与以前的方法不同,我们允许输入依赖的不确定性。基于这些可靠的预测,我们保证轨迹满足安全约束。此外,我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法,以安全地探索倒立摆的动力学,并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris(ENSTA巴黎大学U2IS部门,巴黎理工学院);Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA(加州大学伯克利分校电气工程与计算机科学系)
本文提出了一种预测安全护盾,通过环境模型的安全模拟本地更新Q函数,以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Safe Meta-Reinforcement Learning via Information Space Reachability
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种安全元强化学习框架,通过在信息空间中推理安全性并学习安全值函数,实现适应过程中的安全过滤与约束策略优化,实验验证了其有效性。
2026-09-15 cs.LG cs.SY eess.SY
Safe Reinforcement Learning via Confidence-Based Filters
Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
在将强化学习(RL)部署到现实世界系统时,确保安全性是一个至关重要的挑战。我们开发了基于置信度的安全过滤器,一种控制理论方法,用于验证通过标准RL技术学习的标称策略的状态安全约束,基于概率动力学模型。我们的方法是基于重新制定的状态约束的成本函数,减少安全验证的标准RL任务。通过利用幻觉输入的概念,我们扩展了这个公式,以确定一个“备份”的政策,是安全的未知系统的高概率。最后,标称策略在向备份策略推出期间的每个时间步骤被最小化地调整,使得可以在之后保证安全恢复。我们提供正式的安全保证,并以经验证明我们的方法的有效性。
2022-07-04 cs.AI cs.LG cs.SY
safe-control-gym: a Unified Benchmark Suite for Safe Learning-based Control and Reinforcement Learning in Robotics
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
近年来,强化学习和基于学习的控制-以及对它们的安全性的研究,这对于在现实世界的机器人中部署至关重要-都获得了巨大的吸引力。然而,为了充分衡量新结果的进展和适用性,我们需要工具来公平地比较控制和强化学习社区提出的方法。在这里,我们提出了一个新的开源基准套件,称为安全控制健身房,支持基于模型和基于数据的控制技术。我们提供了三个动态系统的实现-车杆,1D和2D四旋翼-和两个控制任务-稳定和轨迹跟踪。我们建议扩展OpenAI的Gym API -强化学习研究中的事实标准-(i)指定(和查询)符号动力学的能力和(ii)约束,以及(iii)(可重复)在控制输入,状态测量和惯性属性中注入模拟干扰。为了证明我们的建议,并试图使研究社区更紧密地联系在一起,我们展示了如何使用安全控制健身房定量比较控制性能,数据效率和安全性的多种方法从传统的控制,基于学习的控制,和强化学习的领域。
2022-07-26 cs.LG cs.RO cs.SY
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University(阿尔托大学电气工程与自动化系);School of Computing and Data Science, Xiamen University Malaysia(厦门大学马来西亚分校计算与数据科学学院);Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法,通过逆动力学恢复控制策略,在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich(慕尼黑工业大学);Stony Brook University(石溪大学)
虽然强化学习在许多应用中产生了非常有前途的结果,但其主要缺点是缺乏安全保证,这阻碍了其在安全关键系统中的使用。在这项工作中,我们解决这个问题的安全盾的非线性连续系统,解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影,并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析,使用多项式zonotopes,这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比,我们的安全防护罩可以有效地处理输入约束和动态障碍物,简化将空间机器人尺寸纳入安全约束,尽管有过程噪声和测量误差,但仍能保证鲁棒的安全性,并且非常适合高维系统,正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Safe Reinforcement Learning for Grid Voltage Control
Pacific Northwest National Laboratory(太平洋西北国家实验室)
低压减载被认为是在紧急情况下恢复电网电压稳定的标准方法,然而该方案通常无效地切除大量负荷。强化学习(RL)被认为是一种很有前途的方法来解决这些问题,但RL方法通常不能保证系统的安全性。在本文中,我们讨论了一对夫妇的新的安全RL方法,即约束优化方法和基于障碍函数的方法,可以安全地恢复紧急事件下的电压。该方法具有通用性,可应用于其它安全关键控制问题。在39节点IEEE基准上进行了数值仿真,以验证所提出的安全RL紧急控制的有效性。
2021-12-02 cs.LG cs.SY eess.SY
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania(宾夕法尼亚大学)
强化学习是一种很有前途的方法来学习控制策略,以执行复杂的多智能体机器人任务。然而,在模拟中学习的策略往往无法保证甚至简单的安全属性,例如避障。为了确保安全性,我们提出了多智能体模型预测屏蔽(MAMPS),这是一种可证明地保证任意学习策略安全的算法。特别是,它通过尽可能频繁地使用学习策略来操作,但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境,我们展示了如何MAMPS可以实现良好的性能,同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University(首尔国立大学)
机器人和自主系统中的新兴应用,如自动驾驶和机器人手术,通常涉及关键的安全约束,即使有关系统模型的信息有限,也必须满足这些约束。在这方面,我们提出了一个无模型的安全规范方法,学习安全操作的最大概率,通过仔细结合概率可达性分析和安全强化学习(RL)。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是,它产生了一系列的安全策略,确定安全操作的范围,称为安全集,单调扩展,并逐渐收敛。我们还开发了一个有效的安全的探索计划,加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽,我们的方法调节的探索性政策,以避免危险状态的高置信度。为了处理高维系统,我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL,以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明,通过连续控制基准问题,如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London(伦敦帝国理工学院);University College London(伦敦大学学院);Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长,伴随着对其安全性和鲁棒性的日益关注。近年来,已经提出了各种方法来解决安全意识强化学习的挑战;然而,这些方法通常需要预先提供手工制作的环境模型,或者环境相对简单且低维。我们提出了一种新的方法,安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹,并避免那些被认为不安全的轨迹。我们的实验表明,这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
自动驾驶汽车需要处理各种交通状况,并做出安全有效的决策和操纵。然而,一方面,单个基于优化/采样的运动规划器不能有效地实时的生成安全轨迹,特别是当附近有许多交互式车辆时。另一方面,端到端的学习方法不能保证结果的安全性。为了解决这一挑战,我们提出了一个分层的行为规划框架,一组低级别的安全控制器和一个高级别的强化学习算法(H-CtRL)作为协调员的低级别控制器。安全性由底层优化/采样控制器保证,而高级强化学习算法使H-CtRL成为自适应和高效的行为规划器。为了训练和测试我们提出的算法,我们建立了一个模拟器,可以使用真实世界的数据集再现交通场景。H-CtRL被证明是有效的,在各种现实的仿真场景,具有令人满意的性能,在安全性和效率。
2021-06-09 cs.AI cs.RO cs.SY
Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系)
研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中,使用糖尿病管理作为测试平台,发现安全泛化差距并通过测试时屏蔽有效恢复安全性。
2026-05-24 cs.AI cs.LG cs.SY
Safe and Sample-efficient Reinforcement Learning for Clustered Dynamic Environments
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究提出一个安全且样本效率高的强化学习(RL)框架,以解决开发适用RL算法的两个主要挑战:满足安全约束和在有限样本下有效学习。为了保证在现实世界中的复杂环境中的安全性,我们使用安全集算法(SSA)来监视和修改标称控制,并评估SSA+RL在集群动态环境中,这是具有挑战性的解决现有的RL算法。然而,SSA+RL框架通常不是样本有效的,特别是在奖励稀疏环境中,这在以前的安全RL作品中没有得到解决。为了提高学习效率,我们提出了三种技术:(1)通过调整SSA来避免表现得过于保守;(2)使用具有安全约束的随机网络蒸馏来鼓励安全探索;(3)通过将SSA视为专家演示并直接从中学习来提高政策收敛性。实验结果表明,与其他安全RL方法相比,我们的框架在训练过程中可以实现更好的安全性能,并以更少的事件解决任务。项目网址:https://hychen-naza.github.io/projects/Safe_RL/。
2023-03-24 cs.LG cs.RO cs.SY
Safe Reinforcement Learning via Projection on a Safe Set: How to Achieve Optimality?
Norwegian University of Technology, NTNU(挪威科技大学);IMT School for Advanced Studies Lucca(卢卡IMT高等研究院)
尽管强化学习(RL)取得了巨大的成功,但它仍然很难为学习策略的闭环行为提供正式的保证。除此之外,保证RL相对于安全关键系统的安全性是一个非常活跃的研究课题。最近的一些贡献建议依赖于学习策略提供的输入到安全集的预测,确保系统安全性永远不会受到危害。不幸的是,目前还不清楚是否可以在不中断学习过程的情况下执行此操作。本文探讨了这一问题。这个问题进行了分析的上下文中的$Q$ -学习和政策梯度技术。我们表明,投影方法通常是破坏性的背景下,$Q$ -学习虽然一个简单的替代方案解决了这个问题,而简单的校正可以使用的政策梯度方法的背景下,以确保政策梯度是公正的。所提出的结果扩展到安全的预测鲁棒MPC技术的基础上。
2020-04-02 cs.AI cs.LG cs.SY
Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate
Tsinghua University(清华大学);Harvard University(哈佛大学);University of Science and Technology Beijing(北京科技大学)
安全的强化学习(RL)解决了约束满意的策略,为RL在机器人等现实世界问题中更广泛的安全关键应用提供了一种有前途的方法。在所有安全的RL方法中,基于模型的方法由于其高样本效率而进一步减少了训练时间违规。然而,缺乏对模型不确定性的安全鲁棒性仍然是安全的基于模型的强化学习中的一个问题,特别是在训练时间安全性方面。在本文中,我们提出了一个分布式的可达性证书(DRC)和Bellman方程,以解决模型的不确定性和鲁棒持久安全状态的特征。此外,我们建立了一个安全的RL框架,以解决DRC及其相应的屏蔽策略所需的约束。我们还设计了一个线搜索方法,以保持安全,同时达到更高的回报,同时利用盾牌政策。经典的基准测试,如约束跟踪和导航的综合实验表明,该算法实现了可比的回报,在训练过程中的约束违反少得多。
2022-10-14 cs.LG cs.RO cs.SY
DeepSafeMPC: Deep Learning-Based Model Predictive Control for Safe Multi-Agent Reinforcement Learning
School of Aeronautics and Astronautics, Purdue University(普渡大学航空航天学院);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
针对多智能体强化学习中安全保障难、MPC因环境动力学复杂应用有限的问题,提出DeepSafeMPC方法,用集中式深度学习模型预测环境动力学,结合MARL寻优与MPC约束动作安全,在Safe Multi-agent MuJoCo上验证了有效性。
2024-03-12 cs.AI cs.LG cs.SY
Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: $\sqrt{T}$-Regret
Department of Statistics, Harvard University(哈佛大学统计系)
本文研究未知动态的一维线性系统安全约束强化学习问题,提出了首个实现$\tilde{O}_T(\sqrt{T})$遗憾的安全算法,并引入截断线性控制器基准,证明了其最优控制器的连续性及受约束时更快的非线性学习速率。
2025-04-25 cs.LG cs.SY eess.SY
Computationally efficient safe exploration in reinforcement learning
Aalto University(阿尔托大学)
本文提出一种基于Nadaraya-Watson估计器的计算高效安全探索算法CoLSafe-MDP,用于约束马尔可夫决策过程,相比高斯过程方法大幅降低计算成本,并在网格环境和火星地形数据上验证了性能。
2026-09-22 cs.LG cs.RO cs.SY
Safety Verification of Model Based Reinforcement Learning Controllers
School of Aeronautics and Astronautics(航空航天学院);Purdue University(普渡大学)
基于模型的强化学习(RL)已经成为开发用于现实世界系统的控制器的有前途的工具(例如,机器人、自动驾驶等)。然而,实际系统往往有约束强加在他们的状态空间,必须满足,以确保系统及其环境的安全。为RL算法开发验证工具是具有挑战性的,因为神经网络的非线性结构阻碍了对此类模型或控制器的分析验证。为此,我们提出了一种新的基于模型的RL控制器使用可达集分析的安全验证框架。所提出的框架可以有效地处理使用神经网络表示的模型和控制器。此外,如果控制器不能满足一般的安全约束,所提出的框架也可以用来识别的初始状态的子集,从该控制器可以安全地执行。
2020-10-21 cs.LG cs.RO cs.SY
Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks
University of Washington(华盛顿大学)
本文的重点是寻找强化学习政策的控制系统的硬状态和行动的约束。尽管强化学习在许多领域取得了成功,但它在应用于具有硬约束的问题时仍具有挑战性,特别是在状态变量和动作都受到约束的情况下。以前的工作,寻求确保约束满足,或安全性,集中在增加一个投影步骤,学习的政策。然而,这种方法需要在每个策略执行步骤中解决优化问题,这可能导致显著的计算成本。为了解决这个问题,本文提出了一种新的方法,称为顶点网络(VNs),保证在探索过程中的安全性和学习控制策略,将安全约束的政策网络架构。利用凸集内所有点都可以表示为顶点的凸组合的几何性质,该算法首先学习凸组合权重,然后使用这些权重以及预先计算的顶点来输出动作。通过结构保证输出动作安全。数值算例表明,所提出的VN算法优于香草强化学习在各种基准控制任务。
2020-03-20 cs.LG cs.SY eess.SY
Approximate Model-Based Shielding for Safe Reinforcement Learning
Imperial College London(帝国理工学院)
针对强化学习应用于安全关键系统时样本效率低、无最坏性能保障的问题,提出无需系统安全动力学先验的近似基于模型屏蔽算法AMBS,有理论支撑且在带状态依赖安全标签的Atari游戏上性能优于其他安全方法。
2023-07-27 cs.AI cs.LG cs.SY
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal(蒙特利尔理工学院)
本文综述了安全强化学习中控制障碍函数的应用,并探讨了自动学习控制障碍函数的数据驱动方法,以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA(宾夕法尼亚大学GRASP实验室);Department of Computer and Information Science, University of Pennsylvania, USA(宾夕法尼亚大学计算机与信息科学系(注:根据机构粒度要求,这里提取到大学级别,即“宾夕法尼亚大学”,但原文明确写了具体部门,所以保留原文部门名+大学的组合))
本文提出了一个安全的强化学习框架,可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的,并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性,例如,在一个模拟的环境中。我们基于模型预测屏蔽(MPS)的思想,其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道,利用统计学习理论的思想来获得高概率的保证。我们的经验表明,我们的方法可以确保安全的随机系统,包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学);Princeton University(普林斯顿大学)
针对竞争性任务中机器人策略易被利用的问题,提出S2C两阶段框架,分离安全综合与任务学习,通过对抗性RL学习安全过滤器,在模拟和硬件测试中优于八个基线,实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Safe Reinforcement Learning Using Robust Control Barrier Functions
Georgia Institute of Technology(佐治亚理工学院);University of Waterloo(滑铁卢大学);Outrider(Outrider公司);University of California, Irvine(加州大学欧文分校)
强化学习(RL)已被证明在许多情况下是有效的。然而,它通常需要探索足够大数量的状态-动作对,其中一些可能是不安全的。因此,将其应用于安全关键系统仍然是一个挑战。一种越来越常见的解决安全性的方法涉及添加一个安全层,该安全层将RL操作投影到一组安全的操作上。反过来,这种框架的难点是如何有效地将RL与安全层耦合以提高学习性能。在本文中,我们将安全性框架作为基于模型的RL框架中的可微鲁棒控制障碍功能层。此外,我们还提出了一种方法来模块化学习的基本奖励驱动的任务,独立的安全约束。我们证明了这种方法既确保了安全性,又有效地指导了一系列实验中训练过程中的探索,包括以模块化方式学习奖励时的zero-shot转移。
2022-06-22 cs.AI cs.LG cs.RO
Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
当我们在现实世界中部署强化学习算法时,训练时间安全违规一直是一个主要问题。本文探讨了在具有挑战性的环境中零训练时间安全违规的安全RL算法的可能性,在这种环境中,我们只得到一个安全但微不足道的初始策略,而没有任何动力学模型和额外离线数据的先验知识。我们提出了一种算法,共同训练的屏障证书安全RL(CRABS),迭代学习屏障证书,动态模型和政策。通过对抗训练学习的屏障证书确保了策略的安全性,假设校准的学习动力学模型。我们还添加了一个正则化项,以鼓励更大的认证区域进行更好的探索。经验模拟表明,零安全违规已经具有挑战性的一套简单的环境,只有2-4维的状态空间,特别是如果高回报的政策必须访问安全边界附近的区域。以前的方法需要数百次违规才能在这些任务上获得体面的奖励,而我们提出的算法则不会产生违规行为。
2022-03-11 cs.AI cs.LG cs.RO
GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学)
针对安全强化学习早期数据不足导致约束近似难的问题,提出基于降阶马尔可夫决策过程的GenSafe安全增强层,可在保证任务性能的同时提升学习早期安全性,且兼容多种SRL算法。
2025-01-14 cs.AI cs.LG cs.RO