Incorporating System-level Safety Requirements in Perception Models via Reinforcement Learning
Iowa State University（爱荷华州立大学）
针对自主系统感知组件训练未考虑系统级安全的局限，提出将规则手册形式化的系统级安全需求转化为安全分数、融入强化学习奖励函数的训练范式，提升了系统级安全性能。
2024-12-04 cs.LG cs.RO
A Multiplicative Value Function for Safe and Efficient Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（荷语鲁汶大学）
序贯决策问题的一个新兴领域是安全强化学习（RL），其目标是在遵守安全约束的同时最大化奖励。能够处理约束对于在现实环境中部署RL代理至关重要，在现实环境中，违反约束可能会损害代理和环境。为此，我们提出了一个安全的无模型强化学习算法与一个新的乘法价值函数组成的安全评论家和奖励评论家。安全评论家预测的约束违反的概率和折扣的奖励评论家，只估计无约束的回报。通过划分责任，我们促进了学习任务，从而提高了样本效率。我们将我们的方法集成到两个流行的RL算法，近端策略优化和软演员批评，并评估我们的方法在四个以安全为重点的环境，包括经典的RL基准增强安全约束和机器人导航任务的图像和原始激光雷达扫描作为观察。最后，我们做了zero-shot仿真到现实迁移，其中差动驱动机器人必须在杂乱的房间中导航。我们的代码可以在https://github.com/nikeke19/Safe-Mult-RL上找到。
2023-03-07 cs.LG cs.RO
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）；Tencent Robotics X Lab, Tencent（腾讯机器人X实验室）
安全强化学习旨在学习控制策略，同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习，一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域，该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的，因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡，提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例，验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University（卡内基梅隆大学）
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景，但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数，我们可以获得安全的策略来优化自动驾驶车辆的性能。然而，控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现（Dosovitskiy等人，2017年）模拟器，并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法，而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Sampling-Based Safe Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于采样的安全强化学习方法，通过在有限的动力学样本集上联合施加约束，确保学习过程中的安全性，并在连续域中提供实用的安全保证，同时通过限制认知不确定性实现了高效的探索。
2026-10-12 cs.AI cs.LG cs.RO
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University（波士顿大学）
强化学习（RL）的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而，对于实际应用，在勘探期间确保制剂的安全至关重要，因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于，对于大的连续状态或动作空间和未知环境，难以表征不安全状态和动作。在本文中，我们提出了一种新的方法，在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性，我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数，并扩展控制理论的结果，以近似其导数使用在线高斯过程（GP）估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving
Tsinghua University（清华大学）；JD Explore Academy（京东探索研究院）
安全强化学习（RL）在风险敏感任务上取得了重大成功，在自动驾驶（AD）中也显示出了希望。考虑到这个社区的独特性，仍然缺乏安全AD的有效和可重复的基线。在本文中，我们发布了SafeRL-Kit，以基准测试面向AD任务的安全RL方法。具体来说，SafeRL-Kit包含了几个针对零约束违反任务的最新算法，包括安全层，恢复RL，非策略拉格朗日方法和可行的Actor-Critic。除了现有的方法，我们提出了一种新的一阶方法命名为精确惩罚优化（EPO），并充分证明其在安全AD的能力。SafeRL-Kit中的所有算法都是（i）在非策略设置下实现的，这提高了样本效率，并可以更好地利用过去的日志;（ii）使用统一的学习框架，为研究人员提供现成的接口，将他们的特定领域知识融入到基本的安全RL方法中。最后，我们在SafeRL-Kit中对上述算法进行了比较评估，并揭示了它们对安全自动驾驶的有效性。源代码可从\href{ https://github.com/zlr20/saferl_kit}{this https URL}获得。
2022-06-17 cs.AI cs.LG cs.RO
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）；University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute for Artificial Intelligence（向量人工智能研究院）
在过去的五年中，控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾，重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括：通过学习不确定动态安全地提高性能的基于学习的控制方法，鼓励安全性或鲁棒性的强化学习方法，以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们，例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战，并强调需要现实的基于物理的基准，以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出物理模型引导的最坏情况采样策略，并将其集成至Phy-DRL框架，以解决DRL训练中忽略安全关键极端场景的问题，显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-11-09 cs.LG
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
On the Robustness of Safe Reinforcement Learning under Observational Perturbations
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
安全强化学习（RL）训练策略以在满足安全约束的同时最大化任务奖励。虽然以前的工作集中在性能最优性，我们发现，许多安全RL问题的最优解是不稳健和安全的精心设计的观测扰动。我们正式分析了在安全的RL设置中设计有效的观察性对抗攻击者的独特属性。我们发现，标准强化学习任务的基线对抗攻击技术并不总是有效的安全强化学习，并提出了两种新的方法-一个最大化的成本和其他最大化的奖励。一个有趣的和反直觉的发现是，最大奖励攻击是强大的，因为它既可以诱导不安全的行为，又可以通过维持奖励来使攻击隐形。我们进一步提出了一个强大的安全RL训练框架，并通过全面的实验进行评估。本文为研究强化学习在观测攻击下的安全性和鲁棒性提供了一个开创性的工作，为未来的安全强化学习研究奠定了基础。代码可从以下网址获得：\url{https://github.com/liuzuxin/safe-rl-robustness}
2023-03-02 cs.AI cs.LG cs.RO
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略，证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
使用深度生成模型从离线演示中提取策略原语的方法在加速新任务的强化学习（RL）方面表现出了希望。直观地说，这些方法也应该有助于训练安全RL代理，因为它们强制使用有用的技能。然而，我们发现这些技术并不适合安全的策略学习，因为它们忽略了负面经验（例如，不安全或不成功），只关注积极的经验，这会损害他们安全地概括新任务的能力。相反，我们使用来自许多任务的演示的离线数据集上的原则性对比训练来建模latentsafetycontext，包括消极和积极的经验。使用这个后期变量，我们的RL框架，SAFEty skill pRiors（SAFER）提取特定于任务的安全原始技能，以安全并成功地推广到新任务。在推理阶段，使用SAFER训练的策略学习将安全技能组合到成功的策略中。我们从理论上描述了为什么SAFER可以执行安全的策略学习，并证明了它的有效性在几个复杂的安全关键的机器人抓取任务的启发游戏操作，其中SAFER优于国家的最先进的原始学习方法的成功和安全。
2022-06-30 cs.LG
safe-control-gym: a Unified Benchmark Suite for Safe Learning-based Control and Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
近年来，强化学习和基于学习的控制-以及对它们的安全性的研究，这对于在现实世界的机器人中部署至关重要-都获得了巨大的吸引力。然而，为了充分衡量新结果的进展和适用性，我们需要工具来公平地比较控制和强化学习社区提出的方法。在这里，我们提出了一个新的开源基准套件，称为安全控制健身房，支持基于模型和基于数据的控制技术。我们提供了三个动态系统的实现-车杆，1D和2D四旋翼-和两个控制任务-稳定和轨迹跟踪。我们建议扩展OpenAI的Gym API -强化学习研究中的事实标准-（i）指定（和查询）符号动力学的能力和（ii）约束，以及（iii）（可重复）在控制输入，状态测量和惯性属性中注入模拟干扰。为了证明我们的建议，并试图使研究社区更紧密地联系在一起，我们展示了如何使用安全控制健身房定量比较控制性能，数据效率和安全性的多种方法从传统的控制，基于学习的控制，和强化学习的领域。
2022-07-26 cs.LG cs.RO cs.SY
A Safe Reinforcement Learning Architecture for Antenna Tilt Optimisation
LM Ericsson（爱立信）；Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
与环境的安全交互是强化学习（RL）应用于现实世界问题时最具挑战性的方面之一。当不安全的行动对环境造成严重或不可逆转的负面影响时，这一点尤其重要。在网络管理操作的上下文中，远程电气干扰（RET）优化是安全关键型应用，其中基站的天线倾斜角度的探索性修改可能导致网络中的显著性能下降。在本文中，我们提出了一个模块化的安全强化学习（SRL）架构，然后用于解决蜂窝网络中的RET优化。在这种方法中，安全防护罩不断地将RL代理的性能与安全基线进行基准测试，并确定要在网络上执行的安全天线倾斜更新。我们的研究结果表明，SRL代理的性能比基线有所改善，同时确保了所执行操作的安全性。
2021-10-20 cs.LG
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系）；School of Computing and Data Science, Xiamen University Malaysia（厦门大学马来西亚分校计算与数据科学学院）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法，通过逆动力学恢复控制策略，在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta（阿尔伯塔大学）
在本文中，我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习（RL）来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先，所提出的算法确保了冲突永远不会发生，因此加快了学习过程。其次，该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体（如汽车和行人）的不可预测行为，并使马尔可夫决策过程（MDP）在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich（慕尼黑工业大学）；Stony Brook University（石溪大学）
虽然强化学习在许多应用中产生了非常有前途的结果，但其主要缺点是缺乏安全保证，这阻碍了其在安全关键系统中的使用。在这项工作中，我们解决这个问题的安全盾的非线性连续系统，解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影，并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析，使用多项式zonotopes，这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比，我们的安全防护罩可以有效地处理输入约束和动态障碍物，简化将空间机器人尺寸纳入安全约束，尽管有过程噪声和测量误差，但仍能保证鲁棒的安全性，并且非常适合高维系统，正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Safe Reinforcement Learning by Imagining the Near Future
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
安全强化学习是将强化学习算法应用于现实世界问题的一条有前途的道路，其中次优行为可能导致实际的负面后果。在这项工作中，我们专注于设置不安全的状态，可以通过提前规划到未来很短的时间来避免。在这种情况下，具有足够准确模型的基于模型的代理可以避免不安全状态。我们设计了一个基于模型的算法，严重惩罚不安全的轨迹，并得到保证，我们的算法可以避免在某些假设下的不安全状态。实验表明，我们的算法可以在几个连续的控制任务，以较少的安全违规，实现竞争性的回报。
2022-02-15 cs.LG
Safe Reinforcement Learning for Legged Locomotion
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）
由于欠驱动和非连续的机器人动力学，设计腿运动的控制策略是复杂的。无模型强化学习为解决这一挑战提供了有前途的工具。然而，安全性是无模型强化学习在现实世界中应用的一个主要瓶颈。在本文中，我们提出了一个安全的强化学习框架，该框架在防止机器人进入不安全状态的安全恢复策略和经过优化以完成任务的学习者策略之间切换。当学习器策略违反安全约束时，安全恢复策略接管控制，并且当没有未来的安全违反时，将控制移交回去。我们设计的安全恢复策略，使它确保安全的腿运动，同时最小限度地干预学习过程。此外，我们从理论上分析了所提出的框架，并提供了一个上限的任务性能。我们验证了所提出的框架，在四个运动任务的模拟和真实的四足机器人：有效的步态，猫步，双腿平衡，和起搏。平均而言，我们的方法比模拟中的基线方法减少了48.6%的跌倒次数，并获得了相当或更好的回报。当将其部署在现实世界的四足机器人上时，我们的训练管道可以使高效步态的能效提高34%，猫道中的脚放置更窄40.9%，双腿平衡的跳跃持续时间增加两倍。我们的方法在115分钟的硬件时间内实现了不到5次跌倒。
2022-03-05 cs.AI cs.LG cs.RO
Trustworthy Reinforcement Learning Against Intrinsic Vulnerabilities: Robustness, Safety, and Generalizability
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
一个值得信赖的强化学习算法应该能够解决具有挑战性的现实问题，包括{鲁棒}处理不确定性，满足{安全}约束以避免灾难性故障，以及{推广}部署期间看不见的场景。本研究的目的是综述这些主要观点的可信强化学习考虑其内在的脆弱性，鲁棒性，安全性和泛化能力。特别是，我们给出了严格的配方，分类相应的方法，并讨论每个角度的基准。此外，我们提供了一个展望部分，以刺激有前途的未来方向，并简要讨论考虑人类反馈的外在脆弱性。我们希望这项调查能够将不同的研究线索汇集在一个统一的框架中，并促进强化学习的可信度。
2022-09-16 cs.LG
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）
本文提出一种基于容许性的新框架，通过将安全性自然融入容许性机制来构建盾牌，从而在消除非最优动作提升训练效率的同时保障安全，有效解决了传统强化学习盾牌方法学习延迟高或依赖预计算的问题。
2024-05-29 cs.LG
A Unified Bellman Operator for Safety-Critical Reinforcement Learning
Princeton University（普林斯顿大学）
本研究提出统一贝尔曼算子，将安全关键强化学习的性能与安全目标整合，经理论证明收敛，在连续控制任务上实现近零安全违规的稳定收敛。
2026-10-09 cs.LG
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
在许多工程实施中，安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而，强化学习算法不能完全保证实际操作的安全性。为了解决这个问题，这项工作采用了控制障碍函数强化学习，并提出了一个补偿算法，完全保持安全。具体而言，已利用平方和规划来搜索最优控制器，并同时调整学习超参数。因此，保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比，本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University（麦克马斯特大学）
研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。
2026-07-27 cs.LG
Safe In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学）
提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。
2026-07-27 cs.LG
Evaluating Reinforcement Learning Safety and Trustworthiness in Cyber-Physical Systems
University of Notre Dame（圣母大学）
针对CPS中RL组件安全案例构建困难的问题，本文提出SAFE-RL框架，采用设计科学方法支持基于RL的CPS开发、验证与安全部署，并在sUAS的三个RL应用中验证其有效性。
2025-03-12 cs.LG cs.SE
Reinforcement Learning for Robotic Safe Control with Force Sensing
本文提出基于力感知的强化学习方法，提升机器人在复杂环境中的安全性和可靠性，通过实验验证其在物体推动任务中的高效性与安全性。
2025-10-30 cs.RO
Safe and Sample-efficient Reinforcement Learning for Clustered Dynamic Environments
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出一个安全且样本效率高的强化学习（RL）框架，以解决开发适用RL算法的两个主要挑战：满足安全约束和在有限样本下有效学习。为了保证在现实世界中的复杂环境中的安全性，我们使用安全集算法（SSA）来监视和修改标称控制，并评估SSA+RL在集群动态环境中，这是具有挑战性的解决现有的RL算法。然而，SSA+RL框架通常不是样本有效的，特别是在奖励稀疏环境中，这在以前的安全RL作品中没有得到解决。为了提高学习效率，我们提出了三种技术：（1）通过调整SSA来避免表现得过于保守;（2）使用具有安全约束的随机网络蒸馏来鼓励安全探索;（3）通过将SSA视为专家演示并直接从中学习来提高政策收敛性。实验结果表明，与其他安全RL方法相比，我们的框架在训练过程中可以实现更好的安全性能，并以更少的事件解决任务。项目网址：https://hychen-naza.github.io/projects/Safe_RL/。
2023-03-24 cs.LG cs.RO cs.SY
Robust Safe Reinforcement Learning under Adversarial Disturbances
Tsinghua University（清华大学）
针对外部扰动下的安全强化学习问题，提出基于零和博弈与策略迭代求解鲁棒不变集并集成到约束策略优化的框架，实现最坏扰动下零约束违反且保持高性能。
2023-10-11 cs.LG
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of Science and Technology Beijing（北京科技大学）
安全的强化学习（RL）解决了约束满意的策略，为RL在机器人等现实世界问题中更广泛的安全关键应用提供了一种有前途的方法。在所有安全的RL方法中，基于模型的方法由于其高样本效率而进一步减少了训练时间违规。然而，缺乏对模型不确定性的安全鲁棒性仍然是安全的基于模型的强化学习中的一个问题，特别是在训练时间安全性方面。在本文中，我们提出了一个分布式的可达性证书（DRC）和Bellman方程，以解决模型的不确定性和鲁棒持久安全状态的特征。此外，我们建立了一个安全的RL框架，以解决DRC及其相应的屏蔽策略所需的约束。我们还设计了一个线搜索方法，以保持安全，同时达到更高的回报，同时利用盾牌政策。经典的基准测试，如约束跟踪和导航的综合实验表明，该算法实现了可比的回报，在训练过程中的约束违反少得多。
2022-10-14 cs.LG cs.RO cs.SY
How to Learn from Risk: Explicit Risk-Utility Reinforcement Learning for Efficient and Safe Driving Strategies
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
自动驾驶有可能彻底改变移动性，因此是一个活跃的研究领域。在实践中，自动驾驶车辆的行为必须是可接受的，即，高效、安全和可解释。虽然普通的强化学习（RL）发现了性能良好的行为策略，但它们通常是不安全和不可解释的。安全性是通过安全强化学习方法引入的，但它们仍然大多无法解释，因为学习的行为是针对安全性和性能进行联合优化的，而不是单独建模。可解释的机器学习很少应用于RL。本文提出了SafeDQN，它允许使自动驾驶汽车的行为安全和可解释，同时仍然有效。SafeDQN在预期风险和操作效用之间提供了一个可理解的语义权衡，同时在算法上是透明的。我们表明，SafeDQN发现可解释的和安全的驾驶政策的各种情况下，并展示了如何国家的最先进的显着性技术可以帮助评估风险和效用。
2022-08-02 cs.LG
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Computationally efficient safe exploration in reinforcement learning
Aalto University（阿尔托大学）
本文提出一种基于Nadaraya-Watson估计器的计算高效安全探索算法CoLSafe-MDP，用于约束马尔可夫决策过程，相比高斯过程方法大幅降低计算成本，并在网格环境和火星地形数据上验证了性能。
2026-09-22 cs.LG cs.RO cs.SY
Safety Verification of Model Based Reinforcement Learning Controllers
School of Aeronautics and Astronautics（航空航天学院）；Purdue University（普渡大学）
基于模型的强化学习（RL）已经成为开发用于现实世界系统的控制器的有前途的工具（例如，机器人、自动驾驶等）。然而，实际系统往往有约束强加在他们的状态空间，必须满足，以确保系统及其环境的安全。为RL算法开发验证工具是具有挑战性的，因为神经网络的非线性结构阻碍了对此类模型或控制器的分析验证。为此，我们提出了一种新的基于模型的RL控制器使用可达集分析的安全验证框架。所提出的框架可以有效地处理使用神经网络表示的模型和控制器。此外，如果控制器不能满足一般的安全约束，所提出的框架也可以用来识别的初始状态的子集，从该控制器可以安全地执行。
2020-10-21 cs.LG cs.RO cs.SY
SAMBA: Safe Model-Based & Active Reinforcement Learning
Huawei R&D UK（华为英国研发部）；Technical University Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
在本文中，我们提出了SAMBA，一个新的安全强化学习框架，结合了概率建模，信息论和统计学方面。我们的方法建立在PILCO的基础上，通过支持条件风险价值约束的多目标问题，使用新的（半）样本外高斯过程评估指标进行积极探索。我们评估我们的算法在各种安全的动力系统基准，涉及低维和高维状态表示。我们的研究结果显示，与最先进的方法相比，样本和违规行为的数量级减少。最后，我们通过对我们的主动指标和安全约束的详细分析，提供了关于框架有效性的直觉。
2020-06-12 cs.AI cs.LG cs.RO
Efficient Policy Evaluation with Safety Constraint for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习同策略评估高方差且现有降方差方法缺乏安全保障的问题，提出安全约束下的最优最小方差行为策略，理论无偏且方差更低，实验验证其在降方差和安全性上均优于现有方法。
2025-03-20 cs.LG
