Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
本文提出一种基于最优传输代价不确定性集的安全强化学习框架，通过构造最坏情况虚拟状态转移实现鲁棒性，在连续控制任务中显著提升部署安全性。
2024-03-28 cs.AI cs.LG stat.ML
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University（卡内基梅隆大学）
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景，但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数，我们可以获得安全的策略来优化自动驾驶车辆的性能。然而，控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现（Dosovitskiy等人，2017年）模拟器，并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法，而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Parenting: Safe Reinforcement Learning from Human Input
通过强化学习训练的自主智能体存在许多安全问题：奖励投机、负面副作用和不安全的探索等。在不久的将来，自主智能体在人类了解现有危险的环境中运行，人类参与学习过程已被证明是实现人工智能安全的一种有前途的方法。在这里，我们证明了一个精确的框架，从人类的输入，松散的启发，人类父母的孩子，解决了广泛的安全问题，在这种情况下。我们表明，我们的父母算法解决了Leike等人（2017）的相关AI安全网格世界中的这些问题，代理可以学习在“成熟”时超越其父母，并且通过父母学习的政策可以推广到新的环境。
2019-02-18 cs.AI cs.LG stat.ML
Sampling-Based Safe Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于采样的安全强化学习方法，通过在有限的动力学样本集上联合施加约束，确保学习过程中的安全性，并在连续域中提供实用的安全保证，同时通过限制认知不确定性实现了高效的探索。
2026-10-12 cs.AI cs.LG cs.RO
Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs
本文提出通过可验证奖励的强化学习方法，在提升LLM推理能力的同时维持安全性，挑战了传统安全性与能力权衡的假设。
2025-11-26 cs.AI cs.LG stat.ML
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University（波士顿大学）
强化学习（RL）的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而，对于实际应用，在勘探期间确保制剂的安全至关重要，因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于，对于大的连续状态或动作空间和未知环境，难以表征不安全状态和动作。在本文中，我们提出了一种新的方法，在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性，我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数，并扩展控制理论的结果，以近似其导数使用在线高斯过程（GP）估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving
Tsinghua University（清华大学）；JD Explore Academy（京东探索研究院）
安全强化学习（RL）在风险敏感任务上取得了重大成功，在自动驾驶（AD）中也显示出了希望。考虑到这个社区的独特性，仍然缺乏安全AD的有效和可重复的基线。在本文中，我们发布了SafeRL-Kit，以基准测试面向AD任务的安全RL方法。具体来说，SafeRL-Kit包含了几个针对零约束违反任务的最新算法，包括安全层，恢复RL，非策略拉格朗日方法和可行的Actor-Critic。除了现有的方法，我们提出了一种新的一阶方法命名为精确惩罚优化（EPO），并充分证明其在安全AD的能力。SafeRL-Kit中的所有算法都是（i）在非策略设置下实现的，这提高了样本效率，并可以更好地利用过去的日志;（ii）使用统一的学习框架，为研究人员提供现成的接口，将他们的特定领域知识融入到基本的安全RL方法中。最后，我们在SafeRL-Kit中对上述算法进行了比较评估，并揭示了它们对安全自动驾驶的有效性。源代码可从\href{ https://github.com/zlr20/saferl_kit}{this https URL}获得。
2022-06-17 cs.AI cs.LG cs.RO
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出物理模型引导的最坏情况采样策略，并将其集成至Phy-DRL框架，以解决DRL训练中忽略安全关键极端场景的问题，显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
On the Robustness of Safe Reinforcement Learning under Observational Perturbations
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
安全强化学习（RL）训练策略以在满足安全约束的同时最大化任务奖励。虽然以前的工作集中在性能最优性，我们发现，许多安全RL问题的最优解是不稳健和安全的精心设计的观测扰动。我们正式分析了在安全的RL设置中设计有效的观察性对抗攻击者的独特属性。我们发现，标准强化学习任务的基线对抗攻击技术并不总是有效的安全强化学习，并提出了两种新的方法-一个最大化的成本和其他最大化的奖励。一个有趣的和反直觉的发现是，最大奖励攻击是强大的，因为它既可以诱导不安全的行为，又可以通过维持奖励来使攻击隐形。我们进一步提出了一个强大的安全RL训练框架，并通过全面的实验进行评估。本文为研究强化学习在观测攻击下的安全性和鲁棒性提供了一个开创性的工作，为未来的安全强化学习研究奠定了基础。代码可从以下网址获得：\url{https://github.com/liuzuxin/safe-rl-robustness}
2023-03-02 cs.AI cs.LG cs.RO
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略，证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta（阿尔伯塔大学）
在本文中，我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习（RL）来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先，所提出的算法确保了冲突永远不会发生，因此加快了学习过程。其次，该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体（如汽车和行人）的不可预测行为，并使马尔可夫决策过程（MDP）在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Virtuously Safe Reinforcement Learning
EPFL（洛桑联邦理工学院）
我们表明，当第三方，对手，进入安全可中断的强化学习的两方设置（代理和操作员）的步骤，必须在极限内遵循最优策略的概率和逃避对手造成的危险情况的概率之间进行权衡。到目前为止，关于安全可中断代理的工作已经假设代理对其环境（没有对手）的完美感知，因此通过显式地寻求第一概率的值1，隐式地将第二概率设置为零。我们表明，（1）代理可以被中断和adversary-resilient，（2）中断可以是安全的，在这个意义上，代理本身不会寻求避免它。我们还解决了问题时，代理不去完全贪婪，即安全探索的限制问题。对干扰感知的恢复力、对极限的安全探索以及安全可中断性是我们称之为\emph{virtuously safe reinforcement learning}的三大支柱。
2018-05-29 cs.AI cs.GT cs.LG
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Safe Reinforcement Learning for Legged Locomotion
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）
由于欠驱动和非连续的机器人动力学，设计腿运动的控制策略是复杂的。无模型强化学习为解决这一挑战提供了有前途的工具。然而，安全性是无模型强化学习在现实世界中应用的一个主要瓶颈。在本文中，我们提出了一个安全的强化学习框架，该框架在防止机器人进入不安全状态的安全恢复策略和经过优化以完成任务的学习者策略之间切换。当学习器策略违反安全约束时，安全恢复策略接管控制，并且当没有未来的安全违反时，将控制移交回去。我们设计的安全恢复策略，使它确保安全的腿运动，同时最小限度地干预学习过程。此外，我们从理论上分析了所提出的框架，并提供了一个上限的任务性能。我们验证了所提出的框架，在四个运动任务的模拟和真实的四足机器人：有效的步态，猫步，双腿平衡，和起搏。平均而言，我们的方法比模拟中的基线方法减少了48.6%的跌倒次数，并获得了相当或更好的回报。当将其部署在现实世界的四足机器人上时，我们的训练管道可以使高效步态的能效提高34%，猫道中的脚放置更窄40.9%，双腿平衡的跳跃持续时间增加两倍。我们的方法在115分钟的硬件时间内实现了不到5次跌倒。
2022-03-05 cs.AI cs.LG cs.RO
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度强化学习（deep RL）的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中，我们提出了一种新的无监督的行动规划技术，以提高安全性的政策上的强化学习算法，如信任区域策略优化（TRPO）或近端策略优化（PPO）。我们设计了我们的安全意识强化学习，通过存储所有的历史“恢复”行动，拯救代理从危险的情况下到一个单独的“安全”缓冲区，并找到最好的恢复行动时，代理遇到类似的状态。由于此功能需要算法查询相似的状态，我们实现了建议的安全机制，使用无监督学习算法，k-均值聚类。我们评估所提出的算法上的六个机器人控制任务，包括导航和操作。我们的研究结果表明，所提出的安全RL算法可以实现更高的回报相比，多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar（印度理工学院罗帕尔）
本文提出了一种安全强化学习框架，通过离线学习概率性控制-仿射动力学模型，构建考虑模型不确定性的控制屏障函数以提供保守安全约束，从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）；Tencent Robotics X Lab, Tencent（腾讯机器人X实验室）
安全强化学习旨在学习控制策略，同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习，一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域，该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的，因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡，提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例，验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
Safe Reinforcement Learning with Nonlinear Dynamics via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）；Deapartment of Computer and Information Science（计算机与信息科学系）
强化学习是一种很有前途的方法来合成具有挑战性的机器人任务的政策。一个关键问题是如何确保学习策略的安全性-例如，步行机器人不会摔倒，或者自动驾驶汽车不会遇到障碍物。我们专注于动态已知的设置，目标是确保在模拟中训练的策略满足给定的安全约束。我们提出了一种称为模型预测屏蔽（MPS）的方法，该方法可以在学习策略和备份策略之间动态切换以确保安全性。我们证明，我们的方法保证安全性，并经验评估它的推车杆。
2020-10-21 cs.LG stat.ML
Enhancing Navigational Safety in Crowded Environments using Semantic-Deep-Reinforcement-Learning-based Navigation
Berlin Institute of Technology（柏林工业大学）
社交人群中的智能导航是移动机器人的一个重要方面，用于交付，医疗保健或援助等应用。深度强化学习作为保守方法的替代规划方法出现，并承诺更有效和灵活的导航。然而，在高度动态的环境中，采用不同种类的障碍物类，安全航行仍然提出了一个巨大的挑战。在本文中，我们提出了一种基于语义深度强化学习的导航方法，该方法通过考虑高级障碍物信息来教授特定于对象的安全规则。特别是，智能体通过考虑特定的危险区域来学习特定于对象的行为，以增强脆弱对象类周围的安全性。我们测试的方法对基准避障方法，并发现增加了安全性。此外，我们证明了智能体可以通过保持依赖于语义信息的个人安全距离来学习更安全地导航。
2021-09-23 cs.LG cs.RO
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Reinforcement Learning in a Safety-Embedded MDP with Trajectory Optimization
Carnegie Mellon University（卡内基梅隆大学）
针对强化学习中奖励最大化与安全约束的权衡问题，提出将安全约束嵌入改进MDP动作空间、结合轨迹优化的方法，在Safety Gym任务和真实机器人推箱任务中实现高奖励与低违规。
2024-07-14 cs.AI cs.RO
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal（蒙特利尔理工学院）
本文综述了安全强化学习中控制障碍函数的应用，并探讨了自动学习控制障碍函数的数据驱动方法，以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qizhi Institute（上海期智研究院）
安全性是利用强化学习控制复杂动力系统的主要考虑因素，其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数，并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念，两者的综合都具有挑战性。因此，现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个，这限制了它们对一般未知动态的适用性。本文提出了一种新的方法，同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是，我们制定了一个损失函数，以优化安全证书参数，最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习（CRL）中，我们联合更新策略和安全证书参数，并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明，该算法学习可证明安全的策略，没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Multi-task Safe Reinforcement Learning for Navigating Intersections in Dense Traffic
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；College of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Automation and Electrical Engineering, University of Science and Technology Beijing（北京科技大学自动化与电气工程学院）
多任务交叉路口导航，包括无保护的左转，右转，直行在密集的交通仍然是一个具有挑战性的任务，自动驾驶。对于人类驾驶员来说，与其他交互车辆的协商技能是保证安全和效率的关键。然而，它是很难平衡的安全性和效率的自主车辆的多任务交叉口导航。在本文中，我们制定了一个多任务安全的强化学习与社会关注，以提高安全性和效率时，与其他交通参与者。具体而言，社会关注模块用于关注协商车辆的状态。此外，在多任务强化学习框架中增加了安全层，以保证协商的安全性。我们在仿真器SUMO与丰富的交通流和CARLA与高保真车辆模型的实验比较，这两个都表明，该算法可以提高安全性与一致的交通效率的多任务交叉口导航。
2022-02-19 cs.AI cs.RO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划，在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich（慕尼黑工业大学）
深度强化学习（RL）在机械手的运动规划中已经显示出有希望的结果。然而，没有方法保证高度动态的障碍物，如人类，在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此，我们提出了一种屏蔽机制，确保ISO验证的人类安全，同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析，以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation（LY公司）；Osaka University（大阪大学）；Tsinghua University（清华大学）
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联，并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Princeton University（普林斯顿大学）
针对竞争性任务中机器人策略易被利用的问题，提出S2C两阶段框架，分离安全综合与任务学习，通过对抗性RL学习安全过滤器，在模拟和硬件测试中优于八个基线，实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Handling Long-Term Safety and Uncertainty in Safe Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI（德国人工智能研究中心）
本文通过引入可学习约束扩展安全探索方法ATACOM，解决安全强化学习中任务特定安全约束难以获取、长期安全性难以预见及不确定性问题，在保持训练安全性的同时实现优异最终性能。
2024-09-23 cs.LG cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算学院和数据科学学院，新加坡）；Sony Corporation（索尼公司）
SB-TRPO通过动态平衡成本降低与奖励提升，提供硬约束强化学习的原理性算法，确保安全性和奖励的改进，实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
Safety Modulation: Enhancing Safety in Reinforcement Learning through Cost-Modulated Rewards
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
提出安全调制策略优化（SMPO）方法，通过代价感知加权函数调制奖励并引入Q代价函数作为安全评论家，在标准策略优化框架内学习安全策略，实验证明其在整体安全RL性能上优于现有方法。
2025-04-03 cs.AI cs.LG
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题，提出可学习的安全模型进行信用分配，并通过对偶梯度方法动态调整奖励与安全的权衡，实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）；University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute for Artificial Intelligence（向量人工智能研究院）
在过去的五年中，控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾，重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括：通过学习不确定动态安全地提高性能的基于学习的控制方法，鼓励安全性或鲁棒性的强化学习方法，以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们，例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战，并强调需要现实的基于物理的基准，以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战，当任务是复杂的，具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中，我们使用时序逻辑，以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数，以提高勘探。我们整合了控制屏障功能，以保护探索和部署过程。我们开发了一个灵活的和可学习的系统，允许用户指定任务的目标和限制，在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Skill-based Safe Reinforcement Learning with Risk Planning
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出安全技能规划（SSkP）方法，利用离线演示数据通过PU学习构建技能风险预测器，并结合在线风险规划高效学习风险规避的安全策略，在多个机器人仿真基准中优于现有安全强化学习方法。
2025-05-02 cs.AI cs.LG
Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models
Imperial College London, Department of Computing（伦敦帝国学院计算机系）
本文提出一种基于高斯过程的恢复防护机制，用于在未知非线性系统中实现安全强化学习，通过动态恢复和内部模型采样实现安全与高效的学习。
2026-11-02 cs.AI cs.LG
