Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar（印度理工学院罗帕尔）
本文提出了一种安全强化学习框架，通过离线学习概率性控制-仿射动力学模型，构建考虑模型不确定性的控制屏障函数以提供保守安全约束，从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qizhi Institute（上海期智研究院）
安全性是利用强化学习控制复杂动力系统的主要考虑因素，其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数，并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念，两者的综合都具有挑战性。因此，现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个，这限制了它们对一般未知动态的适用性。本文提出了一种新的方法，同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是，我们制定了一个损失函数，以优化安全证书参数，最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习（CRL）中，我们联合更新策略和安全证书参数，并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明，该算法学习可证明安全的策略，没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation（LY公司）；Osaka University（大阪大学）；Tsinghua University（清华大学）
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联，并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算学院和数据科学学院，新加坡）；Sony Corporation（索尼公司）
SB-TRPO通过动态平衡成本降低与奖励提升，提供硬约束强化学习的原理性算法，确保安全性和奖励的改进，实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
Safety Modulation: Enhancing Safety in Reinforcement Learning through Cost-Modulated Rewards
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
提出安全调制策略优化（SMPO）方法，通过代价感知加权函数调制奖励并引入Q代价函数作为安全评论家，在标准策略优化框架内学习安全策略，实验证明其在整体安全RL性能上优于现有方法。
2025-04-03 cs.AI cs.LG
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题，提出可学习的安全模型进行信用分配，并通过对偶梯度方法动态调整奖励与安全的权衡，实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
Skill-based Safe Reinforcement Learning with Risk Planning
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出安全技能规划（SSkP）方法，利用离线演示数据通过PU学习构建技能风险预测器，并结合在线风险规划高效学习风险规避的安全策略，在多个机器人仿真基准中优于现有安全强化学习方法。
2025-05-02 cs.AI cs.LG
Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models
Imperial College London, Department of Computing（伦敦帝国学院计算机系）
本文提出一种基于高斯过程的恢复防护机制，用于在未知非线性系统中实现安全强化学习，通过动态恢复和内部模型采样实现安全与高效的学习。
2026-11-02 cs.AI cs.LG
OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research
Peking University（北京大学）
本文提出了OmniSafe框架，通过整合跨领域的安全强化学习算法并强调安全要素，旨在简化研究流程、解决现有框架缺失问题，从而加速AI安全研究。
2023-05-16 cs.AI cs.LG
Balance Reward and Safety Optimization for Safe Reinforcement Learning: A Perspective of Gradient Manipulation
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
本研究基于梯度操纵理论解决强化学习中奖励与安全的冲突，提出软切换策略优化方法及安全RL框架，并在Safety-MuJoCo Benchmark和Omnisafe上验证了其优于基线方法的性能。
2025-03-01 cs.AI cs.LG
CRAX: Fast Safe Reinforcement Learning Benchmarking
Eindhoven University of Technology（埃因霍温理工大学）
提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。
2026-09-30 cs.AI cs.LG
Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning
Damascus University（大马士革大学）
提出AnoSeqs方法，通过离线收集安全状态序列构建异常检测模型，在目标环境中调整奖励以惩罚访问异常状态，从而训练风险规避的RL策略，在自动驾驶等基准环境中提升安全性。
2024-07-29 cs.AI cs.LG
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University（四川大学）
受城市感知专家评价策略的启发，提出了一种基于逆强化学习（IRL）的城市安全预测框架，并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法，将预测问题建模为马尔可夫决策过程（MDP），并使用强化学习（RL）来解决问题。此外，我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知，这是首次将IRL方法引入城市安全感知和规划领域，帮助专家定量分析感知特征。我们的研究结果表明，IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands；Ruhr University\,\&\,Radboud University Bochum Germany；Radboud University；Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法，结合安全策略改进与防护机制，在离线强化学习中确保策略性能与安全，实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
DOPE: Doubly Optimistic and Pessimistic Exploration for Safe Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
安全的强化学习是极具挑战性的--不仅必须让智能体探索未知的环境，还必须确保没有违反安全约束。我们制定这个安全的强化学习（RL）问题使用的框架有限时域约束马尔可夫决策过程（CMDP）与未知的转移概率函数，在那里我们建模的安全要求的约束，必须满足在所有的学习情节的预期累积成本。我们提出了一个基于模型的安全RL算法，我们称之为双重乐观和悲观的探索（DOPE），并表明它实现了一个客观的遗憾$\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}| K})$，而不违反学习过程中的安全约束，其中$|\mathcal{S}|$是状态的数量，$|\mathcal{A}|$是行动的数量，和$K$是学习情节的数量。我们的主要思想是结合奖励奖金的探索（乐观）与保守的约束（悲观），除了标准的乐观模型为基础的探索。DOPE不仅能够提高客观后悔界限，而且与早期的乐观-悲观方法相比，还显示出显着的实证性能改善。
2022-10-18 cs.AI cs.LG
Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding
University of York, UK（英国约克大学）；Cyprus University of Technology, Cyprus（塞浦路斯技术大学）
针对未知黑箱环境中RL智能体训练的安全风险问题，提出ADVICE技术，通过对比自动编码器区分状态-动作对的安全特征，减少约50%安全违规，且奖励竞争力强。
2025-08-26 cs.AI cs.LG
Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery
Tongji University（同济大学）
针对现有安全强化学习方法因过度保守导致探索受限和奖励减少的问题，提出一种构建区分安全与不安全状态边界的方法，采用解耦框架学习任务与恢复策略，并通过行为修正机制确保在线训练安全，实验证明其在提升任务性能的同时减少了安全违规。
2023-06-24 cs.AI cs.LG
Saute RL: Almost Surely Safe Reinforcement Learning Using State Augmentation
Huawei R&D UK（华为英国研发部）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
几乎肯定（或概率为1）满足安全约束对于强化学习（RL）在现实应用中的部署至关重要。例如，理想情况下，飞机着陆和起飞的概率应该是1。我们通过引入安全增强（Saute）马尔可夫决策过程（MDP）来解决这个问题，其中通过将安全约束增强到状态空间并重塑目标来消除安全约束。我们表明，Saute MDP满足贝尔曼方程，并使我们更接近于解决安全RL的约束几乎肯定满足。我们认为，Saute MDP允许从不同的角度来看待安全RL问题，从而实现新的功能。例如，我们的方法具有即插即用的性质，即，任何RL算法都可以是“Sauteed”。此外，状态增强允许跨安全约束的策略泛化。我们最后表明，Saute RL算法可以优于他们的国家的最先进的同行时，约束满足是非常重要的。
2022-06-22 cs.AI cs.LG
A Review of Safe Reinforcement Learning: Methods, Theory and Applications
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；Tongji University（同济大学）；University College London（伦敦大学学院）
本文从方法、理论和应用角度综述安全强化学习，提出五个关键问题（2H3W），分析算法与理论进展，并发布开源基准库以推动研究。
2024-05-24 cs.AI cs.LG
SteinGate: Tail-Sensitive Safe Reinforcement Learning via Stein Discrepancy
研究安全强化学习中罕见灾难性尾部事件难检测的问题，提出SteinGate方法，利用核斯坦因差异进行稳健一致性检查并考虑边界原子，动态调整学习机制，实验证明该方法能降低约束违反频率和严重性且保持竞争力。
2026-07-16 cs.AI cs.LG
EpiFlow: Bridging Safety and Performance in Offline Reinforcement Learning via Epigraph-Guided Flow Matching
EpiFlow通过epigraph引导的流匹配方法，在安全关键任务中实现了高效且安全的离线强化学习。
2026-11-09 cs.AI cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
本文提出一种基于最优传输代价不确定性集的安全强化学习框架，通过构造最坏情况虚拟状态转移实现鲁棒性，在连续控制任务中显著提升部署安全性。
2024-03-28 cs.AI cs.LG stat.ML
Safe-RULE: Safe Reinforcement UnLEarning
University of Notre Dame（圣母大学）
针对离线安全强化学习易受数据投毒攻击的问题，提出Safe-RULE框架，通过反学习移除恶意样本影响，无需从头训练或访问原始环境，实验证明能有效提升安全性。
2026-06-08 cs.AI cs.CR cs.LG
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划，在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Provably Efficient RL for Linear MDPs under Instantaneous Safety Constraints in Non-Convex Feature Spaces
The Ohio State University（俄亥俄州立大学）；New Jersey Institute of Technology（新泽西理工学院）；University at Buffalo（布法罗大学）
本文针对非凸特征空间中线性MDP的瞬时安全约束问题，提出可证明高效的强化学习算法，在星凸与非星凸情形下均达到次线性遗憾界且零约束违反，并通过自动驾驶仿真验证有效性。
2025-02-25 cs.LG
Verifiably Safe Exploration for End-to-End Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）
在安全关键环境中部署深度强化学习需要开发在探索过程中遵守硬约束的算法。本文贡献了第一种方法对强制执行正式的安全约束端到端的策略与视觉输入。我们的方法借鉴了最新的进展，目标检测和混合动力系统的自动推理。该方法进行评估的一个新的基准，强调在硬约束的存在下安全探索的挑战。我们的基准测试借鉴了几个建议的安全学习问题集，包括强调挑战的问题，如奖励信号与安全约束不一致。在这些基准问题中，我们的算法完全避免了不安全的行为，同时在优化尽可能多的奖励方面保持竞争力。我们还证明了我们的方法，强制执行的安全约束保留了所有安全的政策，从原来的环境。
2020-07-02 cs.AI cs.LG cs.LO
RUBAS: Rubric-Based Reinforcement Learning for Agent Safety
The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学对话人工智能（CoAI）组，DCST，清华大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
提出RUBAS框架，通过将智能体行为分解为四个维度的评分标准提供细粒度奖励，利用强化学习在保证任务完成的同时提升工具使用安全性。
2026-06-02 cs.AI cs.CR cs.LG
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University（卡内基梅隆大学）
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景，但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数，我们可以获得安全的策略来优化自动驾驶车辆的性能。然而，控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现（Dosovitskiy等人，2017年）模拟器，并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法，而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Parenting: Safe Reinforcement Learning from Human Input
通过强化学习训练的自主智能体存在许多安全问题：奖励投机、负面副作用和不安全的探索等。在不久的将来，自主智能体在人类了解现有危险的环境中运行，人类参与学习过程已被证明是实现人工智能安全的一种有前途的方法。在这里，我们证明了一个精确的框架，从人类的输入，松散的启发，人类父母的孩子，解决了广泛的安全问题，在这种情况下。我们表明，我们的父母算法解决了Leike等人（2017）的相关AI安全网格世界中的这些问题，代理可以学习在“成熟”时超越其父母，并且通过父母学习的政策可以推广到新的环境。
2019-02-18 cs.AI cs.LG stat.ML
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Sampling-Based Safe Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于采样的安全强化学习方法，通过在有限的动力学样本集上联合施加约束，确保学习过程中的安全性，并在连续域中提供实用的安全保证，同时通过限制认知不确定性实现了高效的探索。
2026-10-12 cs.AI cs.LG cs.RO
Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs
本文提出通过可验证奖励的强化学习方法，在提升LLM推理能力的同时维持安全性，挑战了传统安全性与能力权衡的假设。
2025-11-26 cs.AI cs.LG stat.ML
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University（波士顿大学）
强化学习（RL）的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而，对于实际应用，在勘探期间确保制剂的安全至关重要，因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于，对于大的连续状态或动作空间和未知环境，难以表征不安全状态和动作。在本文中，我们提出了一种新的方法，在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性，我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数，并扩展控制理论的结果，以近似其导数使用在线高斯过程（GP）估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving
Tsinghua University（清华大学）；JD Explore Academy（京东探索研究院）
安全强化学习（RL）在风险敏感任务上取得了重大成功，在自动驾驶（AD）中也显示出了希望。考虑到这个社区的独特性，仍然缺乏安全AD的有效和可重复的基线。在本文中，我们发布了SafeRL-Kit，以基准测试面向AD任务的安全RL方法。具体来说，SafeRL-Kit包含了几个针对零约束违反任务的最新算法，包括安全层，恢复RL，非策略拉格朗日方法和可行的Actor-Critic。除了现有的方法，我们提出了一种新的一阶方法命名为精确惩罚优化（EPO），并充分证明其在安全AD的能力。SafeRL-Kit中的所有算法都是（i）在非策略设置下实现的，这提高了样本效率，并可以更好地利用过去的日志;（ii）使用统一的学习框架，为研究人员提供现成的接口，将他们的特定领域知识融入到基本的安全RL方法中。最后，我们在SafeRL-Kit中对上述算法进行了比较评估，并揭示了它们对安全自动驾驶的有效性。源代码可从\href{ https://github.com/zlr20/saferl_kit}{this https URL}获得。
2022-06-17 cs.AI cs.LG cs.RO
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出物理模型引导的最坏情况采样策略，并将其集成至Phy-DRL框架，以解决DRL训练中忽略安全关键极端场景的问题，显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
