Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
Faculty of Mechanical Engineering（机械工程学院）；Delft University of Technology（代尔夫特理工大学）；Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学和计算机科学学院）
本文提出COX-Q算法，通过约束乐观探索和保守离线分布价值学习，解决非策略安全强化学习中的约束违反问题，实现在安全关键应用中的高效样本利用和可控数据收集成本。
2026-03-25 cs.LG cs.RO
Safe Policy Exploration Improvement via Subgoals
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Federal Research Center “Computer Science and Control” of the Russian Academy of Sciences（俄罗斯科学院“计算机科学与控制”联邦研究中心）
本文提出SPEIS算法，通过端到端训练子目标和安全双策略来分解任务并遵守累积安全约束，有效提升了强化学习在安全限制下的探索能力，显著降低碰撞率并大幅提高成功率。
2024-08-25 cs.LG cs.RO
Effects of Safety State Augmentation on Safe Exploration
Byju’s Lab（Byju实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）；Huawei R&D（华为研发中心）
安全探索是无模型强化学习中一个具有挑战性的重要问题。通常，安全成本是稀疏和未知的，这必然会导致违反约束-在安全关键应用中理想地避免这种现象。我们解决这个问题，通过增加状态空间的安全状态，这是非负的，当且仅当约束得到满足。该状态的值也用作约束违反的距离，而其初始值指示可用的安全预算。这个想法使我们能够在训练期间获得用于调度安全预算的策略。我们称我们的方法为Simmer（RL的安全策略IMproveMEnt），以反映这些时间表的谨慎性质。我们将这个想法应用到两个安全的RL问题：RL与平均成本上施加的约束，和RL与概率1的成本上施加的约束。我们的实验表明，“炖，一个安全的算法可以提高两种设置的训练过程中的安全性。我们进一步证明了Simmer可以稳定训练并提高具有平均约束的安全RL的性能。
2022-10-12 cs.AI cs.LG
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Probabilistic Counterexample Guidance for Safer Reinforcement Learning (Extended Version)
Imperial College London（帝国理工学院）
提出利用概率反例生成抽象安全知识并构建最小仿真子模型进行离线策略改进的方法，以降低强化学习在线探索中的安全违背。
2023-07-12 cs.LG cs.LO
Guardian: Decoupling Exploration from Safety in Reinforcement Learning
Sun Yat-sen University（中山大学）
提出RLPD-GX框架，通过守护者机制解耦探索与安全，结合动态课程稳定训练，在Atari-100k上超越现有混合方法45%，兼顾性能与安全性。
2025-10-26 cs.AI cs.LG
System III: Learning with Domain Knowledge for Safety Constraints
Edinburgh Centre for Robotics（爱丁堡机器人中心）；University of Oxford（牛津大学）
本文提出 System III 框架，将安全领域知识表示为一阶逻辑约束并用 p-范数评估，从而在 Gym 与 Safety-Gym 任务中实现更安全探索和更高样本效率。
2023-04-23 cs.LG
Exploration vs Exploitation vs Safety: Risk-averse Multi-Armed Bandits
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LRI（计算机研究实验室）；Université Paris Sud（巴黎第十一大学）
受能源管理应用的启发，本文提出了多臂风险感知Bandit（MARAB）算法。为了限制风险武器的开发，MARAB将其条件风险值作为武器质量。当用户提供的风险水平为0时，手臂质量趋向于手臂分布密度的本质下确界，并且MARAB趋向于MIN多手臂强盗算法，针对具有最大最小值的手臂。作为第一个贡献，本文提出了一个理论分析的MIN算法在温和的假设下，建立其鲁棒性相比UCB。分析支持广泛的实验验证MIN和MARAB相比，UCB和国家的最先进的风险意识MAB算法对人工和现实世界的问题。
2014-01-06 cs.LG
Provably Safe PAC-MDP Exploration Using Analogies
Carnegie-Mellon University（卡内基梅隆大学）
将强化学习应用于安全关键领域的一个关键挑战是理解如何平衡探索（需要在任务上获得良好的性能）与安全（需要避免灾难性故障）。虽然强化学习中越来越多的工作已经研究了“安全探索”的这一领域，但大多数现有技术要么1）在实际探索过程中不保证安全;和/或2）将问题限制在先验已知和/或具有强平滑假设的确定性过渡动态。针对这一差距，我们提出了类似的安全状态探索（ASE），一种算法，可证明安全的探索未知的，随机动态的MDP。我们的方法利用状态-动作对之间的类比来安全地学习PAC-MDP意义上的接近最优的策略。此外，ASE还引导探索最相关的任务状态，这在经验上导致显着改善样本效率方面，与现有的方法相比。
2021-03-22 cs.AI cs.LG stat.ML
Constrained Exploration and Recovery from Experience Shaping
IBM Research - Tokyo（IBM东京研究院）
我们考虑安全要求下的强化学习问题，在该问题中，代理被训练来完成给定的任务，通常形式化为随着时间的推移的奖励信号的最大化，同时避免与较低的奖励或惩罚相关联的不期望的动作或状态。在存在多个目标的情况下，不同奖励成分的构建和平衡可能是困难的，但对于制定令人满意的政策至关重要。例如，在避开障碍物的同时到达目标时，低碰撞处罚可能导致鲁莽的移动，而高处罚可能会阻止探索。为了规避这一限制，我们研究了过去的行动在安全方面的影响，以估计哪些是可以接受的，或者在未来应该避免。然后，我们在强化学习过程中主动重塑智能体的动作空间，从而将奖励驱动的探索限制在安全范围内。我们提出了一种算法，使学习这样的安全约束并行强化学习，并证明其有效性的任务完成和训练时间。
2018-09-21 cs.AI cs.LG
Verifiably Safe Exploration for End-to-End Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）
在安全关键环境中部署深度强化学习需要开发在探索过程中遵守硬约束的算法。本文贡献了第一种方法对强制执行正式的安全约束端到端的策略与视觉输入。我们的方法借鉴了最新的进展，目标检测和混合动力系统的自动推理。该方法进行评估的一个新的基准，强调在硬约束的存在下安全探索的挑战。我们的基准测试借鉴了几个建议的安全学习问题集，包括强调挑战的问题，如奖励信号与安全约束不一致。在这些基准问题中，我们的算法完全避免了不安全的行为，同时在优化尽可能多的奖励方面保持竞争力。我们还证明了我们的方法，强制执行的安全约束保留了所有安全的政策，从原来的环境。
2020-07-02 cs.AI cs.LG cs.LO
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis
University of Oxford（牛津大学）
针对强化学习训练中安全约束与探索效率的平衡问题，提出基于贝叶斯推理更新环境转移概率模型、近似风险信念矩并推导风险置信界的安全探索架构，可与强化学习结合且经实验验证有效。
2023-12-18 cs.LG cs.LO cs.SY
Sampling-Based Safe Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于采样的安全强化学习方法，通过在有限的动力学样本集上联合施加约束，确保学习过程中的安全性，并在连续域中提供实用的安全保证，同时通过限制认知不确定性实现了高效的探索。
2026-10-12 cs.AI cs.LG cs.RO
Safe Policy Optimization with Local Generalized Linear Function Approximations
IBM Research（IBM研究院）；Tsinghua University（清华大学）
安全探索是将强化学习（RL）应用于安全关键系统的关键。现有的安全勘探方法都是在正则性假设下保证安全性，难以应用于大规模的实际问题。我们提出了一种新的算法，SPO-LF，优化代理的政策，同时学习的本地可用的传感器和环境的奖励/安全使用广义线性函数近似的功能之间的关系。我们提供了理论保证其安全性和最优性。我们的实验表明，我们的算法是1）更有效的样本复杂度和计算成本和2）更适用于大规模的问题比以前的安全RL方法与理论保证，和3）与现有的先进的深度RL方法相比，样本效率和安全的安全约束。
2021-11-09 cs.AI cs.LG cs.RO
Safe Exploration in Finite Markov Decision Processes with Gaussian Processes
ETH Zurich（苏黎世联邦理工学院）
在经典的强化学习中，当探索环境时，智能体接受任意的短期损失以获得长期收益。这对于安全关键应用是不可行的，例如机器人，其中甚至单个不安全的动作都可能导致系统故障。在本文中，我们解决的问题，安全地探索有限马尔可夫决策过程（MDP）。我们定义安全的一个先验未知的，安全约束，取决于状态和行动。我们的目标是探索在此约束下的MDP，假设未知函数满足通过高斯过程先验表示的正则性条件。我们开发了一种新的算法，这项任务，并证明它是能够完全探索的安全可达部分的MDP不违反安全约束。为了实现这一目标，它谨慎地探索安全的状态和动作，以便从导航环境时收集的噪声观测中获得关于未访问的状态-动作对的安全性的统计置信度。此外，该算法在探索MDP时显式地考虑可达性，确保它不会陷入任何没有安全出路的状态。我们展示了我们的方法，数字地形模型的任务，探索一个未知的地图与漫游车。
2016-11-15 cs.AI cs.LG cs.RO
Directional Constraints for Efficient Exploration in Safe Reinforcement Learning
Dipartimento di Automatica e Informatica, Politecnico di Torino（自动控制与信息工程系，都灵理工大学）；Tongji University, Shanghai Research Institute for Intelligent Autonomous Systems（同济大学，上海智能自主系统研究院）；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Intelligent Autonomous Systems Group, TU Darmstadt（智能自主系统组，达姆施塔特工业大学）；Lund University（隆德大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
针对安全强化学习中约束学习降低速度和性能的问题，提出扩展ATACOM框架的ATACOM-DC方法，通过引入方向约束区分动作，改善安全与性能权衡，在模拟机器人控制任务中评估，分析约束违反成本和任务性能。
2026-07-15 cs.LG cs.RO
Enhancing Building Safety Design for Active Shooter Incidents: Exploration of Building Exit Parameters using Reinforcement Learning-Based Simulations
University of Southern California（南加州大学）
针对美国主动枪击事件增多的问题，本研究提出基于强化学习的仿真方法，模拟动态枪手行为，定量探究出口数量与配置对疏散和伤亡的影响，为建筑安全设计提供初步参考。
2024-07-15 cs.AI cs.LG
Efficient and Safe Exploration in Deterministic Markov Decision Processes with Unknown Transition Models
Stanford University（斯坦福大学）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
本文提出了一种安全探索算法，通过利用Lipschitz连续性确保在探索过程中不访问危险状态，该算法在确定性马尔可夫决策过程中提供了确定性的安全保证，并通过模拟导航任务验证了其性能。
2019-04-01 cs.AI cs.LG cs.RO
Safe Exploration in Model-based Reinforcement Learning using Control Barrier Functions
Boston University（波士顿大学）
本文提出了一种基于基于模型的强化学习（MBRL）框架，用于在线学习无限时域最优控制问题的价值函数，同时服从以控制障碍函数（CBF）表示的安全约束。我们的方法是促进了一类新的CBFs，称为Lyapunov样CBFs（LCBFs）的发展，保留CBFs的开发微创安全控制政策的有益特性，同时也具有理想的Lyapunov样的质量，如积极的半定。我们展示了如何使用这些LCBFs来增强基于学习的控制策略以保证安全，然后利用这种方法在MBRL环境中开发安全的探索框架。我们证明，我们的方法可以处理更一般的安全约束比比较方法通过数值例子。
2022-09-19 cs.LG cs.SY eess.SY
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
DOPE: Doubly Optimistic and Pessimistic Exploration for Safe Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
安全的强化学习是极具挑战性的--不仅必须让智能体探索未知的环境，还必须确保没有违反安全约束。我们制定这个安全的强化学习（RL）问题使用的框架有限时域约束马尔可夫决策过程（CMDP）与未知的转移概率函数，在那里我们建模的安全要求的约束，必须满足在所有的学习情节的预期累积成本。我们提出了一个基于模型的安全RL算法，我们称之为双重乐观和悲观的探索（DOPE），并表明它实现了一个客观的遗憾$\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}| K})$，而不违反学习过程中的安全约束，其中$|\mathcal{S}|$是状态的数量，$|\mathcal{A}|$是行动的数量，和$K$是学习情节的数量。我们的主要思想是结合奖励奖金的探索（乐观）与保守的约束（悲观），除了标准的乐观模型为基础的探索。DOPE不仅能够提高客观后悔界限，而且与早期的乐观-悲观方法相比，还显示出显着的实证性能改善。
2022-10-18 cs.AI cs.LG
Safe Exploration in Markov Decision Processes
University of California at Berkeley（加州大学伯克利分校）
在不确定的动态环境中，探索是学习如何表现良好的必要条件。现有的强化学习算法提供了强大的探索保证，但它们往往依赖于遍历性假设。遍历性的本质是任何状态最终都可以通过遵循适当的策略从任何其他状态到达。这个假设允许探索算法通过简单地支持以前很少访问过的状态来操作。对于大多数物理系统来说，这个假设是不切实际的，因为系统会在任何合理的探索发生之前破裂，即，大多数物理系统都不满足遍历性假设。在本文中，我们解决了需要安全的探索方法在马尔可夫决策过程。我们首先提出了一个一般的提法安全遍历。我们表明，通过限制注意力的一组保证安全的政策是NP难的。然后，我们提出了一个有效的算法保证安全，但可能是次优的，探索。在核心是一个优化公式，其中的约束限制注意力的一个子集的保证安全的政策和目标有利于勘探政策。我们的框架是兼容的大多数以前提出的勘探方法，依赖于勘探奖金。我们的实验，其中包括火星地形探测问题，表明我们的方法是能够探索比经典的探索方法。
2012-07-06 cs.LG
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（蒙特利尔人工智能研究所）；Université Laval（拉瓦尔大学）；IID - Institut Intelligence et Données（智能与数据研究所）；LawZero；CIFAR AI Chair（CIFAR人工智能主席）
提出SHAPO算法，通过锐度感知策略更新隐式重加权梯度，放大罕见不安全动作的影响，抑制安全动作的贡献，从而在欠探索区域实现保守行为，提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
Safety-Critical Learning of Robot Control with Temporal Logic Specifications
Lehigh University（里海大学）
强化学习是一种很有前途的学习方法。然而，成功仅限于现实世界的应用，因为确保安全探索和促进充分利用是一个挑战，控制机器人系统与未知的模型和测量不确定性。对于连续状态动作的复杂任务，学习问题变得更加困难。在本文中，我们提出了一个基于学习的机器人控制框架，包括几个方面：（1）我们利用线性时序逻辑（LTL）来表达复杂的任务在无限的视野，被翻译成一个新的自动机结构;（2）我们详细介绍了一个创新的奖励计划，LTL满意度的概率保证。然后，通过应用奖励塑造技术，我们开发了一个模块化的策略梯度架构，利用自动机结构的好处来分解整体任务，提高学习控制器的性能;（3）引入高斯过程（GPs）对不确定动态系统进行估计，我们在学习过程中使用指数控制障碍函数（ECBF）合成了基于模型的安全探索，该函数概括了具有高（4）为了进一步提高搜索效率，利用LTL自动机和ECBF的性质，提出了一种安全的引导过程。最后，我们通过几个机器人环境证明了该框架的有效性。我们展示了一种基于ECBF的模块化深度RL算法，该算法在训练过程中实现了近乎完美的成功率和高概率置信度的安全防护。
2022-08-26 cs.FL cs.LG cs.RO
Sample-efficient Safe Learning for Online Nonlinear Control with Control Barrier Functions
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Cornell University（康奈尔大学）；Microsoft Corporation（微软公司）
强化学习（RL）和连续非线性控制已成功应用于多个领域的复杂顺序决策任务。然而，由于学习过程的探索性质和模型不确定性的存在，由于缺乏安全保证，将它们应用于安全关键控制任务是具有挑战性的。另一方面，虽然将控制理论方法与学习算法相结合在安全RL应用中显示出了希望，但用于控制的安全数据汇集过程的样本效率没有得到很好的解决。在本文中，我们提出了一个\emph{provably}样本有效的情节安全的学习框架，利用安全的探索和利用在一个未知的，非线性动力系统的在线控制任务。特别是，该框架1）在随机设置中扩展控制障碍函数（CBF），以在模型学习期间在不确定性下实现可证明的高概率安全性，以及2）集成基于优化的探索策略，以有效地引导安全探索过程与\emph{near optimal}控制性能的学习动态。我们提供了正式的分析，情节遗憾界对最优控制器和概率安全的理论保证。仿真结果证明了该算法的有效性和效率。
2022-07-29 cs.LG cs.RO cs.SY
Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）
在非结构化机器人任务中，学习风险意识策略是必不可少的，但却具有挑战性。安全的强化学习方法为解决这一问题开辟了新的可能性。然而，保守的策略更新使得难以在复杂的、采样昂贵的环境中实现足够的探索和期望的性能。在本文中，我们提出了一个双代理安全的强化学习策略组成的基线和安全代理。这种解耦的框架为基于RL的控制提供了高灵活性、数据效率和风险意识。具体地说，基线代理负责在标准RL设置下最大化奖励。因此，它与无约束优化、探索和开发的现成训练技术兼容。另一方面，安全代理模仿基线代理进行策略改进，并通过非策略RL调优来学习满足安全约束。与从头开始训练相比，安全策略校正需要显著减少的交互来获得接近最优的策略。双重策略可以通过共享重放缓冲区同步优化，或者利用预训练模型或基于非学习的控制器作为固定基线代理。实验结果表明，我们的方法可以学习可行的技能，没有先验知识，以及从预先训练的不安全的政策产生风险厌恶的同行。所提出的方法优于国家的最先进的安全RL算法在困难的机器人运动和操作任务方面的安全约束满足和样本效率。
2022-12-14 cs.LG cs.RO
Stability Enhancement in Reinforcement Learning via Adaptive Control Lyapunov Function
School of Astronautics, Beihang University（北航航天学院）
本文提出SAC-CLF框架，通过任务特定CLF设计、动态约束调整和控制输入平滑化三项创新，增强强化学习的稳定性与安全性，并在非线性系统和卫星姿态控制实验中验证了其有效性。
2025-01-18 cs.LG cs.RO
Safe Exploration Using Bayesian World Models and Log-Barrier Optimization
ETH Zurich（苏黎世联邦理工学院）
本文提出 CERL，通过贝叶斯世界模型和面向认知不确定性的悲观策略实现受约束 MDP 的安全探索，并在图像观测 CMDP 上取得优于现有方法的安全性与最优性。
2024-05-09 cs.AI cs.LG
Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery
Tongji University（同济大学）
针对现有安全强化学习方法因过度保守导致探索受限和奖励减少的问题，提出一种构建区分安全与不安全状态边界的方法，采用解耦框架学习任务与恢复策略，并通过行为修正机制确保在线训练安全，实验证明其在提升任务性能的同时减少了安全违规。
2023-06-24 cs.AI cs.LG
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
Safe Reinforcement Learning Using Robust Control Barrier Functions
Georgia Institute of Technology（佐治亚理工学院）；University of Waterloo（滑铁卢大学）；Outrider（Outrider公司）；University of California, Irvine（加州大学欧文分校）
强化学习（RL）已被证明在许多情况下是有效的。然而，它通常需要探索足够大数量的状态-动作对，其中一些可能是不安全的。因此，将其应用于安全关键系统仍然是一个挑战。一种越来越常见的解决安全性的方法涉及添加一个安全层，该安全层将RL操作投影到一组安全的操作上。反过来，这种框架的难点是如何有效地将RL与安全层耦合以提高学习性能。在本文中，我们将安全性框架作为基于模型的RL框架中的可微鲁棒控制障碍功能层。此外，我们还提出了一种方法来模块化学习的基本奖励驱动的任务，独立的安全约束。我们证明了这种方法既确保了安全性，又有效地指导了一系列实验中训练过程中的探索，包括以模块化方式学习奖励时的zero-shot转移。
2022-06-22 cs.AI cs.LG cs.RO
Safe and Adaptive Decision-Making for Optimization of Safety-Critical Systems: The ARTEO Algorithm
Imperial College London（帝国理工学院）；ETH Zürich（苏黎世联邦理工学院）
考虑了在安全约束环境下的不确定性决策问题。许多商业和工业应用依赖于实时优化来提高关键性能指标。在未知特性的情况下，实时优化变得具有挑战性，特别是因为满足安全约束。我们提出了ARTEO算法，在那里我们投多武装土匪作为一个数学规划问题的安全约束，并通过探索学习未知的特点，同时优化目标。我们通过使用高斯过程量化未知特性中的不确定性，并将其作为驱动探索的贡献纳入成本函数。我们根据环境的要求自适应地控制这种贡献的大小。我们保证我们的算法的安全性与高概率通过置信区间下构造的高斯过程的正则性假设。我们证明了我们的方法的安全性和效率与两个案例研究：优化电动机电流和实时投标问题。我们进一步评估ARTEO的性能相比，一个安全的变体的置信上限为基础的算法。ARTEO通过准确和安全的决策减少累积的遗憾。
2023-01-30 cs.LG stat.ML
Conservative Distributional Reinforcement Learning with Safety Constraints
Beijing Jiaotong University（北京交通大学）
针对安全强化学习中成本估计不准和拉格朗日乘子训练不稳定的问题，本文提出CDMPO，结合分布式价值估计、保守损失与WAPID乘子更新，显著减少早期约束违反并提升风险控制。
2023-07-08 cs.AI cs.LG
SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving
National Natural Science Foundation (NNSF) of China（中国国家自然科学基金委员会）；National Science and Major Project（国家科学技术重大专项）
提出SARAD框架，结合大语言模型和深度强化学习，通过检索增强生成和碰撞预测模块提升自动驾驶的安全性和效率。
2026-05-27 cs.AI cs.LG cs.RO
Kernel-Based Safe Exploration in Deep Reinforcement Learning
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出了一种基于核的方法，用于在深度强化学习中安全探索，通过学习屏障函数来保证策略不会进入危险区域，同时在探索过程中同时学习最优策略和屏障函数，提供更可靠的概率安全保证。
2026-05-21 cs.LG cs.SY eess.SY
Safe Exploration for Interactive Machine Learning
ETH Zurich（苏黎世联邦理工学院）
在交互式机器学习（IML）中，我们迭代地做出决策并获得未知函数的噪声观测。虽然IML方法，例如，贝叶斯优化和主动学习在实际应用中取得了成功，但在实际系统中，它们必须能够避免不安全决策。为此，安全的IML算法必须仔细学习先验未知的约束，而不做出不安全的决策。现有的算法对这个问题的学习所有决策的安全性，以确保收敛。这是样本效率低下的，因为它探索了与原始IML目标无关的决策。在本文中，我们介绍了一个新颖的框架，可以使任何现有的不安全IML算法变得安全。我们的方法可以作为一个附加组件，将建议的决策作为输入，并利用高斯过程的规律性假设，以便有效地了解它们的安全性。因此，我们只在IML问题需要时才探索安全集。我们将我们的框架应用于安全贝叶斯优化和安全探索确定性马尔可夫决策过程（MDP），之前已经分别进行了分析。我们的方法优于其他算法经验。
2019-10-30 cs.AI cs.LG cs.RO
Safe Reinforcement Learning using Ideas from Model Predictive Control
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学）
针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。
2026-07-09 cs.LG cs.RO
Safe exploration in reproducing kernel Hilbert spaces
Aalto University（阿尔托大学）；Uppsala University（乌普萨拉大学）
针对安全贝叶斯优化中未知函数RKHS范数难以可靠获取的问题，提出一种可从数据估计该范数并保持安全与理论保证的算法，在模拟器和真实倒立摆上验证了更优性能、安全性与可扩展性。
2025-03-13 cs.LG cs.SY eess.SY
Learning to explore when mistakes are not allowed
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
针对GCRL试错依赖导致实际应用风险的问题，提出分预训练安全策略、安全探索阶段学习GC策略并通过分布安全评论家仲裁动作的方法，在模拟环境中实现目标空间充分覆盖且错误率最低。
2025-02-19 cs.LG cs.SY eess.SY
Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林三一学院）
本文提出乐观风险规避演员-评论家（ORAC）方法，通过上界奖励与下界风险成本的探索策略，在满足安全约束的同时避免次优收敛，并在 Safety-Gymnasium 和 CityLearn 中显著改善奖励-成本权衡。
2025-08-27 cs.AI cs.LG
Linear Stochastic Bandits Under Safety Constraints
Bandit算法在安全关键系统中有各种应用，其中重要的是要尊重依赖于每一轮Bandit未知参数的系统约束。在本文中，我们制定了一个线性随机多臂土匪问题的安全约束，依赖于（线性）的一个未知参数向量。因此，学习者无法识别所有安全动作，并且必须保守地采取行动，以确保她的动作在所有回合中都满足安全约束（至少具有高概率）。对于这些土匪，我们提出了一个新的UCB为基础的算法称为安全LUCB，其中包括必要的修改，尊重安全约束。该算法有两个阶段。在纯探索阶段，学习者从一组有限的安全动作中随机选择她的动作，目标是学习整个未知安全集的良好近似。一旦实现了这个目标，算法就开始了一个安全的探索-利用阶段，在这个阶段，学习者逐渐扩大他们对安全行动集的估计，同时控制后悔的增长。我们提供了一个一般的遗憾边界的算法，以及一个问题相关的界限，连接到安全集内的最佳行动的位置。然后，我们提出了一个修改后的启发式，利用我们的问题相关的分析，以改善遗憾。
2019-08-16 cs.LG stat.ML
DESTA: A Framework for Safe Reinforcement Learning with Markov Games of Intervention
Huawei R&D UK（华为英国研发中心）；Tsinghua University（清华大学）；Zhejiang Normal University（浙江师范大学）；University College London（伦敦大学学院）；Peking University（北京大学）
强化学习（RL）涉及在未知系统中执行探索性操作。这可能会将学习代理置于危险和潜在的灾难性系统状态。目前在强化学习中解决安全学习的方法同时权衡了安全探索和任务完成。在本文中，我们介绍了新一代RL求解器，它们学会最大限度地减少安全违规行为，同时在安全策略可以容忍的范围内最大化任务奖励。我们的方法引入了一种新的安全RL的两人框架，称为分布式探索安全训练算法（DESTA）。DESTA的核心是两个自适应代理之间的博弈：安全代理，被委托的任务是最小化安全违规和任务代理，其目标是最大化环境奖励。具体地说，安全代理可以在任何给定的点选择性地控制系统，以防止违反安全，而任务代理可以在任何其他状态下自由地执行其策略。该框架使安全代理能够在训练和测试期间学习在某些状态下采取行动，以最大限度地减少未来的安全违规行为，而任务代理则在其他任何地方执行最大限度地提高任务性能的行动。从理论上讲，我们证明了DESTA收敛到稳定点，使预训练策略的安全违规行为最小化。经验上，我们显示DESTA的能力，以增加现有的政策的安全性，其次，构建安全的强化学习政策时，任务代理和安全代理同时进行培训。我们在OpenAI gym的Lunar Lander和Frozen Lake中展示了DESTA与领先的RL方法的卓越性能。
2023-03-01 cs.LG
Safe Exploration Method for Reinforcement Learning under Existence of Disturbance
Fujitsu Limited（富士通有限公司）；Keio University（庆应义塾大学）
近年来，强化学习算法的快速发展为我们在许多领域提供了新的可能性。然而，由于其探索性，我们必须考虑到这些算法的风险，特别是在现实环境中的安全关键问题时，我们将其应用。在本研究中，我们处理一个在干扰存在下的强化学习安全探索问题。我们定义的安全学习过程中的约束条件的满足明确定义的状态，并提出了一种安全的探索方法，使用部分先验知识的控制对象和干扰。所提出的方法确保满足显式状态约束与预先指定的概率，即使被控对象暴露于随机干扰遵循正态分布。作为理论结果，我们引入了充分条件来构造不包含在所提出的方法中使用的探索方面的保守输入，并证明了所提出的方法在上述意义上的安全性是有保证的。最后，通过倒立摆和四杆并联机器人的数值仿真，验证了该方法的有效性。
2023-03-20 cs.AI cs.LG cs.SY
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar（印度理工学院罗帕尔）
本文提出了一种安全强化学习框架，通过离线学习概率性控制-仿射动力学模型，构建考虑模型不确定性的控制屏障函数以提供保守安全约束，从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
Reinforcement Learning by Guided Safe Exploration
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
针对目标任务未知且部署后禁止安全违规的强化学习场景，提出一种受限无奖励设定下的引导式安全探索方法，通过引导者组合安全策略并对学生策略进行正则化，实现了安全迁移学习并加快了目标任务求解。
2023-07-26 cs.AI cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics
Institute for Data Science in Mechanical Engineering (DSME), RWTH Aachen University（机械工程数据科学研究所（DSME），亚琛工业大学）；Institute of Climate and Energy Systems (ICE), Energy Systems Engineering (ICE-1), Forschungszentrum Jülich GmbH（气候与能源系统研究所（ICE），能源系统工程（ICE-1），焦耳研究中心有限公司）
本文提出了一种具有不确定性的预测安全过滤器（UPSi），通过将未来结果建模为可达集，利用概率集合（PE）神经网络动态模型提供严格的安全预测，从而在模型基于强化学习（MBRL）中提升探索安全性，同时保持与标准MBRL相当的性能。
2026-08-11 cs.LG cs.SY eess.SY
On the Equilibrium between Feasible Zone and Uncertain Model in Safe Exploration
School of Vehicle and Mobility and State Key Lab of Intelligent Green Vehicle and Mobility, Tsinghua University, Beijing, 100084, China（车辆与移动系统学院和智能绿色车辆与移动系统国家重点实验室，清华大学，北京，100084，中国）
本文提出安全平衡探索框架SEE，通过交替寻找最大可行区域和最不确定的模型，证明其在安全探索中达到平衡。实验显示算法能零约束违规扩展可行区域。
2026-02-04 cs.LG cs.SY eess.SY
Safe Exploration via Policy Priors
ETH Zurich（苏黎世联邦理工学院）
提出SOOPER方法，利用次优但保守的策略先验，结合概率动力学模型进行乐观探索和悲观回退，在保证安全的同时收敛到最优策略。
2026-08-14 cs.AI cs.LG cs.RO
Safe Exploration Incurs Nearly No Additional Sample Complexity for Reward-free RL
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
无奖励强化学习（RF-RL）是近年来提出的一种强化学习范式，它依赖于随机的行动来探索未知的环境，而不需要任何奖励反馈信息。虽然RF-RL中探索阶段的主要目标是以最少数量的轨迹减少估计模型中的不确定性，但在实践中，代理通常需要同时遵守某些安全约束。目前尚不清楚这种安全探索的要求将如何影响相应的样本复杂度，以达到所需的最优性，在规划中获得的政策。在这项工作中，我们首次尝试回答这个问题。特别是，我们考虑的情况下，一个安全的基线政策是已知的事先，并提出了一个统一的安全reWard-frEe ExploraTion（SWEET）框架。然后，我们将SWEET框架具体化为表格和低秩MDP设置，并分别开发了Tabular-SWEET和Low-rank-SWEET算法。这两种算法都利用了新引入的截断价值函数的连续性和连续性，并保证在探索过程中以高概率实现零约束违反。此外，这两种算法可以证明找到一个接近最优的政策受到任何约束的规划阶段。值得注意的是，这两种算法下的样本复杂度匹配，甚至优于最先进的无约束的同行，一些常数的因素，证明安全约束几乎没有增加RF-RL的样本复杂度。
2023-03-21 cs.LG stat.ML
Demystifying the Mechanisms Behind Emergent Exploration in Goal-conditioned RL
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过理论分析和实验揭示了SGCRL算法中涌现探索的机制，即学习低秩表示塑造隐式奖励以促进探索，并据此实现安全感知探索。
2025-10-15 cs.LG
Efficient Exploration in Constrained Environments with Goal-Oriented Reference Path
Information Technology R&D Center, Mitsubishi Electric Corporation（三菱电机株式会社信息技术研发中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本先进产业科学技术研究所（AIST））；Mitsubishi Electric Research Labs（三菱电机研究实验室）
在本文中，我们考虑的问题，建立学习代理，可以有效地学习在受限环境中导航。主要目标是设计能够有效地学习理解并使用高维输入（2D地图）推广到不同环境的代理，同时遵循在障碍物杂乱的环境中避开障碍物的可行路径。为了实现这一点，我们利用传统的路径规划算法，监督学习，和强化学习算法的协同方式。其关键思想是将导航问题与规划和控制脱钩，前者通过监督学习实现，后者通过强化学习实现。具体来说，我们训练一个深度卷积网络，它可以根据环境地图预测无碰撞路径--然后由强化学习算法使用它来学习密切跟踪路径。这使得经过训练的智能体在更快学习的同时实现良好的泛化。我们测试我们提出的方法在最近提出的安全健身房套件，允许测试的学习代理的训练过程中的安全约束。我们比较我们提出的方法与现有的工作，并表明我们的方法不断提高样本效率和泛化能力的新环境。
2020-03-03 cs.LG cs.RO stat.ML
Verification-Guided Falsification for Safe RL via Explainable Abstraction and Risk-Aware Exploration
Iowa State University（爱荷华州立大学）；Wake Forest University（威克森林大学）；Indiana University（印第安纳大学）
本文提出融合可解释抽象、模型检验与风险引导证伪的混合框架，通过CAPS抽象和Storm验证安全规约，并利用风险估计优先搜索高风险区域，同时引入运行时安全防护层以缓解故障。
2025-06-04 cs.AI cs.LG
Safety Augmented Value Estimation from Demonstrations (SAVED): Safe Deep Model-Based RL for Sparse Cost Robotic Tasks
California Institute of Technology（加州理工学院）；University of California, Berkeley（加州大学伯克利分校）
机器人的强化学习（RL）是具有挑战性的，因为手工设计密集的成本函数的困难，这可能会导致意外的行为和动态不确定性，这使得探索和约束满足具有挑战性。我们通过一种新的基于基于模型的强化学习算法来解决这些问题，即安全增强值估计演示（SAVED），该算法使用仅识别任务完成的监督和一组适度的次优演示来约束探索，并在处理复杂约束时有效地学习。然后，我们将SAVED与3种最先进的基于模型和无模型的RL算法在6个标准模拟基准上进行比较，这些标准模拟基准涉及导航和操纵以及达芬奇手术机器人上的物理打结任务。结果表明，SAVED优于以前的方法在成功率，约束满足，和样本效率，使得它可以安全地学习控制策略直接在一个真正的机器人在不到一个小时。对于机器人上的任务，基线成功率不到5%，而SAVED在前50次训练迭代中的成功率超过75%。代码和补充材料可在https://tinyurl.com/saved-rl上获得。
2020-05-16 cs.AI cs.LG cs.RO
