Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI(IBM研究院);Tsinghua University(清华大学)
安全强化学习是一种很有前途的方法,用于优化在安全关键应用中运行的代理的策略。在本文中,我们提出了一种算法,SNO-MDP,探索和优化马尔可夫决策过程未知的安全约束。具体来说,我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中,智能体首先通过扩大安全区域来学习安全约束,然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中,我们通过两个实验证明了SNO-MDP的有效性:一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据,另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA(美国本田研究所)
强化学习已经取得了许多进展,但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证,但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架,并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University(卡内基梅隆大学)
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景,但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数,我们可以获得安全的策略来优化自动驾驶车辆的性能。然而,控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现(Dosovitskiy等人,2017年)模拟器,并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法,而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Sampling-Based Safe Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
本文提出了一种基于采样的安全强化学习方法,通过在有限的动力学样本集上联合施加约束,确保学习过程中的安全性,并在连续域中提供实用的安全保证,同时通过限制认知不确定性实现了高效的探索。
2026-10-12 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University(斯坦福大学);Honda Research Institute(本田研究院)
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法,自主导航交叉口,解决现有的基于规则和强化学习(RL)的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器,以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性,我们引入了一种使用基于学习的方法的信念更新技术。最后,我们使用场景分解的方法来扩展我们的算法,多个交通参与者的环境。我们的经验表明,我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University(波士顿大学)
强化学习(RL)的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而,对于实际应用,在勘探期间确保制剂的安全至关重要,因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于,对于大的连续状态或动作空间和未知环境,难以表征不安全状态和动作。在本文中,我们提出了一种新的方法,在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性,我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数,并扩展控制理论的结果,以近似其导数使用在线高斯过程(GP)估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving
Tsinghua University(清华大学);JD Explore Academy(京东探索研究院)
安全强化学习(RL)在风险敏感任务上取得了重大成功,在自动驾驶(AD)中也显示出了希望。考虑到这个社区的独特性,仍然缺乏安全AD的有效和可重复的基线。在本文中,我们发布了SafeRL-Kit,以基准测试面向AD任务的安全RL方法。具体来说,SafeRL-Kit包含了几个针对零约束违反任务的最新算法,包括安全层,恢复RL,非策略拉格朗日方法和可行的Actor-Critic。除了现有的方法,我们提出了一种新的一阶方法命名为精确惩罚优化(EPO),并充分证明其在安全AD的能力。SafeRL-Kit中的所有算法都是(i)在非策略设置下实现的,这提高了样本效率,并可以更好地利用过去的日志;(ii)使用统一的学习框架,为研究人员提供现成的接口,将他们的特定领域知识融入到基本的安全RL方法中。最后,我们在SafeRL-Kit中对上述算法进行了比较评估,并揭示了它们对安全自动驾驶的有效性。源代码可从\href{ https://github.com/zlr20/saferl_kit}{this https URL}获得。
2022-06-17 cs.AI cs.LG cs.RO
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Wayne State University(韦恩州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出物理模型引导的最坏情况采样策略,并将其集成至Phy-DRL框架,以解决DRL训练中忽略安全关键极端场景的问题,显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris(ENSTA巴黎大学U2IS部门,巴黎理工学院);Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA(加州大学伯克利分校电气工程与计算机科学系)
本文提出了一种预测安全护盾,通过环境模型的安全模拟本地更新Q函数,以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
On the Robustness of Safe Reinforcement Learning under Observational Perturbations
CMU(卡内基梅隆大学);Google Brain(谷歌大脑);UIUC(伊利诺伊大学厄巴纳-香槟分校)
安全强化学习(RL)训练策略以在满足安全约束的同时最大化任务奖励。虽然以前的工作集中在性能最优性,我们发现,许多安全RL问题的最优解是不稳健和安全的精心设计的观测扰动。我们正式分析了在安全的RL设置中设计有效的观察性对抗攻击者的独特属性。我们发现,标准强化学习任务的基线对抗攻击技术并不总是有效的安全强化学习,并提出了两种新的方法-一个最大化的成本和其他最大化的奖励。一个有趣的和反直觉的发现是,最大奖励攻击是强大的,因为它既可以诱导不安全的行为,又可以通过维持奖励来使攻击隐形。我们进一步提出了一个强大的安全RL训练框架,并通过全面的实验进行评估。本文为研究强化学习在观测攻击下的安全性和鲁棒性提供了一个开创性的工作,为未来的安全强化学习研究奠定了基础。代码可从以下网址获得:\url{https://github.com/liuzuxin/safe-rl-robustness}
2023-03-02 cs.AI cs.LG cs.RO
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所));Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略,证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta(阿尔伯塔大学)
在本文中,我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习(RL)来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先,所提出的算法确保了冲突永远不会发生,因此加快了学习过程。其次,该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体(如汽车和行人)的不可预测行为,并使马尔可夫决策过程(MDP)在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是(1)在奖励优化和遵守安全约束之间的权衡,(2)部分可观测性,以及(3)高维观测。我们正式的问题,在一个受约束的,部分可观察的马尔可夫决策过程框架,代理获得不同的奖励和安全信号。为了解决维数灾难,我们采用了一种新的安全评论家使用随机潜在的演员批评(SLAC)的方法。潜变量模型预测奖励和安全违规,我们使用安全批评训练安全策略。使用著名的基准环境,我们证明了竞争力的性能超过现有的方法方面的计算要求,最终的回报,并满足安全约束。
2022-10-02 cs.AI cs.LG
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
安全强化学习(Safe RL)旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽,它使用逻辑安全规范来防止RL代理采取不安全的操作。然而,传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此,我们引入概率逻辑策略梯度(PLPG)。PLPG是一种基于模型的安全RL技术,它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此,PLPG可以无缝地应用于任何策略梯度算法,同时仍然提供相同的收敛保证。在我们的实验中,我们表明,PLPG学习更安全,更有益的政策相比,其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
针对AI系统部署的安全隐患及SafeRL落地需求,本文提出统一基准Safety-Gymnasium,覆盖多场景安全任务与多输入形式,并配套含16种前沿算法的SafePO库,以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Safe Reinforcement Learning for Legged Locomotion
Princeton University(普林斯顿大学);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
由于欠驱动和非连续的机器人动力学,设计腿运动的控制策略是复杂的。无模型强化学习为解决这一挑战提供了有前途的工具。然而,安全性是无模型强化学习在现实世界中应用的一个主要瓶颈。在本文中,我们提出了一个安全的强化学习框架,该框架在防止机器人进入不安全状态的安全恢复策略和经过优化以完成任务的学习者策略之间切换。当学习器策略违反安全约束时,安全恢复策略接管控制,并且当没有未来的安全违反时,将控制移交回去。我们设计的安全恢复策略,使它确保安全的腿运动,同时最小限度地干预学习过程。此外,我们从理论上分析了所提出的框架,并提供了一个上限的任务性能。我们验证了所提出的框架,在四个运动任务的模拟和真实的四足机器人:有效的步态,猫步,双腿平衡,和起搏。平均而言,我们的方法比模拟中的基线方法减少了48.6%的跌倒次数,并获得了相当或更好的回报。当将其部署在现实世界的四足机器人上时,我们的训练管道可以使高效步态的能效提高34%,猫道中的脚放置更窄40.9%,双腿平衡的跳跃持续时间增加两倍。我们的方法在115分钟的硬件时间内实现了不到5次跌倒。
2022-03-05 cs.AI cs.LG cs.RO
RePolicy: Learning to Select and Apply Safety Policies for Agent Safeguards
Zhejiang University(浙江大学);Zhongguancun Academy(中关村学院);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对现有智能体安全保障方法难以适应未见轨迹和变化策略上下文的问题,提出RePolicy方法,结合PolicyTraj-20K与带可验证奖励和策略上下文扰动的GRPO,在六个智能体安全基准上取得良好安全检测与策略调用效果。
2026-10-30 cs.AI cs.CL
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology(佐治亚理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
深度强化学习(deep RL)的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中,我们提出了一种新的无监督的行动规划技术,以提高安全性的政策上的强化学习算法,如信任区域策略优化(TRPO)或近端策略优化(PPO)。我们设计了我们的安全意识强化学习,通过存储所有的历史“恢复”行动,拯救代理从危险的情况下到一个单独的“安全”缓冲区,并找到最好的恢复行动时,代理遇到类似的状态。由于此功能需要算法查询相似的状态,我们实现了建议的安全机制,使用无监督学习算法,k-均值聚类。我们评估所提出的算法上的六个机器人控制任务,包括导航和操作。我们的研究结果表明,所提出的安全RL算法可以实现更高的回报相比,多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich(慕尼黑工业大学);Peking University(北京大学);BIGAI(北京通用人工智能研究院);King's College London(伦敦国王学院);Tongji University(同济大学);University College London(伦敦大学学院)
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题,本文提出SCPO算法,用安全评判器取消违规所得奖励,并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)(慕尼黑工业大学(TUM));Fraunhofer IKS(弗劳恩霍夫智能与通信系统研究所)
提出集成模型预测安全认证算法,结合基于模型的深度强化学习与基于管道的模型预测控制,利用安全控制器生成的离线数据纠正智能体动作,显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar(印度理工学院罗帕尔)
本文提出了一种安全强化学习框架,通过离线学习概率性控制-仿射动力学模型,构建考虑模型不确定性的控制屏障函数以提供保守安全约束,从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院)
交通信号控制对我们的日常生活安全至关重要。在美国,大约四分之一的交通事故发生在交叉口,这是由于信号配时问题,这促使了以安全为导向的交叉口控制的发展。然而,现有的自适应交通信号控制的研究,使用强化学习技术主要集中在最大限度地减少交通延误,但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围,以确保现有强化学习方法的安全性,旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法(SafeLight),并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明,我们的方法可以显着减少碰撞,同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学);Tencent Robotics X Lab, Tencent(腾讯机器人X实验室)
安全强化学习旨在学习控制策略,同时确保在学习过程中系统和环境都不会受到损害。为了在高度非线性和高维动力系统上实现安全强化学习,一种可能的方法是通过数据驱动的特征提取方法找到低维安全区域,该方法为学习算法提供安全估计。由于学习的安全估计的可靠性是依赖于数据的,因此我们在这项工作中研究了不同的训练数据将如何影响安全强化学习方法。通过在学习性能和不安全风险之间进行平衡,提出了一种结合两种采样方法的数据生成方法来生成具有代表性的训练数据。以三连杆倒立摆为例,验证了该方法的有效性。
2021-09-10 cs.LG cs.RO cs.SY
Enhancing Navigational Safety in Crowded Environments using Semantic-Deep-Reinforcement-Learning-based Navigation
Berlin Institute of Technology(柏林工业大学)
社交人群中的智能导航是移动机器人的一个重要方面,用于交付,医疗保健或援助等应用。深度强化学习作为保守方法的替代规划方法出现,并承诺更有效和灵活的导航。然而,在高度动态的环境中,采用不同种类的障碍物类,安全航行仍然提出了一个巨大的挑战。在本文中,我们提出了一种基于语义深度强化学习的导航方法,该方法通过考虑高级障碍物信息来教授特定于对象的安全规则。特别是,智能体通过考虑特定的危险区域来学习特定于对象的行为,以增强脆弱对象类周围的安全性。我们测试的方法对基准避障方法,并发现增加了安全性。此外,我们证明了智能体可以通过保持依赖于语义信息的个人安全距离来学习更安全地导航。
2021-09-23 cs.LG cs.RO
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
SAMBA: Safe Model-Based & Active Reinforcement Learning
Huawei R&D UK(华为英国研发部);Technical University Darmstadt(达姆施塔特工业大学);University College London(伦敦大学学院)
在本文中,我们提出了SAMBA,一个新的安全强化学习框架,结合了概率建模,信息论和统计学方面。我们的方法建立在PILCO的基础上,通过支持条件风险价值约束的多目标问题,使用新的(半)样本外高斯过程评估指标进行积极探索。我们评估我们的算法在各种安全的动力系统基准,涉及低维和高维状态表示。我们的研究结果显示,与最先进的方法相比,样本和违规行为的数量级减少。最后,我们通过对我们的主动指标和安全约束的详细分析,提供了关于框架有效性的直觉。
2020-06-12 cs.AI cs.LG cs.RO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich(苏黎世联邦理工学院)
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题,提出了一种安全的强化学习算法。在这个问题中,每个单位的目标是找到一个投标策略,最大限度地提高其收入,同时保持其可靠性,通过安排预防性维护。维护调度提供了一些安全约束,这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下,满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而,无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战,我们提出了安全的深度确定性策略梯度强化学习算法,该算法基于强化学习和预测安全过滤器的组合。实例研究表明,该方法可以实现更高的利润相比,其他国家的最先进的方法,同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
Reinforcement Learning in a Safety-Embedded MDP with Trajectory Optimization
Carnegie Mellon University(卡内基梅隆大学)
针对强化学习中奖励最大化与安全约束的权衡问题,提出将安全约束嵌入改进MDP动作空间、结合轨迹优化的方法,在Safety Gym任务和真实机器人推箱任务中实现高奖励与低违规。
2024-07-14 cs.AI cs.RO
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal(蒙特利尔理工学院)
本文综述了安全强化学习中控制障碍函数的应用,并探讨了自动学习控制障碍函数的数据驱动方法,以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Boston University(波士顿大学)
本文提出一种基于最优传输代价不确定性集的安全强化学习框架,通过构造最坏情况虚拟状态转移实现鲁棒性,在连续控制任务中显著提升部署安全性。
2024-03-28 cs.AI cs.LG stat.ML
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning,结合达性启发的安全价值函数和高效的一步流策略,通过自一致性Bellman递归学习安全价值,行为克隆训练流策略并转化为奖励最大化安全动作选择器,减少部署时的拒绝采样,提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Qizhi Institute(上海期智研究院)
安全性是利用强化学习控制复杂动力系统的主要考虑因素,其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数,并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念,两者的综合都具有挑战性。因此,现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个,这限制了它们对一般未知动态的适用性。本文提出了一种新的方法,同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是,我们制定了一个损失函数,以优化安全证书参数,最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习(CRL)中,我们联合更新策略和安全证书参数,并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明,该算法学习可证明安全的策略,没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification(麦斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦斯特大学)
本文提出了一种结合三种自适应安全机制的框架,用于在非平稳环境下实现安全的持续强化学习,通过自适应约束机制减少分布偏移下的安全违规,同时保持任务性能。
2026-05-13 cs.LG
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory(西穆拉研究院)
本文结合RL策略模型检查与共激活图分析,解释经过安全验证的深度强化学习策略的内部机制,并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Multi-task Safe Reinforcement Learning for Navigating Intersections in Dense Traffic
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);College of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Automation and Electrical Engineering, University of Science and Technology Beijing(北京科技大学自动化与电气工程学院)
多任务交叉路口导航,包括无保护的左转,右转,直行在密集的交通仍然是一个具有挑战性的任务,自动驾驶。对于人类驾驶员来说,与其他交互车辆的协商技能是保证安全和效率的关键。然而,它是很难平衡的安全性和效率的自主车辆的多任务交叉口导航。在本文中,我们制定了一个多任务安全的强化学习与社会关注,以提高安全性和效率时,与其他交通参与者。具体而言,社会关注模块用于关注协商车辆的状态。此外,在多任务强化学习框架中增加了安全层,以保证协商的安全性。我们在仿真器SUMO与丰富的交通流和CARLA与高保真车辆模型的实验比较,这两个都表明,该算法可以提高安全性与一致的交通效率的多任务交叉口导航。
2022-02-19 cs.AI cs.RO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University(北京大学人工智能研究院);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络空间科学与技术学院)
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划,在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich(慕尼黑工业大学)
深度强化学习(RL)在机械手的运动规划中已经显示出有希望的结果。然而,没有方法保证高度动态的障碍物,如人类,在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此,我们提出了一种屏蔽机制,确保ISO验证的人类安全,同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析,以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation(LY公司);Osaka University(大阪大学);Tsinghua University(清华大学)
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联,并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学);Princeton University(普林斯顿大学)
针对竞争性任务中机器人策略易被利用的问题,提出S2C两阶段框架,分离安全综合与任务学习,通过对抗性RL学习安全过滤器,在模拟和硬件测试中优于八个基线,实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Handling Long-Term Safety and Uncertainty in Safe Reinforcement Learning
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI(德国人工智能研究中心)
本文通过引入可学习约束扩展安全探索方法ATACOM,解决安全强化学习中任务特定安全约束难以获取、长期安全性难以预见及不确定性问题,在保持训练安全性的同时实现优异最终性能。
2024-09-23 cs.LG cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
安全性是每个机器人平台的关键属性:任何控制策略都应始终遵守执行器限制,并避免与环境和人类碰撞。在强化学习中,安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案,但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台,并通过探索约束流形的切线空间,即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能,同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署,在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算学院和数据科学学院,新加坡);Sony Corporation(索尼公司)
SB-TRPO通过动态平衡成本降低与奖励提升,提供硬约束强化学习的原理性算法,确保安全性和奖励的改进,实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
Safety Modulation: Enhancing Safety in Reinforcement Learning through Cost-Modulated Rewards
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
提出安全调制策略优化(SMPO)方法,通过代价感知加权函数调制奖励并引入Q代价函数作为安全评论家,在标准策略优化框架内学习安全策略,实验证明其在整体安全RL性能上优于现有方法。
2025-04-03 cs.AI cs.LG
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题,提出可学习的安全模型进行信用分配,并通过对偶梯度方法动态调整奖励与安全的权衡,实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto(多伦多大学航空航天研究所);University of Toronto Robotics Institute(多伦多大学机器人研究所);Vector Institute for Artificial Intelligence(向量人工智能研究院)
在过去的五年中,控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾,重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括:通过学习不确定动态安全地提高性能的基于学习的控制方法,鼓励安全性或鲁棒性的强化学习方法,以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力,研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们,例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战,并强调需要现实的基于物理的基准,以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
Skill-based Safe Reinforcement Learning with Risk Planning
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出安全技能规划(SSkP)方法,利用离线演示数据通过PU学习构建技能风险预测器,并结合在线风险规划高效学习风险规避的安全策略,在多个机器人仿真基准中优于现有安全强化学习方法。
2025-05-02 cs.AI cs.LG
Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models
Imperial College London, Department of Computing(伦敦帝国学院计算机系)
本文提出一种基于高斯过程的恢复防护机制,用于在未知非线性系统中实现安全强化学习,通过动态恢复和内部模型采样实现安全与高效的学习。
2026-11-02 cs.AI cs.LG
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求,强化学习器在约束设置,包括对结果的信心。我们表明,代理的信心在约束满足提供了一个有用的信号,在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors
University of Bologna(博洛尼亚大学)
CALOS提出一种基于控制仿射李雅普诺夫函数的运行时安全层,通过二次规划修正四旋翼策略输出,在Isaac Lab中实现零姿态违规并将横向误差降低55-60%,同时加速训练收敛。
2026-09-17 cs.AI cs.RO
OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research
Peking University(北京大学)
本文提出了OmniSafe框架,通过整合跨领域的安全强化学习算法并强调安全要素,旨在简化研究流程、解决现有框架缺失问题,从而加速AI安全研究。
2023-05-16 cs.AI cs.LG
Modular Control Architecture for Safe Marine Navigation: Reinforcement Learning and Predictive Safety Filters
Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(辛特夫数字研究院)
本文提出将强化学习与预测安全滤波器相结合的模块化控制架构,用于自主船舶安全导航,在Cybership II仿真中验证其能在不降低学习性能的前提下有效保证安全约束。
2024-04-02 cs.AI cs.RO
High-level Decisions from a Safe Maneuver Catalog with Reinforcement Learning for Safe and Cooperative Automated Merging
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
强化学习(RL)最近被用于解决自动驾驶背景下具有挑战性的决策问题。然而,所提出的基于RL的策略的主要缺点之一是缺乏安全保证,因为它们努力减少预期的碰撞次数,但仍然容忍它们。在本文中,我们提出了一个有效的基于RL的决策管道,用于合并场景中的安全和合作自动驾驶。RL代理能够预测当前情况并提供高层决策,指定负责安全的低级计划器的操作模式。为了学习更通用的策略,我们提出了一个可扩展的RL架构的合并方案,是不敏感的环境配置的变化。根据我们的实验,建议RL代理可以有效地识别合作的司机从他们的车辆状态历史,并产生交互式操纵,从而更快,更舒适的自动驾驶。同时,由于规划器内部的安全约束,所有的机动都是无碰撞和安全的。
2021-07-15 cs.AI cs.RO
Balance Reward and Safety Optimization for Safe Reinforcement Learning: A Perspective of Gradient Manipulation
Technical University of Munich(慕尼黑工业大学);Virginia Tech(弗吉尼亚理工大学);University of California, Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
本研究基于梯度操纵理论解决强化学习中奖励与安全的冲突,提出软切换策略优化方法及安全RL框架,并在Safety-MuJoCo Benchmark和Omnisafe上验证了其优于基线方法的性能。
2025-03-01 cs.AI cs.LG
Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation
University of Verona(维罗纳大学);Northeastern University(东北大学)
安全性对于在真实场景中部署深度强化学习(DRL)算法至关重要。最近,已经提出了验证方法,以允许量化违反DRL策略的输入输出关系(称为属性)的数量。然而,这些属性是硬编码的,需要任务级的知识,使得它们的应用在具有挑战性的安全关键任务中变得棘手。为此,我们引入了在线属性的收集和优化(CROP)框架,以在训练时设计属性。CROP采用成本信号来识别不安全的相互作用,并使用它们来塑造安全属性。因此,我们提出了一个细化策略,结合属性,类似的不安全的相互作用模型。我们的评估比较了使用标准硬编码属性和使用CROP生成的属性计算违规次数的好处。我们在几个机器人无地图导航任务中评估了我们的方法,并证明了使用CROP计算的违规度量比以前的安全DRL方法允许更高的回报和更低的违规。
2023-02-13 cs.AI cs.RO