Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
安全强化学习(Safe RL)旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽,它使用逻辑安全规范来防止RL代理采取不安全的操作。然而,传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此,我们引入概率逻辑策略梯度(PLPG)。PLPG是一种基于模型的安全RL技术,它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此,PLPG可以无缝地应用于任何策略梯度算法,同时仍然提供相同的收敛保证。在我们的实验中,我们表明,PLPG学习更安全,更有益的政策相比,其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Intel Labs(英特尔实验室)
本文提出一种基于容许性的新框架,通过将安全性自然融入容许性机制来构建盾牌,从而在消除非最优动作提升训练效率的同时保障安全,有效解决了传统强化学习盾牌方法学习延迟高或依赖预计算的问题。
2024-05-29 cs.LG
Easy-to-Use Shielding for Reinforcement Learning
Institute of Information Security, Graz University of Technology(信息安全研究所,格拉茨技术大学)
提出tempestpy库,将形式化屏蔽合成集成到Gymnasium API中,降低强化学习安全探索的门槛,并扩展了随机多人博弈的屏蔽算法。
2026-06-02 cs.LG
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands;Ruhr University\,\&\,Radboud University Bochum Germany;Radboud University;Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法,结合安全策略改进与防护机制,在离线强化学习中确保策略性能与安全,实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
Compositional Shielding and Reinforcement Learning for Multi-Agent Systems
Aalborg University(奥胡斯大学)
针对多智能体强化学习策略安全性难保障、防护器计算扩展性差的问题,提出基于假设-保证推理的组合式防护方法,将全局安全规范分解为局部约束,在提升策略质量的同时大幅缩短计算时间、加快收敛速度。
2025-06-14 cs.AI cs.LG cs.LO
Explainably Safe Reinforcement Learning
Masaryk University(马萨里克大学);Graz University of Technology(格拉茨技术大学);Technical University of Munich(慕尼黑技术大学)
提出一种基于分层决策树的可解释安全强化学习方法,通过世界模型分析状态风险并构建屏蔽策略,生成可理解的解释,同时保持安全保证。
2026-06-03 cs.LG
Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models
Imperial College London, Department of Computing(伦敦帝国学院计算机系)
本文提出一种基于高斯过程的恢复防护机制,用于在未知非线性系统中实现安全强化学习,通过动态恢复和内部模型采样实现安全与高效的学习。
2026-11-02 cs.AI cs.LG
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London(伦敦帝国理工学院);University College London(伦敦大学学院);Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长,伴随着对其安全性和鲁棒性的日益关注。近年来,已经提出了各种方法来解决安全意识强化学习的挑战;然而,这些方法通常需要预先提供手工制作的环境模型,或者环境相对简单且低维。我们提出了一种新的方法,安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹,并避免那些被认为不安全的轨迹。我们的实验表明,这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris(ENSTA巴黎大学U2IS部门,巴黎理工学院);Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA(加州大学伯克利分校电气工程与计算机科学系)
本文提出了一种预测安全护盾,通过环境模型的安全模拟本地更新Q函数,以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Realizable Continuous-Space Shields for Safe Reinforcement Learning
University of California, Irvine(加利福尼亚大学欧文分校);IMDEA Software Institute(IMDEA软件研究所);Universidad Politécnica de Madrid(马德里理工大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出面向连续状态与动作空间的可实现屏蔽方法,形式化验证有状态屏蔽器并支持非马尔可夫安全要求,实验表明其能保障安全且不降低策略成功率。
2024-12-02 cs.LG
Leveraging Approximate Model-based Shielding for Probabilistic Safety Guarantees in Continuous Environments
Imperial College London(帝国理工学院)
针对经典防护方法假设过严、难以应用于连续环境的问题,本文将AMBS框架扩展至连续场景,以Safety Gym为测试平台,提供概率安全保证,并提出两种改进策略梯度的惩罚技术以实现更稳定的收敛。
2024-02-01 cs.AI cs.LG
Adaptive Shielding for Safe Reinforcement Learning under Hidden-Parameter Dynamics Shifts
The University of Virginia(弗吉尼亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出自适应屏蔽框架,通过在线推断动态并结合安全正则化与不确定性感知界限,实现安全强化学习在隐藏参数偏移下的有效性和可靠性。
2026-01-30 cs.AI cs.LG
Safe Reinforcement Learning with Nonlinear Dynamics via Model Predictive Shielding
University of Pennsylvania(宾夕法尼亚大学);Deapartment of Computer and Information Science(计算机与信息科学系)
强化学习是一种很有前途的方法来合成具有挑战性的机器人任务的政策。一个关键问题是如何确保学习策略的安全性-例如,步行机器人不会摔倒,或者自动驾驶汽车不会遇到障碍物。我们专注于动态已知的设置,目标是确保在模拟中训练的策略满足给定的安全约束。我们提出了一种称为模型预测屏蔽(MPS)的方法,该方法可以在学习策略和备份策略之间动态切换以确保安全性。我们证明,我们的方法保证安全性,并经验评估它的推车杆。
2020-10-21 cs.LG stat.ML
Shielded Reinforcement Learning for Hybrid Systems
Aalborg University(奥尔堡大学)
针对混合系统强化学习控制器难保证安全、混合环境屏蔽难获取的问题,提出用野蛮方法构建近似屏蔽实现强统计安全保证,验证了预屏蔽方案更优,并在含工业实例的多场景中验证了方法有效性。
2023-08-28 cs.AI cs.LG cs.LO
Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding
University of York, UK(英国约克大学);Cyprus University of Technology, Cyprus(塞浦路斯技术大学)
针对未知黑箱环境中RL智能体训练的安全风险问题,提出ADVICE技术,通过对比自动编码器区分状态-动作对的安全特征,减少约50%安全违规,且奖励竞争力强。
2025-08-26 cs.AI cs.LG
Shielded Deep Reinforcement Learning for Complex Spacecraft Tasking
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文用线性时序逻辑形式化航天器任务与安全要求,自动构建奖励函数,并提出三种带概率保证的屏蔽设计,实验验证了其与策略交互的灵活性。
2024-03-14 cs.LG
Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学)
提出一种潜在Q-屏障屏蔽方法,通过学习上下文表示、潜在动力学和集成成本评论家,在部署时无需参数更新即可根据剩余预算和预测未来成本过滤或软重加权候选动作,从而改善安全上下文强化学习在分布外转移下的奖励-安全权衡。
2026-11-18 cs.AI cs.LG
Approximate Model-Based Shielding for Safe Reinforcement Learning
Imperial College London(帝国理工学院)
针对强化学习应用于安全关键系统时样本效率低、无最坏性能保障的问题,提出无需系统安全动力学先验的近似基于模型屏蔽算法AMBS,有理论支撑且在带状态依赖安全标签的Atari游戏上性能优于其他安全方法。
2023-07-27 cs.AI cs.LG cs.SY
ProSh: Probabilistic Shielding for Model-free Reinforcement Learning
Imperial College(帝国学院)
本文提出无模型安全强化学习算法 ProSh,通过风险预算、成本评价器和策略分布概率防护,在成本约束下提供训练期安全保证并保持确定性环境中的最优性。
2025-10-21 cs.AI cs.LG
Learning-Based Shielding for Safe Autonomy under Unknown Dynamics
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对未知连续状态DRL系统安全屏蔽问题,提出基于深度核学习与IMDP抽象的数据驱动屏蔽方法,通过计算最大宽容安全策略集确保系统避免不安全状态,理论证明与高维航天器实验验证了其可靠性与计算复杂度。
2024-10-07 cs.LG cs.SY eess.SY
Model-based Dynamic Shielding for Safe and Efficient Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于模型的动态屏蔽(MBDS)方法,通过可动态分裂、合并和重算的分布式屏蔽为多智能体强化学习提供形式化安全保证,并在无需先验动力学模型的情况下以高概率确保安全性,同时提升学习性能。
2023-04-13 cs.AI cs.LG cs.MA
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出动态模型预测屏蔽(DMPS),通过局部规划器与神经策略协同优化恢复动作,在保证可证明安全的同时减少保守性,收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
ShieldNN: A Provably Safe NN Filter for Unsafe NN Controllers
Electrical Engineering and Computer Science, University of California, Irvine(加州大学欧文分校电气工程与计算机科学系);Electrical and Computer Engineering, University of Virginia(弗吉尼亚大学电气与计算机工程系);Mechanical Engineering, Iowa State University(爱荷华州立大学机械工程系)
本文提出ShieldNN闭式CBF防护算法,面向非仿射KBM直接处理转向与速度约束并给出安全控制集合,可在RL神经网络控制器训练中实现高效多障碍物防护,显著提升训练回合完成率。
2025-03-15 cs.LG cs.RO cs.SY
Conformal Safety Shielding for Imperfect-Perception Agents
Colorado State University, USA(科罗拉多州立大学);University of York, UK(约克大学);Carnegie Mellon University, USA(卡内基梅隆大学)
针对高维观测下状态估计不完美的自主智能体,论文提出基于保形预测的运行时安全屏蔽,并证明其局部与全局安全保证,且以飞机滑行引导系统验证。
2025-07-26 cs.AI cs.LG cs.SY
Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning
Imperial College London(伦敦帝国学院);University of Manchester(曼彻斯特大学)
提出一种去中心化屏蔽方法,通过合约机制协调智能体局部LTL安全义务,在无集中运行时控制下保证全局安全并优化团队奖励。
2026-07-13 cs.LG cs.MA
Think Smart, Act SMARL! Analyzing Probabilistic Logic Shields for Multi-Agent Reinforcement Learning
IvI \& ILLC, University of Amsterdam
本文提出屏蔽多智能体强化学习(SMARL)框架,通过概率逻辑时序差分更新和概率逻辑策略梯度方法将概率逻辑防护盾扩展到多智能体环境,在博弈论基准上实现了更少的约束违规和更好的规范约束下的合作。
2025-08-26 cs.AI cs.LG
Probabilistic Shielding for Safe Reinforcement Learning
Imperial College London(伦敦帝国学院)
本文提出一种基于状态增强和动作屏蔽的可扩展概率屏蔽方法,在MDP安全动态已知且安全性为未折扣概率回避属性时,为安全强化学习提供严格形式化保证,并经实验验证可行性。
2025-03-25 cs.AI cs.LG stat.ML
Enhancing Safety for Autonomous Agents in Partly Concealed Urban Traffic Environments Through Representation-Based Shielding
TU Dortmund University(多特蒙德工业大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究院)
本文提出一种基于可感知信息的强化学习状态表征方法,用于解决部分遮挡城市交叉口的安全导航问题,在安全性和能耗上显著优于基线,同时保持竞争力速度。
2024-07-05 cs.LG cs.RO
Verification-Guided Shielding for Deep Reinforcement Learning
University of California, Irvine(加利福尼亚大学欧文分校);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);IMDEA Software Institute(IMDEA软件研究所);Universidad Politécnica de Madrid(马德里理工大学)
针对深度强化学习策略可靠性不足的问题,提出验证引导屏蔽方法,结合形式化与概率验证划分输入域、压缩不安全区域,仅在潜在不安全区激活屏蔽器,在保留安全保证的同时降低运行时开销,经机器人导航基准验证有效。
2024-06-20 cs.LG
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA(宾夕法尼亚大学GRASP实验室);Department of Computer and Information Science, University of Pennsylvania, USA(宾夕法尼亚大学计算机与信息科学系(注:根据机构粒度要求,这里提取到大学级别,即“宾夕法尼亚大学”,但原文明确写了具体部门,所以保留原文部门名+大学的组合))
本文提出了一个安全的强化学习框架,可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的,并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性,例如,在一个模拟的环境中。我们基于模型预测屏蔽(MPS)的思想,其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道,利用统计学习理论的思想来获得高概率的保证。我们的经验表明,我们的方法可以确保安全的随机系统,包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Hierarchical Reinforcement Learning with Runtime Safety Shielding for Power Grid Operation
Department of Electrical Engineering(电气工程系);Delhi Technological University (DTU), India(德里技术大学(DTU),印度)
本文提出一种安全约束的分层控制框架,通过分离长周期决策与实时可行性执行,提升电网运行的安全性和泛化能力。
2026-04-15 cs.AI cs.LG
Sim-to-Lab-to-Real: Safe Reinforcement Learning with Shielding and Generalization Guarantees
Princeton University(普林斯顿大学)
本文提出Sim-to-Lab-to-Real安全强化学习框架,通过双策略设置、监督控制屏蔽不安全动作及PAC-Bayes框架提供安全性与性能下界,实现策略在未见环境中的安全泛化。
2023-04-01 cs.LG cs.RO
Uppaal Coshy: Automatic Synthesis of Compact Shields for Hybrid Systems
Aalborg University(奥尔堡大学);IT University of Copenhagen(哥本哈根信息技术大学)
本研究提出Uppaal Coshy工具,通过状态划分、双人安全博弈求解与仿真近似,为连续状态空间的随机混合系统自动综合安全防护层,并借助Caap算法生成决策树形式的紧凑表示,大幅降低存储开销。
2025-08-22 cs.AI cs.LG cs.LO
Oracle-Guided Soft Shielding for Safe Move Prediction in Chess
OGSS通过学习概率安全模型,在国际象棋中实现安全探索,减少战术失误并提升探索效率。
2026-03-09 cs.AI cs.LG
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich(慕尼黑工业大学);Stony Brook University(石溪大学)
虽然强化学习在许多应用中产生了非常有前途的结果,但其主要缺点是缺乏安全保证,这阻碍了其在安全关键系统中的使用。在这项工作中,我们解决这个问题的安全盾的非线性连续系统,解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影,并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析,使用多项式zonotopes,这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比,我们的安全防护罩可以有效地处理输入约束和动态障碍物,简化将空间机器人尺寸纳入安全约束,尽管有过程噪声和测量误差,但仍能保证鲁棒的安全性,并且非常适合高维系统,正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Shielded Reinforcement Learning Under Dynamic Temporal Logic Constraints
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出一种结合序列控制屏障函数和无模型强化学习的框架,以满足复杂的时序逻辑任务,扩展了传统安全约束的应用范围。
2026-03-17 cs.LG cs.RO
ISAACS: Iterative Soft Adversarial Actor-Critic for Safety
Princeton University(普林斯顿大学)
本文提出ISAACS方法,通过博弈论安全分析与对抗强化学习相结合,可扩展地合成鲁棒保安全控制器,并构建具有鲁棒安全保证的实时安全屏障,在5D赛车模拟器中验证了其有效性。
2024-06-07 cs.LG cs.RO cs.SY
Universal Safety for Timed Petri Nets is PSPACE-complete
一个定时网络由任意数量的初始相同的1时钟定时自动机组成,通过握手通信进行交互。在这种情况下,没有唯一的中央控制器,因为所有的自动机最初都是相同的。我们考虑这种无限制定时网络的普遍安全问题,即,验证无论网络的大小如何,坏事件(启用某些给定的转换)都是不可能的。这个普遍的安全问题是时间弧Petri网的存在可覆盖性问题的对偶,即,是否存在多个$m$令牌,使得从给定位置中的$m$令牌开始,并且在其它位置中没有令牌,最终启用某个给定转换。我们证明了这些问题是PSPACE完备的。
2018-06-21 cs.LO
Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate
Tsinghua University(清华大学);Harvard University(哈佛大学);University of Science and Technology Beijing(北京科技大学)
安全的强化学习(RL)解决了约束满意的策略,为RL在机器人等现实世界问题中更广泛的安全关键应用提供了一种有前途的方法。在所有安全的RL方法中,基于模型的方法由于其高样本效率而进一步减少了训练时间违规。然而,缺乏对模型不确定性的安全鲁棒性仍然是安全的基于模型的强化学习中的一个问题,特别是在训练时间安全性方面。在本文中,我们提出了一个分布式的可达性证书(DRC)和Bellman方程,以解决模型的不确定性和鲁棒持久安全状态的特征。此外,我们建立了一个安全的RL框架,以解决DRC及其相应的屏蔽策略所需的约束。我们还设计了一个线搜索方法,以保持安全,同时达到更高的回报,同时利用盾牌政策。经典的基准测试,如约束跟踪和导航的综合实验表明,该算法实现了可比的回报,在训练过程中的约束违反少得多。
2022-10-14 cs.LG cs.RO cs.SY
Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系)
研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中,使用糖尿病管理作为测试平台,发现安全泛化差距并通过测试时屏蔽有效恢复安全性。
2026-05-24 cs.AI cs.LG cs.SY
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University(麦克马斯特大学)
研究非平稳强化学习中的安全问题,提出以调整速度为安全约束,用上下文表示和预测估计适应需求,与智能体适应能力比较,超限时收紧动作集并激活屏蔽,实验验证该方法可减少安全违规,支持适应可行性原则。
2026-07-27 cs.LG
Pushdown Timed Automata: a Binary Reachability Characterization and Safety Verification
我们认为下推时间自动机(PTA)的时间自动机(密集的时钟)增加了下推堆栈。PTA的配置包括控制状态、密集时钟值和堆栈字。通过使用模式技术,我们给出了二进制可达性的可判定特征(即,PTA的所有配置对的集合,使得一个可以到达另一个)。由于一个时间自动机可以被视为一个PTA没有下推栈,我们可以证明,二进制可达性的时间自动机是定义在实数和整数的加法理论。结果可用于验证稠密变量和无界离散变量上均包含线性关系的一类性质。这些性质以前不能用经典的区域技术来验证,也不能用时间自动机的时间时序逻辑和下推系统的CTL $^*$来表示。这些结果也被推广到时间自动机的其他推广。
2001-10-02 cs.LO
Safe Reinforcement Learning for Strategic Bidding of Virtual Power Plants in Day-Ahead Markets
ETH Zurich(苏黎世联邦理工学院);Technical University of Denmark(丹麦技术大学)
本文提出一种基于DDPG的安全强化学习算法,通过引入基于投影的安全防护和防护激活惩罚,解决虚拟电厂在日前市场竞标中的内部物理约束问题,使其能学习高竞争性且安全的策略。
2023-09-12 cs.LG cs.SY eess.SY
Guiding Safe Exploration with Weakest Preconditions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在用于安全关键设置的强化学习中,通常期望代理在所有时间点(包括在训练期间)遵守安全约束。我们提出了一种新的神经符号的方法称为SPICE来解决这个安全的探索问题。SPICE使用基于符号最弱前提条件的在线屏蔽层,以实现比现有工具更精确的安全分析,而不会过度影响培训过程。我们在一套连续控制基准上评估了该方法,并表明它可以实现与现有安全学习技术相当的性能,同时减少安全违规行为。此外,我们提出的理论结果表明,SPICE收敛到最佳的安全政策在合理的假设。
2023-02-28 cs.LG
Decision-Making under On-Ramp merge Scenarios by Distributional Soft Actor-Critic Algorithm
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与学院)
从入口匝道并入高速公路是自动驾驶的基本场景。该场景下的决策需要平衡安全性和效率性能以优化长期目标,由于动态,随机和对抗性的特点,这是具有挑战性的。基于规则的方法往往导致保守的驾驶在这个任务上,而基于学习的方法有困难,满足安全要求。在本文中,我们提出了一个基于RL的端到端的离线训练和在线校正的框架下,称为屏蔽分布式软演员评论家(SDSAC)的决策方法。SDSAC分别在离线训练和在线校正中采用考虑安全性的策略评估和屏障函数参数化的安全防护。这两种措施相互支持,以提高安全性,同时不会严重损害效率性能。我们验证了SDSAC的入口匝道合并的情况下,在模拟。结果表明,SDSAC具有最好的安全性能相比,基线算法,同时实现高效驾驶。
2021-03-08 cs.LG cs.RO
Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning
Purdue University(普渡大学)
最近有显着的兴趣,设计验证技术的学习使能控制器(LEC),管理安全关键系统。考虑到管理此类控制器行为的神经策略的不透明性和缺乏可解释性,许多现有方法通过屏蔽来实施安全属性,屏蔽是一种动态监控和修复机制,可确保LEC不会发出违反所需安全条件的动作。然而,这些方法,已被证明有显着的可扩展性的限制,因为验证成本增长的问题维度和目标的复杂性增加。在本文中,我们提出了一种新的自动化验证管道,即使问题域涉及数百个维度,或者当所需的目标涉及随机扰动,活性考虑和其他复杂的非功能属性时,也能够合成高质量的安全控制器。我们的关键见解涉及将安全验证与神经控制器训练分离,并使用预先计算的验证安全防护来约束训练过程。一系列高维基准的实验结果表明,我们的方法在一系列随机线性时不变和时变系统的有效性。
2022-10-10 cs.LG cs.SY eess.SY
From Cumulative Constraints to Adaptive Runtime Safety Control for Nonstationary Reinforcement Learning
McMaster Centre for Software Certification(麦斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦斯特大学)
本文提出了一种适应性运行时安全控制机制CPSS,通过将累积安全预算转化为适应性的状态级控制约束,以应对非平稳强化学习中的安全问题,通过动态调整安全阈值来保证执行动作的安全性,同时在多个高速公路合并场景中验证了其有效性。
2026-05-13 cs.LG
Explanations for Unrealizability of Infinite-State Safety Shields
针对无限状态领域中安全防护盾因规范不一致常无法实现的问题,提出基于时态公式展开、可作为不可实现性见证的无条件与条件解释生成方法,并展示该技术的不同变体与适用性。
2025-07-31 cs.LO
Shields to Guarantee Probabilistic Safety in MDPs
Radboud University(拉德堡德大学);Brno University of Technology(布拉格技术大学)
本文提出一种框架,扩展传统护盾以保证概率安全,证明强安全保证不可行,提供弱保证护盾,并引入离线和在线护盾构造以确保强安全保证。
2026-05-13 cs.AI cs.LO
Timeout Asynchronous Session Types: Safe Asynchronous Mixed-Choice For Timed Interactions
本文提出 TOAST,通过时间约束安全支持异步会话类型中的混合选择,并给出具备进程计时器、可建模 receive-after 超时模式的演算及主体归约证明。
2025-07-21 cs.LO
TEMPEST -- Synthesis Tool for Reactive Systems and Shields in Probabilistic Environments
我们提出了暴风雨,一个合成工具,自动创建正确的建设反应系统和屏蔽定性或定量的规格在概率环境中。屏蔽是一种特殊类型的用于运行时实施的反应式系统;即,屏蔽件强制执行运行系统的给定定性或定量规范,同时尽可能少地干扰其操作。执行定性或定量规范的屏蔽分别称为安全屏蔽或最优屏蔽。安全防护罩可以作为预防护罩或后防护罩来实现,最佳防护罩作为后防护罩来实现。预屏蔽放置在系统之前,并限制系统的选择。后屏蔽在系统之后实现,并且能够覆盖系统的输出。Tempest是基于概率模型检查Storm,增加了模型检验算法,用于安全和平均回报目标的随机游戏。据我们所知,Tempest是唯一一个能够解决2-1/2玩家游戏的合成工具,具有平均收益目标,而不受状态空间的限制。此外,Tempest还增加了合成安全和最佳策略的功能,这些策略实现了反应式系统和护盾
2021-05-26 cs.LO
Efficient Dynamic Shielding for Parametric Safety Specifications
University of California, Irvine(加州大学尔湾分校);IMDEA Software Institute(IMDEA软件研究所)
本文针对参数化安全规范提出动态防护机制,其离线设计耗时数分钟,在线适配速度较暴力重新计算方法快最多5倍,可用于未知区域机器人导航以应对安全规范的动态变化。
2026-08-19 cs.AI cs.LG cs.LO
Timed Orchestration for Component-based Systems
柔性生产线中的单个机器通过参数化技能在其接口处明确地展示能力。给定这样的一组可配置机器,生产线集成商面临的问题是找到和调整每个机器的参数,使得整个生产线以优化和鲁棒的方式实现给定的安全性和时间要求。我们正式这个问题的配置和编排灵活的生产线作为一个参数的时间自动机系统的参数合成问题,其中的相互作用是基于技能。将相互作用层LTL性质的参数综合问题转化为基于状态的安全性质的参数综合问题。对于安全属性,通过检查$\exists\forall$ SMT约束的可满足性来解决综合问题。对于约束生成,我们提供了一组计算上便宜的过近似的一组可达状态,连同围栏建设作为安全公式的充分条件。我们通过解决工业自动化中遇到的典型机器配置问题来证明我们方法的可行性。
2016-05-20 cs.FL cs.LO cs.SC
Shield Synthesis for Real: Enforcing Safety in Cyber-Physical Systems
Virginia Tech(弗吉尼亚理工大学);University of Southern California(南加州大学)
网络物理系统通常是安全关键的,因为违反安全属性可能导致灾难。我们提出了一种方法,通过合成一个运行时执行器称为盾牌,以加强系统的安全性与实值信号。当系统违反一个属性时,与系统组成的屏蔽件立即进行校正,以确保组合系统不会产生错误的输出。虽然合成布尔屏蔽的技术已经很好理解,但它们不能处理网络物理系统中普遍存在的实值信号,这意味着在实域中计算校正可能无法实现或效率低下。我们解决的可实现性和效率问题,通过静态分析的兼容性谓词定义的实值信号,并使用分析结果来约束一个两个玩家的安全游戏用于合成的盾牌。我们已经实现了该方法,并证明了其有效性和效率的各种应用,包括汽车动力总成控制系统。
2019-08-15 cs.LO cs.RO cs.SY