Sampling based Computation of Viability Domain to Prevent Safety Violations by Attackers
本文研究了网络物理系统在攻击下的安全性。我们的目标是设计系统参数,如一组初始条件和输入边界,使它是安全的设计。为此,我们提出了新的充分条件来保证系统在对抗性执行器攻击下的安全性。利用这些条件,我们提出了一个计算效率高的抽样为基础的方法来验证是否一组是一个生存域的一般类的非线性系统。特别是,我们设计了一种方法,检查修改后的障碍函数条件上的一组有限的点,以评估是否可以呈现前向不变。然后,我们提出了一个迭代算法来计算初始条件集和输入约束集,以限制对手可以做什么,如果它妥协的脆弱输入。最后,我们利用二次规划方法进行在线控制综合。
2021-10-16 cs.SY eess.SY math.OC
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一,提供了一种理论严谨且实用的离线安全强化学习框架,以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Sample-and-Hold Safety with Control Barrier Functions
针对数字平台安全控制器高采样率对应低安全违规的常见假设,本文基于输入到状态安全与控制障碍函数,提出调制采样输入的采样保持系统安全保障方案,分析两类触发实现并通过仿真验证有效性。
2023-10-03 cs.SY eess.SY math.OC
A Hamilton-Jacobi Reachability Framework with Soft Constraints for Safety-Critical Systems
North Carolina State University(北卡罗来纳州立大学)
针对传统可达性方法严格约束导致解保守的问题,提出带软约束的Hamilton-Jacobi可达性框架,通过增广状态模型和正则化近似实现软硬约束协同管理,经航空场景仿真验证有效。
2025-10-28 cs.SY eess.SY
Adaptive Override Control under High-Relative-Degree Nonovershooting Constraints
Nanyang Technological University(南洋理工大学);Tongji University(同济大学);University of California at San Diego(加州大学圣地亚哥分校);National University of Singapore(新加坡国立大学)
本文针对高相对阶非超调约束和参数不确定性下的安全控制问题,提出控制器与参数辨识器分离的模块化自适应越权控制方法,证明安全违规由初始估计误差的可调函数界定,并随参数收敛而减小。
2025-09-23 cs.SY eess.SY
Practical Considerations for Discrete-Time Implementations of Continuous-Time Control Barrier Function-Based Safety Filters
针对连续时间基于控制屏障函数的安全滤波器离散时间实现中,CBF相对控制输入的李导数幅值近零引发的抖振或约束违反问题,提出三种缓解策略,经仿真和真实四旋翼验证可保障安全集内所有状态的安全性。
2024-04-18 cs.SY eess.SY
Converse Barrier Certificates for Finite-time Safety Verification of Continuous-time Perturbed Deterministic Systems
Key Lab. of System Software (Chinese Academy of Sciences), Institute of Software, CAS(中国科学院软件研究所系统软件重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Mathematics and Physics, University of Science and Technology Beijing(北京科技大学数理学院)
本文提出了一种反向定理,用于验证连续时间扰动确定性系统在有限时间内的安全性,通过构造连续可微的时间依赖屏障证书来确保系统安全。
2026-01-11 cs.SY eess.SY
Continuous-time Data-driven Barrier Certificate Synthesis
本文提出一种连续时间数据驱动的屏障证书合成方法,利用有限采样轨迹训练安全神经网络验证系统安全性,并提供概率泛化保证,数值实验验证了其有效性。
2025-08-08 cs.SY eess.SY
Boundary Sampling to Learn Predictive Safety Filters via Pontryagin's Maximum Principle
Toyota Research Institute(丰田研究院);Department of Aeronautics and Astronautics, Stanford University(斯坦福大学航空与宇航科学系)
本文通过庞特里亚金极大值原理识别接近安全违规的轨迹,用于指导数据收集,提升学习效率,改进安全过滤器性能。
2026-04-14 cs.RO cs.SY eess.SY
Suboptimal Safety-Critical Control for Continuous Systems Using Prediction-Correction Online Optimization
针对连续非线性仿射控制系统,研究了基于控制障碍函数(CBF)的安全临界控制问题,并通过时变优化方法,提出了一种有效的在线算法。其思想在于,当基于CBF的方法所需的二次规划(QP)或其他凸优化算法是计算负担不起的,替代的次优可行解可以得到更经济。利用基于障碍的内点法将约束CBF-QP问题转化为无约束CBF-QP问题,并通过两种基于连续下降的算法跟踪次优解。考虑到跟踪和利用系统信息的滞后效应,在算法中加入了预测方法,从而使算法对时变次优解具有指数收敛速度。理论上分析了所设计方法的收敛性和鲁棒性以及算法的安全性准则。最后,通过对机器人防摆避障任务的仿真验证了该方法的有效性。
2023-03-20 cs.SY eess.SY
SAFE-GIL: SAFEty Guided Imitation Learning for Robotic Systems
University of Southern California(南加州大学)
SAFE-GIL通过在数据收集时注入对抗性扰动引导专家进入安全关键状态,从而训练出在测试期间更安全的行为克隆策略,并在多个机器人导航任务中显著减少安全失败。
2024-11-19 cs.LG cs.RO cs.SY
Compositional Construction of Safety Controllers for Networks of Continuous-Space POMDPs
在本文中,我们提出了一个合成框架的安全控制器的部分观察离散时间随机控制系统(a.k.a.)网络的合成。连续空间POMDPs)。给定一个估计量,我们利用一个离散化的方法来合成控制器,确保在有限的时间范围内的安全规格。所提出的框架是基于一个概念,所谓的本地控制障碍函数计算子系统在两种不同的方式。在第一种方案中,不需要估计精度的先验知识。第二个框架利用概率界的估计精度使用的概念,所谓的随机模拟功能。在这两个方案中,我们驱动足够的小增益类型的条件,以组成构造控制障碍函数互连POMDPs使用本地障碍函数计算的子系统。利用组合性的结果,构造的控制障碍函数使我们能够计算概率的下限,互连POMDPs避免某些不安全的区域在有限的时间范围内。我们证明了我们提出的方法的有效性,将它们应用到自适应巡航控制问题。
2021-03-10 cs.SY eess.SY
BALLAST: Physics-Aware Moving Target Defense for Industrial Control Systems Using a Digital Twin Safety Oracle
Universidad de Extremadura(埃斯特雷马杜拉大学)
BALLAST是一种工业控制系统移动目标防御方案,通过数字孪生安全预言机权衡安全熵与过程稳定性,在SWaT测试中大幅降低侦察成功率且无安全违规,性能优于同类方案。
2026-10-14 cs.CR cs.SY eess.SY
On Optimizing the Conditional Value-at-Risk of a Maximum Cost for Risk-Averse Safety Analysis
CVaR(Conditional Value-at-Risk)是一种金融风险泛函,由于其直观的解释和公理化的基础,在控制系统中越来越受欢迎。考虑一类非标准最优控制问题,目标是最小化Borel空间马尔可夫决策过程下最大随机成本的CVaR.该目标表示在最坏情况的给定部分上平均的期望操作区域的最大偏离。这个问题提供了一个随机系统的安全标准,该标准由系统行为的潜在后果的概率和严重性来告知。相比之下,现有的安全分析框架应用阶段性风险约束或评估约束违反的概率,而不量化违反的潜在严重性。据我们所知,利息问题还没有解决。为了解决这个问题,我们提出并研究了增广状态空间上的一类随机动态规划。我们证明了最大随机成本的最优CVaR享有这些动态规划的解决方案在适当的假设下的等价表示。对于每一个动态程序,我们证明了存在的最优策略,取决于一个增广状态的动态假设。在一个数值例子中,我们说明了我们的安全分析框架是如何有用的结合下水道溢流降水不确定性的严重程度进行评估。
2022-06-19 cs.SY eess.SY
Distributionally Robust Safety Filter for Learning-Based Control in Active Distribution Systems
Chung-Ang University(中央大学)
针对 DRL 智能体在主动配电系统训练中可能违反运行约束的问题,提出通用 DRSF,将其构建为含机会约束的分布鲁棒优化问题,以最小动作修正实现近优控制与概率安全保证,并在 IEEE 33/123 节点系统中验证。
2023-07-31 cs.AI cs.SY eess.SY
Constraint-Aware Reinforcement Learning via Adaptive Action Scaling
Humanoid Robots Lab University of Bonn(人类机器人实验室 柏林洪堡大学)
本文提出一种模块化成本感知调节器,通过预测约束违反来缩放智能体动作,与SAC和TD3等off-policy方法无缝集成,显著提升安全性和回报率。
2026-05-09 cs.LG cs.RO cs.SY
Approximate Predictive Control Barrier Functions using Neural Networks: A Computationally Cheap and Permissive Safety Filter
本研究提出用神经网络近似预测控制屏障函数首个优化问题的最优值函数,构建不依赖预测时域的安全滤波器,保证零约束违反的收敛性,在自动驾驶仿真中大幅降低计算成本。
2023-07-24 cs.SY eess.SY math.OC
Scalable Safety-Preserving Robust Control Synthesis for Continuous-Time Linear Systems
University of California at Berkeley(加州大学伯克利分校);University of British Columbia(不列颠哥伦比亚大学);University of New Mexico(新墨西哥大学)
本文提出了一种可扩展的安全保持鲁棒控制器,用于受加性未知但有界的扰动或不确定性的约束连续时间线性时不变系统。方法基于保守近似判别核,利用鲁棒最大可达集进行计算,结合椭球技术实现多项式复杂度的分段椭球算法,用于生成安全保持的状态反馈控制器。
2013-12-12 cs.SY eess.SY math.OC
Learn Zero-Constraint-Violation Policy in Model-Free Constrained Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
在强化学习(RL)的试错机制中,当我们期望学习一个安全策略时,一个众所周知的矛盾出现了:如何在没有足够的数据和关于危险区域的先验模型的情况下学习一个安全策略?现有的方法大多对危险行为采用后验惩罚,即智能体在经历危险后才受到惩罚。这一事实导致即使在收敛之后,代理也不能学习零违规策略。否则,它不会受到任何惩罚,也不会失去对危险的认知。在本文中,我们提出了安全集演员-评论家(SSAC)算法,它限制了策略更新,使用面向安全的能量函数,或安全指标。安全指数被设计成对于潜在危险的动作快速增加,这允许我们在动作空间上定位安全集,或者控制安全集。因此,我们可以识别危险的行动之前,采取他们,并进一步获得一个零约束违反政策后,收敛。我们声称,我们可以学习的能量函数在一个无模型的方式类似于学习一个价值函数。通过使用能量函数转换作为约束目标,我们制定了一个约束RL问题。我们证明,我们的拉格朗日为基础的解决方案,确保学习的政策将收敛到约束最优在一定的假设。所提出的算法进行评估的复杂的仿真环境和硬件在环(HIL)实验与真正的控制器从自主车辆。实验结果表明,在所有环境中的收敛策略实现零约束违反和基于模型的基线相当的性能。
2021-11-25 cs.AI cs.LG cs.RO
SCOPE: Safe Exploration for Dynamic Computer Systems Optimization
MIT(麻省理工学院);University of Chicago(芝加哥大学)
现代计算机系统需要在严格的安全约束下执行(例如,功率限制),但是这样做常常与它们提供高性能(即,最小延迟)的能力相冲突。先前的工作使用机器学习来自动调整硬件资源,以便系统执行最佳地满足安全约束。这样的解决方案监视过去的系统执行,以在动态地调整资源以优化应用执行之前学习系统在不同硬件资源分配下的行为。然而,系统行为可以在不同的应用程序之间,甚至在相同应用程序的不同输入之间发生显著变化。因此,使用先验收集的数据学习的模型通常是次优的,并且在与新的应用和输入一起使用时违反安全约束。为了解决这个问题,我们引入了执行空间的概念,它是硬件资源,输入功能和应用程序的交叉产品。为了动态和安全地分配硬件资源的执行空间,我们提出了范围,资源管理器,利用一种新的安全探索框架。我们评估SCOPE的能力,以提供更好的延迟,同时通过动态配置硬件,同时运行各种Apache Spark应用程序,最大限度地减少功率约束的违规行为。与最小化功率约束违规的先前方法相比,SCOPE消耗相当的功率,同时将延迟提高高达9.5倍。与最小化延迟的先前方法相比,SCOPE实现了类似的延迟,但将功率约束违反率降低了高达45.88倍,在所有应用中实现了几乎为零的安全约束违反。
2022-04-22 cs.AR cs.LG cs.PF
Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments
Northwestern University(西北大学);University of California, Berkeley(加州大学伯克利分校);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学);University of Liverpool(利物浦大学)
针对未知随机环境下强化学习智能体的硬安全约束难满足的问题,提出基于生成模型软屏障的安全RL方法,联合学习环境与优化策略,仿真安全率显著优于CMDP基线方法。
2023-06-13 cs.LG cs.SY eess.SY
A Unified Safety Protection and Extension Governor
提出统一安全保护与扩展的监督控制方案,通过单一约束优化问题在正常时维持系统安全,异常时最大化安全违规前时间以争取恢复,适用于凸约束线性系统。
2023-04-17 cs.SY eess.SY math.OC
State-Wise Safe Reinforcement Learning With Pixel Observations
Northwestern University(西北大学);The University Of Liverpool(利物浦大学);The University Of Southampton(南安普顿大学)
针对高维像素观测下无先验知识的状态级安全约束强化学习问题,提出含潜在类屏障函数学习的联合框架,在safety-gym基准上实现更少违规、更快安全收敛且收益具竞争力。
2023-12-11 cs.AI cs.LG cs.SY
Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate
Tsinghua University(清华大学);Harvard University(哈佛大学);University of Science and Technology Beijing(北京科技大学)
安全的强化学习(RL)解决了约束满意的策略,为RL在机器人等现实世界问题中更广泛的安全关键应用提供了一种有前途的方法。在所有安全的RL方法中,基于模型的方法由于其高样本效率而进一步减少了训练时间违规。然而,缺乏对模型不确定性的安全鲁棒性仍然是安全的基于模型的强化学习中的一个问题,特别是在训练时间安全性方面。在本文中,我们提出了一个分布式的可达性证书(DRC)和Bellman方程,以解决模型的不确定性和鲁棒持久安全状态的特征。此外,我们建立了一个安全的RL框架,以解决DRC及其相应的屏蔽策略所需的约束。我们还设计了一个线搜索方法,以保持安全,同时达到更高的回报,同时利用盾牌政策。经典的基准测试,如约束跟踪和导航的综合实验表明,该算法实现了可比的回报,在训练过程中的约束违反少得多。
2022-10-14 cs.LG cs.RO cs.SY
Failing with Grace: Learning Neural Network Controllers that are Boundedly Unsafe
Duke University(杜克大学)
在这项工作中,我们考虑的问题,学习前馈神经网络控制器,以安全地引导一个任意形状的平面机器人在一个紧凑的和障碍物闭塞的工作空间。与强烈依赖于接近安全状态空间边界的数据点的密度来训练具有闭环安全保证的神经网络控制器的现有方法不同,在这里,我们提出了一种替代方法,该方法提升了在实践中难以满足的数据上的强假设,而是允许优雅的安全违规,即,具有可以在空间上控制的有界幅度。为此,我们采用可达性分析技术来封装训练过程中的安全约束。具体来说,为了获得一个计算效率过逼近的闭环系统的前向可达集,我们划分的机器人的状态空间成细胞和自适应细分的细胞,包含的状态,可能逃脱的安全集下的训练控制律。然后,使用每个单元格的前向可达集和不可行的机器人配置集之间的重叠作为违反安全性的措施,我们引入适当的条款到损失函数中,惩罚这种重叠在训练过程中。其结果是,我们的方法可以学习一个安全的向量场的闭环系统,并在同一时间,提供最坏情况下的边界上的安全违反整个配置空间,定义的过度逼近的前向可达集的闭环系统和不安全的状态集之间的重叠。此外,它可以控制计算复杂度和这些边界的紧密性之间的权衡。我们所提出的方法是支持的理论结果和仿真研究。
2022-12-13 cs.LG cs.RO cs.SY
Composite Adaptive Higher-Order Control Barrier Functions for Joint Frequency-RoCoF Safety in Low-Inertia SIDS Microgrids
Engineering Department M&E Partners (Barbados) Limited(M&E Partners(巴巴多斯)有限公司工程部);Department of Electrical and Computer Engineering The University of the West Indies(西印度大学电气与计算机工程系)
针对低惯量SIDS微电网,提出CA-HOCBF方法,联合强制频率与RoCoF硬约束,在参数不确定下保证安全,仿真验证消除违规并提升性能。
2026-09-22 cs.SY eess.SP eess.SY
Towards a safe MLOps Process for the Continuous Development and Safety Assurance of ML-based Systems in the Railway Domain
Siemens AG(西门子股份公司);Siemens Mobility GmbH(西门子交通集团有限公司)
本文提出一种面向铁路领域的安全 MLOps 流程,将系统工程、安全保证与 ML 生命周期整合,以支持基于机器学习系统的持续开发和安全保障,并分析了各阶段自动化面临的关键挑战。
2023-07-06 cs.AI cs.LG cs.SE