Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate
Tsinghua University(清华大学);Harvard University(哈佛大学);University of Science and Technology Beijing(北京科技大学)
安全的强化学习(RL)解决了约束满意的策略,为RL在机器人等现实世界问题中更广泛的安全关键应用提供了一种有前途的方法。在所有安全的RL方法中,基于模型的方法由于其高样本效率而进一步减少了训练时间违规。然而,缺乏对模型不确定性的安全鲁棒性仍然是安全的基于模型的强化学习中的一个问题,特别是在训练时间安全性方面。在本文中,我们提出了一个分布式的可达性证书(DRC)和Bellman方程,以解决模型的不确定性和鲁棒持久安全状态的特征。此外,我们建立了一个安全的RL框架,以解决DRC及其相应的屏蔽策略所需的约束。我们还设计了一个线搜索方法,以保持安全,同时达到更高的回报,同时利用盾牌政策。经典的基准测试,如约束跟踪和导航的综合实验表明,该算法实现了可比的回报,在训练过程中的约束违反少得多。
2022-10-14 cs.LG cs.RO cs.SY
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich(慕尼黑工业大学);Stony Brook University(石溪大学)
虽然强化学习在许多应用中产生了非常有前途的结果,但其主要缺点是缺乏安全保证,这阻碍了其在安全关键系统中的使用。在这项工作中,我们解决这个问题的安全盾的非线性连续系统,解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影,并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析,使用多项式zonotopes,这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比,我们的安全防护罩可以有效地处理输入约束和动态障碍物,简化将空间机器人尺寸纳入安全约束,尽管有过程噪声和测量误差,但仍能保证鲁棒的安全性,并且非常适合高维系统,正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Safe Reinforcement Learning Using Black-Box Reachability Analysis
Ain Shams University(艾因沙姆斯大学);Jacobs University(雅各布大学);Stanford University(斯坦福大学);KTH Royal Institute of Technology(KTH皇家理工学院)
强化学习(Reinforcement learning,RL)能够在不确定环境中对机器人进行复杂的运动规划和控制。然而,最先进的深度RL方法通常缺乏安全保证,特别是当机器人和环境模型未知时。为了证明广泛部署的合理性,机器人必须在不牺牲性能的情况下遵守安全约束。因此,我们提出了一个基于黑盒可达性的安全层(BRSL)有三个主要组成部分:(1)数据驱动的可达性分析的黑盒机器人模型,(2)一个轨迹推出规划器,预测未来的行动和观察使用的合奏在线训练的神经网络,和(3)可达集和障碍物之间的可微多面体碰撞检查,使纠正不安全的行动。在模拟中,BRSL在Turtlebot 3,四旋翼,跟踪点质量和风中的六旋翼上优于其他最先进的安全RL方法,其中不安全的集合邻近最高奖励的区域。
2022-11-21 cs.LG cs.RO cs.SY
Scalable Learning of Safety Guarantees for Autonomous Systems using Hamilton-Jacobi Reachability
像飞机和辅助机器人这样的自主系统通常在保证安全至关重要的情况下运行。像Hamilton-Jacobi可达性这样的方法可以为这样的系统提供有保证的安全集和控制器。然而,通常这些相同的场景具有未知或不确定的环境,系统动态或其他代理的预测。随着系统的运行,它可能会学习有关这些不确定性的新知识,因此应相应地更新其安全分析。然而,由于分析的计算复杂性,学习和更新安全分析的工作仅限于大约二维的小系统。在本文中,我们综合了几种技术,以加快计算:分解,热启动,自适应网格。使用这个新的框架,我们可以更新安全集的速度比以前的工作快一个或多个数量级,使这项技术适用于许多现实的系统。我们展示了我们的结果模拟2D和10 D近悬停四轴飞行器在有风的环境中工作。
2021-04-02 cs.LG cs.RO cs.SY
Safe Meta-Reinforcement Learning via Information Space Reachability
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种安全元强化学习框架,通过在信息空间中推理安全性并学习安全值函数,实现适应过程中的安全过滤与约束策略优化,实验验证了其有效性。
2026-09-15 cs.LG cs.SY eess.SY
Safe Autonomous Racing via Approximate Reachability on Ego-vision
Carnegie Mellon University(卡内基梅隆大学);Bosch Research Pittsburgh(博世研究院匹兹堡);University of California, San Diego(加州大学圣地亚哥分校)
赛车要求每辆车都能在其物理极限下行驶,任何安全违规都可能导致灾难性的故障。在这项工作中,我们研究了安全的强化学习(RL)的自主赛车的问题,使用车辆的自我摄像头的看法和速度作为输入。鉴于任务的性质,自主智能体需要能够1)识别和避免复杂车辆动力学下的不安全场景,2)在快速变化的环境中做出亚秒级的决策。为了满足这些标准,我们建议将汉密尔顿-雅可比(HJ)可达性理论,一般非线性系统的安全验证方法,到约束马尔可夫决策过程(CMDP)的框架。HJ可达性不仅提供了一种了解安全性的控制理论方法,而且还实现了低延迟的安全验证。虽然HJ的可达性传统上是不可扩展的高维系统,我们证明了神经近似,HJ的安全值可以直接学习的视觉上下文-最高维的问题,通过该方法研究,到目前为止。我们在几个基准任务上评估了我们的方法,包括安全健身房和学习比赛(L2 R),这是最近发布的高保真自动驾驶赛车环境。与安全健身房中的其他约束RL基线相比,我们的方法具有更少的约束违反,并在L2 R基准测试任务上实现了新的最先进的结果。我们在以下匿名论文网站上提供了代理行为的额外可视化:https://sites.google.com/view/safeautonomousracing/home
2021-11-30 cs.AI cs.LG cs.RO
An Efficient Reachability-Based Framework for Provably Safe Autonomous Navigation in Unknown Environments
University of California, Berkeley(加州大学伯克利分校)
提出一种基于Hamilton-Jacobi可达性的高效实时安全分析框架,在未知环境中为自主导航提供可证明的安全保证,且不依赖特定规划器,并已在仿真和硬件上验证。
2019-05-01 cs.AI cs.LG cs.RO
Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning
本文提出一种预算条件可达性方法,用于安全离线强化学习,通过解耦奖励最大化与累积安全成本约束,实现安全策略学习。
2026-03-31 cs.AI cs.LG cs.RO
Forward Trajectory Steering for Hamilton-Jacobi Reachability Analysis
University of Southern California(南加州大学)
本研究提出基于PINNs的S2R求解器,通过自适应配点采样分布改进HJ可达性分析,在减少相对L2误差的同时达到或优于SoTA方法的安全指标,且无需多阶段训练或MPC监督。
2026-08-13 cs.LG cs.SY eess.SY
Generating Formal Safety Assurances for High-Dimensional Reachability
University of Southern California(南加州大学)
针对高维系统下HJ可达性分析维度灾难与DeepReach神经求解器无安全保证的问题,提出误差界计算与场景优化方法,实现高维场景下概率安全的可达管近似。
2023-06-10 cs.AI cs.LG cs.RO
Verifiable Safety Q-Filters via Hamilton-Jacobi Reachability and Multiplicative Q-Networks
Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学)
本文提出一种基于 Hamilton-Jacobi 可达性的可验证无模型安全滤波器,通过乘法 Q 网络和验证流水线,在四个基准上实现形式化安全保证。
2025-05-27 cs.LG
Towards Data-Driven Synthesis of Autonomous Vehicle Safety Concepts
NVIDIA(英伟达);University of California, Berkeley(加州大学伯克利分校)
随着安全关键型自动驾驶汽车(AV)很快将在我们的社会中普及,最近在整个行业和学术界提出了许多用于可信AV部署的安全概念。然而,就适当的安全概念达成共识仍然是一项难以实现的任务。在本文中,我们主张使用汉密尔顿-雅可比(HJ)的可达性作为一个统一的数学框架,比较现有的安全概念,并通过这个框架的元素,提出了方法来定制安全概念(从而扩大其适用性)的情况下,在数据驱动的方式对代理行为的隐式期望。具体来说,我们表明,(一)现有的主要安全概念可以嵌入在HJ可达性框架,从而使一个共同的语言比较和对比建模假设,和(ii)HJ可达性可以作为一个归纳的偏见,有效地推理,在学习的背景下,两个关键的,但往往被忽视的安全方面:责任和上下文依赖。
2022-06-20 cs.LG cs.RO cs.SY
Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis
Technical University of Munich(慕尼黑工业大学);German University in Cairo(开罗德国大学)
本文提出一种基于数据驱动可达性分析的LLM控制机器人安全保证框架,通过历史数据构建状态可达集,在不依赖精确解析模型的前提下严格防范不安全行为,有效降低了自主导航与任务规划中的风险。
2025-03-05 cs.LG cs.RO cs.SY
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning,结合达性启发的安全价值函数和高效的一步流策略,通过自一致性Bellman递归学习安全价值,行为克隆训练流策略并转化为奖励最大化安全动作选择器,减少部署时的拒绝采样,提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Hamilton-Jacobi Reachability in Reinforcement Learning: A Survey
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文综述了强化学习中Hamilton-Jacobi可达性估计的最新进展,探讨了如何通过同步计算可达性值函数与学习控制策略来克服高维系统的计算复杂度限制,从而提升策略的安全性与性能。
2024-08-21 cs.LG cs.RO cs.SY
Iterative Reachability Estimation for Safe Reinforcement Learning
UC San Diego(加州大学圣迭戈分校)
本文提出RESPO框架,通过可达性估计在随机环境中实现安全约束强化学习,在可行集内优化奖励、在可行集外保证最小违规进入可行集,并证明算法几乎必然收敛到局部最优策略,在多个安全RL环境中验证了其优于基线方法的奖励性能与安全性。
2023-09-24 cs.AI cs.LG cs.RO
Finite-Sample-Based Reachability for Safe Control with Gaussian Process Dynamics
ETH AI Center, ETH Zurich(苏黎世联邦理工学院人工智能中心);Institute for Dynamic Systems and Control, ETH Zurich(苏黎世联邦理工学院动态系统与控制研究所);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
针对现有GP-MPC缺乏保证或过于保守的问题,提出基于有限后验动力学样本传播不确定性的可达集构造与安全MPPC框架,并以高概率保证递归可行性、闭环安全与稳定。
2025-05-12 cs.LG cs.SY eess.SY
Planning with Learned Dynamics: Probabilistic Guarantees on Safety and Reachability via Lipschitz Constants
University of Michigan(密歇根大学)
我们提出了一种方法,反馈运动规划系统的未知动态提供概率保证的安全性,可达性和目标稳定性。为了找到一个域,在这个域中,可以信任真实动态的学习控制仿射近似,我们估计真实动态和学习动态之间的差异的Lipschitz常数,并确保估计在给定的概率下是有效的。提供的系统至少有尽可能多的控制状态,我们还推导出存在条件的一步反馈法,可以保持真正的系统在一个小范围内的标称轨迹规划与学习动态。我们的方法将反馈律的存在作为基于采样的规划器中的约束,该规划器返回围绕标称规划的反馈策略,确保如果Lipschitz常数估计有效,则真实系统在计划执行期间是安全的,达到目标,并且最终在关于目标的小集合中是不变的。我们通过使用6D四旋翼和7DOF Kuka臂的学习模型进行规划来演示我们的方法。我们表明,使用相同的学习动力学进行规划而不考虑误差范围或反馈法的存在的基线可能无法稳定在计划周围并变得不安全。
2021-10-19 cs.LG cs.RO cs.SY
Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出结合哈密顿-雅可比可达性分析与深度Q学习的框架,用于实现自动驾驶车辆与骑行者的安全高效交互。
2026-02-20 cs.LG cs.RO
A Hamilton-Jacobi Reachability-Based Framework for Predicting and Analyzing Human Motion for Safe Planning
EECS at UC Berkeley(加州大学伯克利分校电子工程与计算机科学系)
现实世界的自主系统通常在规划期间采用人类行为的概率预测模型来推理其未来的运动。由于先验地精确建模人类行为是具有挑战性的,因此这些模型通常是参数化的,使得机器人能够通过保持模型参数的分布来适应基于观察的预测。虽然这使得数据和先验能够改进人类模型,但观察模型难以指定,并且先验可能不正确,导致错误的状态预测,这可能降低机器人运动计划的安全性。在这项工作中,我们试图设计一个预测器,它对错误指定的模型和先验更鲁棒,但仍然可以利用在线人类行为数据以安全的方式减少保守性。为了做到这一点,我们投人体运动预测作为一个哈密尔顿-雅可比可达性问题的联合状态空间的人和信念的模型参数。我们构造了一个新的连续时间动力系统,其中的输入是人类行为的观察,动力学包括对模型参数的信念如何变化。这种可达性计算的结果使我们能够分析不正确的先验对连续状态和时间的未来预测的影响,以及对未来人类状态的预测。我们比较我们的方法,最坏情况下的前向可达集和随机预测,使用贝叶斯推理,并产生完整的未来状态分布。我们在仿真和硬件中的比较展示了我们的框架如何在不过于保守的情况下实现稳健的规划,即使在人类模型不准确的情况下。
2020-04-05 cs.LG cs.RO cs.SY
An Empirical Analysis of the Use of Real-Time Reachability for the Safety Assurance of Autonomous Vehicles
Vanderbilt University(范德堡大学)
机器学习技术和传感技术的最新进展为安全、可访问和方便的自动驾驶车辆在不久的将来可能实现的信念铺平了道路。尽管在这方面取得了巨大的进步,但围绕安全性和可靠性的根本挑战限制了它们的到来和全面采用。自动驾驶汽车通常需要在动态和不确定的环境中运行。因此,他们经常使用高度复杂的组件,如机器学习方法,来处理传感、致动和控制的细微差别。虽然这些方法非常有效,但众所周知,它们很难保证。此外,在不确定和动态的环境中,设计时的保证分析可能不足以保证安全。因此,在运行时监控这些系统的正确性是至关重要的。一种用于为具有可能不服从形式分析的组件的系统提供运行时保证的方法是单工架构,其中未验证的组件被包装有安全控制器和被设计为防止危险行为的切换逻辑。在本文中,我们提出使用实时的【形】可达性算法来实现单工架构,以确保1/10规模的开源自动驾驶汽车平台F1/10的安全性。我们利用的可达性算法(a)提供可证明的安全保证,(b)用于检测潜在的不安全场景。在我们的方法中,分析底层控制器的需要被抽象掉了,而是专注于控制器的决策对系统未来状态的影响。我们证明了我们的架构的功效,通过大量的仿真和嵌入式硬件平台上进行的实验。
2022-05-03 cs.CV cs.FL cs.LG
Learning Reachability-Based Safety Representations for Real-Time Robot Navigation in Unknown and Dynamic Environments
Faculty IV – Electrical Engineering and Computer Science of Technische Universität Berlin(柏林工业大学第四学院电气工程与计算机科学学院)
本论文提出学习基于HJ可达性的神经隐式安全表示,用于实时机器人导航,通过五种方法实现更优避障,在仿真与硬件实验中优于基线方法,可处理多达13个状态的系统。
2026-10-21 cs.LG cs.RO cs.SY
Generalizing Safety Beyond Collision-Avoidance via Latent-Space Reachability Analysis
Carnegie Mellon University(卡内基梅隆大学);Delft University of Technology(代尔夫特理工大学)
本文提出潜在安全过滤器,通过潜在空间可达性分析,使机器人能自动计算安全动作,防止难以手动编写但可通过高维观测识别的故障。
2025-04-30 cs.LG cs.RO
Neural Network-assisted Interval Reachability for Systems with Control Barrier Function-Based Safe Controllers
Boston University(波士顿大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出用预训练神经网络近似基于CBF的优化控制器,并结合混合单调理论与神经网络验证算法构造嵌入系统,通过单条轨迹高效过近似系统可达集,用于性能与稳定性验证。
2025-04-11 cs.LG cs.SY eess.SY
Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning
针对在线安全强化学习,提出安全分数匹配(SSM)方法,利用Hamilton-Jacobi可达性门控双分支分数目标,将Q分数匹配扩展到硬约束场景,在多个基准上实现低违规率与高性能。
2026-09-29 cs.LG cs.RO
Reachability Constrained Reinforcement Learning
Tsinghua University(清华大学);Harvard University(哈佛大学);Shanghai Qizhi Institute(上海期智研究院)
约束强化学习(CRL)最近得到了极大的兴趣,因为安全约束的满足是现实世界中的问题的关键。然而,现有的CRL方法约束贴现累积成本一般缺乏严格的定义和安全性的保证。相反,在安全控制研究中,安全被定义为持续满足某些状态约束。这种持久安全性只在状态空间的一个子集上是可能的,称为可行集,其中对于给定的环境存在最优的最大可行集。最近的研究将可行集纳入CRL与基于能量的方法,如控制障碍函数(CBF),安全指数(SI),并利用可行集的先验保守估计,这损害了学习策略的性能。针对这一问题,本文提出了可达性CRL(RCRL)方法,通过可达性分析建立新的自洽条件,刻画可行集。可行集由安全价值函数表示,该函数在CRL中用作约束。我们使用多时间尺度随机逼近理论证明了该算法收敛到局部最优,在那里可以保证最大的可行集。在不同基准上的实验结果验证了RCRL的学习可行集,策略性能和约束满足,与CRL和安全控制基线相比。
2022-06-07 cs.AI cs.LG cs.RO
Safety Verification for Neural Networks Based on Set-boundary Analysis
National University of Defense Technology(国防科技大学)
神经网络(NN)越来越多地应用于安全关键系统,如自动驾驶汽车。然而,他们是脆弱的,往往是不守规矩的。因此,在实际部署之前,他们的行为必须经过严格的保证。在本文中,我们提出了一个集边界可达性方法,从拓扑的角度来研究神经网络的安全性验证问题。给定一个具有输入集和安全集的神经网络,安全验证问题是确定由输入集产生的神经网络的所有输出是否都落在安全集内。在我们的方法中,主要利用了神经网络的同胚性质,它建立了一个映射边界到边界的关系。利用这一特性,通过提取输入集的子集而不是整个输入集来促进可达性计算,从而控制可达性分析中的包裹效应,并促进减少安全验证的计算负担。同胚性质存在于一些广泛使用的神经网络,如可逆神经网络。值得注意的表示是可逆残差网络(i-ResNets)和神经常微分方程(Neural ODE)。对于这些神经网络,我们的集边界可达性方法只需要在输入集的边界上执行可达性分析。对于不具有此属性的输入集的NN,我们探索的输入集的子集建立本地同胚属性,然后放弃这些子集的可达性计算。最后,一些例子证明了所提出的方法的性能。
2022-10-09 cs.AI cs.LG cs.SE
Preemptive Detection and Steering of LLM Misalignment via Latent Reachability
Safe and Intelligent Autonomy Lab, Stanford University(斯坦福大学安全与智能自主实验室)
提出BRT-Align框架,利用后向可达性分析在潜在空间建模LLM生成,实现提前检测并最小干预引导不安全续写,显著提升推理时安全性。
2025-09-25 cs.AI cs.LG
Reachability-Aware Diffusion Policy Optimization
Bilkent University(比尔肯大学)
提出无模型的可达性感知扩散策略优化方法,结合预测性首次命中安全估计与累积成本预算反馈,学习折扣首次命中可达性值塑造奖励,通过加权去噪回归改进扩散策略,在十个连续控制安全任务中实现有竞争力的奖励-成本权衡,显著减少约束违反。
2026-10-06 cs.LG cs.RO
Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions
Delft University of Technology(代尔夫特理工大学);Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies(华为技术有限公司);University College London(伦敦大学学院);University of Manchester(曼彻斯特大学)
本文提出基于控制李雅普诺夫屏障函数的无模型强化学习算法LBAC,通过数据驱动方式保证机器人控制的安全性与可达性,并在仿真和真实2D四旋翼导航实验中验证了其优于其他无模型RL方法的有效性。
2023-05-16 cs.AI cs.LG cs.RO
Neural Network Repair with Reachability Analysis
Vanderbilt University(范德堡大学);TRINA, Toyota NA R&D(丰田北美研发TRINA);University of Nebraska(内布拉斯加大学)
安全是下一代自动驾驶的关键问题,下一代自动驾驶可能严重依赖深度神经网络进行感知和控制。正式验证训练有素的DNN和学习系统在攻击、模型不确定性和感知错误下的安全性和鲁棒性对于安全自治至关重要。这项研究提出了一个框架,修复不安全的DNN在安全关键系统的可达性分析。修复过程受到对抗训练的启发,对抗训练在提高DNN的安全性和鲁棒性方面表现出了很高的效率。与传统的对抗性训练方法不同,对抗性示例来自随机攻击,可能不代表所有不安全行为,我们的修复过程使用可达性分析来计算确切的不安全区域,并识别足够有代表性的示例,以提高对抗性训练的有效性和效率。我们的框架的性能进行评估的两种类型的基准没有安全的模型作为参考。其中之一是用于飞机碰撞避免的DNN控制器,可访问训练数据。另一个是火箭着陆器,我们的框架可以与著名的深度确定性策略梯度(DDPG)强化学习算法无缝集成。实验结果表明,我们的框架可以成功地修复多个安全规范的所有实例,性能下降可以忽略不计。此外,为了提高可达性分析算法的计算和内存效率,我们提出了一种深度优先搜索算法,该算法结合了现有的精确分析方法与基于新集合表示的过近似方法。实验结果表明,我们的方法实现了五倍的改善,在运行时间和内存使用的两倍的改善相比,精确的分析。
2021-08-09 cs.LG
DeepReach: A Deep Learning Approach to High-Dimensional Reachability
University of California, Berkeley(加州大学伯克利分校)
Hamilton Jacobi(HJ)可达性分析是保证动态控制系统性能和安全性的一种重要形式化验证方法。它的优点包括与一般非线性系统动力学的兼容性,有界扰动的形式化处理,以及处理状态和输入约束的能力。然而,它涉及到求解偏微分方程,其计算和内存的复杂性相对于状态变量的数量呈指数级增长,限制了其直接用于小规模系统。我们提出了DeepReach,一种利用正弦网络的新发展来开发高维可达性问题的神经PDE求解器的方法。DeepReach的计算需求不直接与状态维度成比例,而是与底层可达管道的复杂性成比例。DeepReach实现了与最先进的可达性方法相当的结果,不需要对PDE解决方案进行任何显式监督,可以轻松处理外部干扰,对抗性输入和系统约束,并且还为系统提供了安全控制器。我们在一个9D多车碰撞问题和一个10D狭窄通道问题上演示了DeepReach,这是由自动驾驶应用引起的。
2020-11-04 cs.AI cs.LG cs.RO
A Hybrid Partitioning Strategy for Backward Reachability of Neural Feedback Loops
Massachusetts Institute of Technology(麻省理工学院);Ford Motor Company(福特汽车公司)
随着神经网络越来越多地集成到我们所依赖的交通、医疗和安全系统中,我们开发分析其行为的方法以确保在这些环境中安全使用变得越来越重要。本文中使用的方法试图证明具有神经网络控制器的闭环系统的安全性,即,神经反馈回路,使用向后可达性分析。也就是说,我们计算反投影(BP)集过近似(BPOA),即,导致给定目标集合的状态集合,该给定目标集合限定状态空间的危险区域。系统的安全性可以通过检查其当前状态与BPOA进行认证。虽然过度近似BP比计算精确BP集要快得多,但解决松弛问题会导致保守性。为了对抗保守性,可以使用分区策略将问题分成一组子问题,每个子问题的保守性都低于未分区问题。我们介绍了一种混合分区方法,同时使用目标集分区(TSP)和可回溯集分区(BRSP),以克服估计误差的下限时,使用BRSP。数值结果表明,在相同的计算时间,估计误差的BRSP或TSP相比,一个近数量级的减少。
2022-10-14 cs.LG cs.RO cs.SY
Verification of safety critical control policies using kernel methods
University of Oxford(牛津大学);Paderborn University(帕德博恩大学)
安全临界控制的Hamilton-Jacobi可达性方法已经得到了很好的研究,但所得到的安全保证依赖于数值计算的精度。因此,至关重要的是要理解和解释由于基础动力学和环境的不确定性以及引起的数值误差而发生的任何不准确性。为此,我们提出了一个框架,用于建模固有的Hamilton-Jacobi可达性的值函数使用高斯过程的错误。导出的安全控制器可以与任意控制器结合使用,以提供安全的混合控制律。然后,高斯过程的边际似然提供用于确定最小限制控制器和安全控制器之间的切换的置信度度量。我们测试的预测以及所提出的方法在一个经典的追求逃避的例子中的校正能力。
2022-03-23 cs.LG cs.SY eess.SY
Verifying Safety of Neural Networks from Topological Perspectives
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
提出基于同胚和开映射性质的集合边界可达性方法,通过仅分析输入集边界来验证神经网络安全性,有效降低计算负担并控制包裹效应。
2023-06-27 cs.AI cs.LG
Provably-Safe Neural Network Training Using Hybrid Zonotope Reachability Analysis
Department of Mechanical Engineering, Georgia Institute of Technology(机械工程系,佐治亚理工学院)
提出一种利用缩放混合多面体可达性分析训练神经网络的方法,使其输出避开非凸不安全区域,实现可证明的安全控制,并验证了其有效性和实用性。
2025-08-25 cs.AI cs.LG
Discovering Closed-Loop Failures of Vision-Based Controllers via Reachability Analysis
University of Southern California(南加州大学)
本文将视觉控制器闭环故障发现建模为 HJ 可达性问题,结合仿真计算 BRT,以系统识别高维 RGB 输入下的不安全状态与故障特征。
2024-04-10 cs.AI cs.CV cs.LG
Constrained Feedforward Neural Network Training via Reachability Analysis
Stanford University(斯坦福大学)
神经网络最近在各种各样的用途中变得流行,但是在安全关键领域(诸如人类附近和周围的机器人)中的应用有限。这是因为训练神经网络以服从安全约束仍然是一个公开的挑战。大多数现有的安全相关方法只试图验证已经训练好的网络是否遵守约束,需要交替训练和验证。相反,这项工作提出了一种约束方法,同时训练和验证前馈神经网络与整流线性单元(ReLU)的非线性。通过计算网络的输出空间可达集并确保其不与不安全集相交来执行约束;通过制定可达集与输出空间的不安全部分之间的新型冲突检查损失函数来实现训练。可达集和不安全集表示的约束zonotopes,凸多面体表示,使可微碰撞检查。所提出的方法是成功地证明了一个非线性层和大约50个参数的网络。
2021-07-16 cs.AI cs.LG cs.RO