Efficient Reachability Analysis of Closed-Loop Systems with Neural Network Controllers
Massachusetts Institute of Technology（麻省理工学院）
神经网络（NN）可以为机器人系统提供主要的经验性能改进，但它们也在形式上分析这些系统的安全属性方面带来了挑战。特别是，这项工作的重点是估计前向可达集的闭环系统的神经网络控制器。最近的工作提供了这些可达集的界限，但计算效率高的方法提供了过于保守的界限（因此不能用于验证有用的属性），而更严格的方法对于在线计算来说过于密集。这项工作的桥梁的差距，制定了一个凸优化问题的闭环系统的可达性分析与神经网络控制器。虽然解决方案比以前的半定基于程序的方法不那么紧密，但它们的计算速度要快得多，并且一些可用的计算时间可以用于通过输入集划分来细化边界，这不仅仅克服了紧密性差距。所提出的框架进一步考虑系统的测量和过程噪声，从而适用于现实的不确定性系统。最后，数值比较表明$10\times$减少保守性在$\frac{1}{2}$的计算时间相比，国家的最先进的，并强调了处理各种来源的不确定性的能力的四旋翼模型。
2021-05-24 cs.LG cs.RO cs.SY
Provably Correct Training of Neural Network Controllers Using Reachability Analysis
University of California, Irvine（加州大学欧文分校）
在本文中，我们考虑了非线性动力系统的神经网络（NN）控制器的训练问题，这些控制器保证满足安全性和活性（例如，到达-避免）属性。我们的方法是结合基于模型的动力系统的设计方法与数据驱动的方法来实现这一目标。我们将注意力限制在具有整流器线性单元（ReLU）非线性的NN上，这些NN已知代表连续分段仿射（CPWA）函数。给定一个动力系统的数学模型，我们计算一个有限状态的抽象模型，捕捉所有可能的CPWA控制器下的闭环行为。使用这个有限状态的抽象模型，我们的框架确定了一个家庭的CPWA功能保证满足安全要求。我们在训练过程中使用NN权重投影算子来增强学习算法，从而强制产生的NN表示来自可证明安全的CPWA函数家族的CPWA函数。此外，该框架使用有限状态抽象模型来识别可能满足活性属性的候选CPWA函数。使用这样的候选CPWA函数，所提出的框架偏置NN训练以实现活性规范。我们在模拟和实际的机器人车辆上显示了所提出的框架的有效性。
2021-09-05 cs.LG cs.RO cs.SY
Discovering Closed-Loop Failures of Vision-Based Controllers via Reachability Analysis
University of Southern California（南加州大学）
本文将视觉控制器闭环故障发现建模为 HJ 可达性问题，结合仿真计算 BRT，以系统识别高维 RGB 输入下的不安全状态与故障特征。
2024-04-10 cs.AI cs.CV cs.LG
Synthesizing Neural Network Controllers with Closed-Loop Dissipativity Guarantees
Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系）；Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor（密歇根大学安娜堡分校电子工程与计算机科学系）
提出一种在保证闭环系统耗散性（如稳定性和L2增益界）的硬约束下最大化奖励的神经网络控制器综合方法，利用积分二次约束描述不确定性和激活函数，通过线性矩阵不等式和投影训练实现。
2026-05-30 cs.LG cs.SY eess.SY
Interval Reachability of Nonlinear Dynamical Systems with Neural Network Controllers
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于区间分析的框架，通过将神经网络控制器与非线性系统嵌入更大系统并利用单轨迹计算和划分策略，实现闭环系统可达集的高效严格过近似验证。
2023-08-07 cs.LG cs.SY eess.SY
The Reachability Problem for Neural-Network Control Systems
Aalborg University（奥尔堡大学）
本研究聚焦神经网络控制系统的可达性问题，证明带ReLU激活的前馈神经网络作为控制器时，即使被控对象简单、网络固定深度且三输入三输出，问题仍不可判定；当被控对象及输入、目标集由无限字自动机给出时，问题变为半可判定。
2024-10-15 cs.CC cs.LG cs.LO
ReachNN: Reachability Analysis of Neural-Network Controlled Systems
Northwestern University（西北大学）；Boston University（波士顿大学）；Dayton University（代顿大学）
将神经网络作为控制器应用于动力系统已显示出巨大的前景。然而，它是关键的，但具有挑战性的验证这种控制系统的安全性与神经网络控制器的回路。以往的神经网络控制系统的验证方法仅限于几个特定的激活函数。在这项工作中，我们提出了一种新的可达性分析方法的基础上伯恩斯坦多项式，可以验证神经网络控制系统与更一般形式的激活函数，即，只要它们确保神经网络是Lipschitz连续的。具体来说，我们考虑抽象的前馈神经网络与伯恩斯坦多项式的一个小的输入子集。为了量化由抽象引入的误差，我们提供了基于Bernstein多项式理论的理论误差界估计和更实际的基于采样的误差界估计，紧Lipschitz常数估计方法基于前向可达性分析。与以前的方法相比，我们的方法解决了更广泛的神经网络，包括包含多种类型的激活函数的异构神经网络。各种基准测试的实验结果表明，我们的方法的有效性。
2019-06-25 cs.LG cs.SY eess.SY
Verification of safety critical control policies using kernel methods
University of Oxford（牛津大学）；Paderborn University（帕德博恩大学）
安全临界控制的Hamilton-Jacobi可达性方法已经得到了很好的研究，但所得到的安全保证依赖于数值计算的精度。因此，至关重要的是要理解和解释由于基础动力学和环境的不确定性以及引起的数值误差而发生的任何不准确性。为此，我们提出了一个框架，用于建模固有的Hamilton-Jacobi可达性的值函数使用高斯过程的错误。导出的安全控制器可以与任意控制器结合使用，以提供安全的混合控制律。然后，高斯过程的边际似然提供用于确定最小限制控制器和安全控制器之间的切换的置信度度量。我们测试的预测以及所提出的方法在一个经典的追求逃避的例子中的校正能力。
2022-03-23 cs.LG cs.SY eess.SY
Distributed Online Linear Quadratic Control for Linear Time-invariant Systems
Texas A&M University（得克萨斯农工大学）
经典的线性二次（LQ）控制围绕线性时不变（LTI）系统，其中控制状态对引入时不变参数的二次成本。在线优化和控制的最新进展提供了新的工具来研究LQ问题是鲁棒的时变成本参数。受这一研究思路的启发，我们研究了相同LTI系统的分布式在线LQ问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。的LTI系统是与解耦，随时间变化的二次成本，揭示顺序。该网络的目标是使所有代理的控制序列与事后看来最好的集中式策略竞争，这是由后悔的概念捕获的。我们开发了一个分布式的在线LQ算法的变体，它运行分布式在线梯度下降与投影到一个半定规划（SDP）生成控制器。我们建立了一个遗憾界缩放的平方根的有限时间范围，这意味着代理达成共识，随着时间的增长。我们进一步提供了数值实验验证我们的理论结果。
2020-09-29 cs.LG cs.SY eess.SY
An Empirical Analysis of the Use of Real-Time Reachability for the Safety Assurance of Autonomous Vehicles
Vanderbilt University（范德堡大学）
机器学习技术和传感技术的最新进展为安全、可访问和方便的自动驾驶车辆在不久的将来可能实现的信念铺平了道路。尽管在这方面取得了巨大的进步，但围绕安全性和可靠性的根本挑战限制了它们的到来和全面采用。自动驾驶汽车通常需要在动态和不确定的环境中运行。因此，他们经常使用高度复杂的组件，如机器学习方法，来处理传感、致动和控制的细微差别。虽然这些方法非常有效，但众所周知，它们很难保证。此外，在不确定和动态的环境中，设计时的保证分析可能不足以保证安全。因此，在运行时监控这些系统的正确性是至关重要的。一种用于为具有可能不服从形式分析的组件的系统提供运行时保证的方法是单工架构，其中未验证的组件被包装有安全控制器和被设计为防止危险行为的切换逻辑。在本文中，我们提出使用实时的【形】可达性算法来实现单工架构，以确保1/10规模的开源自动驾驶汽车平台F1/10的安全性。我们利用的可达性算法（a）提供可证明的安全保证，（b）用于检测潜在的不安全场景。在我们的方法中，分析底层控制器的需要被抽象掉了，而是专注于控制器的决策对系统未来状态的影响。我们证明了我们的架构的功效，通过大量的仿真和嵌入式硬件平台上进行的实验。
2022-05-03 cs.CV cs.FL cs.LG
Regret Analysis of Distributed Online Control for LTI Systems with Adversarial Disturbances
Northeastern University（东北大学）
本文针对对抗扰动下动力学已知/未知的LTI系统网络分布式在线控制问题，分别提出分布式扰动反馈控制器和分布式探索后执行方法，推导得到不同场景下的悔度上界。
2023-10-04 cs.LG cs.SY eess.SY
POLAR-Express: Efficient and Precise Formal Reachability Analysis of Neural-Network Controlled Systems
Boston University（波士顿大学）；Northwestern University（西北大学）；University of Dayton（代顿大学）；University of Liverpool（利物浦大学）
提出POLAR-Express工具，通过Taylor模型算术逐层传播及并行计算，高效精确地验证神经网络控制系统的安全性，并在多种基准上取得最佳验证效率与紧致度。
2023-04-06 cs.AI cs.LG cs.SY
Reachability Analysis of Neural Feedback Loops
Massachusetts Institute of Technology（麻省理工学院）
神经网络（NN）可以为闭环系统提供主要的经验性能改进，但它们也在形式上分析这些系统的安全属性方面带来了挑战。特别是，这项工作的重点是估计前向可达集的\textit{neural feedback loops}（闭环系统与NN控制器）。最近的工作提供了这些可达集上的界限，但计算上易于处理的方法产生过于保守的界限（因此不能用于验证有用的属性），并且产生更严格界限的方法对于在线计算来说过于密集。这项工作通过为具有神经网络控制器的闭环系统的可达性分析制定凸优化问题来弥补这一差距。虽然解决方案比以前的（基于半定程序的）方法更不紧密，但它们的计算速度更快，并且其中一些计算时间节省可以用于通过新的输入集划分技术来细化边界，这被证明可以显着减少紧密性差距。新的框架是为具有不确定性的系统开发的（例如，测量和过程噪声）和非线性（例如，多项式动力学），并因此被证明是适用于现实世界的系统。为了在仅已知/指定目标状态集时通知初始状态集的设计，还提供了用于向后可达性分析的新颖算法，其计算保证导致目标集的状态集。数值实验表明，我们的方法（基于线性松弛和分区）给出了一个$5\times$减少保守性在$150\times$更少的计算时间相比，国家的最先进的。此外，四旋翼，270状态，多项式系统的实验证明了该方法的能力，以处理不确定性源，高维，非线性动力学，分别。
2022-02-02 cs.LG cs.RO cs.SY
Automated Reachability Analysis of Neural Network-Controlled Systems via Adaptive Polytopes
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种利用自适应模板多面体过近似神经网络动态系统可达集的新方法，通过线性层奇异值分解和激活函数形状调整多面体几何形状，并采用分支定界方法计算精确过近似，提升了可达性分析的准确性。
2023-05-15 cs.LG cs.SY eess.SY
Contraction-Guided Adaptive Partitioning for Reachability Analysis of Neural Network Controlled Systems
Georgia Institute of Technology（佐治亚理工学院）
针对神经网络控制非线性系统的鲁棒可达集估计，本文提出收缩引导的自适应划分算法，通过解耦验证与划分以低计算成本显著提升精度，并给出混合单调可达性保证。
2023-12-10 cs.LG cs.SY eess.SY
Action-Guided Reachability for Deterministic World Models of Vision-Based Systems
University of Florida（佛罗里达大学）
本文提出确定性世界模型，通过直接映射系统状态到生成图像，消除不可解释的潜在变量，提升闭环视觉系统验证的精度与性能。
2026-11-11 cs.CV cs.LG
NNV: The Neural Network Verification Tool for Deep Neural Networks and Learning-Enabled Cyber-Physical Systems
Vanderbilt University（范德堡大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了神经网络验证（NNV）软件工具，这是一个基于集合的验证框架，用于深度神经网络（DNN）和支持学习的网络物理系统（CPS）。NNV的核心是一系列可达性算法，这些算法使用了各种集合表示，如多面体、星集、zonotopes和抽象域表示。NNV支持精确（健全和完整）和过近似（健全）可达性算法，用于验证具有各种激活函数的前馈神经网络（FFNN）的安全性和鲁棒性。对于具有学习能力的CPS，例如包含神经网络的闭环控制系统，NNV为线性对象模型和具有分段线性激活函数（例如ReLU）的FFNN控制器提供精确和过近似的可达性分析方案。对于类似的神经网络控制系统（NNCS），而不是具有非线性的植物模型，NNV支持过近似分析相结合的星集分析用于FFNN控制器与zonotope-based分析的非线性植物动态CORA建设。我们使用两个真实案例研究来评估NNV：第一个是ACAS Xu网络的安全性验证，第二个是基于深度学习的自适应巡航控制系统的安全性验证。
2020-04-12 cs.LG cs.SY eess.SY
Gait Switching and Enhanced Stabilization of Walking Robots with Deep Learning-based Reachability: A Case Study on Two-link Walker
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
本研究提出一种基于深度学习 Hamilton-Jacobi 可达性的混合动力学求解方法，用于估计腿式机器人的吸引域库，并设计单步预测控制器和步态切换策略，在双连杆行走器仿真中实现了优于传统方法的稳定性与透明度。
2024-09-10 cs.LG cs.RO cs.SY
TNODEV: Toolbox for Neural ODE Verification
Univ Gustave Eiffel, COSYS-ESTAS（古斯塔夫·埃菲尔大学，COSYS-ESTAS实验室）
提出TNODEV，首个集成伪造检查、区间可达性、验证循环和并行调度的神经ODE形式验证器，支持安全集包含和分类鲁棒性验证。
2026-10-22 cs.AI cs.LG cs.SY
A Simple and Efficient Sampling-based Algorithm for General Reachability Analysis
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；University of Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
在这项工作中，我们分析了一个有效的基于采样的通用可达性分析算法，这仍然是一个众所周知的挑战性问题，从神经网络验证到动力系统的安全分析的应用。该算法通过对输入进行采样，在真可达集上估计其图像，并将其$ε$填充凸包作为集合估计器，适用于一般的问题设置，实现简单。我们的主要贡献是使用随机集理论的渐近和有限样本精度保证的推导。这种分析通知算法设计，以获得一个$ε$接近可达集近似的概率高，提供了洞察可达性问题是最具挑战性的，并激励安全关键的应用程序的技术。在一个神经网络验证任务中，我们证明了这种方法比以前的工作更准确，速度也更快。根据我们的分析，我们还设计了一个鲁棒模型预测控制器，我们在硬件实验中证明。
2022-04-13 cs.AI cs.LG cs.RO
