神经网络 Hessian 的可证明界：保导数的可达性分析
Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
AI总结：
本文提出一种基于一阶泰勒展开和余项界定的神经网络可达性分析方法，通过循环变换利用激活函数单调性，计算梯度和 Hessian 的解析界，并结合分支定界框架实现对大输入集合的精确分析。
摘要：
我们提出了一种针对具有可微激活函数的神经网络量身定制的新型可达性分析方法。我们的核心思想基于对神经网络映射进行可靠抽象，该抽象以一阶泰勒展开和余项界定为基础。为此，我们提出了一种计算网络一阶导数（梯度）和二阶导数（Hessian）解析界的方法。我们方法的一个关键方面是对激活函数进行循环变换，以有效利用其单调性。由此产生的端到端抽象在局部保留了导数信息，从而在小输入集合上产生精确的界。最后，我们采用分支定界框架来处理更大的输入集合，以递归地细化抽象。我们通过不同示例对我们的方法进行了数值评估，并将结果与相关的最新方法进行了比较。
英文摘要：
We propose a novel reachability analysis method tailored for neural networks with differentiable activations. Our idea hinges on a sound abstraction of the neural network map based on first-order Taylor expansion and bounding the remainder. To this end, we propose a method to compute analytical bounds on the network's first derivative (gradient) and second derivative (Hessian). A key aspect of our method is loop transformation on the activation functions to exploit their monotonicity effectively. The resulting end-to-end abstraction locally preserves the derivative information, yielding accurate bounds on small input sets. Finally, we employ a branch and bound framework for larger input sets to refine the abstraction recursively. We evaluate our method numerically via different examples and compare the results with relevant state-of-the-art methods.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
