On the Tightness of Semidefinite Relaxations for Certifying Robustness to Adversarial Examples
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
神经网络对对抗性样本的鲁棒性可以通过求解凸松弛来证明。然而,如果松弛是松散的,那么产生的证书可能太保守而不能实际使用。最近,基于ReLU激活函数的半定规划(SDP)松弛,提出了一种不太保守的鲁棒性证书。在本文中,我们描述了一种几何技术,该技术确定该SDP证书是否准确,这意味着它是否提供了最小对抗扰动大小的下限,以及达到下限的全局最优扰动。具体地说,我们表明,通常的对抗性攻击问题的最小二乘限制,SDP松弛相当于一个点到一个双曲线的非凸投影。当且仅当点的投影位于双曲线的长轴上时,得到的SDP证书是精确的。使用这种几何技术,我们证明了证书是精确的一个单一的隐藏层在温和的假设下,并解释为什么它通常是保守的几个隐藏层。我们实验证实我们的理论见解,使用通用的邻域点方法和自定义秩2 Burer-Monteiro算法。
2020-10-26 cs.LG math.OC stat.ML
On Certifying Non-uniform Bound against Adversarial Attacks
EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
本文研究了神经网络模型的鲁棒性认证问题,其目标是在数据点周围找到尽可能大的无竞争区域。在现有的方法,寻求区域边界均匀沿所有输入功能,我们考虑非均匀的边界,并使用它来研究神经网络模型的决策边界。我们制定我们的目标作为一个非线性约束的优化问题。然后,提出了一个适用于一般前馈神经网络的框架,以约束输出logits,使松弛问题可以通过增广拉格朗日方法来解决。我们的实验表明,非均匀边界比均匀边界具有更大的体积,并且非均匀边界的几何相似性给出了输入特征鲁棒性的定量的、数据不可知的度量。此外,与正常模型相比,鲁棒模型具有更大的非一致边界和更好的可解释性。
2019-07-12 cs.LG stat.ML
PROVEN: Certifying Robustness of Neural Networks with a Probabilistic Approach
MIT(麻省理工学院);IBM Research(IBM研究);Skoltech(斯科尔科沃科学技术研究院)
随着深度神经网络为众多机器学习任务提供最先进的机器学习模型,量化这些模型的鲁棒性已成为重要的研究领域。然而,大多数研究文献仅仅关注\textit{worst-case}设置,其中神经网络的输入被约束在$\ell_p$球内的噪声扰动;并且已经提出了几种算法来基于这种最坏情况分析计算经认证的最小对抗失真的下限。在本文中,我们解决了这些限制,并扩展到一个\textit{probabilistic}设置的加性噪声可以遵循一个给定的分布特征的方法。我们提出了一个新的概率框架,证明可以用统计保证概率地验证神经网络--即,PROVEN证明了在给定输入的任何受约束的$\ell_p$范数扰动下,分类器的前1预测不能改变的概率。重要的是,我们证明了基于当前最先进的神经网络鲁棒性验证框架可以获得封闭形式的概率证书。因此,PROVEN提供的概率证书很自然,并且在从现有方法(如Fast-Lin,CROWN和CNN-Cert)中获得最坏情况下的认证下限时几乎没有开销。在小型和大型MNIST和CIFAR神经网络模型上的实验表明,与CROWN提供的最坏情况鲁棒性证书相比,我们的概率方法可以在鲁棒性认证中实现高达约$75\%$的改进,至少具有$99.99\%$置信度。
2019-01-07 cs.CR cs.LG stat.ML
Towards Certifying L-infinity Robustness using Neural Networks with L-inf-dist Neurons
Peking University(北京大学);Princeton University(普林斯顿大学);Zhongguancun Haihua Institute for Frontier Information Technology(中关村海华前沿信息技术研究院);Microsoft Research(微软研究院)
众所周知,标准神经网络即使具有高分类精度,也容易受到小的$\ell_\infty$ -范数有界对抗扰动的影响。虽然已经进行了许多尝试,但大多数以前的工作只能提供对特定攻击方法的防御的经验验证,或者只能在有限的场景中开发模型鲁棒性的认证保证。在本文中,我们寻求一种新的方法来开发一个理论上有原则的神经网络,内在地抵抗$\ell_\infty$扰动。特别是,我们设计了一种新的神经元,使用$\ell_\infty$ -距离作为其基本操作(我们称之为$\ell_\infty$ -dist神经元),并表明,任何神经网络构造的$\ell_\infty$ -dist神经元(称为$\ell_{\infty}$ -dist网络)自然是一个1-Lipschitz函数关于$\ell_\infty$ -norm。这直接提供了基于预测输出裕度的认证鲁棒性的严格保证。然后,我们证明了这样的网络有足够的表达能力,以近似任何1-Lipschitz函数具有强大的泛化保证。我们还提供了一个整体的训练策略,可以大大减轻优化的困难。实验结果表明,使用$\ell_{\infty}$ -dist网作为基本构建块,我们在常用数据集上始终达到最先进的性能:MNIST($ε=0.3$)上的认证准确率为93.09%,CIFAR-10($ε=8/255$)为35.42%,TinyImageNet($ε=1/255$)为16.31%。
2021-06-14 cs.AI cs.CR cs.LG
An Overview and Prospective Outlook on Robust Training and Certification of Machine Learning Models
University of California, Berkeley(加州大学伯克利分校)
在这篇讨论论文中,我们综述了最近围绕机器学习模型鲁棒性的研究。随着学习算法在数据驱动控制系统中变得越来越流行,必须确保其对数据不确定性的鲁棒性,以便维持可靠的安全关键操作。我们首先回顾这种鲁棒性的常见形式,然后讨论用于训练鲁棒机器学习模型的流行和最先进的技术,以及可证明证明这种鲁棒性的方法。从这个统一的强大的机器学习,我们确定和讨论在该领域的未来研究的紧迫方向。
2022-09-27 cs.LG math.OC stat.ML
Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers
University of Maryland, College Park(马里兰大学帕克分校)
凸松弛对于训练和验证神经网络对抗范数有界对抗攻击是有效的,但它们在可验证和经验鲁棒性之间留下了很大的差距。原则上,如果松弛问题的解对于原始非凸问题是可行的,则凸松弛可以提供紧边界。我们提出了两个正则化,可用于训练神经网络,产生更严格的凸松弛边界的鲁棒性。在我们所有的实验中,提出的正则化器比非正则化基线具有更高的认证准确性。
2020-02-22 cs.LG stat.ML
Robustness Verification of Polynomial Neural Networks
本文通过度量代数几何方法研究神经网络的鲁棒性验证,针对多项式神经网络,通过计算到代数决策边界距离来认证鲁棒半径,并引入参数判别来检测ED度下降的参数值,最终通过实验展示决策边界具有更小的ED度。
2026-04-17 cs.LG math.AG stat.ML
Bridging the Theoretical Gap in Randomized Smoothing
Foxstream(福克斯崔姆);Université Paris-Dauphine(巴黎多芬大学);PSL(巴黎文理大学);ESPCI PSL(巴黎文理大学物理与化学工业学院)
本文提出利用Lipschitz连续性和更少保守的置信区间计算方法来弥合随机平滑中理论认证鲁棒性与经验鲁棒准确率之间的差距,并通过实验验证其能提高鲁棒准确率。
2025-04-08 cs.LG stat.ML
Robustness Certification of Generative Models
ETH Zurich(苏黎世联邦理工学院)
生成神经网络可用于通过潜在空间插值指定图像之间的连续变换。然而,证明由图像流形中的结果路径捕获的所有图像满足给定属性可能非常具有挑战性。这是因为这个集合是高度非凸的,阻碍了现有的可扩展鲁棒性分析方法,这些方法通常基于凸松弛。我们提出了一种可扩展的认证方法,它成功地验证了涉及生成模型和分类器的非平凡规范。ApproxLine可以通过捕获神经网络激活向量的无限非凸集合或这些集合上的分布来提供可靠的确定性和概率性保证。我们表明,近似线是实际有用的,可以验证有趣的插值网络的潜在空间。
2020-04-30 cs.CR cs.LG cs.PL
Scaling Polyhedral Neural Network Verification on GPUs
ETH Zurich(苏黎世联邦理工学院);VMware Research(威睿研究);UIUC(伊利诺伊大学厄巴纳-香槟分校)
验证神经网络对对抗攻击的鲁棒性对于它们在自动驾驶和医疗诊断等安全关键系统中的可靠采用至关重要。不幸的是,最先进的验证器要么无法扩展到更大的网络,要么太不精确而无法证明其鲁棒性,从而限制了它们的实际采用。在这项工作中,我们引入了GPUPoly,这是一个可扩展的验证器,可以证明比以前更大的深度神经网络的鲁棒性。GPUPoly背后的关键技术见解是设计用于GPU上神经网络验证的自定义、合理的多面体算法。我们的算法利用了GPU的并行性和底层验证任务的固有稀疏性。GPUPoly可扩展到大型网络:例如,它可以在大约34.5 ms内证明1M神经元,34层深度残差网络的鲁棒性。我们相信GPUPoly是朝着现实世界神经网络的实际验证迈出的有希望的一步。
2021-05-18 cs.LG stat.ML
Tightened Convex Relaxations for Neural Network Robustness Certification
University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在本文中,我们考虑的问题,证明的鲁棒性的神经网络扰动和敌对的输入数据。这种认证对于神经网络在安全关键决策和控制系统中的应用是必不可少的。已经提出了使用凸优化的认证技术,但是它们经常遭受使证书无效的松弛错误。我们的工作利用ReLU网络的结构,通过一种新的基于分区的认证程序来改善松弛错误。所提出的方法被证明是收紧现有的线性规划松弛,并渐近实现零松弛误差的分区更精细。我们开发了一个有限的分区,达到零松弛误差,并使用结果来推导出一个易于处理的分区计划,最大限度地减少最坏情况下的松弛误差。使用真实数据的实验表明,分区过程是能够发出鲁棒性证书的情况下,以前的方法失败。因此,分区为基础的认证程序被发现提供了一个直观的,有效的,理论上合理的方法收紧现有的凸松弛技术。
2020-09-18 cs.LG math.OC stat.ML
Scalable Quantitative Verification For Deep Neural Networks
National University of Singapore(新加坡国立大学)
尽管深度神经网络(DNN)在功能上取得了成功,但它们的可信度仍然是一个关键的公开挑战。为了应对这一挑战,已经提出了测试和验证技术。但这些现有技术要么为大型网络提供可扩展性,要么提供正式的保证,而不是两者兼而有之。在本文中,我们提出了一个可扩展的深度神经网络定量验证框架,即,一种测试驱动的方法,它具有满足所需概率属性的正式保证。我们的技术进行了足够的测试,直到一个正式的概率属性的合理性可以证明。它可以用来证明确定性和随机化DNN的属性。我们在一个名为PROVERO的工具中实现了我们的方法,并将其应用于DNN的对抗鲁棒性认证。在这种情况下,我们首先展示了一种新的攻击不可知的鲁棒性措施,它提供了一种替代纯粹的基于攻击的方法来评估鲁棒性今天报道。其次,PROVERO为大型DNN提供了鲁棒性证书,现有的最先进的验证工具无法产生结论性结果。我们的工作为验证现实世界的深度神经网络捕获的分布属性铺平了道路,具有可证明的保证,即使测试人员只能黑盒访问神经网络。
2021-03-23 cs.LG stat.ML
Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More
Technical University of Munich(慕尼黑工业大学)
现有的技术用于证明离散数据的模型的鲁棒性,或者只适用于一小类模型,或者是以效率或紧密性为代价的一般性技术。此外,他们不占稀疏的输入,我们的研究结果表明,往往是必不可少的获得非平凡的保证。我们提出了一个模型不可知的证书的基础上的随机平滑框架,它包含了早期的工作,是紧密的,高效的,和稀疏意识。它的计算复杂性不依赖于离散类别的数量或输入的维度(例如图的大小),使其具有高度的可扩展性。我们展示了我们的方法在各种模型,数据集和任务上的有效性-特别强调了它在图神经网络中的应用。到目前为止,由于离散和非独立同分布,获得GNN的可证明保证一直很困难。图表数据的性质。我们的方法可以证明任何GNN,并处理对图结构和节点属性的扰动。
2023-02-27 cs.CR cs.LG cs.SI
Efficient Neural Network Robustness Certification with General Activation Functions
University of California, Los Angeles(加州大学洛杉矶分校);IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院)
寻找对抗样本的最小失真,从而证明神经网络分类器对给定数据点的鲁棒性是一个具有挑战性的问题。尽管如此,最近已经证明可以给出一个非平凡的最小对抗失真的认证下限,并且最近通过利用ReLU激活的分段线性性质在这方面取得了一些进展。然而,一般激活函数的通用鲁棒性认证仍然在很大程度上未被探索。为了解决这个问题,在本文中,我们介绍了皇冠,一个通用的框架,以证明神经网络的鲁棒性与一般激活函数给定的输入数据点。我们算法的新颖性包括用线性和二次函数绑定给定的激活函数,因此允许它处理一般的激活函数,包括但不限于四个流行的选择:ReLU,tanh,sigmoid和arctan。此外,我们方便搜索一个更严格的认证下限,自适应地选择适当的代理每个神经元激活。实验结果表明,与当前最先进的算法Fast-Lin相比,ReLU网络上的CROWN可以显着提高认证下限,同时具有相当的计算效率。此外,CROWN还证明了它的有效性和灵活性的网络与一般的激活函数,包括双曲正切,sigmoid和arctan。
2018-11-02 cs.CR cs.LG stat.ML
Globally-Robust Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
对抗性示例的威胁促使人们致力于训练可证明鲁棒性的神经网络,以便于在推理时有效地验证局部鲁棒性。我们正式的概念,全球的鲁棒性,它捕获的操作属性的在线本地鲁棒性认证,同时产生一个自然的学习目标,强大的训练。我们表明,广泛使用的架构可以很容易地适应这一目标,将有效的全球Lipschitz边界到网络中,通过建设,实现最先进的可验证的准确性,产生可证明的鲁棒模型。值得注意的是,这种方法需要显着更少的时间和内存比最近的可认证的培训方法,并导致在线认证点时,可以忽略不计的成本,例如,我们的评估表明,它是可能的训练一个大的强大的Tiny-Imagenet模型在几个小时内。我们的模型有效地利用廉价的全局Lipschitz边界进行实时认证,尽管之前的建议是需要更严格的局部边界才能获得良好的性能;我们认为这是可能的,因为我们的模型经过专门训练,可以实现更严格的全局边界。也就是说,我们证明了最大可实现的可验证的精度为一个给定的数据集是不提高使用本地绑定。
2021-06-11 cs.CR cs.LG stat.ML