Adversarial Robustness of Deep Neural Networks: A Survey from a Formal Verification Perspective
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学)
神经网络已广泛应用于诸如垃圾邮件和网络钓鱼检测、入侵防御和恶意软件检测等安全应用中。然而,这种黑箱方法在实际应用中往往存在不确定性和可解释性差的问题。此外,神经网络本身往往容易受到对抗攻击。由于这些原因,有一个值得信赖的和严格的方法来验证神经网络模型的鲁棒性的需求很高。对抗鲁棒性是神经网络在处理恶意操纵输入时的可靠性,是安全和机器学习中最热门的话题之一。在这项工作中,我们调查了现有的文献对抗性的鲁棒性验证神经网络,并收集了39个不同的研究工作,在机器学习,安全和软件工程领域。我们系统地分析了他们的方法,包括如何制定鲁棒性,使用什么验证技术,以及每种技术的优势和局限性。我们从形式化验证的角度提供了一个分类法,以全面理解这个主题。我们对现有的技术进行分类的基础上属性规范,减少问题,推理策略。我们还展示了具有代表性的技术,已应用于现有的研究与样本模型。最后,我们讨论了未来研究的开放性问题。
2022-10-11 cs.CR cs.LG cs.SE
Noisy Learning for Neural ODEs Acts as a Robustness Locus Widening
Institut de Recherche Technologique SystemX(SystemX技术研究院);Centre de Recherche en Informatique, Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心)
我们调查的问题和挑战评估的鲁棒性微分方程为基础的(DE)网络对合成分布偏移。我们提出了一种新的和简单的精度度量,可用于评估固有的鲁棒性和验证数据集腐败模拟器。我们还提出了方法论建议,注定要评估神经DE的鲁棒性的许多方面,并严格比较它们与离散的同行。然后,我们使用这个标准来评估一种廉价的数据增强技术,作为一种可靠的方法来证明神经ODE对多个数据集上模拟图像损坏的自然鲁棒性。
2022-06-16 cs.LG
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab(Criteo人工智能实验室);Amazon(亚马逊);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了神经网络(NN)拓扑结构对对抗鲁棒性的影响。具体来说,我们研究了当输入遍历NN的所有层时产生的图,并表明这些图对于干净的和对抗性的输入是不同的。我们发现,来自干净输入的图形更集中在高速公路边缘,而来自对手的图形则更分散,利用了优化不足的边缘。通过在各种数据集和架构上的实验,我们证明了这些优化不足的边缘是对抗性脆弱性的来源,它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Input Validation for Neural Networks via Runtime Local Robustness Verification
National University of Defense Technology(国防科技大学);Sorbonne Université(索邦大学)
本文提出一种基于运行时局部鲁棒性验证的神经网络输入验证方法,利用正确分类输入的鲁棒半径远大于错误分类输入且服从正态分布的观察,有效防御对抗样本并提升模型准确率。
2024-02-13 cs.LG stat.ML
Ortho-ODE: Enhancing Robustness and of Neural ODEs against Adversarial Attacks
本文研究 Neural ODEs 对抗对抗性攻击的自然鲁棒性,提出通过控制 ODE 动力学的 Lipschitz 常数(基于 Grownwall 不等式推导)显著提升鲁棒性,并在 MNIST、CIFAR-10 和 CIFAR 100 数据集上验证了该方法的有效性及求解器的影响。
2023-05-16 cs.AI cs.CR cs.LG
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院)
研究神经网络中权重扰动的敏感性及其对模型性能(包括泛化和鲁棒性)的影响是一个活跃的研究课题,因为它涉及到广泛的机器学习任务,如模型压缩,泛化差距评估和对抗攻击。本文对前馈神经网络在两两类间隔下的鲁棒性及其在权值扰动下的推广行为进行了第一次积分研究和分析。我们进一步设计了一个新的理论驱动的损失函数,用于训练可推广和鲁棒的神经网络对权重扰动。最后通过实验验证了理论分析的正确性。我们的研究结果为表征神经网络对权重扰动的泛化性和鲁棒性提供了基本的见解。
2021-12-17 cs.LG
Non-Determinism in Neural Networks for Adversarial Robustness
Carnegie Mellon University(卡内基梅隆大学)
深度学习领域的最新突破推动了计算机视觉、音频处理、自然语言处理和其他领域的广泛任务。在大多数情况下,这些任务部署在现实世界的场景中,其中使用的模型已被证明容易受到对抗攻击的影响,这使得我们必须解决其对抗鲁棒性的挑战。对抗鲁棒性的现有技术分为三大类:防御性蒸馏技术、对抗性训练技术和基于随机或非确定性模型的技术。在本文中,我们提出了一种新的神经网络范例,属于对抗鲁棒性的随机模型的类别,但不同于所有现有的技术,在这一类别下,它模型的每个参数的网络作为一个统计分布与可学习的参数。我们的实验表明,该框架是高度鲁棒的各种白盒和黑盒对抗攻击,同时保留了传统的神经网络模型的特定于任务的性能。
2019-05-26 cs.CR cs.LG stat.ML
Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness
National University of Defense Technology(国防科技大学)
众所周知,深度神经网络(DNN)在许多领域都取得了显著的成功。然而,当在模型输入上添加不可感知的幅度扰动时,模型性能可能会迅速下降。为了解决这个问题,最近提出了一种随机技术,称为随机神经网络(SNN)。具体来说,SNN将随机性注入模型中,以抵御不可见的攻击并提高对抗性鲁棒性。然而,现有的SNNs的研究主要集中在注入固定或可学习的噪声模型的权重/激活。在本文中,我们发现,现有的SNNs的性能在很大程度上是由特征表示能力。令人惊讶的是,简单地最大化特征分布的每个维度的方差会导致比所有以前的方法都有相当大的提升,我们将其命名为最大化特征分布方差随机神经网络(MFDV-SNN)。对已知的白盒和黑盒攻击的实验表明,MFDV-SNN比现有方法有显著的改进,是一种简单而有效的提高模型鲁棒性的方法。
2022-01-01 cs.CR cs.CV cs.LG
Towards Proving the Adversarial Robustness of Deep Neural Networks
Stanford University(斯坦福大学)
自动驾驶汽车是高度复杂的系统,需要在各种情况下可靠地运行。为这些车辆手动制作软件控制器是困难的,但在使用机器学习生成的深度神经网络方面取得了一些成功。然而,深度神经网络对人类工程师来说是不透明的,这使得它们的正确性很难手动证明;而现有的自动化技术,不是为了在神经网络上运行而设计的,无法扩展到大型系统。本文的重点是证明深度神经网络的对抗鲁棒性,即证明对网络正确分类的输入的小扰动不会导致它被错误分类。我们描述了我们最近和正在进行的一些验证网络对抗鲁棒性的工作,并讨论了我们遇到的一些开放性问题以及如何解决这些问题。
2017-09-08 cs.CR cs.LG cs.LO
On the Robustness of Neural Collapse and the Neural Collapse of Robustness
Center for Data Science(数据科学中心);New York University(纽约大学);Statistical Laboratory(统计实验室);University of Cambridge(剑桥大学);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
本研究探讨了神经崩溃与鲁棒性的关系,发现单纯形结构在对抗攻击下会消失,但经鲁棒优化的网络仍会呈现神经崩溃现象,并据此揭示了鲁棒与非鲁棒模型在层间传播上的新特性。
2024-11-13 cs.LG
Pixel-Based Similarities as an Alternative to Neural Data for Improving Convolutional Neural Network Adversarial Robustness
SEAS Harvard University Cambridge, MA, USA(哈佛大学塞弗研究所剑桥马萨诸塞州)
本文提出了一种基于像素相似性的方法,替代传统神经数据以提升CNN的对抗鲁棒性,无需专门数据即可实现鲁棒性改进。
2026-02-12 cs.AI cs.CV cs.LG
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University(首尔国立大学)
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题,但未能实现对使用代理梯度的攻击的鲁棒性,例如变换期望(EOT)攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响,并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明,代理梯度是不太有效的梯度时,更分散。为此,我们提出了梯度多样性(GradDiv)正则化,最大限度地减少梯度的浓度,以建立一个强大的随机神经网络。我们在MNIST,CIFAR10和STL 10上的实验表明,我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外,我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
Improving the Adversarial Robustness and Interpretability of Deep Neural Networks by Regularizing their Input Gradients
Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学保尔森工程与应用科学学院)
深度神经网络已经被证明在解决许多分类问题方面非常有效,但最近因两个主要弱点而受到批评:预测背后的原因无法解释,预测本身经常被小的对抗性扰动所愚弄。这些问题为神经网络在需要安全性或透明性的领域中的采用造成了主要障碍。在这项工作中,我们评估了防御的有效性,这些防御对输入中的微小变化改变模型预测的程度进行了不同程度的惩罚。在多个攻击、架构、防御和数据集中,我们发现用这种输入梯度正则化训练的神经网络对为欺骗所有其他模型而生成的转移对抗性示例表现出鲁棒性。我们还发现,为欺骗梯度正则化模型而生成的对抗性示例同样能很好地欺骗所有其他模型,实际上会导致人们评价的更“合理”、更可解释的错误分类(我们在人类受试者实验中证实了这一点)。最后,我们证明了正则化输入梯度使它们更自然地解释为模型预测的依据。最后,我们讨论了深度神经网络中的可解释性和鲁棒性之间的关系。
2017-11-26 cs.CR cs.CV cs.LG
Non-Singular Adversarial Robustness of Neural Networks
National Chiao Tung University(国立交通大学);IBM Research(IBM研究院)
由于神经网络对小输入扰动过于敏感,对抗鲁棒性已成为神经网络面临的一个新挑战。虽然是关键的,我们认为,解决这个单一的问题本身无法提供一个全面的鲁棒性评估。更糟糕的是,从奇异鲁棒性中得出的结论可能会给人一种错误的整体模型鲁棒性的感觉。具体来说,我们的研究结果表明,与标准模型相比,对输入扰动具有鲁棒性的对抗训练模型仍然(甚至更容易)受到权重扰动的影响。在本文中,我们形式化的非奇异对抗鲁棒性的概念,神经网络通过镜头的联合扰动的数据输入以及模型的权重。据我们所知,这项研究是第一个考虑同时输入权重对抗扰动的工作。基于一个具有ReLU激活函数和标准分类损失的多层前馈神经网络模型,建立了误差分析,用于量化数据输入和模型权重对$\ell_\infty$范数有界扰动的损失敏感性。基于误差分析,我们提出了新的正则化函数的鲁棒训练,并证明了改进的非奇异鲁棒性对联合输入权重对抗扰动。
2021-02-23 cs.LG
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
Arizona State University(亚利桑那州立大学)
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益,我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击,并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明,贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型,没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外,我们表明,确定性CNN提取器后的随机分类器具有足够的鲁棒性增强,而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
2021-06-17 cs.CV cs.LG
Certifying Global Robustness for Deep Neural Networks
Northwestern University(西北大学);Meta
本文提出一种基于PAC验证框架的深度神经网络全局鲁棒性评估与验证方法,利用概率程序刻画输入区域,引入累积鲁棒性曲线,并结合多级分裂与回归分析显著降低执行时间,有效为对抗训练找到罕见反例。
2024-05-31 cs.AI cs.LG
Improving Robustness of Deep Convolutional Neural Networks via Multiresolution Learning
本文针对深度神经网络单分辨率训练导致鲁棒性不足的问题,提出多分辨率学习方法,在一维信号和二维图像预测任务上同时提升噪声、对抗及小样本鲁棒性,且无需牺牲标准准确率。
2023-09-28 cs.LG
Correlation Analysis between the Robustness of Sparse Neural Networks and their Random Hidden Structural Priors
University of Passau(帕绍大学)
深度学习模型已被证明容易受到对抗攻击的攻击。这种看法导致人们不仅从性能指标的角度来分析深度学习模型,还从它们对某些类型的对抗攻击的鲁棒性的角度来分析。我们采取了另一个步骤,从图论的角度来看,神经网络的架构结构,他们的鲁棒性。我们的目标是调查任何现有的图论属性和稀疏神经网络的鲁棒性之间的相关性。我们的假设是,作为神经网络结构的先验的图论性质与它们的鲁棒性有关。为了回答这个假设,我们设计了一个实证研究与神经网络模型,通过随机图作为稀疏结构先验的网络。我们还研究了随机修剪的全连接网络的评估作为参考点。我们发现,鲁棒性措施是独立的初始化方法,但显示弱相关性与图形属性:较高的图形密度与较低的鲁棒性,但较高的平均路径长度和平均节点偏心率显示出负相关性与鲁棒性措施。我们希望能激发进一步的实证和分析研究,以收紧我们的假设的答案。
2021-07-13 cs.AI cs.LG
On 1/n neural representation and robustness
Stony Brook University(石溪大学);Columbia University(哥伦比亚大学);UCL Institute of Neurology(伦敦大学学院神经学研究所);University College London(伦敦大学学院)
理解神经网络中表示的本质是神经科学和机器学习的共同目标。因此,令人兴奋的是,这两个领域不仅在共同的问题上,而且在类似的方法上趋同。这些领域的一个紧迫问题是了解神经网络使用的表示结构如何影响其泛化和对扰动的鲁棒性。在这项工作中,我们调查了后者并列的实验结果的协方差谱的神经表示在小鼠V1(斯特林格等人)与人工神经网络。我们使用对抗鲁棒性来探测Stringer等人关于1/n协方差谱的因果作用的理论。我们实证研究的好处,这样的神经代码赋予神经网络,并阐明其在多层架构中的作用。我们的研究结果表明,将实验观察到的结构强加给人工神经网络,使它们对对抗攻击更具鲁棒性。此外,我们的研究结果补充了现有的理论有关广泛的神经网络的内核方法,通过显示中间表示的作用。
2020-12-08 cs.LG
On Robustness of Neural Ordinary Differential Equations
National University of Singapore(新加坡国立大学)
近年来,神经元常微分方程(ODE)在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作,但它们的鲁棒性仍然不清楚。在这项工作中,我们填补了这一重要的空白,探索神经常微分方程的鲁棒性的经验和理论。首先,我们提出了一个基于ODE的神经网络(ODENets)的鲁棒性的实证研究,通过将它们暴露于各种类型的扰动输入,随后调查相应的输出的变化。与传统的卷积神经网络(CNN)相比,我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后,我们提供了一个有见地的理解这种现象,利用一定的连续时间常微分方程的流动,即积分曲线是不相交的理想属性。我们的工作表明,由于其内在的鲁棒性,使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性,我们提出了时不变稳态神经常微分方程(TisODE),它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE,并且还可以与其他最先进的架构方法结合使用,以构建更强大的深度网络。
2022-03-03 cs.LG stat.ML
POPQORN: Quantifying Robustness of Recurrent Neural Networks
The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Massachusetts Institute of Technology(麻省理工学院)
对抗攻击的脆弱性一直是深度神经网络的关键问题。解决这个问题需要一种可靠的方法来评估网络的鲁棒性。最近,已经开发了几种方法来计算神经网络的$\textit{robustness quantification}$,即最小对抗扰动的认证下界。然而,这种方法是为前馈网络设计的,例如多层感知器或卷积网络。量化递归网络的鲁棒性仍然是一个悬而未决的问题,特别是LSTM和GRU。对于这样的网络,在计算鲁棒性量化方面存在额外的挑战,例如处理多个步骤的输入以及门和状态之间的相互作用。在这项工作中,我们提出了$\textit{POPQORN}$($\textbf{P}$ ropagated- $\textbf{o}$ ut $\textbf{p}$ ut $\textbf{Q}$ utified R $\textbf{o}$ bustness for $\textbf{RN}$ Ns),一个通用的算法来量化RNN的鲁棒性,包括香草RNN,LSTM和GRU。我们证明了它在不同网络架构上的有效性,并表明对各个步骤的鲁棒性量化可以带来新的见解。
2019-05-17 cs.CR cs.CV cs.LG
Robustness against Adversarial Attacks in Neural Networks using Incremental Dissipativity
University of Notre Dame(圣母大学);Amazon Inc.(亚马逊公司);University of Michigan(密歇根大学)
对抗样本很容易降低神经网络的分类性能。已经提出了一些经验方法来提高对这些例子的鲁棒性,但往往缺乏分析性的见解和正式的保证。最近,一些鲁棒性证书出现在文献中的系统理论的概念的基础上。本文提出了一种基于耗散的神经网络鲁棒性增量证书,其形式为每一层的线性矩阵不等式。我们还提出了一个等价的谱范数界这个证书是可扩展的神经网络与多层。我们证明了在MNIST上训练的前馈神经网络和使用CIFAR-10训练的Alexnet上对抗对抗攻击的性能有所提高。
2022-02-14 cs.AI cs.LG cs.SY
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore(新加坡南洋理工大学)
在深度神经网络(DNN)的普及应用道路上,对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测,并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型,以抵抗对抗性的例子。在本文中,我们从不同的角度调查了如何理解这种有趣的属性,即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后,我们研究了常用的基准测试,并提到了理论上证明的对抗鲁棒性界限。然后,我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后,我们介绍了最近的争论的潜在成本的对抗性训练,引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University(清华大学求真学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学auer数学科学中心)
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性,推导了Sobolev空间中的对抗回归最小最大最优速率,并证明了通过梯度流早停训练的NTK网络可达到该最优速率,但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Interpreting and Evaluating Neural Network Robustness
George Mason University(乔治梅森大学);Clarkson University(克拉克森大学);Northeastern University(东北大学)
近年来,对抗性欺骗成为深度神经网络面临的最大威胁之一。然而,与各种对抗攻击和防御的新设计的广泛研究相比,神经网络的内在鲁棒性仍然缺乏深入的研究。本文旨在通过损失可视化定性地解释对抗攻击和防御机制,并建立一个量化的度量标准来评估神经网络模型的内在鲁棒性。所提出的鲁棒性度量确定了模型在给定域中的预测发散的上界,从而指示模型是否可以保持稳定的预测。通过大量的实验,我们的度量证明了几个优于传统的对抗性测试精度为基础的鲁棒性估计:(1)它提供了一个统一的评估模型与不同的结构和参数尺度;(2)它优于传统的基于精度的鲁棒性估计,并提供了一个更可靠的评估是不变的不同的测试设置;(3)可以快速生成,而不需要相当大的测试成本。
2019-05-10 cs.CV cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University(亚琛工业大学)
最近,有大量关于设计深度神经网络(DNN)的工作,这些网络对对抗性示例具有鲁棒性。特别是,一个中心问题是DNN的哪些特征会影响对抗鲁棒性,因此可以用于设计鲁棒的DNN。在这项工作中,这个问题是研究通过镜头的压缩,这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上,当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时,神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时,它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争,但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Time-Efficient Evaluation and Enhancement of Adversarial Robustness in Deep Neural Networks
The University of Sydney(悉尼大学)
本研究提出高效方法,用于评估和增强深度神经网络中的对抗鲁棒性,以应对大规模模型中的计算效率问题。
2025-12-24 cs.LG
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science(信息科学研究所);Beijing Jiaotong University(北京交通大学)
最近的研究表明,深度神经网络容易受到对抗性样本的攻击,但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而,在实际计算中,这种神经网络不再保持任何上限,因此容易受到对抗性样本的影响。遵循类似的过程,我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外,我们证明了一个新的称为神经ODE的深度神经网络家族(Chen et al.,2018年)持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此,神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击(FGSM、PGD、DI 2-FGSM)和一种黑盒对抗攻击(边界攻击)下的性能。最后,我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法(如TRADES和YOPO)训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们考虑在马尔可夫链蒙特卡罗(MCMC)和贝叶斯暗知识(BDK)推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性:快速梯度符号法(FGSM)和投影梯度下降(PGD)。我们证明了完全基于MCMC的推理具有出色的鲁棒性,显著优于基于标准点估计的学习。另一方面,BDK提供了边际改进。作为一个额外的贡献,我们提出了一个存储高效的方法来计算对抗的例子,大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
On the (Non-)Robustness of Two-Layer Neural Networks in Different Learning Regimes
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
已知神经网络对对抗性示例高度敏感。这些可能是由于不同的因素,如随机初始化,或假相关的学习问题。为了更好地理解这些因素,我们对不同场景下的对抗鲁棒性进行了精确的研究,从初始化到不同制度下的训练结束,以及中间场景,由于“懒惰”训练,初始化仍然发挥作用。我们考虑过参数化网络在高维二次目标和无限样本。我们的分析使我们能够确定近似(通过测试误差测量)和鲁棒性之间的新的权衡,从而鲁棒性只能变得更糟时,测试误差提高,反之亦然。我们还展示了线性化的懒惰训练机制如何由于不适当的随机初始化而恶化鲁棒性。我们的理论结果与数值实验说明。
2022-07-04 cs.LG stat.ML
Measuring the Effect of Causal Disentanglement on the Adversarial Robustness of Neural Network Models
Simula Research Laboratory(西穆拉研究院)
针对因果神经网络鲁棒性源于因果解耦但缺乏定量验证的问题,研究借鉴CV领域解耦指标,基于统一ResNet18架构和多数据集多攻击实验,证实因果-混淆因子去相关程度与对抗鲁棒性强相关,混淆因子像素信息量与鲁棒性中等负相关。
2023-08-21 cs.LG
Expressivity of Graph Neural Networks Through the Lens of Adversarial Robustness
TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Munich Data Science Institute(慕尼黑数据科学研究所);Technical University of Munich(慕尼黑工业大学)
本文首次从对抗鲁棒性角度研究比MPNN更强大的GNN,通过子图计数任务揭示其理论表达力与实际表现之间的显著差距,并证明这些模型对微小图结构扰动和分布外图均缺乏泛化能力。
2024-07-03 cs.LG
Feedback Learning for Improving the Robustness of Neural Networks
Duke University(杜克大学);Black Sesame Technologies Inc(黑芝麻科技有限公司)
最近的研究表明,神经网络容易受到对抗攻击。最先进的防御技术在训练中添加各种对抗性示例,以提高模型的对抗性鲁棒性。然而,这些方法并不通用,不能防御未知或非对抗性的逃避攻击。在本文中,我们分析了模型的鲁棒性在决策空间。然后提出了一种反馈学习方法,以了解模型的学习效果,并促进修复缺陷的再训练过程。根据一组基于距离的标准进行的评估表明,我们的方法可以显着提高模型的准确性和对不同类型的规避攻击的鲁棒性。此外,我们观察到类间不平等的存在,并建议通过改变在不同的类中生成的例子的比例来补偿它。
2019-09-12 cs.LG stat.ML
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Oxford-Man Institute(牛津-曼学院)
机器学习模型对对抗性攻击具有鲁棒性是理想的,并且通常是必要的。贝叶斯模型尤其如此,因为它们非常适合安全关键型应用,在这些应用中,对抗性攻击可能会产生灾难性的后果。在这项工作中,我们深入研究了贝叶斯神经网络(BNN)的对抗鲁棒性。特别是,我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加,特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析,零均值高斯先验和后验近似通过平均场变分推断,我们发现证据表明,对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise
Lehigh University(理海大学)
循环神经网络(RNN)在序列数据的动态学习方面表现出了很大的潜力。然而,已知人工神经网络在存在输入噪声的情况下表现出较差的鲁棒性,其中RNN的顺序架构加剧了该问题。在本文中,我们将利用控制和估计理论的思想,为受输入噪声影响的RNN模型提出一种易于处理的鲁棒性分析。噪声系统的输出的方差作为一个鲁棒性的措施,量化的噪声对学习的影响。它表明,鲁棒性措施可以有效地估计使用线性化技术。利用这些结果,我们提出了一种学习方法来增强RNN对具有已知统计量的外源高斯噪声的鲁棒性。我们对基准问题的广泛模拟表明,我们提出的方法显着提高了循环神经网络的鲁棒性。
2021-05-04 cs.LG cs.SY eess.SY
A New Framework to Analyse the Distributional Robustness of Deep Neural Networks
Microsoft(微软);Ashoka University(阿什oka大学)
本文提出了一种新框架,通过研究层权重与激活之间的相互作用来分析和量化深度神经网络的分布鲁棒性,展示了该框架在CIFAR-10和ImageNet上模型的实用性,并表明所提指标能区分记忆训练数据和未记忆的网络。
2026-05-20 cs.LG
Retrieval-Augmented Convolutional Neural Networks for Improved Robustness against Adversarial Examples
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究);CIFAR(加拿大高级研究所(CIFAR))
我们提出了一个检索增强卷积网络,并建议训练它与本地混合,最近提出的混合算法的一种新的变体。所提出的结合卷积网络和现成检索引擎的混合架构旨在减轻非流形对抗性示例的不利影响,而所提出的局部混淆通过明确鼓励分类器在数据流形上局部线性行为来解决流形上的问题。我们对所提出的方法在三个数据集-CIFAR-10,SVHN和ImageNet-上针对五种现成的对抗攻击的评估表明,与香草卷积网络相比,鲁棒性有所提高。
2018-02-26 cs.LG
Understanding and Improving Adversarial Robustness of Neural Probabilistic Circuits
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文分析神经概率电路的对抗鲁棒性仅取决于属性识别模型,并提出首个鲁棒版本RNPC,通过类级集成推理提升对抗鲁棒性,同时保持高准确率。
2025-09-24 cs.AI cs.LG
Training Artificial Neural Networks by Generalized Likelihood Ratio Method: Exploring Brain-like Learning to Improve Robustness
Institute of Computing Technology(计算技术研究所);Chinese Academy of Science(中国科学院);Peking University(北京大学);Fudan University(复旦大学)
在这项工作中,我们提出了一种广义似然比方法,能够训练人工神经网络与一些生物大脑一样的机制,例如,(a)通过损失值学习,(b)通过具有不连续激活和损失函数的神经元学习。传统的反向传播方法不能训练具有上述类脑学习机制的人工神经网络。数值结果表明,当输入数据同时受到自然噪声和对抗攻击的影响时,用该方法训练的各种人工神经网络的鲁棒性都得到了显著提高。代码可用:\url{https://github.com/LX-doctorAI/GLR_ADV}。
2019-07-11 cs.AI cs.LG stat.ML
Evaluating the Adversarial Robustness for Fourier Neural Operators
Rensselaer Polytechnic Institute (RPI)(伦斯勒理工学院);IBM Research(IBM研究院)
近年来,机器学习(ML)驱动的方法已被广泛应用于科学发现领域。其中,傅立叶神经运算器(FNO)是第一个以zero-shot超分辨率和卓越精度模拟湍流的算法,与传统偏微分方程(PDE)求解器相比,速度显著提高。为了检验可信度,我们通过基于范数有界数据输入扰动生成FNO的对抗性示例,首次研究了科学发现模型的对抗性鲁棒性。评估FNO模型的输出和PDE求解器的输出之间的均方误差,我们的研究结果表明,该模型的鲁棒性随着扰动水平的增加而迅速下降,特别是在非简单的情况下,如二维达西和Navier的情况下。我们的研究为评估基于ML的科学发现模型的对抗性鲁棒性提供了敏感性分析工具和评估原则。
2022-04-08 cs.AI cs.LG
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa(渥太华大学);American University(美利坚大学)
计算机生成文本的检测是一个重要性迅速增加的领域,因为新生的生成模型允许有效创建引人注目的类人文本,这些文本可能被滥用于垃圾邮件,虚假信息,网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测,但尽管威胁形势不断发展,但对检测方法对对抗攻击的鲁棒性分析很少。为此,我们评估了神经和非神经方法检测计算机生成的文本的能力,对文本对抗攻击的鲁棒性,以及成功的对抗攻击对人类判断文本质量的影响。我们发现,虽然统计特征的表现不如神经特征,但统计特征提供了额外的对抗鲁棒性,可以在集成检测模型中加以利用。在这个过程中,我们发现,以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小,并确定有前途的统计功能,而不是使用。最后,我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
Neural Network Robustness as a Verification Property: A Principled Case Study
Heriot-Watt University(赫瑞-瓦特大学);University of Strathclyde(思克莱德大学);The Hebrew University of Jerusalem(希伯来大学)
神经网络在检测噪声数据中的模式方面非常成功,并已成为许多领域的首选技术。然而,它们的有用性受到了它们对对抗攻击的敏感性的阻碍。最近,已经提出了许多用于测量和提高网络对对抗性扰动的鲁棒性的方法,并且这种不断增长的研究已经产生了许多明确或隐含的鲁棒性概念。这些概念之间的联系往往是微妙的,它们之间的系统比较在文献中缺失。在本文中,我们开始解决这个差距,通过建立一般原则的经验分析和评估网络的鲁棒性作为一个数学属性-在网络的训练阶段,它的验证,并在其部署。然后,我们应用这些原则,并进行案例研究,展示我们的一般方法的实际好处。
2022-07-13 cs.AI cs.LG
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks
CEA Tech(法国原子能与替代能源委员会技术中心);Mines Saint-Etienne(圣埃蒂安矿业学院)
随着将神经网络模型部署在嵌入式系统上的意愿的增长,并且考虑到相关的存储器占用和能量消耗问题,寻找更轻的解决方案来存储神经网络,例如权重量化和更有效的推理方法成为主要的研究主题。与此同时,对抗性机器学习最近兴起,引起了令人印象深刻的关注,揭示了机器学习模型的一些关键缺陷,特别是神经网络。特别是,被称为对抗性示例的扰动输入已被证明可以欺骗模型做出错误的预测。在这篇文章中,我们研究了对抗鲁棒性的量化神经网络在不同的威胁模型下的经典监督图像分类任务。我们发现,量化不提供任何强大的保护,在严重的形式的梯度掩蔽的结果,并提出一些假设来解释它。然而,我们实验观察到穷人的可转移能力,我们解释的量化值移位现象和梯度错位,并探讨如何利用这些结果与基于集合的防御。
2020-07-06 cs.LG stat.ML
Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming
University of Pennsylvania(宾夕法尼亚大学)
证明神经网络对输入不确定性和对抗性攻击的安全性或鲁棒性是安全机器学习和控制领域的一个新兴挑战。为了提供这样的保证,当神经网络的输入在有界集内变化时,必须能够限制神经网络的输出。在本文中,我们提出了一个半定规划(SDP)框架来解决这个问题的前馈神经网络与一般的激活函数和输入不确定性集。我们的主要思想是抽象激活函数的各种属性(例如,单调性、有界斜率、有界值和跨层重复)与二次约束的形式主义。然后,我们分析了抽象网络的安全性通过S-过程和半定规划。我们的框架跨越保守性和计算效率之间的权衡,并适用于安全验证以外的问题。我们通过各种大小的数值问题实例来评估我们的方法的性能。
2021-09-15 cs.LG math.OC
Improving the Robustness of Deep Neural Networks via Adversarial Training with Triplet Loss
Nanjing University(南京大学);JD AI Research(京东人工智能研究院)
最近的研究表明,深度神经网络(DNN)容易受到对抗性样本的影响。在本文中,我们通过利用距离度量学习技术来提高DNN的鲁棒性。具体来说,我们将最流行的距离度量学习方法之一Triplet Loss纳入对抗训练的框架中。我们提出的算法,对抗训练与三重损失(AT $^2$ L),替代对抗的例子对当前模型的锚三重损失,有效地平滑分类边界。此外,我们提出了一个集成版本的AT $^2$ L,聚合不同的攻击方法和模型结构,以更好的防御效果。我们的实证研究验证了所提出的方法可以显着提高DNN的鲁棒性,而不会牺牲准确性。最后,我们证明了我们专门设计的三重态损失也可以用作正则化项来增强其他防御方法。
2019-05-28 cs.LG stat.ML
Adversarial Robustness of Stabilized NeuralODEs Might be from Obfuscated Gradients
Hong Kong University of Science and Technology(香港科技大学);University of California at Berkeley(加州大学伯克利分校);University of Waterloo(滑铁卢大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
在本文中,我们介绍了一个可证明稳定的神经常微分方程(ODE)的架构,实现了非平凡的对抗性鲁棒性下的白盒对抗攻击,即使网络是自然训练。现有的大多数防御方法在抵御强白盒攻击时,为了提高神经网络的鲁棒性,需要对它们进行对抗性训练,从而在自然准确性和对抗性鲁棒性之间进行权衡。受动力系统理论的启发,我们设计了一个稳定的神经ODE网络SONet,它的ODE块是反对称的,并且被证明是输入输出稳定的。通过自然训练,SONet可以实现与最先进的对抗性防御方法相当的鲁棒性,而不会牺牲自然的准确性。即使用这样的ODE块仅替换ResNet的第一层也可以表现出鲁棒性的进一步改进,例如,在PGD-20($\ell_\infty=0.031$)攻击下,对CIFAR-10数据集的自然准确率和鲁棒准确率分别为91.57%和62.35%,而用TRADES训练的ResNet对应结构的自然准确率和鲁棒准确率分别为76.29%和45.24%.为了理解这一令人惊讶的好结果背后的可能原因,我们进一步探索了这种对抗性鲁棒性背后的可能机制。我们表明,自适应步长数值ODE求解器,DOPRI 5,有梯度掩蔽效应,失败的PGD攻击,这是敏感的梯度信息的训练损失;另一方面,它不能欺骗CW攻击的强大梯度和SPSA攻击是梯度自由。这提供了一个新的解释,基于ODE网络的对抗性鲁棒性主要来自数值ODE求解器中的混淆梯度。
2021-06-02 cs.LG stat.ML
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);Microsoft Research India(微软研究院印度分院);Chennai Mathematical Institue, Chennai(钦奈数学研究所)
神经网络对小的、对抗性的逐像素扰动的(非)鲁棒性,并且如最近所示,甚至对随机空间变换(例如,翻译,旋转)都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型(例如,StdCNN,GCNN)和训练增强,而对抗鲁棒性通常通过对抗训练来实现。在本文中,我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点:(a)随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高,它们的对抗鲁棒性逐渐下降,(b)随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练,它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优,我们提出了一种基于课程学习的方法,该方法逐渐训练更困难的扰动(空间和对抗),以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
FlatNAS: optimizing Flatness in Neural Architecture Search for Out-of-Distribution Robustness
Politecnico di Milano(米兰理工大学)
本研究提出FlatNAS,一种在神经架构搜索中利用锐度感知最小化优化损失景观平坦性的新方法,在仅使用分布内数据的情况下,联合优化模型性能、OOD鲁棒性与参数数量,实现良好权衡。
2024-02-29 cs.AI cs.CV cs.LG
Do Wider Neural Networks Really Help Adversarial Robustness?
College of Computer Science, Zhejiang University(浙江大学计算机学院);College of Information Science and Technology, Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系)
对抗性训练是对抗性示例的一种强大防御类型。先前的实证结果表明,对抗性训练需要更广泛的网络才能获得更好的表现。然而,神经网络宽度如何影响模型的鲁棒性仍然是难以捉摸的。在本文中,我们仔细研究了网络宽度和模型鲁棒性之间的关系。具体来说,我们表明,模型的鲁棒性是密切相关的自然精度和扰动稳定性之间的权衡,这是由鲁棒正则化参数$λ$控制。使用相同的$λ$,更宽的网络可以实现更好的自然精度,但更差的扰动稳定性,导致潜在的更差的整体模型鲁棒性。为了理解这种现象的起源,我们进一步将扰动稳定性与网络的局部Lipschitz性联系起来。通过利用最近关于神经切线核的结果,我们从理论上证明了更宽的网络往往具有更差的扰动稳定性。我们的分析表明:1)首先在小网络上微调$λ$,然后直接将其用于宽模型训练的常见策略可能导致模型鲁棒性恶化; 2)需要适当地放大$λ$以充分释放更宽模型的鲁棒性潜力。最后,我们提出了一种新的宽度调整正则化(WAR)方法,自适应扩大$λ$宽模型,并显着节省调谐时间。
2021-08-14 cs.AI cs.LG stat.ML
Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach
Georgia Institute of Technology(佐治亚理工学院);University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校)
隐式神经网络是一类通用的学习模型,它用隐式代数方程代替传统前馈模型中的层。与传统的学习模型相比,隐式网络提供了有竞争力的性能和更少的内存消耗。然而,他们可以保持脆弱的输入对抗扰动。本文提出了一种隐式神经网络的鲁棒性验证的理论和计算框架,我们的框架融合了混合单调系统理论和收缩理论。首先,给定一个隐式神经网络,我们介绍了一个相关的嵌入式网络,并表明,给定一个$\ell_\infty$ -范数箱约束的输入,嵌入式网络提供了一个$\ell_\infty$ -范数箱过逼近给定的网络的输出。其次,利用$\ell_{\infty}$ -矩阵测度,我们提出了原系统和嵌入式系统的适定性的充分条件,并设计了一个迭代算法来计算可达性和分类问题的$\ell_{\infty}$ -范数框鲁棒性裕度。第三,独立值,我们提出了一种新的相对分类器变量,导致更严格的边界上的认证对抗性的鲁棒性分类问题。最后,我们在MNIST数据集上训练的非欧单调算子网络(NEMON)上进行了数值模拟。在这些模拟中,我们比较的准确性和运行时间我们的混合单调收缩方法与现有的鲁棒性验证方法在文献中估计认证的对抗鲁棒性。
2021-12-10 cs.LG cs.SY eess.SY
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
Duke University(杜克大学);Monta Vista High School(蒙塔维斯塔高中)
神经网络正以更高的能量和计算成本获得更好的精度。量化后,可以大大节省成本,量化后的模型更硬件友好,精度损失可以接受。另一方面,最近的研究发现神经网络容易受到对抗攻击,只有通过对抗训练等防御方法才能提高神经网络模型的鲁棒性。在这项工作中,我们发现,对抗训练的神经网络比普通模型更容易受到量化损失。为了同时最小化对抗和量化损失并使量化模型鲁棒,我们提出了一种逐层对抗感知量化方法,使用Lipschitz常数为神经网络选择最佳量化参数设置。我们从理论上推导出的损失,并证明我们的度量选择的一致性。实验结果表明,该方法可以有效地提高量化对抗训练神经网络的鲁棒性。
2021-10-23 cs.AI cs.CV cs.LG