Sparse patches adversarial attacks via extrapolating point-wise information
Technion – Israel Institute of Technology(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出通过逐点修剪密集对抗扰动的方法,实现多个稀疏补丁位置与扰动的同时优化,并在稀疏对抗攻击多个设置中显著超越现有最先进水平。
2024-11-25 cs.CV cs.LG
Stochastic sparse adversarial attacks
Institute of Research and Technology SystemX(SystemX技术研究院);Sorbonne University(索邦大学)
本文介绍了随机稀疏对抗攻击(SSAA),它是对神经网络分类器(NNC)的简单、快速、纯噪声的有针对性和无针对性攻击。SSAA提供了稀疏(或$L_0$)攻击的新示例,以前只有少数方法被提出。这些攻击是利用广泛用于马尔可夫过程的小时间扩展思想设计的。在小型和大型数据集(CIFAR-10和ImageNet)上的实验说明了SSAA与最先进方法相比的几个优点。例如,在无目标的情况下,我们的方法称为投票折叠高斯攻击(VFGA)有效地扩展到ImageNet,并实现了比SparseFool明显更低的$L_0$分数(高达$\frac{2}{5}$),同时速度更快。此外,当两种攻击在大量样本上都完全成功时,VFGA在ImageNet上的$L_0$分数比Sparse-RS更好。
2022-02-19 cs.CR cs.CV cs.LG
AutoAdversary: A Pixel Pruning Method for Sparse Adversarial Attack
Nanjing University(南京大学)
深度神经网络(DNN)已被证明容易受到对抗性示例的影响。对抗性示例的一个特殊分支,即稀疏对抗性示例,可以通过仅扰动几个像素来欺骗目标DNN。然而,现有的稀疏对抗攻击多采用探试法选择待扰动像素,将像素选择和对抗攻击视为两个独立的步骤。从神经网络剪枝的角度出发,提出了一种新的端到端稀疏对抗攻击方法AutoAdwords,该方法将像素选择融入到对抗攻击中,自动寻找最重要的像素。具体来说,我们的方法利用可训练的神经网络来生成用于像素选择的二进制掩码。在联合优化对抗性扰动和神经网络之后,仅扰动掩模中与值1相对应的像素。实验表明,我们提出的方法优于几个国家的最先进的方法。此外,由于AutoAdWorth不需要启发式像素选择过程,因此当图像大小增加时,它不会像其他方法那样过度减慢。
2022-03-18 cs.AI cs.CV cs.LG
Sparse-PGD: A Unified Framework for Sparse Adversarial Perturbations Generation
City University of Hong Kong(香港城市大学)
稀疏PGD框架通过高效生成稀疏对抗扰动并提升模型鲁棒性,实现对不同场景下的强性能表现。
2025-11-20 cs.LG
A Theoretical Study of The Effects of Adversarial Attacks on Sparse Regression
Purdue University(普渡大学)
本文分析了$\ell_1$正则化线性回归的挑战性的情况下,只有不利损坏的数据进行训练。我们使用原始-对偶见证范式来提供可证明的性能保证,以支持估计的回归参数向量与实际参数相匹配。我们的理论分析显示了一个反直觉的结果,即对手可以通过破坏不相关的特征来影响样本的复杂性,即,对应于回归参数向量的零系数的那些,其因此不影响因变量。由于任何对抗性的鲁棒算法都有其局限性,我们的理论分析确定了学习算法和对手可以相互支配的制度。它有助于我们分析这些基本限制,并解决关键的科学问题,即哪些参数(如互不相干性,协方差矩阵的最大和最小特征值,以及对抗扰动的预算)在LASSO算法成功概率的高低中起作用。此外,导出的样本复杂度是对数相对于回归参数向量的大小,我们的理论主张是通过实证分析合成和现实世界的数据集验证。
2022-12-22 cs.CR cs.LG stat.ML
On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron
ALGLIB Project(ALGLIB项目)
深度神经网络在几乎所有感知基准上都达到了人类水平的准确性。有趣的是,这些进步是使用了两个几十年前的想法:(a)基于线性求和的人工神经元和(b)SGD训练。然而,除了准确性之外,还有一些重要的指标:计算效率和对抗对抗性扰动的稳定性。在本文中,我们提出了两个紧密相连的方法来提高这些指标的轮廓识别任务:(a)一种新的模型的人工神经元,一个“强神经元”,具有低硬件要求和固有的鲁棒性对抗性扰动和(b)一种新的建设性的训练算法,生成稀疏网络与$O(1)$连接每个神经元。我们证明了我们的方法的可行性,通过实验SVHN和GTSRB基准。我们实现了令人印象深刻的10 - 100倍的操作数减少(与其他稀疏化方法相比为10倍,与密集网络相比为100倍),并大幅降低了硬件要求(使用8位定点数学),而模型精度没有降低。在没有任何对抗对抗措施的情况下,实现了对对抗扰动的卓越稳定性(超过对抗训练),仅依赖于强神经元的鲁棒性。我们还证明了我们的强神经元的组成块是唯一对对抗攻击具有完美稳定性的激活函数。
2020-06-16 cs.CV cs.LG cs.NE
Sparse Coding Frontend for Robust Neural Networks
University of California Santa Barbara(加州大学圣塔芭芭拉分校)
众所周知,深度神经网络容易受到小的、恶意的干扰。目前对抗这些对抗攻击最有效的防御方法是对抗训练的变体。在本文中,我们介绍了一种完全不同的防御方法,只在干净的图像上训练:一种基于稀疏编码的前端,它可以在对抗攻击到达分类器之前显着衰减它们。我们在CIFAR-10数据集上评估了我们在各种攻击类型(包括Linf,L2和L1边界攻击)下的防御,证明了它作为通用防御方法的前景。
2021-04-12 cs.LG stat.ML
GSE: Group-wise Sparse and Explainable Adversarial Attacks
Department for AI in Society, Science, and Technology(人工智能、科学与技术部门);Institute of Mathematics(数学研究所)
本文提出一种两阶段算法,通过非凸优化的近端算子和投影 Nesterov 加速梯度下降,在图像语义区域内生成分组稀疏对抗攻击,显著提升了稀疏度、计算速度和可解释性,并达到 100% 攻击成功率。
2025-10-30 cs.CR cs.CV cs.LG
Generating Black-Box Adversarial Examples in Sparse Domain
University of South Florida(南佛罗里达大学)
机器学习(ML)模型和卷积神经网络(CNN)的应用已经迅速增加。尽管最先进的CNN在许多应用中提供了高准确性,但最近的调查表明,这种网络非常容易受到对抗攻击的攻击。黑盒对抗攻击是一种攻击类型,攻击者不知道模型或训练数据集,但它有一些输入数据集和它们的标签。在本文中,我们提出了一种新的方法来产生一个稀疏域的黑箱攻击,而图像的最重要的信息可以观察到。我们的研究表明,大型稀疏(LaS)组件在图像分类器的性能中起着至关重要的作用。在这种假设下,为了生成对抗性示例,我们将图像转换到稀疏域,并设置阈值以仅选择k个LaS分量。在最近的作品,随机扰动k低频(LoF)组件相比,我们扰动k LaS组件随机(基于查询)或在最相关的稀疏信号从不同的类的方向。我们发现,LaS成分包含一些中频或高频成分的信息,导致愚弄图像分类器的查询次数较少。我们通过愚弄六个最先进的图像分类器,Google Cloud Vision平台的TensorFlow Lite(TFLite)模型和作为目标检测算法的YOLOv5模型来证明这种方法的有效性。均方误差(MSE)和峰值信噪比(PSNR)被用作质量度量。我们还提出了一个理论证明,这些指标的扰动水平在稀疏域连接。
2021-10-15 cs.CR cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University(莫纳什大学);Defence Science and Technology Group, Department of Defence(国防部国防科学技术集团)
据报道,深度神经网络图像分类器容易受到对抗性规避攻击的影响,这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴,它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动,最近已经开发了稀疏攻击,其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击,导致攻击效率降低。在本文中,我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动,基于这样一个事实,我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此,我们提出了一个概率事后框架,细化给定的密集攻击,通过显着减少扰动像素的数量,但保持其攻击能力,训练与互信息最大化。在任意密集攻击下,该模型具有吸引人的兼容性,使其对抗图像更逼真,并且在更少的扰动下不易被检测到。此外,我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Can the state of relevant neurons in a deep neural networks serve as indicators for detecting adversarial attacks?
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学)
我们提出了一种基于稀疏神经元集检测的对抗攻击检测方法。我们遵循这样的假设,即对抗攻击在输入中引入了不可感知的扰动,并且这些扰动改变了与被攻击模型所建模的概念相关的神经元的状态。因此,监测这些神经元的状态将能够检测到对抗攻击。专注于图像分类任务,我们的方法确定的神经元是相关的模型预测的类。对这些稀疏神经元集进行更深入的定性检查表明,它们的状态在对抗样本存在时会发生变化。此外,我们的实证评估的定量结果表明,我们的方法能够识别由最先进的攻击方法产生的对抗性样本,其准确度与最先进的检测器相当。
2020-10-29 cs.CR cs.CV cs.LG
Masking Adversarial Damage: Finding Adversarial Saliency for Robust and Sparse Network
KAIST(韩国科学技术院)
对抗性示例会在深度神经网络中引发弱可靠性和潜在的安全问题。虽然对抗训练已经被广泛研究以提高对抗鲁棒性,但它工作在过度参数化的机制中,需要高计算量和大量内存预算。为了解决对抗性鲁棒性和模型压缩之间的矛盾,提出了一种新的对抗性剪枝方法--掩蔽对抗性损伤(MAD),该方法利用了对抗性损失的二阶信息。通过使用它,我们可以准确地估计模型参数的对抗显著性,并确定哪些参数可以被修剪而不削弱对抗鲁棒性。此外,我们揭示了初始层的模型参数对对抗性示例高度敏感,并表明压缩特征表示保留了目标对象的语义信息。通过在三个公共数据集上的大量实验,我们证明了MAD有效地修剪了经过对抗训练的网络,而不会失去对抗鲁棒性,并且比以前的对抗修剪方法表现出更好的性能。
2022-04-06 cs.CV
Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息与通信技术研究中心)
针对CNN对抗鲁棒性提升成本高的问题,研究在ResNet中插入稀疏MoE层结合对抗训练,发现深层单MoE层可提升PGD等攻击下的鲁棒性,且switch loss会引发路由坍缩催生鲁棒子路径。
2025-09-05 cs.CV cs.LG
Robustness Certificates for Sparse Adversarial Attacks by Randomized Ablation
University of Maryland, College Park(马里兰大学帕克分校)
最近,技术已经发展到可证明地保证分类器的鲁棒性有界L_1和L_2幅度的对抗性扰动通过使用随机平滑:鲁棒分类是随机噪声样本的基础分类的共识,其中噪声是加性的。在本文中,我们将这种技术扩展到L_0威胁模型。我们提出了一个有效的和可证明的强大的防御稀疏对抗攻击随机消融输入功能,而不是使用加性噪声。实验上,在MNIST上,我们可以证明超过50%的图像的分类对最多8个像素的任何失真都是鲁棒的。这与MNIST上未受保护的分类器对现代L_0攻击的经验鲁棒性相当,证明了所提出的鲁棒性证书的紧密性。我们还评估了我们在ImageNet和CIFAR-10上的证书。我们的证书代表了对使用随机噪声而不是消融的并行工作(Lee et al. 2019)中提供的证书的改进(MNIST上的中值证书为8像素与4像素; ImageNet上的中值证书为16像素与1像素)。此外,我们的经验表明,我们的分类是高度稳健的现代稀疏对抗攻击MNIST。我们的分类在中位数上对高达31个像素的对抗性扰动是鲁棒的,相比之下,22个像素被报道为最先进的防御,其代价是分类准确性略有下降(约2.3%)。代码可在https://github.com/alevine0/randomizedAblation/上获得。
2019-11-21 cs.LG stat.ML
BruSLeAttack: A Query-Efficient Score-Based Black-Box Sparse Adversarial Attack
The University of Adelaide(阿德莱德大学)
本文研究基于分数的黑盒稀疏对抗攻击问题,提出了一种查询高效的贝叶斯算法BruSLeAttack,在ImageNet等任务上实现了最先进的攻击成功率和查询效率,有助于更快评估模型漏洞。
2024-06-01 cs.CR cs.LG
Adversarially Robust Spiking Neural Networks with Sparse Connectivity
Institute of Machine Learning and Neural Computation, Graz University of Technology, Austria(机器学习与神经计算研究所,格拉茨技术大学);TU Graz - SAL Dependable Embedded Systems Lab, Silicon Austria Labs, Austria(格拉茨大学 - SAL 可靠嵌入式系统实验室,Silicon Austria Labs);Chair of Cyber-Physical-Systems, Montanuniversität Leoben, Austria(智能物理系统系,蒙特安大学)
提出一种利用稀疏连接和权重的转换算法,生成稀疏且对抗鲁棒的SNN,实现高达100倍内存减少和8.6倍能效提升,同时保持高性能与鲁棒性。
2025-05-16 cs.CR cs.LG cs.NE
Transferable Sparse Adversarial Attack
Center for Research on Intelligent Perception and Computing, NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心)
深度神经网络已经显示出它们对对抗攻击的脆弱性。本文研究了基于$\ell_0$范数约束的稀疏对抗攻击,该攻击只需修改图像的几个像素即可成功.尽管有很高的攻击成功率,现有的稀疏攻击方法实现了黑盒协议下,由于过拟合的目标模型的低可移植性。因此,我们引入了一个生成器架构来缓解过拟合问题,从而有效地制作可转移的稀疏对抗性示例。具体地说,发生器将稀疏扰动分解为幅度和位置分量。我们精心设计了一个随机量化算子,以端到端的方式联合优化这两个分量。实验结果表明,我们的方法有改善的可转移性的一个大的利润率下类似的稀疏设置相比,国家的最先进的方法。此外,我们的方法实现了优越的推理速度,比其他基于优化的方法快700 $\times$。该代码可在https://github.com/shaguopohuaizhe/TSAA上获得。
2021-05-31 cs.CV
On The Relationship Between Universal Adversarial Attacks And Sparse Representations
Tel Aviv University(特拉维夫大学)
本研究通过稀疏性框架解释神经网络对微小扰动的脆弱性,证明稀疏编码算法(如LISTA)同样敏感,并将常见攻击表达为对稀疏表示的攻击,从而为对抗攻击的普遍性与可迁移性提供解释。
2023-11-14 cs.AI cs.CV
GreedyFool: Distortion-Aware Sparse Adversarial Attack
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
现代深度神经网络(DNN)容易受到对抗性样本的影响。稀疏对抗样本是对抗样本的一个特殊分支,它可以通过只扰动几个像素来欺骗目标模型。稀疏对抗攻击的存在表明DNN比人们想象的要脆弱得多,这也是分析DNN的一个新的方面。然而,现有的稀疏对抗攻击方法在稀疏性和不可见性方面仍存在不足。在本文中,我们提出了一种新的两阶段失真意识的贪婪为基础的方法被称为“GreedyFool”。具体来说,它首先通过考虑梯度(针对对手)和失真图(针对不可见性)来选择最有效的候选位置进行修改,然后在缩减阶段丢弃一些不太重要的点。实验表明,与现有方法相比,在相同的稀疏扰动设置下,我们只需要修改$3\times$更少的像素。对于目标攻击,在相同的像素预算下,该方法的成功率比现有方法高9.96%.代码可以在https://github.com/LightDXY/GreedyFool上找到。
2020-10-26 cs.CV
Temporal Sparse Adversarial Attack on Sequence-based Gait Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
步态识别因其在远距离身份识别方面的优势,在社会保障领域得到了广泛的应用。近年来,基于序列的方法通过学习丰富的时间和空间信息,获得了很高的精度。然而,它们在对抗攻击下的鲁棒性还没有被清楚地探索。在本文中,我们证明了最先进的步态识别模型容易受到这种攻击。为此,我们提出了一种新的时间稀疏对抗攻击方法。与以往的加性噪声模型在原始样本上添加扰动不同,我们采用了一种基于生成对抗网络的体系结构来生成对抗性的高质量步态轮廓或视频帧。此外,通过稀疏地替换或插入少量的敌对步态轮廓,该方法确保了其不可感知性,并取得了较高的攻击成功率。实验结果表明,如果只有四十分之一的帧被攻击,目标模型的准确性急剧下降。
2021-08-10 cs.CV
SAIF: Sparse Adversarial and Imperceptible Attack Framework
Northeastern University(东北大学);Google(谷歌)
本研究提出稀疏对抗与可解释攻击框架SAIF,利用Frank-Wolfe算法优化低幅度、稀疏的不可感知扰动,揭示分类器脆弱性,并在ImageNet上优于现有稀疏攻击方法。
2025-09-12 cs.CV
Sparse Adversarial Video Attacks with Spatial Transformations
Lancaster University(兰卡斯特大学);University of Exeter(埃克塞特大学)
近年来,大量的研究工作集中在图像上的对抗攻击,而对抗视频攻击很少被探索。我们提出了一种对视频的对抗攻击策略,称为DeepSAVA。我们的模型包括加性扰动和空间变换通过一个统一的优化框架,其中的结构相似性指数(SSIM)的措施,采用测量对抗距离。我们设计了一个有效的和新颖的优化方案,它交替利用贝叶斯优化,以确定最有影响力的帧中的视频和随机梯度下降(SGD)为基础的优化,以产生添加剂和空间变换的扰动。这样做使DeepSAVA能够对视频执行非常稀疏的攻击,以保持人类的不可感知性,同时在攻击成功率和对抗性可转移性方面仍然实现最先进的性能。我们在各种类型的深度神经网络和视频数据集上进行的密集实验证实了DeepSAVA的优越性。
2021-11-10 cs.CV
Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers
EPFL(洛桑联邦理工学院);Armasuisse S+T(瑞士联邦国防采购局科学技术部)
最近,有研究表明,尽管深度神经网络在不同领域表现出色,但它们很容易受到对抗性样本的影响。在本文中,我们提出了一个基于梯度的对抗攻击对基于transformer的文本分类器。在我们的方法中,对抗性扰动被施加为块稀疏的,因此得到的对抗性示例与原始句子只有几个单词不同。由于文本数据的离散性,我们执行梯度投影来找到我们提出的优化问题的最小值。实验结果表明,虽然我们的对抗攻击保持了句子的语义,但它可以将GPT-2在不同数据集(AG News,MNLI和Yelp Reviews)上的准确率降低到5%以下。此外,所提出的优化问题的块稀疏性约束导致对抗性示例中的小扰动。
2022-03-11 cs.CL cs.LG
Combating Adversarial Attacks Using Sparse Representations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
众所周知,小的对抗性扰动会导致深度神经网络(DNN)中的分类错误。在本文中,我们提出的情况下,稀疏表示的输入数据是一个重要的工具,打击这种攻击。对于线性分类器,我们证明了一个稀疏化的前端是有效的,对$\ell_{\infty}$有界的攻击,减少输出失真,由于攻击的一个因素大致$K / N$其中$N$是数据维度和$K$是稀疏水平。然后,我们将这一概念扩展到DNN,表明“局部线性”模型可以用于开发攻击和防御的理论基础。MNIST数据集的实验结果表明,所提出的稀疏化前端的有效性。
2018-07-13 cs.IT cs.LG math.IT
A Versatile Framework for Designing Group-Sparse Adversarial Attacks
Department of Electrical Engineering(电气工程系);Electronics Research Institute (ERI)(电子研究所);Sharif University of Technology(谢里夫科技大学)
本文提出可微优化框架ATOS,利用OSL0和分组稀疏约束生成结构化对抗扰动,在CIFAR-10与ImageNet上达到100%攻击成功率并增强可解释性。
2025-10-18 cs.CR cs.LG eess.IV
Towards Interpretable Adversarial Examples via Sparse Adversarial Attack
University of Delaware(德克萨斯大学);Stevens Institute of Technology(史蒂文斯理工学院);University of West Florida(西弗吉尼亚大学)
本文提出一种基于l0约束的稀疏对抗攻击方法,通过理论参数化技术近似NP难优化问题,并设计新损失函数,实现快速、可迁移且强力的攻击,产生更稀疏的对抗样本以解释DNNs脆弱性。
2025-06-08 cs.AI cs.LG
Adversarial robustness of sparse local Lipschitz predictors
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了由线性预测器和非线性表示映射组成的参数函数的对抗鲁棒性。%,满足一定的稳定性条件。我们的分析依赖于\emph{sparse local Lipschitzness}(SLL),局部Lipschitz连续性的扩展,更好地捕捉稳定性和减少有效的预测局部扰动后的维数。SLL函数保留了一定程度的结构,由表示图中的稀疏模式给出,并且包括几个流行的假设类,例如分段线性模型,Lasso及其变体,以及深度前馈\relu网络。%是稀疏局部Lipschitz。我们提供了一个更严格的鲁棒性证书上的最小能量的对抗性的例子,以及更严格的数据依赖的非均匀边界上的鲁棒性泛化误差这些预测。我们将这些结果实例化为深度神经网络的情况,并提供支持我们结果的数值证据,从而对自然正则化策略提供新的见解,以提高这些模型的鲁棒性。
2023-03-03 cs.LG
Adversarial Robustness of Supervised Sparse Coding
Johns Hopkins University(约翰斯·霍普金斯大学)
最近的几个结果提供了理论上的见解对抗性的例子的现象。然而,现有的结果往往是有限的,由于研究的模型的简单性和那些部署在实践中的复杂性之间的差距。在这项工作中,我们通过考虑一个模型来实现更好的平衡,该模型涉及学习表示,同时给出精确的泛化范围和鲁棒性证书。我们专注于通过结合稀疏促进编码器与线性分类器获得的假设类,并显示了(监督)表示图的表达性和稳定性与特征空间中的保证金概念之间有趣的相互作用。我们绑定的鲁棒风险($\ell_2$有界扰动)的字典参数化的假设,实现了一个温和的编码器间隙上的训练数据。此外,我们还为端到端分类提供了鲁棒性证书。我们证明了我们的分析的适用性,通过计算认证的真实数据的准确性,并与其他替代品认证的鲁棒性进行比较。
2021-01-04 cs.LG stat.ML
Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing
本文研究针对 $l_0$ 范数稀疏扰动的快速对抗训练,发现损失地貌崎岖导致灾难性过拟合,提出 Fast-LS-$l_0$ 方法结合软标签与权衡损失函数平滑损失地貌,克服过拟合并缩小单步与多步训练性能差距。
2025-10-31 cs.AI cs.LG
Sparse Autoencoders as Plug-and-Play Firewalls for Adversarial Attack Detection in VLMs
Magellan Technology Research Institute (MTRI)(马杰伦技术研究 institute);Waseda University(早稻田大学)
本文提出基于稀疏自编码器的轻量级对抗攻击检测框架SAEgis,通过插入预训练VLM中的稀疏自编码模块,利用学习到的稀疏潜在特征检测对抗扰动输入,实验显示其在跨领域和跨攻击设置中表现优异,且无需额外对抗训练。
2026-05-08 cs.AI cs.CL cs.CV
Adversarial Noise Attacks of Deep Learning Architectures -- Stability Analysis via Sparse Modeled Signals
Stanford University(斯坦福大学);Technion - Israel Institute of Technology(以色列理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
尽管深度卷积神经网络(CNN)的性能令人印象深刻,但已被证明对小的对抗性扰动敏感。这些讨厌的东西,人们几乎注意不到,却足以欺骗复杂和性能良好的分类器,导致荒谬的错误分类结果。在本文中,我们分析了最先进的深度学习分类机对对抗性扰动的稳定性,其中我们假设信号属于(可能是多层)稀疏表示模型。我们从卷积稀疏性开始,然后继续到它的多层版本,它与CNN紧密相连。我们的分析之间的稳定性的分类噪声和信号的底层结构,量化的稀疏性,其表示下一个固定的字典。此外,我们还为两种实际的追踪算法提供了类似的稳定性定理,这两种算法被视为两种不同的深度学习架构-分层的基础追踪和分层的基础追踪。我们的分析建立了后者对对抗性攻击的更好的鲁棒性。我们证实了这些理论结果的数值实验上的三个数据集:MNIST,CIFAR-10和CIFAR-100。
2019-08-05 cs.IT cs.LG math.IT
Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
稀疏对抗攻击可以通过仅扰动几个像素(由l_0范数正则化)来欺骗深度神经网络(DNN)。最近的努力将它与另一个在微扰幅度上难以察觉的l_infty结合起来。由此产生的稀疏和不可感知的攻击实际上是相关的,并且表明DNN的脆弱性比我们通常想象的还要高。然而,由于通过将l_0正则化器和框约束与非凸目标耦合而产生的优化困难,因此这种攻击更具挑战性。在本文中,我们提出了一个同伦算法,共同解决稀疏性和扰动界在一个统一的框架,以应对这一挑战。每次迭代,我们算法的主要步骤是优化l_0正则化的对抗损失,通过利用非单调加速邻近梯度方法(nmAPG)进行非凸规划;其次是l_0变化控制步骤,以及一个可选的后攻击步骤,旨在逃避坏的局部极小值。我们还扩展了算法处理的结构稀疏正则化。我们在CIFAR-10和ImageNet数据集上广泛地研究了我们提出的同伦攻击对目标和非目标攻击场景的有效性。与最先进的方法相比,我们的同伦攻击导致显著更少的扰动,例如,在CIFAR-10上减少42.91%,在ImageNet上减少75.03%(平均情况,有针对性的攻击),在类似的最大扰动幅度下,仍然实现100%的攻击成功率。我们的代码可在https://github.com/VITA-Group/SparseADV_Homotopy上获得。
2021-06-10 cs.AI cs.CV cs.LG
SVASTIN: Sparse Video Adversarial Attack via Spatio-Temporal Invertible Neural Networks
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
提出SVASTIN方法,通过时空可逆神经网络在特征空间进行信息交换,结合GTVL模块平衡扰动预算与优化速度,在UCF-101和Kinetics-400上实现了更高欺骗率与不可感知性的视频对抗攻击。
2024-06-04 cs.CV
Focused Adversarial Attacks
University of Mississippi(密西西比大学)
机器学习的最新进展表明,神经模型容易受到最小扰动输入或对抗性示例的影响。对抗算法是通过扰动输入来最小化ML模型的准确性的优化问题,通常使用模型的损失函数来制作这种扰动。现有技术的目标检测模型的特征在于由于图像中的对象的可能位置和大小的数量而导致的非常大的输出流形。这导致它们的输出稀疏,使用它们的优化问题会产生大量不必要的计算。我们建议使用模型学习流形的非常有限的子集来计算对抗性示例。我们的\textit{Focused Adversarial Attacks}(FA)算法确定了一个小的敏感区域的子集执行基于梯度的对抗攻击。当模型的流形被稀疏激活时,FA明显快于其他基于梯度的攻击。在相同的扰动约束条件下,它的扰动比其他方法更有效。我们在COCO 2017和Pascal VOC 2007检测数据集上评估了FA。
2022-05-19 cs.CR cs.CV cs.LG
Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers
École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学院);Toulouse School of Economics(图卢兹经济学院)
本文提出利用稀疏主成分分析(SPCA)作为前端特征提取器,通过理论和实验证明其相比PCA能更有效地提升神经网络分类器在对抗攻击下的鲁棒性,同时保持干净准确率。
2025-10-07 cs.CV cs.LG
Enhancing Adversarial Robustness in SNNs with Sparse Gradients
School of Computer Science, Peking University(北京大学计算机学院);Institution for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文提出一种通过梯度稀疏正则化增强脉冲神经网络(SNNs)对抗鲁棒性的方法,理论证明性能差距受梯度稀疏性上界限制,并在图像和事件数据集上验证了其有效性。
2024-05-30 cs.CR cs.CV cs.LG
Concise Explanations of Neural Networks using Adversarial Training
XaiPient;University of Wisconsin (Madison)(威斯康星大学麦迪逊分校);Google(谷歌)
我们展示了对抗性学习与深度神经网络(DNN)可解释性之间的新联系。根据其输入特征解释神经网络模型的输出的一种形式是特征属性向量。基于属性的解释的两个理想特征是:(1)$\textit{sparseness}$:不相关或弱相关特征的属性应该是可忽略的,从而导致$\textit{concise}$解释的重要特征,以及(2)$\textit{stability}$:它不应该在输入的小的局部邻域内显著变化。我们的第一个贡献是对这两个性质如何进行理论探索(当使用基于集成属性或IG的属性时)与对抗训练有关,用于一类1层网络(包括用于二进制和多类分类的逻辑回归模型);对于这些网络,我们表明:(a)使用$\ell_\infty$有界对手的对抗训练产生具有稀疏属性向量的模型,以及(b)自然模型训练,同时鼓励稳定的解释(通过损失函数中的额外项),相当于对抗训练。我们的第二个贡献是对现象(a)的实证验证,我们发现,有点令人惊讶的是,发生$\textit{not only}$ $\textit{in 1-layer networks}$,$\textit{but also DNNs}$ $\textit{trained on }$ $\textit{standard image datasets}$,并扩展到基于IG的归因,基于DeepSHAP的归因:与自然训练相比,具有$\ell_\infty$有界扰动…
2020-07-05 cs.LG stat.ML
The Search for Sparse, Robust Neural Networks
Tsinghua University(清华大学)
最近关于深度神经网络修剪的研究表明,与密集网络相比,稀疏子网络使用更少的网络参数实现了相同或更高的准确性,训练时间和损失。与修剪文献正交,已知深度神经网络易受对抗性示例的影响,这可能在安全或安全关键型应用中构成风险。直觉表明,稀疏性和鲁棒性之间存在固有的权衡,使得这些特征不能共存。我们进行了广泛的实证评估和分析,测试彩票假设与对抗训练,并表明这种方法使我们能够找到稀疏,强大的神经网络。复制实验的代码可以在这里获得:https://github.com/justincosentino/robust-sparse-networks。
2019-12-05 cs.LG stat.ML
Robust Sparse Regularization: Simultaneously Optimizing Neural Network Robustness and Compactness
University of Central Florida(中佛罗里达大学);Northeastern University(东北大学)
众所周知,由梯度下降方法训练的深度神经网络(DNN)容易受到恶意干扰的对抗性输入的影响。对抗攻击。作为对抗对抗攻击的措施之一,提高DNN鲁棒性的模型容量是一种有效的方法。在这项工作中,我们表明,通过适当的权重修剪来缩小模型大小甚至有助于提高DNN在对抗攻击下的鲁棒性。为了获得同时鲁棒和紧凑的DNN模型,我们提出了一种多目标训练方法,称为鲁棒稀疏正则化(RSR),通过融合各种正则化技术,包括通道噪声注入,套索权重惩罚和对抗训练。我们在流行的ResNet-20,ResNet-18和VGG-16 DNN架构上进行了广泛的实验,以证明RSR对流行的白盒(即,PGD和FGSM)和黑盒攻击。由于RSR,与其PGD对抗训练基线相比,ResNet-18的85%权重连接可以被修剪,同时在CIFAR-10数据集上分别实现0.68%和8.72%的清洁和扰动数据准确性提高。
2019-05-30 cs.CV
Virtual Adversarial Training on Graph Convolutional Networks in Node Classification
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
图卷积网络(GCN)的有效性已在广泛的基于图的机器学习任务中得到证明。然而,GCN中的参数更新仅来自标记节点,缺乏对未标记数据的利用。在本文中,我们将虚拟对抗训练(VAT),一种基于标记和未标记数据的对抗正则化方法应用于GCN的监督损失,以提高其泛化性能。通过在半监督学习中对后验分布施加虚拟对抗平滑性,VAT产生对GCN的对称拉普拉斯平滑性的改进。此外,由于特征属性的不同,我们分别对稀疏特征和密集特征进行虚拟对抗扰动,从而得到GCN稀疏VAT(GCNSVAT)和GCN密集VAT(GCNDVAT)算法。大量的实验验证了我们的两种方法在不同训练规模下的有效性。我们的工作为更好地理解未来GCN的改进方向铺平了道路。
2020-02-20 cs.LG stat.ML
Dynamics-aware Adversarial Attack of 3D Sparse Convolution Network
本文研究了深度神经网络中的动态感知对抗攻击问题。大多数现有的对抗攻击算法都是在一个基本假设下设计的--网络架构在整个攻击过程中是固定的。然而,这种假设并不适用于许多最近提出的网络,例如3D稀疏卷积网络,它包含依赖于输入的执行,以提高计算效率。这导致了严重的滞后梯度问题,使得在当前步骤学习的攻击由于随后的架构更改而无效。为了解决这个问题,我们提出了一个领先的梯度方法(LGM),并显示滞后梯度的显着影响。更具体地说,我们重新制定的梯度是知道潜在的动态变化的网络架构,使学习的攻击更好地“领导”下一步比动态不知道的方法时,网络架构动态变化。在不同数据集上的实验表明,LGM在语义分割和分类方面取得了令人印象深刻的性能。与动态不感知方法相比,LGM在ScanNet和S3 DIS数据集上的mIoU平均降低约20%。LGM也优于最近的点云攻击。
2023-01-21 cs.CV
Sparse-Inductive Generative Adversarial Hashing for Nearest Neighbor Search
National Institute of Informatics(国立信息学研究所)
针对无监督哈希中异构空间映射的分布不一致与优化难题,提出SiGAH方法,通过生成对抗框架与压缩感知机制学习哈希码,在四个基准数据集上性能超越现有最优方法。
2023-06-12 cs.CV cs.LG
Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders
University of California, Berkeley(加州大学伯克利分校);Bosch Research(博世研究);Harvard University(哈佛大学)
本研究评估了稀疏自编码器中概念表示的对抗鲁棒性,发现其易受微小输入扰动影响,可能不适合用于模型监控和监督。
2026-01-22 cs.AI cs.CL cs.LG
Mind the box: $l_1$-APGD for sparse adversarial attacks on image classifiers
University of Tübingen(图宾根大学)
针对图像域约束下现有 $l_1$-PGD 攻击的次优性问题,提出精确投影与自适应步长的 $l_1$-APGD 白盒攻击,并构建 $l_1$-AutoAttack 集成以可靠评估 $l_1$ 对抗鲁棒性,同时通过对抗训练实现了 SOTA 的鲁棒性。
2023-11-24 cs.CV cs.LG
Group-Structured Adversarial Training
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
在机器学习文献中,针对输入数据的扰动的鲁棒训练方法受到了极大的关注。在这个方向上的标准方法是对抗训练,它使用对抗干扰的训练样本来学习模型。然而,对抗性训练对样本间结构化的扰动表现不佳,例如普遍和组稀疏移位,这些移位通常存在于生物数据中,例如不同组织的基因表达水平。在这项工作中,我们试图缩小这种最优性差距,并引入组结构化对抗训练(GSAT),它学习一个对样本间结构化扰动鲁棒的模型。我们制定GSAT作为一个非凸凹极大极小优化问题,最大限度地减少了组结构的最优运输成本。具体来说,我们专注于GSAT的应用程序组稀疏和秩约束扰动建模使用组和核范数的处罚。为了解决GSAT在这些情况下的非光滑优化问题,我们结合梯度下降上升(GDA)和交替方向乘子法(ADMM)提出了一种新的极大极小优化算法GDADMM。我们提出了几个应用程序的GSAT框架,以获得对图像识别和计算生物学数据集的结构化扰动的鲁棒性。
2021-06-18 cs.LG stat.ML
Network Moments: Extensions and Sparse-Smooth Attacks
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Université de Montréal(蒙特利尔大学)
深度神经网络(DNN)令人印象深刻的性能极大地加强了旨在从理论上分析其有效性的研究路线。这引发了对DNN对噪声输入的反应的研究,即开发对抗性输入攻击和策略,从而导致DNN对这些攻击的鲁棒性。为此,在本文中,我们推导出高斯输入下小分段线性(PL)网络(仿射,ReLU,仿射)的一阶和二阶矩(均值和方差)的精确解析表达式。特别地,我们将Bibi等人的二阶矩表达式推广到任意输入高斯分布,放弃了零均值假设。我们发现,新的方差表达式可以有效地近似导致更严格的方差估计相比,Bibi等人的初步结果。此外,我们实验表明,这些表达式是紧的简单线性化下更深的PL-DNN,我们调查的影响的线性化灵敏度的时刻估计的准确性。最后,我们表明,派生的表达式可以用来构建稀疏和平滑的高斯对抗攻击(有针对性的和非有针对性的),往往会导致感知上可行的输入攻击。
2020-06-21 cs.CR cs.LG stat.ML
Evaluating Model Robustness Using Adaptive Sparse L0 Regularization
University of Adelaide(阿德莱德大学)
本文提出一种基于L0范数的可扩展对抗样本生成方法,解决现有攻击在准确性与效率间的权衡,以改进深度神经网络对稀疏扰动的鲁棒性评估。
2024-08-28 cs.AI cs.LG
Certified Robustness against Sparse Adversarial Perturbations via Data Localization
Johns Hopkins University(约翰斯·霍普金斯大学);Mathematical Institute for Data Science (MINDS), Johns Hopkins University(约翰斯·霍普金斯大学数据科学数学研究所(MINDS));University of Pennsylvania(宾夕法尼亚大学);Department of Biomedical Engineering, Johns Hopkins University(约翰斯·霍普金斯大学生物医学工程系)
本文将数据局部化理论扩展到ℓ0-有界对抗扰动,给出ℓ0-鲁棒分类器存在的充要条件,并提出简单分类器Box-NN,在MNIST和Fashion-MNIST上提升了稀疏攻击下的认证鲁棒性。
2024-05-23 cs.AI cs.LG
Sparse and Transferable Universal Singular Vectors Attack
Sber AI Lab(Sber AI实验室);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI))
提出基于截断幂迭代与 $(p,q)$-奇异向量的稀疏通用白盒攻击,在 ImageNet 上以 5% 像素达到逾 50% 愚弄率,并展现高跨模型可迁移性。
2024-01-25 cs.CR cs.CV cs.LG
Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院);Huazhong University of Science and Technology, Wuhan, China(华中科技大学);Ping An Technology, Shenzhen, China(平安科技)
ADVLA通过注意力引导实现低振幅、稀疏的对抗攻击,有效削弱VLA模型的下游动作预测。
2025-11-26 cs.AI cs.CV
Brain-inspired reverse adversarial examples
Tsinghua Univerity(清华大学);Northeastern University(东北大学)
一个人不需要看到所有的大象来识别一种动物是大象。相比之下,当前最先进的深度学习方法严重依赖于训练样本的多样性和网络的容量。在实际应用中,网络的规模总是有限的,不可能访问所有的数据样本。在这种情况下,深度学习模型对于人类无法感知的对抗性示例非常脆弱,这对所有安全关键系统都构成了威胁。受人脑的联想机制和注意力机制的启发,提出了反向对抗样本方法,该方法可以大大提高模型对未知数据的鲁棒性。实验表明,我们的反向对抗方法可以在ResNet 18,MobileNet和VGG 16上平均提高19.02%的准确率。此外,该方法也适用于压缩模型,并显示出潜在的补偿鲁棒性下降带来的模型量化-一个绝对的30.78%的准确性提高。
2019-05-28 cs.AI cs.LG stat.ML
$σ$-zero: Gradient-based Optimization of $\ell_0$-norm Adversarial Examples
University of Genoa(热那亚大学);University of Cagliari(卡利亚里大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
提出名为 $σ$-zero 的新型 $\ell_0$-范数对抗攻击方法,利用可微近似和自适应投影算子实现基于梯度的优化,在多个数据集上无需繁琐调参即能高效找到最小扰动样本,性能优于现有稀疏攻击。
2025-03-06 cs.CR cs.CV cs.LG
Adversarial Attacks against Deep Saliency Models
Shanghai Jiao Tong University(上海交通大学);MARKABLE;Université de Nantes(南特大学);West Virginia University(西弗吉尼亚大学);Baidu Research(百度研究院)
目前,大量基于深度神经网络的显著性模型已经在许多复杂的高级视觉任务(例如场景描述,目标检测)中取得了重大突破。然而,这些模型的鲁棒性尚未得到研究。本文首次提出了一种针对深度显著性模型的稀疏特征空间对抗攻击方法。与传统的图像空间攻击相比,该攻击只需要部分模型信息,并且能够生成更稀疏和更隐蔽的对抗性扰动。这些对抗性扰动非常微妙,人类观察者无法注意到它们的存在,但模型输出将发生革命性变化。这种现象在实际应用中对深度显着性模型提出了安全威胁。我们还探讨了特征空间攻击的一些有趣的性质,例如1)具有较大感受野的隐藏层产生较稀疏的扰动,2)更深的隐藏层实现更高的攻击成功率,3)不同的损失函数和不同的攻击层将导致不同的扰动。实验表明,该方法能够成功地攻击不同的模型架构,在不同的图像场景。
2019-04-02 cs.CV
AdvMask: A Sparse Adversarial Attack Based Data Augmentation Method for Image Classification
Nanjing University(南京大学)
数据增强是一种广泛用于增强图像分类任务中卷积神经网络(CNN)泛化能力的技术。遮挡是影响图像分类模型泛化能力的重要因素。为了生成新的样本,现有的基于信息删除的数据增强方法通过随机删除图像中的某些区域来模拟被遮挡的样本。然而,这些方法不能根据图像的结构特征来删除图像的区域。为了解决这些问题,我们提出了一种新的数据增强方法,AdvMask,用于图像分类任务。AdvMask不是随机删除图像中的区域,而是通过端到端稀疏对抗攻击模块获得对分类结果影响最大的关键点。因此,我们可以找到分类结果的最敏感点,而无需考虑感兴趣对象的各种图像外观和形状的多样性。此外,采用数据增强模块来基于关键点生成结构化掩码,从而迫使CNN分类模型在最具鉴别力的内容被隐藏时寻找其他相关内容。AdvMask可以有效地提高分类模型在测试过程中的性能。在各种数据集和CNN模型上的实验结果表明,该方法在图像分类任务中的性能优于其他数据增强方法。
2022-11-29 cs.AI cs.CV