Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University（深圳大学）；IBM（国际商业机器公司）；University of Nottingham（诺丁汉大学）
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响，即，攻击者故意设计的机器学习模型的输入，以使模型出错。为了提高神经网络的对抗鲁棒性，对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而，对抗性训练可能过度适应特定类型的对抗攻击，并且还导致干净图像的标准准确度下降。为此，我们提出了一种新的类感知领域自适应（CADA）方法，用于对抗性防御，而不直接应用对抗性训练。具体来说，我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外，我们还将一个类感知组件引入到网络中，以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明，我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击，并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Adversarial Examples Are a Natural Consequence of Test Error in Noise
Google Brain（谷歌大脑）
在过去的几年里，对抗性示例的现象-欺骗训练过的机器学习模型的恶意构造的输入-已经引起了研究界的注意，特别是当对手仅限于对正确处理的输入进行小修改时。不那么令人惊讶的是，图像分类器在随机损坏的图像上也缺乏人类水平的性能，例如具有加性高斯噪声的图像。在本文中，我们提供了经验和理论证据，这是同一个潜在现象的两种表现形式，建立了对抗鲁棒性和腐败鲁棒性研究计划之间的密切联系。这表明，提高对抗性鲁棒性应该与在更普遍和现实的图像损坏情况下提高性能齐头并进。根据我们的研究结果，我们建议未来的对抗性防御考虑使用Imagenet-C等基准来评估其方法对分布偏移的鲁棒性。
2019-01-29 cs.CV cs.LG stat.ML
Adversarial Purification through Representation Disentanglement
Nanyang Technological University（南洋理工大学）
深度学习模型容易受到对抗性示例的影响，并会犯下不可理解的错误，这对它们的实际部署构成了威胁。结合对抗训练的思想，基于预处理的防御方法由于其任务独立性和良好的泛化性而受到欢迎和方便使用。目前的防御方法，特别是净化，往往通过学习和恢复自然图像来去除“噪声”。然而，与随机噪声不同，对抗模式由于与图像的强相关性，在模型训练期间更容易过拟合。在这项工作中，我们提出了一种新的对抗性净化方案，通过将自然图像和对抗性扰动的解纠缠作为预处理防御。通过大量的实验，我们的防御被证明是可推广的，并对看不见的强大对抗攻击作出显着的保护。它将最先进的\textbf{ensemble}攻击的成功率平均从\textbf{61.7\%}降低到\textbf{14.9\%}，优于许多现有方法。值得注意的是，我们的防御完美地恢复了受干扰的图像，并且不会损害骨干模型的干净准确性，这在实践中是非常可取的。
2021-10-15 cs.CV cs.LG
Adversarial Noise Layer: Regularize Neural Network By Adding Noise
Peking University（北京大学）；University of Electronic Science and Technology of China（电子科技大学）；Australian National University（澳大利亚国立大学）
在本文中，我们介绍了一种新的正则化方法，称为对抗噪声层（ANL）及其有效版本，称为类对抗噪声层（CANL），通过将精心制作的噪声添加到中间层激活中，能够显着提高CNN的泛化能力。ANL和CANL可以很容易地实现，并与大多数主流的基于CNN的模型集成。我们比较了不同类型噪声的影响，并直观地证明了我们提出的对抗性噪声指导CNN模型学习提取更清晰的特征图，这进一步降低了过度拟合的风险。我们还得出结论，使用ANL或CANL训练的模型对FGSM生成的对抗性示例比传统的对抗性训练方法更鲁棒。
2018-10-30 cs.CV cs.LG
A Hierarchical Assessment of Adversarial Severity
Center for Research and Formation in Artificial Intelligence, Universidad de los Andes（安第斯大学人工智能研究与形成中心）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
对抗鲁棒性是一个不断发展的领域，它证明了神经网络的脆弱性。尽管关于对抗鲁棒性的文献很多，但这些研究中缺少一个维度：评估错误的严重程度。我们称这个概念为“对抗严重性”，因为它通过计算错误分类和正确标签之间的语义错误来量化对抗腐败的下游影响。我们建议通过测量大规模数据集iNaturalist-H的鲁棒性和严重性来研究对抗性噪声的影响。我们的贡献是：（i）我们引入了新的分层攻击，利用丰富的标签结构空间来创建对抗性示例。(ii)这些攻击使我们能够对分类模型的对抗性鲁棒性和严重性进行基准测试。(iii)我们用一个简单而有效的分层课程训练来增强传统的对抗训练，在分层树中逐渐学习这些节点。我们进行了大量的实验，表明分层防御允许深度模型将对抗性鲁棒性提高1.85%，并将所有攻击的严重程度平均降低0.17。
2021-08-26 cs.CV cs.LG
Adversarial Reprogramming of Neural Networks
Google Brain（谷歌大脑）
深度神经网络易受\emph{adversarial}攻击。在计算机视觉中，精心设计的图像扰动可能会导致神经网络出错，例如将猫与计算机混淆。以前的对抗攻击被设计为降低模型的性能或导致机器学习模型产生攻击者提前选择的特定输出。我们引入的攻击是{ \em重新编程}目标模型来执行攻击者选择的任务，而攻击者不需要为每个测试时输入指定或计算所需的输出。这种攻击发现了一个单一的对抗性扰动，可以将其添加到机器学习模型的所有测试时输入中，以使模型执行对手选择的任务-即使模型没有经过训练来执行此任务。因此，这些扰动可以被认为是新任务的程序。我们在六个ImageNet分类模型上演示了对抗性重编程，重新利用这些模型来执行计数任务以及分类任务：MNIST和CIFAR-10示例的分类作为ImageNet模型的输入。
2018-11-29 cs.CR cs.CV cs.LG
Label-Noise Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）是一个通过对抗训练学习生成分布的框架。最近，他们的类条件扩展（例如，条件GAN（cGAN）和辅助分类器GAN（AC-GAN）由于其学习解纠缠表示和提高训练稳定性的能力而受到广泛关注。然而，它们的训练需要大规模准确的类标记数据，这在现实世界中收集起来往往很费力或不切实际。为了解决这个问题，我们提出了一种新的GANs家族，称为标签噪声鲁棒GANs（rGANs），通过引入噪声过渡模型，即使在训练标签有噪声的情况下，也可以学习干净的标签条件生成分布。特别是，我们提出了两个变体：rAC-GAN，它是AC-GAN和标签噪声鲁棒分类模型之间的桥接模型，以及rcGAN，它是cGAN的扩展，可以在不依赖任何分类器的情况下解决这个问题。除了提供理论背景之外，我们还通过使用不同的GAN配置，各种噪声设置和多个评估指标（其中我们总共测试了402个条件）的广泛实验来证明我们的模型的有效性。我们的代码可在https://github.com/takuhirok/rGAN/上获得。
2019-05-02 cs.CV cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Fooling Adversarial Training with Inducing Noise
Peking University（北京大学）
对抗训练被广泛认为是提高模型对对抗攻击鲁棒性的可靠方法。然而，在本文中，我们表明，当在一种类型的中毒数据上训练时，对抗性训练也可以被愚弄，从而产生灾难性行为，例如，$<1\%$鲁棒测试准确性与CIFAR-10数据集上的$>90\%$鲁棒训练准确性。以前，在训练数据中有其他类型的噪声中毒，它们成功地欺骗了标准训练（$15.8\%$标准测试准确度与CIFAR-10数据集上的$99.9\%$标准训练准确度），但在采用对抗训练时，它们的中毒可以很容易地去除。因此，我们的目标是设计一种新的类型的诱导噪声，命名为ADVIN，这是一个无法消除的中毒的训练数据。ADVIN不仅可以大幅降低对抗训练的鲁棒性，例如在CIFAR-10数据集上从$51.7\%$降低到$0.57\%$，而且可以有效地欺骗标准训练（$13.1\%$标准测试精度与$100\%$标准训练精度）。此外，ADVIN还可以用于防止个人数据（如自拍）在未经授权的情况下被利用，无论是标准训练还是对抗训练。
2021-11-19 cs.CR cs.CV cs.LG
Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
Yale University（耶鲁大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学学院）
针对预训练医学 VLM 受上游对抗噪声影响的问题，本文通过多模态对抗攻击构建噪声数据集并分析噪声强度效应，提出轻量级 RAN 微调框架以防御攻击并纠正噪声影响。
2025-01-07 cs.CV cs.LG
The Noise Premium in Adversarial Training for Kernel Regression
City University of Hong Kong（香港城市大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究从RKHS视角结合核积分算子分析对抗训练，推导泛化误差界并发现其统计精度损失源于鲁棒性与噪声的相互作用，提出两阶段去噪方法提升泛化速率。
2026-08-14 cs.LG stat.ML
Noise Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）是通过对抗训练来学习数据分布的神经网络。在深入的研究中，最近的GANs在再现训练图像方面显示出了有希望的结果。然而，尽管有噪音，它们还是逼真地再现了图像。作为替代方案，我们提出了一种新的GANs家族，称为噪声鲁棒GANs（NR-GAN），即使训练图像有噪声，它也可以学习干净的图像生成器。特别地，NR-GAN可以在没有完整噪声信息的情况下解决这个问题（例如，噪声分布类型、噪声量或信噪比关系）。为了实现这一点，我们引入了一个噪声发生器和训练它与一个干净的图像发生器。然而，在没有任何约束的情况下，没有动机单独生成图像和噪声。因此，我们提出了分布和变换约束，鼓励噪声发生器只捕捉噪声特定的组件。特别是，考虑到不同假设下的这些约束，我们设计了两种用于信号无关噪声的NR-GAN变体和三种用于信号相关噪声的NR-GAN变体。在三个基准数据集上，我们证明了NR-GAN在噪声鲁棒图像生成中的有效性。此外，我们展示了NR-GAN在图像去噪中的适用性。我们的代码可在https://github.com/takuhirok/NR-GAN/上获得。
2020-03-31 cs.CV cs.LG eess.IV
Mitigation of Adversarial Examples in RF Deep Classifiers Utilizing AutoEncoder Pre-training
Perspecta Labs Inc.
图像机器学习中的对抗性示例被广泛宣传和探索。由轻微扰动的输入引起的错误分类的示例是丰富的并且是众所周知的（例如，一张熊猫的照片被不知不觉地扰乱，以欺骗分类器将其错误地标记为熊猫）。对射频（RF）信号深度学习（DL）的类似攻击及其缓解策略在已发表的工作中几乎没有涉及。然而，具有最小波形扰动的RF对抗性示例（AdEx）可能导致严重的、有针对性的误分类结果，特别是针对频谱感测/调查应用（例如，BPSK被误认为8-PSK）。我们对深度学习AdEx和拟议防御机制的研究是以RF为中心的，并结合了物理世界，空中（OTA）效应。我们在这里提出的防御机制的基础上预训练的目标分类器使用自动编码器。我们的研究结果验证了这种方法是一种可行的缓解方法，可以颠覆针对基于深度学习的通信和雷达传感系统的对抗性攻击。
2019-02-16 cs.LG eess.SP stat.ML
Training Robust Deep Neural Networks via Adversarial Noise Propagation
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data-Based Precision Medicine（北京大数据精准医疗高精尖创新中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；UBTECH Sydney Artificial Intelligence Centre（优必选悉尼人工智能中心）；The University of Sydney（悉尼大学）
在实践中，人们发现深度神经网络容易受到各种类型的噪声的影响，例如对抗性样本和腐败。因此，已经开发了各种对抗性防御方法来提高深度模型的对抗性鲁棒性。然而，简单地对混合了对抗性示例的数据进行训练，这些模型中的大多数仍然无法抵御一般类型的噪声。基于隐藏层在保持模型鲁棒性方面起着非常重要的作用，本文提出了一种简单而强大的训练算法\emph{Adversarial Noise Propagation}（ANP），它以逐层的方式将噪声注入到隐藏层中。ANP可以有效地实施，利用向后-向前的训练风格的性质。通过深入的研究，我们确定不同的隐藏层对模型的鲁棒性和准确性有不同的贡献，而浅层比深层相对更重要。此外，我们的框架可以很容易地与其他对抗性训练方法相结合，通过利用隐藏层的潜力来进一步提高模型的鲁棒性。在MNIST、CIFAR-10、CIFAR-10-C、CIFAR-10-P和ImageNet上进行的大量实验表明，ANP使深度模型对对抗性和破坏性模型具有强大的鲁棒性，并且显著优于各种对抗性防御方法。
2020-12-23 cs.CV cs.LG
May the Noise be with you: Adversarial Training without Adversarial Examples
New York University (NYU)（纽约大学）；UPHF（法国上法兰西理工大学）；University of California Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）
该研究提出无需对抗样本的对抗训练方法，通过在神经网络层内嵌入高斯噪声引入内在随机性，构建闭式随机损失与噪声感知梯度，在良性数据上训练的随机模型期望函数具备与传统对抗训练相近的对抗鲁棒性。
2023-12-12 cs.CR cs.CV cs.LG
Robustness to Programmable String Transformations via Augmented Abstract Training
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
用于自然语言处理任务的深度神经网络容易受到对抗性输入扰动的影响。在本文中，我们提出了一种通用的语言，用于以编程方式指定字符串转换-例如，插入、删除、替换、交换等--这些都与手头的任务相关。然后，我们提出了一种方法来对抗训练模型，这些模型对这种用户定义的字符串转换是鲁棒的。我们的方法结合了基于搜索的对抗训练技术与基于抽象的技术的优势。具体来说，我们将展示如何将一组用户定义的字符串转换分解为两个组件规范，一个从搜索中受益，另一个从抽象中受益。我们使用我们的技术在AG和SST 2数据集上训练模型，并表明所得到的模型对模仿拼写错误的用户定义的变换和其他意义保持变换的组合是鲁棒的。
2020-09-02 cs.LG stat.ML
Modeling Adversarial Noise for Adversarial Training
Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）
深度神经网络已被证明易受对抗性噪声的影响，促进了防御对抗攻击的发展。受对抗性噪声包含良好的泛化特征以及对抗性数据和自然数据之间的关系可以帮助推断自然数据并做出可靠预测的事实的启发，本文我们研究通过学习对抗标签之间的转换关系来建模对抗噪声。（即用于生成对抗数据的翻转标签）和自然标签（即自然数据的地面真实标签）。具体来说，我们引入了一个依赖于实例的转移矩阵来关联对抗标签和自然标签，这些标签可以无缝地嵌入目标模型（使我们能够对更强的自适应对抗噪声进行建模）。实验结果表明，该方法可以有效地提高对抗准确率。
2022-07-17 cs.LG
Adversarial Examples in RF Deep Learning: Detection of the Attack and its Physical Robustness
Perspecta Labs, Inc（佩尔佩克塔实验室有限公司）
虽然对图像机器学习中的对抗性示例的研究已经很多了，但对射频（RF）信号的深度学习（DL）的类似攻击及其缓解策略在已发表的工作中几乎没有涉及，最近只有一篇RF领域的出版物[1]。RF对抗性示例（AdEx）可能导致严重的、有针对性的误分类结果，主要是在频谱感测/调查应用中（例如，BPSK误认为8-PSK），而波形扰动最小。目前尚不清楚RF AdEx是否在物理世界中保持其影响，即，当AdEx通过空中（OTA）传送时。我们对深度学习AdEx的研究和提出的防御机制是以RF为中心的，并结合了物理世界，OTA效应。在这里，我们提出了基于统计测试的防御机制。检测AdEx的一个测试利用OTA传送的DL数据点的峰均功率比（PAPR），而另一个统计测试使用DL分类器的Softmax输出，其对应于分类器分配给每个训练类的概率。前一个测试利用了数据的RF性质，而后者普遍适用于AdEx，无论其来源如何。这两种解决方案被证明是可行的缓解方法，以颠覆对通信和雷达传感系统的对抗攻击。
2019-02-16 cs.LG stat.ML
Adversarial Gain
Mila（米拉研究所）；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）
对抗性示例可以被定义为模型的输入，它会导致错误-其中模型输出与Oracle的输出不同，可能是令人惊讶或恶意的方式。对抗攻击的原始模型主要在分类和计算机视觉任务的背景下进行研究。虽然在自然语言处理（NLP）设置中已经提出了几种攻击，但它们在定义攻击的参数以及成功的攻击看起来会是什么样子方面通常是不同的。这项工作的目标是提出一个适用于生成和分类环境中的NLP任务的对抗性示例的统一模型。我们定义了对抗性增益的概念：基于控制理论，它是一种测量系统输出相对于输入扰动（由所谓的对手引起）的变化的方法。正如我们所展示的，这个定义可以在不同的特征空间和距离条件下使用，以确定不同直观流形上的攻击或防御有效性。这种对抗性增益的概念不仅为评估对手和防御提供了一种有用的方法，而且由于其植根于稳定性和流形理论的本质，可以作为未来在对手下进行鲁棒性工作的基石。
2018-11-04 cs.CL cs.LG stat.ML
QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks
Yale University（耶鲁大学）
深度神经网络（DNN）已被证明容易受到对抗攻击的攻击，其中，模型通过对输入施加轻微的扰动而被愚弄。随着物联网的出现以及在嵌入式设备中实现智能的必要性，DNN的低功耗和安全硬件实现至关重要。在本文中，我们研究了使用量化来潜在地抵抗对抗攻击。最近的几项研究报告了通过量化减少DNN能量需求的显着结果。然而，没有先前的工作考虑DNN的对抗敏感性与其对量化的影响之间的关系。我们提出了QUANOS-一个框架，该框架基于对抗性噪声敏感性（ANS）执行特定于层的混合量化。我们为DNN确定了一种新的噪声稳定性度量（ANS），即，每层计算对对抗性噪声的敏感性。ANS允许确定每层的最佳比特宽度的原则性方法，其引起对抗性鲁棒性以及能量效率，并且准确性损失最小。从本质上讲，QUANOS根据其对对抗扰动的贡献来分配层的重要性，并相应地调整层的精度。QUANOS的一个关键优势是它不依赖于预先训练的模型，可以在训练的初始阶段应用。我们评估的好处QUANOS精度可扩展的乘法和累加（MAC）的硬件架构与数据门控和子字并行功能。我们在CIFAR10，CIFAR100数据集上的实验表明，QUANOS在对抗鲁棒性方面优于均匀量化的8位精度基线（高出3%-4%），同时在等精度下提高了压缩（> 5倍）和节能（> 2倍）。
2020-06-27 cs.CV cs.LG
Closer Look at the Transferability of Adversarial Examples: How They Fool Different Models Differently
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Science, VNU-HCM（越南国立大学胡志明市分校科学大学）；Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
深度神经网络容易受到对抗性示例（AE）的影响，这些示例具有对抗性可转移性：为源模型生成的AE可能会误导另一个（目标）模型的预测。然而，在哪类目标模型的预测被误导的方面，可转移性还没有被理解（即，类感知可转移性）。在本文中，我们区分的情况下，目标模型预测相同的错误类作为源模型（“相同的错误”）或不同的错误类（“不同的错误”）进行分析，并提供一个机制的解释。我们发现（1）AE倾向于导致相同的错误，这与“非目标可转移性”相关;然而，（2）即使在相似的模型之间也会发生不同的错误，无论扰动大小如何。此外，我们提出的证据表明，相同的错误和不同的错误之间的差异可以解释为非鲁棒性的功能，预测，但人类无法解释的模式：不同的错误发生时，AE中的非鲁棒性功能不同的模型使用。因此，非鲁棒特征可以为AE的类感知可转移性提供一致的解释。
2022-10-20 cs.CV cs.LG
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Detecting Adversarial Data using Perturbation Forgery
Huazhong University of Science and Technology（华中科技大学）；Wuhan University（武汉大学）；Virginia Tech（弗吉尼亚理工大学）；Netflix Eyeline
本文提出 Perturbation Forgery 方法，通过噪声分布扰动、稀疏掩码生成和伪对抗数据生成训练对抗检测器，有效检测并过滤各类未见对抗攻击，显著提升泛化能力与实际适用性。
2025-03-05 cs.CV cs.LG
Removing Adversarial Noise in Class Activation Feature Space
Xidian University（西安电子科技大学）；The University of Sydney（悉尼大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。基于预处理的防御可以通过处理输入在很大程度上消除对抗性噪声。然而，它们通常会受到错误放大效应的影响，特别是在不断发展的攻击面前。为了解决这个问题，在本文中，我们提出通过在类激活特征空间中实现自监督对抗训练机制来去除对抗噪声。具体来说，我们首先最大限度地破坏自然示例的类激活特征，以制作对抗性示例。然后，我们训练一个去噪模型，以最小化类激活特征空间中的对抗样本和自然样本之间的距离。经验评估表明，我们的方法可以显着提高对抗鲁棒性相比，以前的国家的最先进的方法，特别是对看不见的对抗攻击和自适应攻击。
2021-04-19 cs.LG
Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders
University of Florida, Gainesville, Florida, USA（佛罗里达大学，盖恩斯维尔，佛罗里达州，美国）
本文提出一种无需对抗训练的防御框架，利用量子自编码器净化对抗样本，提升预测准确性，对抗攻击下性能提升达68%。
2026-04-30 cs.LG quant-ph
Towards Rapid and Robust Adversarial Training with One-Step Attacks
Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
对抗性训练是提高神经网络对对抗攻击鲁棒性的最成功的经验方法。然而，最有效的方法，如使用投影梯度下降（PGD）进行训练，都伴随着高计算复杂性。在本文中，我们提出了两个想法，结合使用计算成本较低的快速梯度符号方法（FGSM）进行对抗训练。首先，我们将均匀噪声添加到FGSM攻击的初始数据点，这会产生更广泛的对手，从而禁止过拟合到一个特定的扰动范围。此外，我们在神经网络之前添加了一个可学习的正则化步骤，我们称之为像素噪声注入层（PNIL）。通过PNIL传播的输入从学习的高斯分布中重新采样。由PNIL诱导的正则化防止模型学习模糊其梯度，这是阻碍先前方法成功应用对抗训练的一步方法的一个因素。我们表明，噪声注入与基于FGSM的对抗训练相结合，可以获得与PGD对抗训练相当的结果，同时速度要快得多。此外，通过结合噪声注入和PNIL，我们的性能优于基于PGD的对抗训练。
2020-03-17 cs.LG stat.ML
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami（迈阿密大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略（即，噪声数据上的准确性）对抗对抗性噪声。然而，由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度（即，与通过标准方法在干净数据上训练的相同模型相比，这种现象被称为准确性和鲁棒性之间的权衡，并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用，例如医学图像分析，因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升（即，减轻或甚至避免）医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法，命名为增量边际对抗（IMA）训练，这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性，同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序，我们的方法提高了准确性和鲁棒性。我们的研究表明，我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge
University College London（伦敦大学学院）
对抗性示例是机器学习模型的输入，旨在导致模型出错。它们对于理解机器学习模型的缺点、解释其结果以及正则化都很有用。然而，在NLP中，大多数示例生成策略通过使用已知的、预先指定的语义转换来生成输入文本，这需要大量的手动工作以及对问题和领域的深入理解。本文研究了在自然语言推理（NLI）中自动生成违反给定一阶逻辑约束的对抗性实例的问题。我们减少了识别这种对抗性的例子的问题，一个组合优化问题，通过最大化的数量测量违反这些约束的程度，并通过使用一个语言模型生成语言上合理的例子。此外，我们提出了一种方法，逆向正则化神经NLI模型，将背景知识。我们的研究结果表明，虽然所提出的方法并不总是改善SNLI和MultiNLI数据集的结果，但它显着且一致地提高了对恶意数据集的预测准确性-相对提高高达79.6%-同时大大减少了背景知识违规的数量。此外，我们表明，对抗性的例子之间的模型架构的转移，并提出的对抗性训练过程提高了NLI模型的对抗性的例子的鲁棒性。
2018-08-26 cs.AI cs.CL cs.LG
Make Some Noise: Reliable and Efficient Single-Step Adversarial Training
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER LABS欧洲）；ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Five AI Ltd.（Five AI有限公司）
最近，Wong等人表明，使用单步的【形】FGSM进行对抗性训练会导致一种名为灾难性过拟合（CO）的特征故障模式，其中模型突然变得容易受到多步攻击。然而，Andriushchenko和Flammarion观察到RS-FGSM在较大的扰动下仍然会导致CO，并提出了一种计算代价高昂的正则化器（GradAlign）来避免它。在这项工作中，我们系统地重新审视了噪声和裁剪在单步的【形】对抗训练中的作用。与以前的直觉相反，我们发现，使用更强的噪声周围的干净的样品结合\textit{not clipping}是非常有效的，以避免CO大扰动半径。然后，我们提出了Noise-FGSM（N-FGSM），在提供单步的【形】对抗训练的好处的同时，不会受到CO的影响。对大量实验的实证分析表明，N-FGSM能够匹配或超过以前最先进的GradAlign的性能，同时实现3倍的速度提升。代码可以在https://github.com/pdejorge/N-FGSM中找到
2022-10-17 cs.CV cs.LG
Perlin Noise Improve Adversarial Robustness
Guilin University of Electronic Technology（桂林电子科技大学）；National Information Center（国家信息中心）；Library of Guilin University of Electronic Technology（桂林电子科技大学图书馆）
对抗性示例是一些特殊的输入，可以干扰深度神经网络的输出，以便在生产环境中的学习算法中产生故意的错误。目前大多数用于生成对抗性示例的方法都需要梯度信息。甚至与生成模型无关的普遍扰动也在一定程度上依赖于梯度信息。过程噪声对抗样本是一种新的对抗样本生成方法，它利用计算机图形噪声快速生成通用的对抗样本扰动，同时不依赖梯度信息。结合对抗训练的防御思想，利用Perlin噪声对神经网络进行训练，得到一个能够防御过程噪声对抗样本的模型。结合使用基于预训练模型的模型微调方法，我们可以获得更快的训练速度和更高的准确性。我们的研究表明，程序噪声对抗性示例是可防御的，但为什么程序噪声可以生成对抗性示例，以及如何防御未来可能出现的其他类型的程序噪声对抗性示例，仍有待研究。
2021-12-26 cs.AI cs.LG
It Is All About Data: A Survey on the Effects of Data on Adversarial Robustness
University of British Columbia（不列颠哥伦比亚大学）
本综述聚焦于训练数据对模型对抗鲁棒性的影响，总结导致脆弱性的数据属性，提出通过数据表示与学习过程增强鲁棒性的技术，并指出未来研究方向。
2023-10-17 cs.CR cs.LG
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
University of Central Florida（中佛罗里达大学）
深度学习领域的最新发展暴露了深度神经网络（DNN）在对抗性示例中的潜在脆弱性。在图像分类中，一个对抗性的例子是一个经过仔细修改的图像，它在视觉上与原始图像不可见，但可能导致DNN模型对其进行错误分类。使用高斯噪声训练网络是一种有效的技术来执行模型正则化，从而提高模型对输入变化的鲁棒性。受这一经典方法的启发，我们探索利用噪声注入的正则化特性来提高DNN对对抗攻击的鲁棒性。在这项工作中，我们提出了参数噪声注入（PNI），它涉及通过解决最小-最大优化问题在激活或权重的每一层注入可训练的高斯噪声，并嵌入对抗训练。这些参数被明确地训练以实现改进的鲁棒性。据我们所知，这是第一个使用可训练噪声注入来提高网络对对抗攻击的鲁棒性的工作，而不是通过交叉验证手动配置注入的噪声水平。大量的实验结果表明，我们提出的PNI技术有效地提高了对各种强大的白盒和黑盒攻击，如PGD，C & W，FGSM，可转移攻击和ZOO攻击的鲁棒性。最后但并非最不重要的是，与最先进的防御方法相比，PNI方法提高了清洁和扰动数据的准确性，使用Resnet-20架构，其在清洁测试数据和扰动测试数据上分别比当前未破坏的PGD防御高出1.1%和6.8%。
2018-11-22 cs.CR cs.CV cs.LG
Noise Modulation: Let Your Model Interpret Itself
Huazhong University of Science and Technology（华中科技大学）
鉴于深度神经网络（DNN）的巨大成功及其黑箱性质，这些模型的可解释性成为一个重要问题。以前的大多数研究工作都是对训练模型的事后解释。但最近，对抗训练表明，模型可以通过训练获得可解释的输入梯度。然而，对抗性训练缺乏可解释性，为了解决这个问题，我们构造了对抗性扰动的近似，并发现了对抗性训练和幅度调制之间的联系。基于一个数字类比，我们提出了噪声调制作为一种有效的和模型无关的替代方法，来训练一个用输入梯度解释自身的模型，实验结果表明，噪声调制可以有效地提高输入梯度模型的可解释性。
2021-03-19 cs.CV cs.LG
Robust Unlearnable Examples: Protecting Data Against Adversarial Learning
JD Explore Academy, JD.com Inc（京东集团京东探索研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
网络空间中大量可访问的数据面临着被未经授权用于训练深度学习模型的风险。为了解决这个问题，提出了通过添加一种误差最小化噪声来使数据对于深度学习模型不可学习的方法。然而，这种赋予的不可学性被发现是脆弱的对抗性训练。在本文中，我们设计了新的方法来生成鲁棒的不可学习的示例，这些示例受到对抗性训练的保护。我们首先发现，香草误差最小化噪声通过最小化相应的训练损失来抑制数据的信息性知识，但不能有效地最小化对抗性训练损失。这解释了对抗训练中误差最小化噪声的脆弱性。在此基础上，引入鲁棒误差最小化噪声来减少对抗训练损失。实验表明，鲁棒误差最小化噪声带来的不可学习性可以有效地保护数据免受各种场景下的对抗性训练。代码可在\url{https://github.com/fshp971/robust-unlearnable-examples}上获得。
2022-03-28 cs.CR cs.CV cs.LG
FAdeML: Understanding the Impact of Pre-Processing Noise Filtering on Adversarial Machine Learning
Vienna University of Technology（维也纳工业大学）；Information Technology University（信息技术大学）
基于深度神经网络（DNN）的机器学习（ML）算法最近已经成为领先的ML范式，特别是对于分类任务，因为它们具有从大型数据集有效学习的卓越能力。然而，一些众所周知的攻击，如数据集中毒，对抗性示例和网络操纵（通过添加恶意节点）的发现，使人们关注基于DNN的ML系统缺乏安全性。特别地，恶意行为者可以使用这些众所周知的攻击来引起随机/有针对性的误分类，或者引起预测置信度的改变，这仅通过轻微但系统地操纵环境参数、推断数据或数据采集块来实现。然而，大多数先前的对抗攻击没有考虑通常与ML推理模块集成的预处理噪声滤波器。我们在这项工作中的贡献是表明这是一个重大的遗漏，因为这些噪声过滤器可以使大多数现有的攻击无效，这些攻击基本上依赖于引入对抗性噪声。除此之外，我们还扩展了现有技术，提出了一种新的预处理噪声过滤器感知的对抗性ML攻击，称为FadeML。为了证明所提出的方法的有效性，我们通过利用针对“德国交通标志识别基准（GTSRB）”数据集训练的“VGGNet”DNN来生成对抗攻击图像，尽管没有视觉噪声，但即使在存在预处理噪声过滤器的情况下，也会导致分类器错误分类。
2018-11-04 cs.CR cs.LG stat.ML
Towards Adversarially Robust Deep Image Denoising
NUS（新加坡国立大学）；RIKEN-AIP（理化学研究所革新智能综合研究中心）；ByteDance Inc（字节跳动）；UTokyo（东京大学）
这项工作系统地研究了深度图像去噪器（DID）的对抗鲁棒性，即DID如何从对抗扰动退化的噪声观测中恢复地面真实。首先，为了评估DID的鲁棒性，我们提出了一种新的对抗性攻击，即基于观察的零均值攻击（{ \sc ObsAtk}），对给定的噪声图像进行对抗性的零均值扰动。我们发现，现有的DID容易受到{ \sc ObsAtk}生成的对抗性噪声的影响。其次，为了增强DID的鲁棒性，我们提出了一种对抗性训练策略，混合对抗性训练（{ \sc HAT}），该策略联合训练具有对抗性和非对抗性噪声数据的DID，以确保重建质量高，并且非对抗性数据周围的去噪器局部平滑。所得到的DID可以有效地去除各种类型的合成和对抗性噪声。我们还发现，DIDS的鲁棒性有利于他们的泛化能力看不见的现实世界的噪音。事实上，{ \sc HAT}训练的DID可以从真实世界的噪声中恢复高质量的干净图像，甚至无需对真实的噪声数据进行训练。在Set 68、PolyU和SIDD等基准数据集上进行的大量实验证实了{ \sc ObsAtk}和{ \sc HAT}的有效性。
2022-01-13 cs.CV cs.LG eess.IV
Let the Noise Speak: Harnessing Noise for a Unified Defense Against Adversarial and Backdoor Attacks
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of South Florida（南佛罗里达大学）
针对机器学习面临的对抗性与后门攻击，现有防御存在攻击特异性和强假设限制，本研究提出NoiSec，通过利用重构噪声识别恶意操纵，实现统一防御，在多数据集和攻击场景中表现优异且优于基线。
2025-04-14 cs.CR cs.CV cs.LG
Provable Robustness of Adversarial Training for Learning Halfspaces with Noise
UCLA（加州大学洛杉矶分校）
我们分析了在存在不可知标签噪声的情况下学习对抗鲁棒半空间的对抗训练的性质。将$\mathsf{OPT}_{p,r}$表示为对半径为$r$的$\ell_{p}$球的扰动具有鲁棒性的半空间所实现的最佳鲁棒分类误差，我们表明，在标准二进制交叉熵损失上的对抗训练产生对抗鲁棒半空间，对于$p=2$，达到（鲁棒）分类误差$\tilde O(\sqrt{\mathsf{OPT}_{2,r}})$，当$p=\infty$时，达到$\tilde O(d^{1/4} \sqrt{\mathsf{OPT}_{\infty, r}} + d^{1/2} \mathsf{OPT}_{\infty,r})$。我们的结果适用于满足对数凹各向同性分布等所享有的反集中特性的分布。我们还表明，如果使用非凸S形损失，对抗训练产生半空间，$p=2$的$O(\mathsf{OPT}_{2,r})$具有改进的鲁棒分类错误，当$p=\infty$时，则为$O(d^{1/4}\mathsf{OPT}_{\infty, r})$。据我们所知，这是第一个证明对抗训练在存在噪声的情况下可证明产生鲁棒分类器的工作。
2021-04-19 cs.CR cs.LG math.OC
NoiseCAM: Explainable AI for the Boundary Between Noise and Adversarial Attacks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Tennessee at Martin（田纳西大学马丁分校）；Bowling Green State University（博林格林州立大学）；Old Dominion University（奥多明尼昂大学）
深度学习（DL）和深度神经网络（DNN）广泛应用于各个领域。然而，对抗攻击很容易误导神经网络，导致错误的决策。防御机制在安全关键应用中是高度优选的。本文首先利用梯度类激活映射（GradCAM）分析了VGG-16网络在输入中混杂对抗性扰动或高斯噪声时的行为偏差。特别是，我们的方法可以定位对对抗性扰动和高斯噪声敏感的脆弱层。我们还表明，脆弱层的行为偏差可以用来检测对抗性的例子。其次，我们提出了一种新的NoiseCAM算法，它集成了来自全局和像素级加权类激活图的信息。我们的算法容易受到对抗性扰动的影响，并且不会对输入中混合的高斯随机噪声做出响应。第三，我们比较了使用行为偏差和NoiseCAM检测对抗性示例，我们表明NoiseCAM在整体性能上优于行为偏差建模。我们的工作可以提供一个有用的工具来防御对深度神经网络的某些对抗攻击。
2023-03-09 cs.AI cs.LG
Localizing Adversarial Attacks To Produces More Imperceptible Noise
The George Washington University（乔治·华盛顿大学）
本文通过二值掩码将 FGSM、PGD 和 C&W 对抗噪声限制在局部区域，证明其扰动更小、PSNR 与 SSIM 更高，但计算成本上升且 ASR 略降，迭代方法表现更稳健。
2025-09-23 cs.AI cs.CV cs.LG
Generating Adversarial Attacks in the Latent Space
Chennai Mathematical Institute（金奈数学研究所）
本文提出使用生成对抗网络在潜在特征空间中注入对抗扰动，摆脱了传统输入空间中基于噪声裕度的先验限制，并在多个数据集上验证了该方法生成对抗攻击的有效性与高度的视觉真实性。
2023-04-10 cs.CR cs.CV cs.LG
Deep Learning Defenses Against Adversarial Examples for Dynamic Risk Assessment
Vicomtech Foundation（维康特奇基金会）；Basque Research and Technology Alliance（巴斯克研究与技术联盟）
深度神经网络最初是在几十年前开发的，但直到最近，由于其计算能力的要求，它们才开始被广泛使用。从那时起，它们越来越多地应用于许多领域，并取得了深远的进步。更重要的是，它们已被用于关键事项，例如在医疗程序或自动驾驶中做出决策，其中风险管理至关重要。在这些领域的诊断或决策中的任何错误都可能导致严重事故，甚至死亡。这是令人关注的，因为已经多次报道攻击这种类型的模型是直接的。因此，必须对这些攻击进行研究，以评估其风险，并开发防御措施，使模型更加强大。在这项工作中，选择了最广为人知的攻击（对抗攻击），并对其实施了几种防御（即对抗训练，降维和预测相似性）。所获得的结果使得模型在保持相似精度的同时更加鲁棒。这个想法是使用乳腺癌数据集和VGG 16和密集神经网络模型开发的，但解决方案可以应用于其他领域的数据集和不同的卷积和密集深度神经网络模型。
2020-07-02 cs.CR cs.LG stat.ML
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories（三菱电机研究所）
本文提出变分随机平滑框架，通过为每个样本选择合适噪声水平，增强模型对对抗攻击的鲁棒性，并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG
Architectural Resilience to Foreground-and-Background Adversarial Noise
对抗攻击以正常图像的不可感知的扰动形式存在，已经得到了广泛的研究。对于每一种新的防御方法，都发现了多种对抗性攻击对抗攻击。特别是，近年来流行的一种攻击风格，例如DeepFool和Carlini-Wagner，完全依赖于白盒场景，其中需要完全访问预测模型及其权重。在这项工作中，我们提出了不同的模型无关的基准扰动的图像，以调查不同的网络架构的弹性和鲁棒性。根据经验，结果确定，在大多数类型的卷积神经网络中增加深度通常会提高模型对一般攻击的弹性，随着模型变得更深，改进会稳步下降。此外，我们发现，一个显着的差异，在对抗性的鲁棒性之间存在的残留结构与跳过连接和类似的复杂性的非残留结构。我们的研究结果为未来理解剩余连接和深度对网络鲁棒性的影响提供了方向。
2020-06-07 cs.CV cs.LG eess.IV
Certified Adversarial Robustness with Additive Noise
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
对抗性数据示例的存在引起了深度学习社区的极大关注;这些数据相对于原始数据似乎受到了最小的干扰，但会导致深度学习算法的输出非常不同。虽然已经考虑了开发防御模型的大量工作，但大多数此类模型都是启发式的，并且往往容易受到自适应攻击。提供理论上的鲁棒性保证的防御方法已经被深入研究，但大多数未能获得非平凡的鲁棒性时，一个大规模的模型和数据。为了解决这些限制，我们引入了一个框架，该框架是可扩展的，并为构建对抗性示例提供了输入操作规范的认证界限。我们建立了对抗性扰动和加性随机噪声的鲁棒性之间的联系，并提出了一种训练策略，可以显着提高认证的界限。我们对MNIST，CIFAR-10和ImageNet的评估表明，所提出的方法可扩展到复杂的模型和大型数据集，同时为最先进的可证明防御方法提供具有竞争力的鲁棒性。
2019-11-10 cs.CR cs.LG stat.ML
Adaptive Adversarial Training to Improve Adversarial Robustness of DNNs for Medical Image Segmentation and Detection
University of Miami（迈阿密大学）
众所周知，深度神经网络（DNN）容易受到对抗性攻击，并且DNN的对抗性鲁棒性可以通过向训练数据添加对抗性噪声（例如，标准对抗训练（SAT）。然而，不适当的噪声添加到训练数据可能会降低模型的性能，这被称为准确性和鲁棒性之间的权衡。这个问题已经充分研究了整个图像的分类，但很少被探索的图像分析任务在医学应用领域，包括图像分割，地标检测，和对象检测任务。在本研究中，我们表明，对于这些医学图像分析任务，SAT方法存在一个严重的问题，限制了其实际用途：它为所有训练样本生成固定且统一的噪声水平，以进行稳健的DNN训练。高噪声水平可能导致模型性能的大幅降低，而低噪声水平可能无法有效提高鲁棒性。为了解决这个问题，我们设计了一种自适应边缘对抗训练（AMAT）方法，该方法生成样本自适应对抗噪声，用于鲁棒DNN训练。与现有的面向分类的对抗训练方法相比，我们的AMAT方法使用了损失定义的边际策略，只要损失函数定义良好，它就可以应用于不同的任务。我们成功地将我们的AMAT方法应用于最先进的DNN，使用五个公开可用的数据集。实验结果表明：（1）我们的AMAT方法可以应用于医学图像应用领域的三个看似不同的任务;（2）AMAT在对抗鲁棒性方面优于SAT方法;（3）与SAT方法相比，AMAT在干净数据上的预测精度降低最小;（4）AMAT的训练时间成本与SAT几乎相同。
2022-06-22 cs.AI cs.CV cs.LG
Weight-Covariance Alignment for Adversarially Robust Neural Networks
University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）
随机神经网络（SNN），注入噪声到其隐藏层最近已被证明对对抗攻击实现强大的鲁棒性。然而，现有的SNN通常是基于竞争性动机的，并且通常依赖于对抗性训练，这在计算上是昂贵的。我们提出了一种新的SNN，它在不依赖对抗训练的情况下实现了最先进的性能，并具有坚实的理论依据。具体来说，虽然现有的SNN注入学习或手动调整的各向同性噪声，但我们的SNN学习各向异性噪声分布，以优化对抗鲁棒性的学习理论界限。我们评估我们的方法在一些流行的基准，表明它可以应用于不同的架构，它提供了各种白盒和黑盒攻击的鲁棒性，同时简单，快速的训练相比，现有的替代品。
2021-05-26 cs.CR cs.CV cs.LG
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich（慕尼黑技术大学）；Faculty of Computer Science, Ruhr University Bochum（博德姆鲁尔大学计算机科学系）
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性，发现噪声增强训练在提升含噪语音性能的同时，也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
Investigation of Densely Connected Convolutional Networks with Domain Adversarial Learning for Noise Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们研究了密集连接的卷积网络（DenseNets）及其扩展与域对抗训练的噪声鲁棒性语音识别。DenseNets是非常深入，紧凑的卷积神经网络，它在计算机视觉的最新成果上表现出令人难以置信的改进。我们的实验结果表明，DenseNets比其他基于神经网络的模型（如深度前馈神经网络和卷积神经网络）对噪声更具鲁棒性。此外，域对抗学习可以进一步提高DenseNets对已知和未知噪声条件的鲁棒性。
2021-12-19 cs.CL cs.LG eess.AS
Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives
Technical University of Munich（慕尼黑工业大学）；Canada AI CIFAR Chair（加拿大人工智能CIFAR席位）；MIT（麻省理工学院）
本文指出大语言模型对抗鲁棒性研究存在目标错位、重蹈过往覆辙的风险，提出基于网络安全分类体系定义威胁模型差异，将对抗对齐拆解为子问题并回归核心学术原则以推动领域进展。
2025-02-21 cs.LG
Bio-Inspired Adversarial Attack Against Deep Neural Networks
Purdue University（普渡大学）；University of Chicago（芝加哥大学）
本文开发了一种新的针对深度神经网络（DNN）的对抗攻击，基于将生物启发设计应用于移动物理对象。据我们所知，这是第一个引入移动物体物理攻击的作品。而不是遵循现有文献中的主导攻击策略，即，为了给数字输入或静止的物理对象引入微小的扰动，本文提出了两种新的成功的攻击策略。我们通过将几个模式叠加到一个物理对象上来展示，DNN变得混乱并选择其中一个模式来分配类别标签。我们对三个扑翼机器人的实验证明了开发一种对抗性伪装的可能性，以引起DNN的目标错误。我们还表明，某些运动可以减少视频中连续帧之间的依赖性，并使对象检测器“盲目”，即，无法检测视频中存在的对象。因此，在针对DNN的成功物理攻击中，还应考虑针对系统的目标运动。
2021-06-30 cs.CR cs.LG
Comment on Transferability and Input Transformation with Additive Noise
Seoul National University（首尔国立大学）
对抗攻击已经验证了神经网络脆弱性的存在。通过向良性示例添加小扰动，对抗攻击成功地生成对抗示例，导致深度学习模型的错误分类。更重要的是，从特定模型生成的对抗性示例也可以欺骗其他模型而无需修改。我们称这种现象为“可转移性”。在这里，我们通过数学证明修改后的优化可以产生更多可转移的对抗性示例，来分析可转移性和具有加性噪声的输入变换之间的关系。
2022-06-18 cs.AI cs.CR cs.LG
Example-based Explanations with Adversarial Attacks for Respiratory Sound Analysis
Imperial College London（帝国理工学院）；Griffith University（格里菲斯大学）；University of Augsburg（奥格斯堡大学）
呼吸音分类是远程筛查肺炎、哮喘和COVID-19等呼吸相关疾病的重要工具。为了促进分类结果的可解释性，特别是基于深度学习的分类结果，已经提出了许多使用原型的解释方法。然而，现有的解释技术往往假设数据是无偏的，预测结果可以解释的一组原型的例子。在这项工作中，我们开发了一个统一的基于实例的解释方法，用于选择代表性数据（原型）和离群值（批评）。特别是，我们提出了一种新的应用对抗攻击，通过迭代快速梯度符号方法生成解释谱的数据实例。这种统一的解释可以通过允许人类专家逐个评估模型错误来避免过度概括和偏见。我们进行了广泛的定量和定性评估，以表明我们的方法可以生成有效且可理解的解释，并且在许多深度学习模型中具有鲁棒性
2022-03-30 cs.LG cs.SD eess.AS
