Detecting Adversarial Attacks on Neural Network Policies with Visual Foresight
Virginia Tech（弗吉尼亚理工大学）；NVIDIA（英伟达）；National Tsing Hua University（清华大学（台湾））
深度强化学习在复杂顺序决策任务的学习控制策略方面显示出了很好的效果。然而，这些基于神经网络的策略已知易受对抗性示例的攻击。该漏洞对自动驾驶汽车等安全关键系统构成了潜在的严重威胁。在本文中，我们提出了一种防御机制，以保护强化学习代理对抗攻击，利用动作条件帧预测模块。我们的核心思想是，针对基于神经网络的策略的对抗性示例对于帧预测模型是无效的。通过比较由处理当前观察帧的策略产生的动作分布与由处理来自动作条件帧预测模块的预测帧的相同策略产生的动作分布，我们可以检测对抗性示例的存在。除了检测敌对示例的存在之外，我们的方法还允许代理在受到攻击时使用预测帧继续执行任务。我们评估我们的算法使用五个游戏在雅达利2600的性能。我们的研究结果表明，所提出的防御机制实现了良好的性能对基线算法在检测敌对的例子，并在赚取奖励时，代理受到攻击。
2017-10-02 cs.CR cs.CV cs.LG
Detecting Adversarial Examples in Batches -- a geometrical approach
Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Technishe Universitat Bergakademie Freiberg（弗赖贝格工业大学）
许多深度学习方法已经成功地解决了计算机视觉和语音识别应用中的复杂任务。尽管如此，这些模型的鲁棒性已被发现容易受到扰动输入或对抗性示例的影响，这些示例对人眼来说是不可感知的，但会导致模型做出错误的输出决策。在这项研究中，我们调整并引入了两个几何度量，密度和覆盖率，并评估它们在检测批量未知数据中的对抗样本中的使用。我们使用MNIST和MedMNIST的两个真实生物医学数据集对这些指标进行了实证研究，这些数据集受到了两种不同的对抗攻击。我们的实验表明，这两个指标检测敌对的例子有希望的结果。我们相信，他的工作可以为进一步研究这些指标在已部署的机器学习系统中的使用奠定基础，以监测对抗性示例或相关病理（如数据集移位）可能的攻击。
2022-06-17 cs.LG
PatchZero: Defending against Adversarial Patch Attacks by Detecting and Zeroing the Patch
对抗补丁攻击通过在局部区域内注入对抗像素来误导神经网络。补丁攻击可以在各种任务中非常有效，并且可以通过附着（例如贴纸）到现实世界的对象来物理实现。尽管攻击模式的多样性，对抗补丁往往是高度纹理化的，并且在外观上与自然图像不同。我们利用这一特性，并提出PatchZero，这是一种针对白盒对抗补丁的通用防御管道，无需重新训练下游分类器或检测器。具体来说，我们的防御检测在像素级的对手和“零”的补丁区域重新绘制的平均像素值。我们进一步设计了一个两阶段的对抗训练方案，以抵御更强的自适应攻击。PatchZero在图像分类（ImageNet，REISC 45），目标检测（PASCAL VOC）和视频分类（UCF 101）任务上实现了SOTA防御性能，而良性性能几乎没有下降。此外，PatchZero可以转移到不同的补丁形状和攻击类型。
2022-09-05 cs.CR cs.CV cs.LG
Exploiting Vulnerability of Pooling in Convolutional Neural Networks by Strict Layer-Output Manipulation for Adversarial Attacks
卷积神经网络（CNN）在智能车辆等移动机器人领域得到了越来越多的应用。CNN在机器人应用中的安全性是一个重要的问题，对CNN的潜在对抗攻击值得研究。池化是CNN降维和信息丢弃的一个典型步骤。这种信息丢弃可能导致数据特征的误删除和误保存，这在很大程度上影响了网络的输出。这可能会加剧CNN对对抗攻击的脆弱性。在本文中，我们进行对抗攻击CNN从网络结构的角度，通过调查和利用池的脆弱性。首先，提出了一种新的对抗攻击方法--严格层输出操纵（SLOM）。然后设计了一种基于严格池操作（SPM）的攻击方法，该方法是SLOM思想的一种实例化，有效地实现了对目标CNN的I类和II类对抗攻击。研究和比较了不同深度下基于SPM的攻击性能。此外，通过实例化的SLOM精神与不同的操作层的CNN设计的攻击方法的性能进行了比较。实验结果表明，池化比CNN中的其他操作更容易受到对抗攻击。
2020-12-21 cs.CV
GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
本文提出GIT方法，通过结合梯度信息与不变性变换来整体检测由泛化误差导致的错误分类，实验证明其在多种架构和扰动类型下优于现有方法。
2023-07-05 cs.CV cs.LG
PAT: Pseudo-Adversarial Training For Detecting Adversarial Videos
Arizona State University（亚利桑那州立大学）
广泛的研究表明，深度神经网络（DNN）容易受到对抗攻击。虽然已经提出了各种防御机制的图像分类网络，存在较少的方法用于基于视频的模型，用于安全敏感的应用程序，如监视。在本文中，我们提出了一种新颖而简单的算法，称为伪对抗训练（PAT），在不需要攻击知识的情况下检测视频中的对抗帧。我们的方法产生的“过渡帧”，捕捉关键偏离原始帧，并消除组件无关紧要的检测任务。为了避免知道攻击模型的必要性，我们产生“伪扰动”来训练我们的检测网络。然后通过使用检测到的帧来实现对抗检测。在UCF-101和20 BN-Jester数据集上的实验结果表明，PAT能够以较高的检测率检测到恶意视频帧和视频。通过大量的实验，我们还揭示了过渡框架和伪扰动有效性的潜在原因。
2021-09-13 cs.CV
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
从微小的起搏器芯片到飞机防撞系统，最先进的网络物理系统（CPS）越来越多地开始依赖深度神经网络（DNN）。然而，正如各种研究所得出的结论，DNN非常容易受到安全威胁，包括对抗攻击。在本文中，我们首先讨论了不同的漏洞，可以利用生成安全攻击的神经网络为基础的系统。然后，我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析，以强调实际实施对抗攻击时面临的不同挑战。最后，我们还讨论了开发健壮的基于DNN的系统的各种潜在方法，这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
SpaNN: Detecting Multiple Adversarial Patches on CNNs by Spanning Saliency Thresholds
KTH Royal Institute of Technology（皇家理工学院）
SpaNN是一种不依赖固定显著性阈值、计算复杂度与补丁数量无关的对抗性补丁检测器，通过集成二值化特征图聚类，在目标检测和分类上分别超越现有防御最多11和27个百分点。
2025-06-23 cs.CV cs.LG
ReabsNet: Detecting and Revising Adversarial Examples
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
尽管深度神经网络在最近的研究和应用中取得了巨大的成功，但它仍然容易受到人类无法感知的对抗性扰动的影响。为了解决这个问题，我们提出了一种名为ReabsNet的新型网络，以在面对各种攻击时实现高分类精度。该方法是用监护人网络来增强现有的分类网络，以检测样本是自然的还是受到了不利的干扰。重要的是，我们不是简单地拒绝对抗性的例子，而是修改它们以获得它们的真实标签。我们利用的观察，一个样本含有对抗扰动有可能返回到其真实的类修改后。我们证明了我们的ReabsNet在各种对抗攻击下的性能优于最先进的防御方法。
2017-12-21 cs.CR cs.LG
The Odds are Odd: A Statistical Test for Detecting Adversarial Examples
ETH Zürich（苏黎世联邦理工学院）
我们调查的条件下，存在的测试统计数据，可以可靠地检测的例子，这已被恶意操纵的白盒攻击。这些统计数据可以很容易地计算和校准随机损坏的输入。它们利用了对抗攻击引入的某些异常，特别是如果它们遵循在p范数约束下最优选择扰动的范式。访问日志赔率是捍卫模型的唯一要求。我们证明我们的方法经验，但也提供了条件下，通过建议的测试统计的可检测性保证是有效的。在我们的实验中，我们表明，它甚至可以纠正测试时间预测对抗攻击具有高精度。
2019-05-09 cs.LG stat.ML
Using Anomaly Feature Vectors for Detecting, Classifying and Warning of Outlier Adversarial Examples
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
我们提出了DeClaW，一个系统，用于检测，分类和警告的对抗性输入的分类神经网络。与当前最先进的方法相比，在给定输入的情况下，检测输入是干净的还是敌对的，我们的目标是还识别对抗攻击的类型（例如，PGD，Carlini-Wagner或清洁）。为了实现这一点，我们提取的统计配置文件，我们术语异常特征向量，从一组潜在的功能。初步研究结果表明，AFV可以帮助区分几种类型的对抗攻击（例如，PGD与Carlini-Wagner），在CIFAR-10数据集上的准确率接近93%。结果打开了大门，使用AFV为基础的方法，探索不仅对抗攻击检测，但也分类的攻击类型，然后设计攻击特定的缓解策略。
2021-07-01 cs.CR cs.LG
CausAdv: A Causal-based Framework for Detecting Adversarial Examples
Laboratory of Informatics and applications of M'sila, Department of Computer Science, University of M'sila（信息与应用实验室，计算机科学系，M'sila大学）
CausAdv通过因果推理提升CNN对抗检测鲁棒性，无需额外训练，利用反事实信息区分清洁与对抗样本。
2026-07-28 cs.AI cs.CV cs.LG
On Detecting Adversarial Perturbations
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
近年来，机器学习和深度学习在感知任务方面取得了巨大的进步。然而，它仍然容易受到输入的对抗性扰动的影响，这些扰动是专门为了欺骗系统而设计的，同时对人类来说几乎是不可感知的。在这项工作中，我们提出用一个小的“检测器”子网络来增强深度神经网络，该子网络在区分真实数据和包含对抗扰动的数据的二进制分类任务上进行训练。我们的方法与之前解决对抗性扰动的工作是正交的，后者主要集中在使分类网络本身更鲁棒。我们的经验表明，对抗性扰动可以检测到令人惊讶的是，即使他们是准察觉不到的人类。此外，虽然检测器已经被训练成只检测特定的对手，但它们可以推广到类似和较弱的对手。此外，我们提出了一种对抗性攻击，欺骗分类器和检测器，以及一种新的训练过程，检测器抵消这种攻击。
2017-02-21 cs.AI cs.CV cs.LG
Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims
Plano West Senior High School（普莱诺西部高中）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
我们提出了一个对抗性训练的有效性研究Transformer神经网络模型，相对于检测检查值得索赔的任务。在这项工作中，我们介绍了第一个逆向正则化的，基于transformer的索赔检举模型，该模型在多个具有挑战性的基准测试中获得了最先进的结果。我们分别在ClaimBuster数据集和CLEF2019数据集上获得了比当前最先进模型高4.70分的F1分数。在此过程中，我们提出了一种将对抗训练应用于Transformer模型的方法，该方法有可能推广到许多类似的文本分类任务。随着我们的结果，我们正在发布我们的代码库和手动标记的数据集。我们还通过一个实时的公共API展示了我们模型的真实使用情况。
2020-05-21 cs.CL cs.LG
PeerNets: Exploiting Peer Wisdom Against Adversarial Attacks
USI（瑞士意大利语大学）；NNAISENSE；Imperial College London（帝国理工学院）；Intel Perceptual Computing（英特尔感知计算）；Fabula AI（Fabula人工智能）；Stanford University（斯坦福大学）
深度学习系统已经在我们生活的许多方面变得无处不在。不幸的是，已经表明，这种系统容易受到对抗攻击的攻击，使它们容易被潜在的非法使用。设计对对抗攻击具有鲁棒性的深度神经网络是使此类系统更安全并可在更广泛的应用中部署的基本步骤（例如自动驾驶），但更重要的是设计基于新计算范式而不是在现有范式上构建的新颖和更先进的架构的必要步骤。在本文中，我们介绍了PeerNets，这是一种新颖的卷积网络家族，它将经典的欧几里得卷积与图卷积交替使用，以利用来自对等样本图的信息。这导致模型中的非局部前向传播形式，其中潜在特征取决于由图引起的全局结构，与传统架构相比，对各种白盒和黑盒对抗攻击的鲁棒性高出3倍，准确性几乎没有下降。
2018-05-31 cs.CR cs.CV cs.LG
Measuring the Contribution of Multiple Model Representations in Detecting Adversarial Instances
University of Pittsburgh（匹兹堡大学）
深度学习模型已经被用于各种各样的任务。它们普遍存在于计算机视觉、自然语言处理、语音识别和其他领域。虽然这些模型在许多情况下都能很好地工作，但已经表明它们容易受到对抗攻击的攻击。这导致了对如何识别和/或防御此类攻击的研究激增。我们的目标是探索使用多个底层模型进行对抗性实例检测的贡献。我们的论文描述了两种方法，它们结合了多个模型的表示来检测对抗性示例。我们设计控制实验来测量检测的影响，逐步利用其他模型。对于我们考虑的许多场景，结果表明，性能随着用于提取表示的底层模型的数量而增加。
2022-02-12 cs.CR cs.LG
MoCo-EA: Exploiting Adversarial Mode Connectivity for Efficient Evolutionary Attacks
Illinois Institute of Technology（伊利诺伊理工学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Singapore Management University（新加坡管理大学）
本文提出MoCo-EA，一种通过利用对抗模式连接来提高效率的进化攻击方法，该方法通过贝塞尔交叉算子优化扰动，提升了攻击效果并减少了收敛时间和查询需求。
2026-05-18 cs.AI cs.CR cs.LG
Detecting Adversarial Samples Using Influence Functions and Nearest Neighbors
Tel Aviv University（特拉维夫大学）；Duke University（杜克大学）
深度神经网络（DNN）因其对对抗攻击的脆弱性而臭名昭着，对抗攻击是添加到其输入图像中以误导其预测的小扰动。因此，对抗性样本的检测是鲁棒分类框架的基本要求。在这项工作中，我们提出了一种方法来检测这种对抗攻击，这是适合于任何预先训练的神经网络分类。我们使用影响函数来衡量每个训练样本对验证集数据的影响。从影响分数中，我们找到了任何给定验证示例的最支持训练样本。采用在DNN的激活层上拟合的k-最近邻（k-NN）模型来搜索这些支持训练样本的排名。我们观察到这些样本与正常输入的最近邻居高度相关，而这种相关性对于对抗性输入要弱得多。我们使用k-NN秩和距离训练了一个对抗检测器，并证明它成功地区分了对抗示例，在三个数据集的六种攻击方法上获得了最先进的结果。代码可在https://github.com/giladcohen/NNIF_adv_defense上获得。
2020-03-19 cs.LG stat.ML
Detecting Adversarial Examples via Neural Fingerprinting
Caltech（加州理工学院）；Salesforce Research（赛富时研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度神经网络容易受到对抗性样本的影响，这些样本会使用很小的输入变化来显著改变模型输出。我们提出了神经指纹识别，这是一种简单而有效的方法，通过验证模型行为是否与一组秘密指纹一致来检测对抗性示例，其灵感来自于生物特征和密码签名的使用。我们的方法的好处是：1）它是快速的，2）它是令人望而却步的昂贵的攻击者逆向工程的指纹被使用，3）它不假设对手的知识。在这项工作中，我们提出了一个正式的框架来分析各种威胁模型下的指纹，并描述线性模型的神经指纹。对于复杂的神经网络，我们经验证明，神经指纹显着提高了最先进的检测机制，通过检测最强的已知对抗攻击与98-100% AUC-ROC得分的MNIST，CIFAR-10和MiniImagenet（20类）数据集。特别是，神经指纹的检测准确性很好地推广到各种黑盒和白盒威胁模型下看不见的测试数据，并且在广泛的超参数和指纹选择范围内具有鲁棒性。
2019-06-14 cs.LG
Detecting and Segmenting Adversarial Graphics Patterns from Images
Purdue University（普渡大学）
对抗攻击对计算机视觉系统安全构成了实质性威胁，但社交媒体行业不断面临另一种形式的“对抗攻击“，其中黑客试图上传不适当的图像，并通过添加人工图形图案来欺骗自动筛选系统。在本文中，我们制定了防御这种攻击的人工图形模式分割问题。我们评估了几种分割算法的有效性，并根据其性能的观察，提出了一种新的方法，针对这个特定的问题。大量的实验表明，该方法优于基线，并具有良好的泛化能力，这是分割人工图形模式的最关键的方面。
2021-08-20 cs.CV cs.MM
Feature-Filter: Detecting Adversarial Examples through Filtering off Recessive Features
Wuhan University（武汉大学）；Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）正受到对抗性示例攻击的威胁。攻击者可以通过向输入添加精心设计的小扰动来轻松改变DNN的输出。对抗性样本检测是基于DNNs的鲁棒服务的基础工作。对抗性例子显示了人类和DNN在图像识别方面的差异。从以人为中心的角度来看，图像特征可以分为人类可理解的显性特征和人类不可理解但被DNN利用的隐性特征。在本文中，我们发现，不可感知的对抗性的例子是产品的隐性特征误导神经网络，和一个对抗攻击本质上是一种方法，以丰富这些隐性特征的图像。对抗样本的不可感知性表明扰动丰富了隐性特征，但几乎不影响显性特征。因此，对抗性样本对过滤掉隐性特征很敏感，而良性样本对这种操作免疫。受这个想法的启发，我们提出了一种仅标签的对抗性检测方法，称为特征过滤器。突变滤波器利用离散余弦变换近似分离显性特征和隐性特征，得到滤除隐性特征的突变图像。通过只比较DNN在输入和其突变体上的预测标签，特征过滤器可以以高精度和低误报率实时检测不可感知的对抗性示例。
2021-11-29 cs.LG
Exploiting Excessive Invariance caused by Norm-Bounded Adversarial Robustness
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Google Brain（谷歌大脑）；Stanford University（斯坦福大学）
对抗性示例是恶意输入，旨在导致模型对它们进行错误分类。它们最常见的实例，“基于扰动的”对抗性示例，对输入进行了更改，使其真实标签保持不变，但导致不同的模型预测。相反，“基于不变性”的对抗性示例会对输入进行更改，使模型的预测不受影响，尽管底层输入的标签已经更改。在本文中，我们证明了对基于扰动的对抗性示例的鲁棒性不仅不足以满足一般鲁棒性，而且更糟的是，它还会增加模型对基于不变性的对抗性示例的脆弱性。除了分析结构，我们凭经验研究视觉分类器与国家的最先进的鲁棒性，以扰动为基础的对手约束的$\ell_p$规范。我们在与任务相关的方向上利用过度的模型不变性进行攻击，这些攻击能够在$\ell_p$球内找到对抗性的例子。事实上，我们发现训练成$\ell_p$ -范数鲁棒的分类器比其未防御的对应物更容易受到基于不变性的对抗性示例的影响。过度的不变性并不局限于被训练为对基于扰动的$\ell_p$ -范数对手具有鲁棒性的模型。事实上，我们认为，术语对抗性示例用于捕获一系列模型限制，其中一些可能尚未被发现。因此，我们需要一套精确的定义，对学习中的每一个缺点进行分类和解决。
2019-03-25 cs.CR cs.CV cs.LG
Exploiting epistemic uncertainty of the deep learning models to generate adversarial samples
Isik University（伊斯克大学）；Simula Research Laboratory（西穆拉研究实验室）
深度神经网络架构被认为对随机扰动具有鲁棒性。然而，研究表明，它们可能非常容易受到输入的轻微但精心设计的扰动，称为对抗性样本。近年来，在这个称为“对抗机器学习“的新领域进行了大量研究，以设计新的对抗攻击，并使用更强大的DNN架构来防御这些攻击。然而，到目前为止，几乎所有的研究工作都集中在利用模型损失函数来制作对抗性示例或创建鲁棒模型。本研究探讨了使用量化的认知不确定性从蒙特卡洛辍学抽样对抗攻击的目的，我们扰动的输入到模型还没有见过的领域。基于模型的认知不确定性，提出了新的攻击思想。我们的结果表明，我们提出的混合攻击方法将攻击成功率从82.59%提高到85.40%，在MNIST Digit，MNIST Fashion和CIFAR-10数据集上分别从82.86%提高到89.92%和88.06%提高到90.03%。
2021-02-13 cs.AI cs.LG
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
SpectralDefense: Detecting Adversarial Attacks on CNNs in the Fourier Domain
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Kaiserslautern（凯泽斯劳滕大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；University of Mannheim（曼海姆大学）；Offenburg University（奥芬堡大学）
尽管卷积神经网络（CNN）在许多计算机视觉和图像分析任务中取得了成功，但它们仍然容易受到所谓的对抗攻击的攻击：输入图像中的小扰动可能导致错误的预测。一种可能的防御方法是检测对抗性的例子。在这项工作中，我们展示了如何在输入图像和特征图的傅立叶域中进行分析，以区分良性测试样本和敌对图像。我们提出了两种新的检测方法：我们的第一种方法采用输入图像的幅度谱检测对抗攻击。这个简单而强大的分类器可以成功地检测三种常用攻击方法的对抗性扰动。第二种方法建立在第一种方法的基础上，并额外提取网络不同层的特征图的傅立叶系数的相位。通过这种扩展，我们能够在五种不同的攻击方法上与最先进的检测器相比提高对抗检测率。
2021-06-02 cs.AI cs.CV
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
Detecting Adversarial Examples
Department of Electrical Engineering University of South Florida（电气工程系 美国佛罗里达州立大学）
针对现有DNN对抗样本防御方法易随攻击技术进步失效的问题，提出一种通过分析DNN层输出、用轻量回归模型预测误差检测对抗样本的通用轻量方法，经理论和实验验证有效且跨领域适用。
2025-06-16 cs.CR cs.LG
Detecting Patch Adversarial Attacks with Image Residuals
Department of Electrical and Computer Engineering University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
我们介绍了一种基于图像残差的对抗性样本检测算法，专门用于防范基于补丁的攻击。图像残差是作为输入图像和它的去噪版本之间的差异获得的，并且训练一个神经网络来区分干净样本和对抗样本。更确切地说，我们使用小波域算法去噪图像，并证明所获得的残差作为数字指纹的对抗攻击。为了模拟物理对手的局限性，我们评估了我们的方法对本地化（基于补丁）对抗攻击的性能，包括在设置中的对手有完整的知识检测方案。我们的研究结果表明，所提出的检测方法推广到以前看不见的，更强的攻击，它能够降低成功率（相反，增加计算工作量）的自适应攻击。
2020-03-02 cs.CV eess.IV
Training Robust Deep Neural Networks via Adversarial Noise Propagation
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data-Based Precision Medicine（北京大数据精准医疗高精尖创新中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；UBTECH Sydney Artificial Intelligence Centre（优必选悉尼人工智能中心）；The University of Sydney（悉尼大学）
在实践中，人们发现深度神经网络容易受到各种类型的噪声的影响，例如对抗性样本和腐败。因此，已经开发了各种对抗性防御方法来提高深度模型的对抗性鲁棒性。然而，简单地对混合了对抗性示例的数据进行训练，这些模型中的大多数仍然无法抵御一般类型的噪声。基于隐藏层在保持模型鲁棒性方面起着非常重要的作用，本文提出了一种简单而强大的训练算法\emph{Adversarial Noise Propagation}（ANP），它以逐层的方式将噪声注入到隐藏层中。ANP可以有效地实施，利用向后-向前的训练风格的性质。通过深入的研究，我们确定不同的隐藏层对模型的鲁棒性和准确性有不同的贡献，而浅层比深层相对更重要。此外，我们的框架可以很容易地与其他对抗性训练方法相结合，通过利用隐藏层的潜力来进一步提高模型的鲁棒性。在MNIST、CIFAR-10、CIFAR-10-C、CIFAR-10-P和ImageNet上进行的大量实验表明，ANP使深度模型对对抗性和破坏性模型具有强大的鲁棒性，并且显著优于各种对抗性防御方法。
2020-12-23 cs.CV cs.LG
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology（华中科技大学）
一系列工作表明，自然的文本处理模型容易受到对抗性示例的影响。相应地，提出了各种防御方法，以减轻威胁的文本对抗性的例子，例如，对抗性训练，输入变换，检测等。在这项工作中，我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换，其中每个字相互影响其他的话。我们发现，我们可以破坏这种相互作用，消除敌对扰动随机替换一个词与它的同义词。基于这一观察，我们提出了一种新的文本对抗性示例检测方法，称为随机替换和投票（RS&V），它通过累积k个样本的logits来投票预测标签，这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络，而无需修改架构或额外的训练，并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明，我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例，同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
Probabilistic Modeling of Deep Features for Out-of-Distribution and Adversarial Detection
Intel Labs（英特尔实验室）
我们提出了一种用于检测深度神经网络中的分布外（OOD）和对抗性样本的原则性方法。我们的方法包括在训练完成后，用参数概率分布对各个层（深度特征）的输出进行建模。在推断时，计算深度特征相对于先前学习的分布的似然性，并用于导出可以区分分布内样本和OOD样本的不确定性估计。我们探索使用两类多元分布建模的深层功能-高斯和高斯混合-和研究准确性和计算复杂性之间的权衡。我们通过在MNIST和CIFAR 10数据集上使用流行的DNN架构检测OOD图像和逆向生成的图像，展示了我们的方法在图像特征上的优势。我们发现，对特征分布进行更精确的建模，可以显著提高OOD和对抗性样本的检测能力; AUPR和AUROC指标的检测率高达12个百分点。我们进一步表明，我们的方法在应用于视频数据和相关的时空特征时仍然非常有效，通过使用UCF 101数据集和C3 D网络检测活动分类任务上的对抗样本。据我们所知，我们的方法是第一个可靠检测白盒对抗框架的方法，这是一种针对视频分类器的最先进的对抗攻击。
2019-09-25 cs.LG stat.ML
AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning
Fudan University（复旦大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出 ACPT 对比提示调优方法微调 CLIP 编码器，并构建 AdvQDet 框架，在 5 次查询内以逾 99% 检测率识别 7 种先进查询攻击。
2024-08-04 cs.CV
FeatureLens: A Highly Generalizable and Interpretable Framework for Detecting Adversarial Examples Based on Image Features
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing University of Arts and Sciences（重庆艺术科技学院）
FeatureLens通过基于图像特征的轻量级框架，实现了高准确率和可解释性的对抗示例检测，适用于多种攻击类型。
2025-12-03 cs.CV
Detecting Malicious Accounts showing Adversarial Behavior in Permissionless Blockchains
IIT-Kanpur（印度理工学院坎普尔分校）
不同类型的恶意活动已经在多个无许可区块链中被标记，如比特币，以太坊等。虽然一些恶意活动利用区块链基础设施中的漏洞，但有些恶意活动通过社会工程技术瞄准其用户。为了解决这些问题，我们的目标是自动标记那些恶意利用其他参与者账户的区块链账户。为此，我们确定了一个强大的监督机器学习（ML）算法，该算法能够抵抗由可用数据集中某些恶意活动的过度表示引起的任何偏见，并且对对抗攻击具有鲁棒性。我们发现，迄今为止报告的大多数恶意活动，例如在以太坊区块链生态系统中，其行为在统计上是相似的。此外，先前用于识别恶意帐户的ML算法显示出对过度代表的特定恶意活动的偏见。在续集中，我们确定神经网络（NN）在面对这种偏见诱导数据集时表现最好，同时对某些对抗攻击具有鲁棒性。
2021-01-28 cs.CR cs.LG
A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；University of Michigan（密歇根大学）；Google Brain（谷歌大脑）；AItrics
在许多现实世界的机器学习应用中，检测从统计上或相反地远离训练分布抽取的测试样本是部署良好分类器的基本要求。然而，已知具有softmax分类器的深度神经网络即使对于这种异常样本也会产生高度过度自信的后验分布。在本文中，我们提出了一种简单而有效的方法来检测任何异常样本，它适用于任何预先训练的softmax神经分类器。我们在高斯判别分析下获得了深度模型（低级和高级）特征的类条件高斯分布，这导致了基于Mahalanobis距离的置信度得分。虽然大多数先前的方法已经被评估用于检测分布外或对抗性样本，但不是两者都有，但在我们的实验中，所提出的方法在这两种情况下都达到了最先进的性能。此外，我们发现，我们提出的方法在苛刻的情况下更鲁棒，例如，当训练数据集具有噪声标签或少量样本时。最后，我们证明了所提出的方法通过将其应用于类增量学习而具有更广泛的用途：每当检测到分布外的样本时，我们的分类规则可以很好地融入新的类，而无需进一步训练深度模型。
2018-10-27 cs.CR cs.LG stat.ML
Leveraging Domain Features for Detecting Adversarial Attacks Against Deep Speech Recognition in Noise
Aalborg University（奥尔堡大学）
近年来，基于深度模型的自动语音识别（ASR）取得了重大进展，导致其在现实世界中的广泛部署。同时，针对深度ASR系统的对抗性攻击非常成功。已经提出了各种方法来保护ASR系统免受这些攻击。然而，现有的基于分类的方法专注于深度学习模型的设计，而缺乏对领域特定特征的探索。这项工作利用基于滤波器组的特征来更好地捕获攻击的特征，以改进检测。此外，本文分析了分别使用语音和非语音部分检测对抗性攻击的潜力。最后，考虑到ASR系统可能部署的不利环境，我们研究了各种类型的声学噪声和信噪比的影响。大量的实验表明，逆滤波器组的功能通常在清洁和噪声环境中表现得更好，检测是有效的，无论是使用语音或非语音部分，和声学噪声可以大大降低检测性能。
2022-11-03 cs.CR cs.LG cs.SD
Exploiting Mixed Unlabeled Data for Detecting Samples of Seen and Unseen Out-of-Distribution Classes
Nanjing University（南京大学）
分布外检测在实际应用中是必不可少的，近年来引起了越来越多的关注。然而，大多数现有的OOD检测方法需要大量标记的In-Distribution（ID）数据，从而导致高昂的标记成本。在本文中，我们专注于更现实的情况下，有限的标记数据和丰富的未标记数据，这些未标记的数据与ID和OOD样本混合。我们提出了自适应输入输出感知学习（AIOL）方法，在该方法中，我们采用适当的温度从混合未标记数据中自适应地选择潜在的ID和OOD样本，并考虑它们的熵进行OOD检测。此外，由于实际应用中的测试数据中可能包含一些类不在混合未标记数据中的OOD样本（我们称之为看不见的OOD类），因此将数据增强技术引入到该方法中以进一步提高性能。在不同的基准数据集上进行了实验，证明了该方法的优越性。
2022-10-13 cs.LG
Detecting Adversarial Examples and Other Misclassifications in Neural Networks by Introspection
AXA Services（安盛服务）
尽管现代神经网络对于各种各样的任务具有优异的性能，但其不能提供允许检测错误分类的可靠置信度值。这种限制是所谓的对抗性示例的核心，在这种示例中，网络对稍微修改的图像提供了与强置信度相关的错误预测。此外，这种过度自信的问题也被观察到的规则错误和分布外的数据。我们通过所谓的内省来解决这个问题，即使用已经预先训练好的神经网络的logits提供的信息。我们表明，通过训练一个简单的3层神经网络上的logit激活，我们能够检测到错误分类在一个有竞争力的水平。
2019-05-22 cs.CR cs.LG stat.ML
Learning to Detect Adversarial Examples Based on Class Scores
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；Technical University of Munich（慕尼黑工业大学）
鉴于深度神经网络（DNN）受到的对抗攻击威胁越来越大，研究有效的检测方法比以往任何时候都更加重要。在这项工作中，我们仔细研究了对抗攻击检测的基础上已经训练的分类模型的类分数。我们建议训练一个支持向量机（SVM）的类分数检测敌对的例子。我们的方法能够检测由各种攻击生成的对抗性示例，并且可以很容易地应用于大量的深度分类模型。我们表明，我们的方法相比现有的方法产生了更高的检测率，同时易于实现。我们对不同的深度分类模型进行了广泛的实证分析，调查了各种最先进的对抗攻击。此外，我们观察到，我们提出的方法是更好地检测组合的对抗攻击。这项工作表明，只需使用已经训练好的分类模型的类得分，就有可能检测到各种对抗攻击。
2021-07-09 cs.CR cs.CV cs.LG
Phantom Sponges: Exploiting Non-Maximum Suppression to Attack Deep Object Detectors
The Open University（开放大学）；Ben-Gurion University（本-古里安大学）；University of Genoa（热那亚大学）；University of Cagliari（卡利亚里大学）
针对基于深度学习的对象检测器的对抗攻击在过去几年中得到了广泛的研究。提出的大多数攻击都针对模型的完整性（即，导致模型做出不正确的预测），而针对模型可用性的对抗攻击（自动驾驶等安全关键领域的一个关键方面）尚未被机器学习研究界探索。在本文中，我们提出了一种新的攻击，产生负面影响的决定延迟的端到端的目标检测管道。我们制作了一个通用的对抗扰动（UAP），目标是集成在许多对象检测器管道中的广泛使用的技术-非最大抑制（NMS）。我们的实验表明，所提出的UAP的能力，以增加处理时间的个别帧，通过添加“幻影”的对象，超载的NMS算法，同时保留检测的原始对象，使攻击去未被检测到的一段较长的时间。
2022-11-17 cs.CR cs.CV cs.LG
Detecting Textual Adversarial Examples Based on Distributional Characteristics of Data Representations
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
虽然深度神经网络在各种机器学习任务中已经达到了最先进的性能，但通过向正确分类的输入添加小的非随机扰动来构建的对抗性示例，成功地欺骗了高度表达的深度分类器进行不正确的预测。在过去的五年里，自然语言任务中的对抗攻击方法使用字符级、单词级、短语级或句子级文本扰动蓬勃发展。虽然在NLP中有一些工作是通过主动方法来防御这种攻击，如对抗训练，但据我们所知，没有有效的通用反应方法来通过检测文本对抗示例来防御，例如在图像处理文献中发现的。在本文中，我们提出了两个新的反应性的方法，NLP来填补这一空白，这与少数有限的应用基线从NLP是完全基于分布特性的学习表示：我们适应一个从图像处理文献（本地固有的包容性（LID）），并提出了一个新的（多距离表示包容方法（MDRE））。自适应LID和MDRE在IMDB数据集上以及在MultiNLI数据集上的后两者上获得了字符级、单词级和短语级攻击的最新结果。为了将来的研究，我们发布了我们的代码。
2022-04-29 cs.CL cs.LG
Adversarial Attacks on Medical Hyperspectral Imaging Exploiting Spectral-Spatial Dependencies and Multiscale Features
East China Normal University, China（东华大学）；Agency for Science, Technology and Research（科技研究局）
本文提出一种结构化对抗攻击框架，通过建模医学超光谱成像的局部光谱-空间依赖性和多尺度特征，提升模型鲁棒性，实验表明其在关键肿瘤区域更有效破坏病变分类性能。
2026-04-21 cs.AI cs.CV
Universal Soldier: Using Universal Adversarial Perturbations for Detecting Backdoor Attacks
Radboud University（拉德堡德大学）
针对无触发器先验时难区分干净与带后门模型的问题，提出基于通用对抗扰动（UAP）的USB后门检测方法，利用带后门模型UAP扰动量更小的特性检测后门并逆向触发器，在345个模型上效果达SOTA水平。
2023-08-24 cs.LG
SWAP: Exploiting Second-Ranked Logits for Adversarial Attacks on Time Series
The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Newcastle Australia（澳大利亚纽卡斯尔大学）
针对时间序列分类模型的对抗性攻击，提出SWAP方法，通过最小化KL散度增强次高排名逻辑值置信度，实现高攻击成功率并降低可检测性。
2023-09-06 cs.AI cs.CR cs.LG
Detecting Overfitting via Adversarial Examples
DeepMind（深度思维）
在流行的基准测试问题中，测试集在社区范围内的重复使用引起了人们对报告的测试出错率的可信度的怀疑。验证学习模型是否过拟合到测试集是具有挑战性的，因为从相同的数据分布中提取的独立测试集通常不可用，而其他测试集可能会引入分布偏移。我们提出了一个新的假设检验，只使用原始的测试数据来检测过拟合。它利用了一种新的无偏误差估计，该估计基于从测试数据和重要性加权生成的对抗性示例。如果该误差估计与原始测试出错率充分不同，则检测到过拟合。我们为多类图像分类测试开发了一个专门的变体，并将其应用于测试最近模型对流行的ImageNet基准的过拟合。我们的方法正确地表明了训练模型对训练集的过拟合，但无法检测到对测试集的任何过拟合，这与最近关于该主题的其他工作一致。
2019-11-14 cs.LG stat.ML
Detecting Language Model Attacks with Perplexity
University of Michigan（密歇根大学）
针对大语言模型的对抗性后缀越狱攻击问题，本研究发现对抗性查询困惑度极高，通过结合困惑度与token长度训练Light-GBM模型，解决了纯困惑度过滤的误报问题，有效检测大部分攻击。
2023-11-07 cs.AI cs.CL cs.CR
Not All Adversarial Examples Require a Complex Defense: Identifying Over-optimized Adversarial Examples with IQR-based Logit Thresholding
Ghent University（根特大学）；Ghent University Global Campus（根特大学全球校区）
检测对抗性样本目前是深度学习领域最大的挑战之一。产生对抗性示例的对抗攻击增加了目标类对特定数据点的预测可能性。在这个过程中，对抗性示例可以进一步优化，即使它已经被错误地分类为100%置信度，从而使对抗性示例更难以检测。对于这种对抗性示例，我们称之为过度优化的对抗性示例，我们发现模型的logits为手头的数据点是对抗性的还是真实的提供了可靠的线索。在这种情况下，我们首先讨论softmax函数对预测的掩蔽效应，并解释为什么模型的logits在检测过度优化的对抗性示例时更有用。为了在实践中识别这种类型的对抗性示例，我们提出了一种依赖于四分位距的非参数和计算效率高的方法，随着图像分辨率的增加，这种方法变得更加有效。我们通过对不同数据集（MNIST，CIFAR-10和ImageNet）和几种架构的详细实验来支持我们在整篇论文中的观察。
2019-07-30 cs.CR cs.CV cs.LG
Detecting Adversarial Examples for Speech Recognition via Uncertainty Quantification
Ruhr University Bochum（波鸿鲁尔大学）
机器学习系统，特别是自动语音识别（ASR）系统容易受到对抗性攻击，其中攻击者恶意地改变输入。在ASR系统的情况下，最有趣的情况是有针对性的攻击，其中攻击者的目的是迫使系统识别任意音频样本中的给定目标传输。越来越多的复杂的，准不可察觉的攻击提出了对策的问题。在本文中，我们专注于混合ASR系统，并比较了四种声学模型在攻击下指示不确定性的能力：前馈神经网络和三个专门为不确定性量化设计的神经网络，即贝叶斯神经网络，蒙特卡洛辍学和深度合奏。我们采用声学模型的不确定性度量来构建一个简单的一类分类模型，用于评估输入是良性的还是敌对的。基于这种方法，我们能够检测到接收算子曲线得分超过0.99的对抗性示例。用于不确定性量化的神经网络同时减少了对攻击的脆弱性，这反映在与标准混合ASR系统相比恶意目标文本的识别准确性较低。
2020-08-02 cs.CR cs.LG cs.SD
Deep Learning Approaches for Detecting Adversarial Cyberbullying and Hate Speech in Social Networks
School of Information Technology University of Cincinnati Cincinnati, Ohio, USA；School of Human Services University of Cincinnati Cincinnati, Ohio, USA
本文针对社交网络中利用对抗技术规避检测的网络欺凌和仇恨言论问题，提出一种结合校正算法的深度学习方法，利用固定 epoch 为 100 的 LSTM 模型实现了高准确率并超越以往研究。
2024-05-30 cs.CL cs.CY cs.LG
Volatility in Certainty (VC): A Metric for Detecting Adversarial Perturbations During Inference in Neural Network Classifiers
Electrical and Computer Engineering（电气与计算机工程）；North Carolina A\&T State University（北卡罗来纳A&T州立大学）
针对神经网络分类器推理阶段无标签场景下的对抗扰动检测问题，提出无标签指标VC，通过softmax输出离散度捕捉置信度波动，实验证明其与分类准确率强负相关，可作为实时性能预警指标。
2025-11-14 cs.AI cs.LG
Exploiting Vulnerabilities: Universal Adversarial Attacks on Vision-Language-Action Models in Robotics
Wuhan University（武汉大学）
本文提出一种通用对抗物体（带优化纹理的球体），通过多层级攻击框架破坏VLA模型的轨迹规划、任务执行和动作控制，使Pi0和RDT模型在模拟及真实环境中平均任务成功率降低31.2%-39.9%。
2026-10-01 cs.CR cs.CV cs.RO
Confusing and Detecting ML Adversarial Attacks with Injected Attractors
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；Image and Pervasive Access Lab (IPAL), CNRS UMI 2955（法国国家科学研究中心图像与普适计算实验室（IPAL））；Singapore Eye Research Institute（新加坡眼科研究所）
许多机器学习对抗攻击通过显式或隐式地遵循某些攻击目标函数的梯度来找到受害者模型${\mathcal M}$的对抗性样本。为了混淆和检测这种攻击，我们采取了主动的方法，修改这些函数，目的是将攻击误导到一些局部最小值，或者一些指定的区域，这些区域可以很容易地被分析器拾取。为了实现这一目标，我们建议添加大量的文物，我们称之为$attractors$，否则平滑的功能。吸引子是输入空间中的一个点，在其邻域中的样本具有指向它的梯度。我们观察到，水印方案的解码器表现出吸引子的属性，并给出了一个通用的方法，从水印解码器注入到受害者模型${\mathcal M}$的吸引子。这种原则性的方法使我们能够利用已知的水印方案的可扩展性和鲁棒性，并提供解释的结果。实验研究表明，我们的方法具有竞争力的性能。例如，对于CIFAR-10数据集上的非目标攻击，我们可以将DeepFool的整体攻击成功率降低到1.9%，而已知的防御LID，FS和MagNet可以分别将其降低到90.8%，98.5%和78.5%。
2021-03-08 cs.CR cs.LG
