When and How to Fool Explainable Models (and Humans) with Adversarial Examples
University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））
本文扩展对抗样本概念适配可解释机器学习场景，提出综合框架研究人类评估下可解释模型对抗样本的生成可能性与方法，考虑多类关键因素确定场景化攻击策略，为该领域更严谨研究奠定基础。
2023-07-07 cs.CR cs.LG
Fooling Object Detectors: Adversarial Attacks by Half-Neighbor Masks
University of Exeter（埃克塞特大学）；Guilin Univ. of Electronic Technology（桂林电子科技大学）
尽管存在大量针对基于深度学习的分类器的对抗攻击，但如何攻击目标检测系统的研究很少。在本文中，我们提出了一个半邻居屏蔽投影梯度下降（HNM-PGD）的攻击，它可以产生强扰动欺骗不同类型的检测器在严格的约束。我们还在CIKM 2020 AnalytiCup竞赛中应用了所提出的HNM-PGD攻击，该攻击在排行榜上排名前1%。我们在https://github.com/YanghaoZYH/HNM-PGD上发布代码。
2021-01-04 cs.CV cs.LG
Fooling Computer Vision into Inferring the Wrong Body Mass Index
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
最近的研究表明，神经网络可以使用人脸图像来准确预测身体质量指数（BMI），这是一种广泛使用的健康指标。在本文中，我们证明了执行BMI推理的神经网络确实容易受到测试时的对抗攻击。这将测试时的对抗攻击从分类任务扩展到回归。我们强调的应用是BMI推断在保险业，这种对抗攻击意味着保险欺诈的危险。
2019-05-16 cs.CR cs.CV cs.LG
Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Deakin University（迪肯大学）
在现代人工智能系统完全融入我们的日常生活之前，了解人类和人工智能（AI）代理的行为非常重要。在本文中，我们表明，尽管目前取得了巨大的成功，但基于深度学习的人工智能系统很容易被微妙的对抗性噪声所愚弄，从而误解了交互场景中动作的意图。基于一个案例研究的基于机器人的人类互动，我们提出了一种新的对抗攻击的互动，并演示了如何基于DNN的互动模型可以被欺骗，以预测参与者的反应意想不到的方式。从更广泛的角度来看，我们提出的攻击方法的范围并不局限于骨架数据相关的问题，但也可以扩展到任何类型的问题，涉及顺序回归。我们的研究强调了人工智能和人类交互回路中的潜在风险，在安全关键型应用中部署人工智能系统时需要仔细解决这些风险。
2021-01-17 cs.AI cs.CR cs.CV
Get Fooled for the Right Reason: Improving Adversarial Robustness through a Teacher-guided Curriculum Learning Approach
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
目前的SOTA对抗鲁棒模型大多基于对抗训练（AT），并且仅在内部最大化或外部最小化步骤中的一些正则化器不同。由于在内部最大化步骤中本质上是重复的，它们需要大量的时间来训练。我们提出了一种非迭代法，在训练过程中执行以下想法。与自然训练的模型相比，对于对抗性鲁棒模型，属性图与图像中的实际对象更加对齐。此外，干扰图像（改变模型决策）的允许像素集应仅限于对象像素，这通过限制攻击空间来降低攻击强度。我们的方法在现有AT模型上只需付出一点额外的努力（10-20%）就可以实现显着的性能提升，并且在对抗性和自然准确性方面优于所有其他方法。我们对CIFAR-10、CIFAR-100和TinyImageNet数据集进行了广泛的实验，并报告了针对许多流行的强对抗攻击的结果，以证明我们方法的有效性。
2021-10-30 cs.CR cs.CV cs.LG
Semantic Adversarial Attacks: Parametric Transformations That Fool Deep Classifiers
Iowa State University（爱荷华州立大学）
深度神经网络已经被证明对被不可感知的扰动破坏的对抗性输入图像表现出有趣的脆弱性。然而，大多数对抗攻击都假设对图像像素空间进行全局的细粒度控制。在本文中，我们考虑一个不同的设置：如果对手只能改变输入图像的特定属性会发生什么？这些将生成可能明显不同的输入，但仍然看起来很自然，足以欺骗分类器。我们提出了一种新的方法来生成这样的“语义”对抗的例子，通过优化一个特定的对抗损失的范围空间的参数条件生成模型。我们展示了我们对在人脸图像上训练的二进制分类器的攻击的实现，并表明存在这种看起来自然的语义对抗示例。我们评估我们的攻击的有效性合成和真实的数据，并与现有的攻击方法进行了详细的比较。我们补充我们的经验结果与理论界证明存在这样的参数对抗的例子。
2019-08-15 cs.CV cs.LG
Improving the Adversarial Robustness and Interpretability of Deep Neural Networks by Regularizing their Input Gradients
Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学保尔森工程与应用科学学院）
深度神经网络已经被证明在解决许多分类问题方面非常有效，但最近因两个主要弱点而受到批评：预测背后的原因无法解释，预测本身经常被小的对抗性扰动所愚弄。这些问题为神经网络在需要安全性或透明性的领域中的采用造成了主要障碍。在这项工作中，我们评估了防御的有效性，这些防御对输入中的微小变化改变模型预测的程度进行了不同程度的惩罚。在多个攻击、架构、防御和数据集中，我们发现用这种输入梯度正则化训练的神经网络对为欺骗所有其他模型而生成的转移对抗性示例表现出鲁棒性。我们还发现，为欺骗梯度正则化模型而生成的对抗性示例同样能很好地欺骗所有其他模型，实际上会导致人们评价的更“合理”、更可解释的错误分类（我们在人类受试者实验中证实了这一点）。最后，我们证明了正则化输入梯度使它们更自然地解释为模型预测的依据。最后，我们讨论了深度神经网络中的可解释性和鲁棒性之间的关系。
2017-11-26 cs.CR cs.CV cs.LG
Attack to Fool and Explain Deep Networks
University of Western Australia（西澳大学）
深度视觉模型容易受到输入的对抗性扰动的影响。尽管这些信号是精心制作的，但它们对人类来说仍然是类似噪音的模式。这一观察导致了这样一种观点，即深度视觉表征与人类感知不一致。我们通过提供对抗性扰动中人类有意义模式的证据来反驳。我们首先提出了一种攻击，欺骗网络将整个类别的对象（源类）与目标标签混淆。我们的攻击还限制了来自非源类的样本的非故意愚弄，从而限制了人类定义的网络愚弄语义概念。我们发现，所提出的攻击不仅会导致出现规则的几何模式的扰动，但也揭示了深刻的信息，决策边界的深度模型。进一步探索这种现象，我们改变了我们的攻击的“敌对”目标，将其作为一种工具来“解释”深层的视觉表现。我们表明，通过仔细引导和投影我们的方法计算的扰动，我们可以可视化模型对人类定义的语义概念的理解。最后，我们利用我们的扰动的可扩展性属性来执行图像生成，修复和交互式图像操作攻击adversarialy强大的“classifiers”。总之，我们的主要贡献是一个新的务实的对抗攻击，随后转化为一个工具来解释的视觉模型。这篇文章还在建立我们的攻击的效用方面做出了次要贡献，超越了对抗目标，具有多个有趣的应用。
2021-06-20 cs.AI cs.CR cs.CV
Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers
EPFL（洛桑联邦理工学院）；Armasuisse S+T（瑞士联邦国防采购局科学技术部）
最近，有研究表明，尽管深度神经网络在不同领域表现出色，但它们很容易受到对抗性样本的影响。在本文中，我们提出了一个基于梯度的对抗攻击对基于transformer的文本分类器。在我们的方法中，对抗性扰动被施加为块稀疏的，因此得到的对抗性示例与原始句子只有几个单词不同。由于文本数据的离散性，我们执行梯度投影来找到我们提出的优化问题的最小值。实验结果表明，虽然我们的对抗攻击保持了句子的语义，但它可以将GPT-2在不同数据集（AG News，MNLI和Yelp Reviews）上的准确率降低到5%以下。此外，所提出的优化问题的块稀疏性约束导致对抗性示例中的小扰动。
2022-03-11 cs.CL cs.LG
Fooling Network Interpretation in Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
深度神经网络已经被证明很容易被对抗攻击算法愚弄。对抗补丁等实用方法已被证明在导致错误分类方面非常有效。然而，这些补丁使用标准的网络解释算法突出显示，从而揭示了对手的身份。我们证明了创建对抗性补丁不仅可以欺骗预测，还可以改变我们对预测原因的解释。此外，我们引入我们的攻击作为一个受控的设置来衡量解释算法的准确性。我们使用广泛的实验梯度CAM的解释，转移到闭塞补丁的解释，以及。我们相信我们的算法可以帮助开发更强大的网络解释工具，真正解释网络的底层决策过程。
2019-09-24 cs.CV cs.LG
One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）
本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。
2026-08-06 cs.CR cs.LG
Detect & Reject for Transferability of Black-box Adversarial Attacks Against Network Intrusion Detection Systems
Royal Military Academy（皇家军事学院）
在过去的十年中，机器学习技术在基于异常的入侵检测系统中的应用取得了很大的成功。然而，最近的研究表明，一般的机器学习和深度学习都容易受到对抗攻击的攻击，攻击者试图通过提供欺骗性输入来欺骗模型。计算机视觉领域的研究首次发现了这一漏洞，研究表明，旨在欺骗特定模型的对抗性图像可以欺骗其他机器学习模型。在本文中，我们研究了对抗性网络流量对多个基于机器学习的入侵检测系统的可转移性。此外，我们分析了集成入侵检测系统的鲁棒性，这是臭名昭著的更好的准确性相比，一个单一的模型，对对抗攻击的可转移性。最后，我们研究检测和拦截作为一种防御机制，以限制对抗性网络流量对基于机器学习的入侵检测系统的可转移性的影响。
2021-12-22 cs.CR cs.LG
There is more than one kind of robustness: Fooling Whisper with adversarial examples
Carnegie Mellon University（卡内基梅隆大学）
本文发现 Whisper 对随机噪声的鲁棒性不适用于对抗噪声，极小扰动即可使其性能大幅下降或被诱导输出指定句子，并指出其语言检测器漏洞及对对抗鲁棒 ASR 的需求。
2023-08-10 cs.AI cs.CL cs.LG
Penny Wise, Pixel Foolish: Bypassing Price Constraints in Multimodal Agents via Visual Adversarial Perturbations
City University of Hong Kong（香港城市大学）；Peking University（北京大学）
研究发现多模态大语言模型在价格受限环境下易受视觉误导，提出PriceBlind攻击框架，通过语义解耦损失提升图像嵌入精度，实现80%的攻击成功率，并展示鲁棒编码和防御机制对攻击的抑制效果。
2026-04-15 cs.CR cs.CV cs.LG
Generalizing Adversarial Examples by AdaBelief Optimizer
Beijing Jiaotong University（北京交通大学）
最近的研究已经证明，深度神经网络（DNN）容易受到对抗性示例的攻击，添加了不可感知和精心设计的扰动的合法输入可以在测试阶段轻易地欺骗DNN。然而，大多数现有的对抗攻击很难欺骗经过对抗训练的模型。为了解决这个问题，我们提出了AdaBelief迭代快速梯度符号方法（AB-FGSM）来推广对抗性示例。通过将AdaBelief优化算法集成到I-FGSM中，我们相信，依靠AdaBelief优化器的强大泛化能力，对抗性示例的泛化能力将得到提高。为了验证我们提出的AB-FGSM生成的对抗性示例的有效性和可移植性，我们对各种单个模型和集成模型进行了白盒和黑盒攻击。与现有的攻击方法相比，该方法在白盒环境下能够有效地生成对抗性样本，并且传送率比现有攻击方法提高了7%-21%.
2021-01-25 cs.AI cs.CR cs.LG
Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods
University of California, Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
随着机器学习黑匣子越来越多地被部署在医疗保健和刑事司法等领域，人们越来越重视构建以可解释的方式解释这些黑匣子的工具和技术。这些解释被领域专家用来诊断系统性错误和黑箱的潜在偏见。在本文中，我们证明了事后解释技术，依赖于输入扰动，如石灰和SHAP，是不可靠的。具体来说，我们提出了一种新的脚手架技术，通过允许敌对实体制作任意所需的解释，有效地隐藏了任何给定分类器的偏见。我们的方法可以用于支架任何偏见的分类器在这样一种方式，其预测的输入数据分布仍然存在偏见，但事后解释的支架分类器看起来无害。使用多个真实世界数据集（包括COMPAS）的广泛评估，我们展示了我们的框架制作的极端偏见（种族主义）分类器如何轻松地欺骗流行的解释技术，如LIME和SHAP，以生成不反映潜在偏见的无害解释。
2020-02-03 cs.AI cs.LG stat.ML
On the Adversarial Robustness of Neural Networks without Weight Transport
University of Toronto（多伦多大学）；Triage
用反向传播训练的神经网络是使用权重传输的深度学习的标准算法，很容易被现有的基于梯度的对抗攻击愚弄。这类攻击是基于输入的某些小扰动，使网络错误分类它们。我们发现，用反馈对齐训练的生物学上不太难以置信的深度神经网络，不使用权重传输，可以更难被愚弄，提供实际的鲁棒性。在MNIST上进行测试，没有权重传输的深度神经网络（1）具有98%的对抗准确率，而使用反向传播训练的神经网络的准确率为0.03%，（2）生成不可转移的对抗示例。然而，这个差距减少CIFAR-10，但仍然是显着的，特别是小扰动幅度小于1/2。
2019-10-03 cs.CR cs.LG stat.ML
Fool the Stoplight: Realistic Adversarial Patch Attacks on Traffic Light Detectors
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Department of Technical Cognitive Systems（技术认知系统系）；FZI Research Center for Information Technology（信息技术研究所以）
本文提出在交通信号灯下方放置打印对抗补丁的攻击方法，实现对交通信号灯检测CNN的红转绿标签翻转和图形符号分类攻击，并通过真实世界实验验证其有效性。
2025-06-05 cs.CV cs.LG
Fooling SHAP with Output Shuffling Attacks
New Jersey Institute of Technology (NJIT)（新泽西理工学院）
针对现有对抗攻击需获取数据分布才能欺骗XAI特征归因检测的问题，提出无需数据的输出打乱攻击，证明Shapley值无法检测该攻击，并通过真实数据集实验验证攻击有效性及不同SHAP算法的检测差异。
2024-08-12 cs.AI cs.CR cs.LG
TACO: Adversarial Camouflage Optimization on Trucks to Fool Object Detectors
Technology Transfer Institute（技术转让研究所）；Széchenyi István University（塞切尼伊什特万大学）
本文提出TACO框架，利用Unreal Engine 5和可微渲染在3D卡车上生成对抗伪装，并结合Convolutional Smooth Loss，使YOLOv8的AP@0.5降至0.0099，且对Faster R-CNN等模型具有强迁移性。
2025-04-11 cs.AI cs.CV cs.LG
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
One pixel attack for fooling deep neural networks
Kyushu University（九州大学）；Advanced Telecommunications Research Institute International（先进电信研究国际研究所）
最近的研究表明，深度神经网络（DNN）的输出可以通过向输入向量添加相对较小的扰动来轻松改变。在本文中，我们分析了一个非常有限的情况下，只有一个像素可以修改的攻击。为此，我们提出了一种新的方法来产生基于差分进化（DE）的单像素对抗扰动。它需要较少的对抗信息（黑盒攻击），并且由于DE的固有特性，可以欺骗更多类型的网络。结果表明，Kaggle CIFAR-10测试数据集中67.97%的自然图像和ImageNet（ILSVRC 2012）测试图像中的16.04%可以通过修改一个像素来扰动到至少一个目标类，平均置信度为74.03%和22.91%。我们还在原始CIFAR-10数据集上显示了相同的漏洞。因此，所提出的攻击在极端有限的情况下探索了对抗性机器学习的不同方式，表明当前的DNN也容易受到这种低维攻击。此外，我们还说明了DE（或广义上说，演化计算）在对抗机器学习领域的一个重要应用：创建工具，可以有效地生成低成本的对抗攻击神经网络的鲁棒性评估。
2019-10-17 cs.CV cs.LG stat.ML
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
分类器，如深度神经网络，已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性，但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中，我们证明了对抗性训练在防止通用扰动方面更有效，其中相同的扰动需要在许多输入上欺骗分类器。此外，我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡，并提出了一种对抗性训练的扩展，可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果，以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见，并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Double Targeted Universal Adversarial Perturbations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
尽管深度神经网络（DNN）具有令人印象深刻的性能，但众所周知，它容易受到对抗攻击的攻击，这使得将其部署在安全敏感的应用中具有挑战性，例如自动驾驶。依赖于图像的扰动可以欺骗一个特定图像的网络，而通用的对抗性扰动能够欺骗所有类别的样本的网络，而无需选择。我们引入了一个双目标通用对抗扰动（DT-UAPs），以弥合实例判别图像相关扰动和通用通用扰动之间的差距。这种通用扰动攻击一个目标源类到sink类，同时对其他非目标源类具有有限的对抗效果，以避免引起怀疑。同时攻击源类和目标类，我们称之为双目标攻击（DTA）。这为攻击者提供了对DNN模型进行精确攻击的自由，同时几乎不会引起怀疑。我们在广泛的数据集上展示了所提出的DTA算法的有效性，并展示了其作为物理攻击的潜力。
2020-10-07 cs.CR cs.CV cs.LG
DiffGradCAM: A Class Activation Map Using the Full Model Decision to Solve Unaddressed Adversarial Attacks
本文提出DiffGradCAM及DiffGradCAM++，通过对比方法提升类别激活图的鲁棒性，对抗被动欺骗攻击，验证了其在多类任务中的有效性。
2026-04-09 cs.LG
Evaluating Ensemble Robustness Against Adversarial Attacks
University of Toronto（多伦多大学）
对抗性样本是为了欺骗神经网络而产生的轻微扰动输入，已知会在模型之间转移;对一个模型有效的对手通常会欺骗另一个模型。这种可转移性的概念带来了严重的安全问题，因为它导致在黑盒设置中攻击模型的可能性，在此期间，目标模型的内部参数是未知的。在本文中，我们试图分析和最小化的对手之间的模型集成的可转移性。为此，我们引入了一个基于梯度的度量，来衡量集成的组成模型如何有效地合作，以减少针对集成本身的对抗性示例的空间。此外，我们还证明了这种措施可以在训练过程中使用，以增加集成对对抗性示例的鲁棒性。
2020-05-12 cs.LG stat.ML
Detection of Face Recognition Adversarial Attacks
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
深度学习方法已经成为解决人脸识别（FR）等任务的最先进方法。不幸的是，尽管它们取得了成功，但有人指出，这些学习模型暴露在对抗性输入中--在图像中添加了人类难以察觉的噪声，以恶意欺骗神经网络--从而限制了它们在现实世界应用中的采用。虽然已经花费了巨大的努力来训练针对这种类型的威胁的鲁棒模型，但对抗性检测技术最近开始引起科学界的注意。检测方法的优点是它不需要重新训练任何模型，因此它可以添加到任何系统之上。在这种情况下，我们提出了我们在取证中的对抗性样本检测方面的工作，主要集中在检测对FR系统的攻击，其中学习模型通常仅用作特征提取器。因此，在这些情况下，训练更鲁棒的分类器可能不足以防御FR系统。在这个框架中，我们的工作的贡献是四方面的：i）我们测试了我们最近提出的对抗分类器攻击的对抗性检测方法，即对抗性样本被制作成欺骗作为分类器的FR神经网络; ii）使用k最近邻（kNN）算法作为指导，我们基于充当特征提取器的DL模型生成针对FR系统的深度特征攻击，其次是一个kNN，它基于特征相似性返回查询身份; iii）我们使用深度特征攻击来欺骗1：1人脸验证任务上的FR系统，并且我们在欺骗这种类型的系统时表现出了相对于分类器攻击的优越效果; iv）我们使用在分类器攻击上训练的检测器来检测深度特征攻击，说明这种方法对不同类型的进攻是通用的。
2019-12-05 cs.CV cs.LG
Intermediate Level Adversarial Attack for Enhanced Transferability
Cornell University（康奈尔大学）；Facebook AI（脸书人工智能研究院）
神经网络容易受到对抗性示例的攻击，这些示例是精心设计的恶意输入，用于欺骗训练模型。对抗性示例通常表现出黑盒传输，这意味着一个模型的对抗性示例可以欺骗另一个模型。然而，对抗性示例可能会过度拟合以利用源模型的特定架构和特征表示，从而导致对其他目标模型的次优黑盒转移攻击。这导致我们引入中间级攻击（ILA），它试图通过在源模型的预定义层上增加其扰动来微调现有的对抗性示例，以获得更大的黑盒可转移性。我们表明，我们的方法可以有效地实现这一目标，并且我们可以在不了解目标模型的情况下决定对源模型的近最佳层进行扰动。
2018-11-20 cs.CV cs.LG stat.ML
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University（复旦大学计算机学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）
深度神经网络容易受到对抗攻击的攻击，其中对输入的小扰动会改变模型预测。在许多情况下，故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中，我们提出了第一个研究，系统地研究了文本分类模型的对抗性示例的可移植性，并探讨了各种因素，包括网络架构，标记化方案，词嵌入和模型容量，如何影响对抗性示例的可移植性。基于这些研究，我们提出了一个遗传算法，以找到一个集成的模型，可以用来诱导对抗性的例子，愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后，我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
Adversarial Framework with Certified Robustness for Time-Series Domain via Statistical Features
Washington State University（华盛顿州立大学）
时间序列数据出现在许多现实世界的应用中（例如，移动健康）和深度神经网络（DNN）在解决这些问题方面取得了巨大成功。尽管它们取得了成功，但人们对它们对对抗攻击的鲁棒性知之甚少。在本文中，我们提出了一种新的对抗框架，称为通过STATISTIVE特征的时间序列攻击（TSA-STAT）。为了解决时间序列领域的独特挑战，TSA-STAT采用对时间序列数据的统计特征的约束来构建对抗性示例。优化的多项式变换用于创建比基于加性扰动的攻击更有效的攻击（就成功欺骗DNN而言）。我们还提供了用于构建对抗性示例的统计特征范数的认证界限。我们在不同的真实世界基准数据集上的实验表明，TSA-STAT在欺骗时间序列域的DNN和提高其鲁棒性方面是有效的。TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/Time-Series-Attacks-via-STATistical-Features上获得
2022-07-09 cs.LG
SADA: Semantic Adversarial Diagnostic Attacks for Autonomous Applications
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
阻碍深度神经网络（DNN）更广泛采用的一个主要因素是它们缺乏鲁棒性，这对于自动驾驶等安全关键应用至关重要。这激发了最近对DNN的对抗攻击的研究，这些研究主要集中在没有语义意义的像素级扰动上。相比之下，我们提出了一个一般的框架，对抗攻击训练代理，其中包括语义扰动的代理执行任务的环境，以及像素级的攻击。为此，我们将对抗攻击问题重新定义为学习总是欺骗代理的参数分布。在语义的情况下，我们提出的对手（表示为BBGAN）进行训练，以采样参数，描述与黑盒代理交互的环境，使代理执行其专用的任务在这个环境中很差。我们将BBGAN应用于三个不同的任务，主要针对自主导航方面：目标检测，自动驾驶和自主无人机比赛。在这些任务中，BBGAN可以生成失败案例，这些案例始终欺骗受过训练的代理。
2019-12-02 cs.CR cs.CV cs.LG
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
Do Deep Minds Think Alike? Selective Adversarial Attacks for Fine-Grained Manipulation of Multiple Deep Neural Networks
University of Iowa（爱荷华大学）
最近的工作已经证明了针对单个机器学习系统的{ \it对抗示例}的存在。在本文中，我们提出了一个简单但基本的“选择性愚弄”问题：给定{ \it multiple}机器学习系统被分配来解决相同的分类问题，并采用相同的输入信号，是否有可能对输入信号构造一个扰动，以任意预定义的方式{ \it multiple}机器学习系统{ \it simultaneously}操纵这些输出？例如，是否有可能选择性地欺骗一组“敌人”机器学习系统，但不欺骗其他“朋友”机器学习系统？这个问题的答案取决于这些不同的机器学习系统在多大程度上“想得一样”。我们制定了一个新的优化问题的“选择性愚弄”的问题，并报告了一系列的实验MNIST数据集。我们从这些实验中的初步发现表明，它实际上是很容易选择性地同时操纵多个MNIST分类器，即使分类器在其架构，训练算法和训练数据集是相同的，除了随机初始化在训练过程中。这表明，两个名义上等价的机器学习系统实际上根本不“思考”，并为许多新的应用和更深入地理解深度神经网络的工作原理提供了可能性。
2020-03-26 cs.CV cs.LG eess.IV
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习模型遭受一种称为对抗攻击的现象：我们可以对模型输入进行微小的更改，以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而，对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战：（1）目标函数的不可微性，（2）对初始序列变换的约束，以及（3）可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法，并允许在任何情况下使用，第二种方法使用模型和目标度量的连续松弛，从而允许使用最先进的方法进行对抗攻击，而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明，所提出的方法生成了合理的对抗序列，这些序列接近原始序列，但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
Learning Universal Adversarial Perturbations with Generative Models
University College London（伦敦大学学院）
众所周知，神经网络容易受到对抗性示例的影响，这些示例是故意扰动的输入，以保持与源输入在视觉上相似，但会导致错误分类。最近的研究表明，给定一个数据集和分类器，存在所谓的通用对抗扰动，即当应用于任何输入时都会导致错误分类的单一扰动。在这项工作中，我们引入了通用对抗网络，这是一种生成网络，当它生成的输出被添加到数据集中的干净样本时，它能够欺骗目标分类器。我们表明，这种技术改进了已知的通用对抗攻击。
2018-01-05 cs.CR cs.LG stat.ML
One Attack to Fool Them All: Highly Transferable Black-Box Adversarial Attacks on Frontier MLLMs
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对前沿多模态大语言模型，提出O-Attack黑盒攻击框架，利用替代模型的跨模态语义空间，通过语义共识优化扰动，显著提升攻击成功率与迁移性，并揭示实际安全风险。
2026-09-29 cs.CV cs.LG
Rewriting Meaningful Sentences via Conditional BERT Sampling and an application on fooling text classifiers
大多数设计用于欺骗文本分类器的对抗攻击方法通过修改几个单词或字符来改变文本分类器的预测。很少有人试图通过重写整个句子来攻击分类器，这是因为在句子级改写中存在固有的困难以及为合法重写设置标准的问题。在本文中，我们探讨了使用事务级重写创建对抗性示例的问题。我们设计了一个新的采样方法，命名为ParaphraseSampler，有效地改写了原始句子的多种方式。然后，我们提出了一个新的标准的修改，所谓的威胁级别的威胁模型。该标准允许单词和句子级别的变化，并且可以在两个维度上独立调整：语义相似性和语法质量。实验结果表明，这些改写的句子中有许多被分类器错误分类。在所有6个数据集上，我们的ParaphraseSampler实现了比我们的基线更好的攻击成功率。
2022-10-19 cs.AI cs.CL cs.LG
Analysis of Dominant Classes in Universal Adversarial Perturbations
University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））
深度神经网络容易被对抗性例子愚弄的原因仍然是一个公开的讨论。事实上，可以采用许多不同的策略来有效地生成对抗攻击，其中一些依赖于不同的理论依据。在这些策略中，普遍（输入不可知）扰动特别令人感兴趣，因为它们能够欺骗网络，而不依赖于施加扰动的输入。在这项工作中，我们研究了一个有趣的普遍扰动现象，这在以前的文献中已经报道过，但没有一个证明的理由：普遍扰动改变了预测类大多数输入到一个特定的（占主导地位的）类，即使这种行为没有指定在创建扰动。为了证明这种现象的原因，我们提出了一些假设，并通过实验测试他们使用语音命令分类问题在音频域作为测试床。我们的分析揭示了普遍扰动的有趣特性，提出了生成这种攻击的新方法，并从几何和数据特征的角度对主导类进行了解释。
2021-01-11 cs.LG
Art of singular vectors and universal adversarial perturbations
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度神经网络（DNN）对对抗攻击的脆弱性在最近的研究中引起了广泛的关注。已经表明，对于执行图像分类的许多现有技术DNN，存在普遍的对抗性扰动-图像不可知扰动，仅仅将其以高概率添加到自然图像就导致其误分类。在这项工作中，我们提出了一个新的算法来构建这样的普遍扰动。我们的方法是基于计算所谓的$(p, q)$ -奇异向量的雅可比矩阵的隐藏层的网络。由此产生的扰动呈现有趣的视觉模式，并通过仅使用64张图像，我们能够构建通用的扰动与超过60%的愚弄率的数据集上由50000张图像。我们还研究了雅可比矩阵的最大奇异值和相应奇异向量的愚弄率之间的相关性，并证明了所构造的扰动在网络中的推广。
2017-11-20 cs.AI cs.CV cs.LG
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
Georgia Institute of Technology（佐治亚理工学院）；Intel Corporation（英特尔公司）
鉴于能够直接操纵数字输入空间中的图像像素，攻击者可以很容易地生成难以察觉的扰动来欺骗深度神经网络（DNN）图像分类器，如先前的工作所示。在这项工作中，我们提出了ShapeShifter，这是一种解决更具挑战性的问题的攻击，即制作物理对抗扰动来欺骗基于图像的对象检测器，如Faster R-CNN。攻击目标检测器比攻击图像分类器更困难，因为它需要在具有不同尺度的多个边界框中误导分类结果。将数字攻击扩展到物理世界增加了另一层难度，因为它需要扰动足够强大，以承受由于不同的观看距离和角度，照明条件和相机限制而导致的真实世界失真。我们表明，期望的变换技术，这是最初提出的，以提高对抗扰动的鲁棒性图像分类，可以成功地适应目标检测设置。ShapeShifter可以生成被Faster R-CNN错误检测为其他物体的逆向扰动停车标志，对自动驾驶汽车和其他安全关键型计算机视觉系统构成潜在威胁。
2019-05-01 cs.CR cs.CV cs.LG
On Detecting Adversarial Perturbations
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
近年来，机器学习和深度学习在感知任务方面取得了巨大的进步。然而，它仍然容易受到输入的对抗性扰动的影响，这些扰动是专门为了欺骗系统而设计的，同时对人类来说几乎是不可感知的。在这项工作中，我们提出用一个小的“检测器”子网络来增强深度神经网络，该子网络在区分真实数据和包含对抗扰动的数据的二进制分类任务上进行训练。我们的方法与之前解决对抗性扰动的工作是正交的，后者主要集中在使分类网络本身更鲁棒。我们的经验表明，对抗性扰动可以检测到令人惊讶的是，即使他们是准察觉不到的人类。此外，虽然检测器已经被训练成只检测特定的对手，但它们可以推广到类似和较弱的对手。此外，我们提出了一种对抗性攻击，欺骗分类器和检测器，以及一种新的训练过程，检测器抵消这种攻击。
2017-02-21 cs.AI cs.CV cs.LG
Adversarial Defense based on Structure-to-Signal Autoencoders
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；TU Kaiserslautern（凯泽斯劳滕工业大学）
对抗攻击方法已经证明了深度神经网络的脆弱性。它们不易察觉的扰动经常能够欺骗分类器，使其陷入潜在危险的错误分类。我们提出了一种新的方法来解释对抗扰动的分类器实际使用的有效输入信号。在此基础上，我们应用经过专门训练的自动编码器（称为S2 SNets）作为防御机制。它们遵循两个阶段的训练方案：首先是无监督的，然后是解码器的微调，使用现有分类器的梯度。S2 SNet引起通过它们传播的梯度分布的变化，将它们从类相关信号中剥离。我们在大型ImageNet数据集上分析了它们对几个白盒和灰盒场景的鲁棒性。我们的方法在白盒攻击场景中达到了与灰盒场景中的其他最先进防御相当的弹性。我们进一步分析了AlexNet、VGG 16、ResNet 50和Inception v3在对抗空间中的关系，发现VGG 16最容易被欺骗，而来自ResNet 50的扰动最容易转移。
2018-03-21 cs.CV cs.LG stat.ML
Strike (with) a Pose: Neural Networks Are Easily Fooled by Strange Poses of Familiar Objects
Auburn University（奥本大学）；Adobe Inc（奥多比公司）
尽管在静态测试集上表现出色，但深度神经网络（DNN）可能无法推广到分布外（OoD）输入，包括自然的、非对抗性的输入，这在现实世界中很常见。在本文中，我们提出了一个利用3D渲染器和3D模型发现DNN故障的框架。也就是说，我们估计3D渲染器的参数，这些参数会导致目标DNN响应渲染图像而行为不端。使用我们的框架和自组装的3D对象数据集，我们研究了DNN对ImageNet中知名对象的OoD姿态的脆弱性。对于DNN在其规范姿势中容易识别的对象，DNN错误地分类了97%的姿势空间。此外，DNN对轻微的姿态扰动高度敏感。重要的是，对抗姿势可以跨模型和数据集传输。我们发现，Inception-v3错误分类的姿势中有99.9%和99.4%分别转移到在同一ImageNet数据集上训练的AlexNet和ResNet-50图像分类器，75.5%转移到在MS COCO上训练的YOLOv 3对象检测器。
2019-04-18 cs.CV cs.LG
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
人们对对抗攻击的兴趣日益高涨，这源于人类视觉与深度神经网络（DNN）之间的不一致，即人类难以察觉的扰动欺骗了DNN。此外，可以生成通常称为通用对抗扰动（UAP）的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象，其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析，并揭示了（a）频率是影响其性能的关键因素，基于所提出的用于量化频率分布的熵度量;（b）他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析，以深入了解模型的泛化和鲁棒性。此外，我们还提出了两种新的通用扰动变体：（1）通用秘密对抗扰动（USAP），同时实现攻击和隐藏;（2）高通UAP（HP-UAP），人眼不太可见。
2021-02-12 cs.CV cs.LG
Can 3D Adversarial Logos Cloak Humans?
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
随着对抗攻击的趋势，研究人员试图在2D场景中欺骗训练有素的物体检测器。在其中许多攻击中，一种有趣的具有潜在现实世界用途的新攻击形式是将对抗性补丁（例如徽标）附加到图像中。然而，我们对3D渲染视图中的对抗攻击知之甚少，这对于攻击在物理世界中持续强大至关重要。本文提出了一种新的3D对抗性徽标攻击：我们从2D纹理图像构造一个任意形状的徽标，并通过称为徽标变换的纹理映射将该图像映射到3D对抗性徽标。然后将生成的3D对抗性徽标视为对抗性纹理，从而可以轻松操纵其形状和位置。这极大地扩展了计算机图形合成图像对抗训练的多功能性。与传统的对抗补丁相反，这种新形式的攻击被映射到3D对象世界，并通过可微渲染反向传播到2D图像域。此外，与现有的对抗补丁不同，我们的新3D对抗标志显示在模型旋转下可以稳健地欺骗最先进的深度对象检测器，从而进一步实现物理世界中的现实攻击。我们的代码可在https://github.com/TAMU-VITA/3D_Adversarial_Logo上获得。
2020-11-27 cs.CV cs.LG stat.ML
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London（伦敦大学学院）；Facebook AI Research（脸书人工智能研究院）
尽管最近取得了进展，但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集，其中人类注释者试图编写欺骗模型在环的示例，可以提高模型的鲁棒性，但这个过程是昂贵的，这限制了收集数据的规模。在这项工作中，我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道，选择源段落，识别候选答案，生成问题，然后最终过滤或重新标记它们以提高质量。使用这种方法，我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据，我们将AdversarialQA数据集的最新技术水平提高了3.7F1，并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估，以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性：crowdworker平均只能欺骗我们的模型8.8%的时间，而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所 (ICMAT-CSIC)）
在过去的十年里，对抗性机器学习（AML）兴起。这门学科研究如何操纵数据以欺骗推理引擎，以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作，而针对时间序列预测系统的攻击却很少受到关注。在本文中，我们提出了一个基于决策分析的攻击策略，可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Cross-Representation Transferability of Adversarial Attacks: From Spectrograms to Audio Waveforms
McGill University（麦吉尔大学）；École de Technologie Superiéure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
本文展示了基于频谱图的音频分类器对对抗攻击的敏感性以及这种攻击对音频波形的可转移性。一些常用的对图像的对抗攻击已经应用于Mel频率和短时傅立叶变换频谱图，并且这种扰动频谱图能够欺骗2D卷积神经网络（CNN）。这样的攻击会产生人类视觉上无法察觉的干扰频谱图。此外，从扰动的频谱图重建的音频波形也能够欺骗在原始音频上训练的1D CNN。在西方音乐数据集上的实验结果表明，2D CNN在合法样本上的平均准确率高达81.87%，而在对抗样本上的平均准确率下降到12.09%。同样，1D CNN在原始音频样本上实现了高达78.29%的平均准确度，并且在从扰动的频谱图重建的对抗音频波形上，这种性能下降到27.91%。
2020-07-29 cs.LG cs.MM cs.SD
Extending Adversarial Attacks to Produce Adversarial Class Probability Distributions
University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））
尽管深度学习模型在广泛的人工智能任务中具有出色的性能和泛化水平，但已经证明，这些模型很容易被添加到自然输入中的不可感知但恶意的扰动所欺骗。这些改变的输入在文献中被称为对抗性示例。在本文中，我们提出了一种新的概率框架来推广和扩展对抗攻击，以便在将攻击方法应用于大量输入时为类产生所需的概率分布。这种新颖的攻击范例为对手提供了对目标模型的更大控制，从而在广泛的场景中暴露了传统范例无法进行的针对深度学习模型的威胁。我们介绍了四种不同的策略来有效地产生这样的攻击，并通过扩展多个对抗攻击算法来说明我们的方法。我们还通过实验验证了我们的方法的口述命令分类任务和推文情感分类任务，两个典型的机器学习问题，在音频和文本域，分别。我们的研究结果表明，我们可以接近任何概率分布的类，同时保持较高的欺骗率，甚至防止被检测到的标签移位检测方法的攻击。
2023-01-25 cs.LG stat.ML
Physical Adversarial Attacks on Deep Neural Networks for Traffic Sign Recognition: A Feasibility Study
ZF Friedrichshafen AG（采埃孚股份公司）
深度神经网络（DNN）越来越多地应用于现实世界中的安全关键应用，如高级驾驶员辅助系统。这种用例的一个示例由交通标志识别系统表示。与此同时，众所周知，当前的DNN可以被对抗攻击愚弄，如果这些攻击可以在现实条件下应用，这会引起安全问题。在这项工作中，我们应用不同的黑盒攻击方法来产生扰动，这些扰动应用于物理环境中，并可用于在不同的环境条件下欺骗系统。据我们所知，我们是第一个将物理攻击的一般框架与不同的黑盒攻击方法相结合，并研究在相同设置下不同方法对攻击成功率的影响。我们表明，可靠的物理对抗攻击可以用不同的方法进行，它也可以减少所产生的扰动的可感知性。这些发现强调了即使在黑盒情况下也需要DNN的可行防御，但同时也为使用对抗训练等方法保护DNN奠定了基础，对抗训练利用对抗攻击来增强原始训练数据。
2023-02-27 cs.AI cs.CV cs.LG
Channel-Aware Adversarial Attacks Against Deep Learning-Based Wireless Signal Classifiers
University of Maryland（马里兰大学）；Intelligent Automation, a BlueHalo Company（Intelligent Automation（BlueHalo 旗下公司））；Virginia Tech（弗吉尼亚理工大学）
本文提出了针对基于深度学习的无线信号分类器的信道感知对抗攻击。有一种发射机，它发射具有不同调制类型的信号。在每个接收器处使用深度神经网络来将其空中接收信号分类为调制类型。同时，对手发送对抗性扰动（受到功率预算的影响）以欺骗接收器在将接收到的信号分类为发送信号和对抗性扰动的叠加时出错。首先，这些规避攻击失败时，不考虑设计对抗扰动的渠道。然后，现实的攻击，提出了考虑从对手到每个接收机的信道效应。在表明信道感知攻击是选择性的（即，它只影响其信道在扰动设计中被考虑的接收机），通过制作共同的对抗性扰动以同时欺骗不同接收机处的分类器来呈现广播对抗性攻击。调制分类器对空中对抗攻击的主要脆弱性通过考虑关于信道、发射机输入和分类器模型的不同水平的可用信息来显示。最后，一个认证的防御随机平滑的基础上，增加训练数据与噪声的调制分类器鲁棒对抗扰动。
2021-12-20 cs.LG cs.NI eess.SP
DPAttack: Diffused Patch Attacks against Universal Object Detection
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）
最近，深度神经网络（DNN）已广泛且成功地用于目标检测，例如Faster RCNN，YOLO，CenterNet。然而，最近的研究表明，DNN容易受到对抗攻击的攻击。针对目标检测的对抗攻击可以分为两类，全像素攻击和补丁攻击。虽然这些攻击会对图像中的大量像素增加扰动，但我们提出了一种扩散补丁攻击（\textbf{DPAttack}），通过小行星形状或网格形状的扩散补丁成功地欺骗对象检测器，这只会改变少量像素。实验结果表明，本文提出的DPAttack算法可以成功地欺骗大多数具有扩散补丁的目标检测器，并在阿里巴巴天池竞赛：阿里巴巴-清华对抗目标检测挑战赛中获得第二名。我们的代码可以从https://github.com/Wu-Shudeng/DPAttack获得。
2020-10-16 cs.AI cs.CV cs.LG
Inspecting adversarial examples using the Fisher information
Physikalisch-Technische Bundesanstalt (PTB)（联邦物理技术研究院）
对抗性示例是轻微的扰动，旨在作为输入时欺骗人工神经网络。在这项工作中的可用性的Fisher信息检测这样的对抗攻击进行了研究。我们讨论了各种数量的计算规模与网络的大小，研究他们的行为对抗的例子，并显示他们如何可以突出的重要性，单输入神经元，从而提供了一个可视化的工具，进一步分析（不）合理的行为的神经网络。我们的方法的潜力是通过应用到MNIST，CIFAR 10和水果-360数据集证明。
2019-09-12 cs.AI cs.LG stat.ML
Deep Text Classification Can be Fooled
Renmin University of China（中国人民大学）；School of Information（信息学院）；Key laboratory of Data Engineering and Knowledge Engineering, MOE（教育部数据工程与知识工程重点实验室）
在本文中，我们提出了一种有效的方法来制作文本对抗样本，揭示了一个重要但被低估的事实，即基于DNN的文本分类器也容易受到对抗样本攻击。具体来说，面对不同的对抗场景，通过计算输入的成本梯度（白盒攻击）或生成一系列被遮挡的测试样本（黑盒攻击）来识别对分类重要的文本项。基于这些项，我们设计了三种扰动策略，即插入，修改和删除，以生成对抗样本。实验结果表明，我们的方法生成的对抗性样本可以成功地欺骗最先进的字符级和单词级基于DNN的文本分类器。对抗样本可以被扰动到任何期望的类别，而不会损害它们的效用。同时，引入的扰动难以被感知。
2019-01-07 cs.CR cs.LG
