The Consistency of Adversarial Training for Binary Classification
本文研究了二分类中对抗训练的统计一致性问题，刻画了基于上确界的替代风险在勒贝格测度绝对连续分布下的一致性，并给出了对抗替代风险与分类风险的定量界限及 $\cH$-一致性意义。
2023-05-17 cs.LG math.ST stat.TH
Adversarial and Clean Data Are Not Twins
Auburn University（奥本大学）
对抗攻击给深度神经网络的巨大成功蒙上了阴影。尽管在视觉上与干净的数据几乎相同，但对抗性图像可以以非常高的置信度欺骗深度神经网络进行错误的预测。然而，在本文中，我们证明了我们可以建立一个简单的二元分类器，将对抗性数据与干净数据分开，准确率超过99%。我们还经验表明，二进制分类器是强大的第二轮对抗攻击。换句话说，很难伪装对抗样本以绕过二元分类器。此外，我们实证研究的泛化限制，徘徊在所有当前的防御方法，包括二元分类器的方法。我们假设这是对抗性手工算法的内在属性的结果。
2017-04-17 cs.LG cs.NE
A Modified Word Saliency-Based Adversarial Attack on Text Classification Models
Praxis Business School（普拉西斯商学院）
本文提出MWSAA对抗攻击方法，通过显著性估计筛选关键词并依据语义相似度进行修改，在保持文本连贯的同时提升了对文本分类模型的攻击成功率。
2024-03-17 cs.CL cs.CR cs.LG
Binary Iterative Method for Non-targeted Adversarial Attack
Indian Institute of Technology, Ropar（印度理工学院罗帕尔分校）
研究非目标对抗攻击，提出二进制迭代方法，用分治范式优化参数和超参数，在图像分类任务中相比其他基于梯度的方法表现更优。
2026-07-07 cs.CV cs.LG
Asymptotic Behavior of Adversarial Training in Binary Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
一直有报道称，许多机器学习模型容易受到对抗性攻击，即，应用于数据点的小的加性对抗扰动可能导致错误分类。使用经验风险最小化的对抗性训练被认为是防御对抗性攻击的最先进方法。尽管在实践中取得了成功，但在理解对抗训练的泛化性能方面仍存在一些问题。在本文中，我们推导出了二进制分类中对抗训练性能的精确理论预测。我们考虑高维制度，其中数据的维度与训练数据集的大小以恒定的比率增长。我们的研究结果提供了精确的渐近标准和对抗测试误差的估计获得对抗训练$\ell_q$ -范数有界扰动（$q \ge 1$）的歧视性二元模型和生成高斯混合模型的相关功能。此外，我们使用这些尖锐的预测来揭示几个有趣的观察各种参数的作用，包括过参数化比率，数据模型，以及攻击预算的对抗性和标准误。
2021-07-14 cs.IT cs.LG eess.SP
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）；Intelligent Embedded Systems (IES)（智能嵌入式系统）
本文针对鸟类声音分类任务，探究对抗训练对分布偏移下泛化能力的影响，发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性，该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Universal Adversarial Perturbation for Text Classification
University of Maryland（马里兰大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
给定一个最先进的深度神经网络文本分类器，我们证明了一个通用的和非常小的扰动向量（在嵌入空间中）的存在，导致自然文本被错误分类的概率很高。与可以找到单个固定大小的对抗性扰动的图像不同，文本具有可变长度，因此我们将“通用性”定义为“令牌不可知”，其中单个扰动应用于每个令牌，从而在序列级别上产生灵活大小的不同扰动。我们提出了一种计算普遍对抗性扰动的算法，并表明最先进的深度神经网络非常容易受到这些扰动的影响，尽管它们保留了大部分令牌的邻近区域。我们还展示了如何使用这些对抗性扰动来生成对抗性文本样本。令人惊讶的普遍存在的“令牌不可知”对抗扰动可能揭示了文本分类器的重要属性。
2019-10-10 cs.CL cs.LG stat.ML
Learning to Discriminate Perturbations for Blocking Adversarial Attacks in Text Classification
University of California, Los Angeles（加州大学洛杉矶分校）
针对机器学习模型的对抗攻击已经威胁到各种现实世界的应用，例如垃圾邮件过滤和情感分析。在本文中，我们提出了一种新的框架，学习辨别扰动（DISP），识别和调整恶意扰动，从而阻止文本分类模型的对抗攻击。为了识别对抗攻击，扰动验证器验证文本中的令牌被扰动的可能性，并提供一组潜在的扰动。对于每个潜在的扰动，嵌入估计器学习基于上下文恢复原始单词的嵌入，并且基于近似kNN搜索选择替换令牌。DISP可以阻止任何NLP模型的对抗攻击，而无需修改模型结构或训练过程。在两个基准数据集上的大量实验表明，DISP在阻止文本分类的对抗攻击方面明显优于基线方法。此外，深入分析表明，债务重组和战略计划在不同情况下都很稳健。
2019-09-06 cs.CL
Adversarial Attacks against Binary Similarity Systems
Sapienza University of Rome（罗马第一大学）
本文评估深度学习二进制相似度模型的对抗鲁棒性，通过黑盒贪婪攻击（含新提出的 Spatial Greedy）与迁移自图像分类器的白盒梯度攻击，证明三类先进方案均易受定向和非定向攻击。
2023-11-03 cs.CR cs.LG
Multinomial Adversarial Networks for Multi-Domain Text Classification
许多文本分类任务都是高度依赖于领域的。不幸的是，训练数据的可用性在不同的域之间可能会有很大的差异。更糟糕的是，对于某些领域，可能根本没有任何注释数据。在这项工作中，我们提出了一个多项对抗网络（MAN）来解决这个现实世界的多域设置（MDTC）中的文本分类问题。我们为MAN框架提供了理论依据，证明了MAN的不同实例本质上是多个概率分布中各种f-散度度量（Ali和Silvey，1966）的最小化者。因此，MAN在理论上是对传统对抗网络的合理概括，它可以区分两种分布。更具体地说，对于MDTC任务，MAN通过利用其减少每个域的特征分布之间的分歧的能力来学习跨多个域不变的特征。我们目前的实验结果表明，MAN显着优于现有技术的MDTC任务。我们还表明，MAN实现国家的最先进的性能域没有标记的数据。
2018-02-15 cs.CL cs.LG stat.ML
Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation
Seoul National University（首尔国立大学）；NAVER WEBTOON AI（NAVER WEBTOON人工智能部门）
词级对抗攻击在NLP模型中取得了成功，近年来大大降低了基于transformer的模型的性能。作为一种对策，对抗性防御已被探索，但相对较少的努力已经检测到对抗性的例子。然而，检测对抗性示例对于自动化任务（例如，审查情感分析）可能是至关重要的，这些任务希望收集有关特定人群的信息，并且另外是迈向强大防御系统的一步。为此，我们在四个数据集和四个模型上发布了四种流行攻击方法的数据集，以鼓励在这一领域的进一步研究。与此同时，我们提出了一个基于密度估计的竞争性基线，该基线在30种攻击模型组合中的29种组合中具有最高的AUC。源代码可在https://github.com/anoymous92874838/text-adv-detection上获得。
2022-03-03 cs.CL cs.CR cs.LG
Existence and Minimax Theorems for Adversarial Surrogate Risks in Binary Classification
Courant Institute New York University（纽约大学Courant学院）；Courant Institute and Center for Data Science New York University（纽约大学Courant学院和数据科学中心）
本文针对二分类中的对抗替代风险，证明了其存在性、正则性与极小极大定理，解释了经验观察并提出了算法开发新方向，同时将已知的对抗分类风险定理推广至替代风险。
2023-12-10 cs.LG math.ST stat.TH
Improved Text Classification via Contrastive Adversarial Training
IBM Watson（IBM沃森）；IBM Research AI（IBM研究院AI）
我们提出了一种简单而通用的方法来规范基于transformer的编码器的文本分类任务的微调。具体来说，在微调过程中，我们通过扰动模型的词嵌入来生成对抗性示例，并对干净和对抗性示例进行对比学习，以教会模型学习噪声不变的表示。通过对干净和对抗性样本以及额外的对比目标进行训练，我们观察到了对干净样本进行标准微调的一致改进。在几个GLUE基准测试任务中，我们的微调BERT Large模型平均比BERT Large基线提高1.7%，我们的微调RoBERTa Large比RoBERTa Large基线提高1.3%。我们还使用三个意图分类数据集在不同领域验证了我们的方法，其中我们的微调RoBERTa Large平均比RoBERTa Large基线高出1-2%。
2022-02-17 cs.CL
BAE: BERT-based Adversarial Examples for Text Classification
Amazon Alexa AI（亚马逊Alexa人工智能）；Health at Scale Corporation（Health at Scale公司）
现代文本分类模型容易受到对抗性示例的影响，人类无法识别原始文本的扰动版本，这些版本被模型错误分类。NLP最近的工作使用基于规则的同义词替换策略来生成对抗性示例。这些策略可能会导致脱离上下文和不自然的复杂令牌替换，这很容易被人类识别。我们提出了BAE，一个黑盒攻击生成对抗性的例子，使用上下文扰动从BERT掩蔽语言模型。BAE通过屏蔽文本的一部分并利用BERT-MLM为屏蔽的令牌生成替代方案来替换和插入原始文本中的令牌。通过自动和人工评估，我们表明BAE执行更强的攻击，除了生成具有改进的语法性和语义一致性的对抗性示例外，与以前的工作相比。
2020-10-08 cs.CL
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
最近的工作提出了几种有效的方法来生成基于梯度的对抗性扰动的嵌入，并证明了模型的性能和鲁棒性可以提高，当他们训练这些污染的嵌入。虽然他们很少关注如何帮助模型更有效地学习这些对抗样本。在本文中，我们着眼于在模型的训练过程中增强模型防御基于梯度的对抗攻击的能力，并提出了两种新的对抗训练方法：（1）CARL缩小了原始样本及其对抗样本在表示空间中的距离，同时扩大了它们与不同标记样本的距离。(2)RAR迫使模型从其对抗性表示中重建原始样本。实验结果表明，所提出的两种方法优于强基线在各种文本分类数据集。分析实验表明，使用本文方法时，输入句子的语义表示不会受到对抗性扰动的显著影响，并且在对抗攻击下，模型的性能下降较小。也就是说，我们的方法可以有效地提高模型的鲁棒性。此外，RAR还可以用于生成文本形式的对抗样本。
2021-09-14 cs.CL
Arabic Synonym BERT-based Adversarial Examples for Text Classification
Clarkson University（克拉克森大学）
本文首次对阿拉伯语文本分类进行词级对抗攻击研究，提出基于BERT的MLM同义词攻击方法，发现微调BERT模型更易受攻击，且对抗训练可恢复至少2%准确率。
2024-02-05 cs.CL
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University（东北大学）
最先进的深度神经网络（DNN）容易受到对抗性示例的攻击：精心设计的对输入的微小扰动，人类无法察觉，可能会误导DNN。为了了解对抗性示例的根本原因，我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量，我们提出了一个更实用的强对抗性示例的相关定义，该定义还单独限制了沿信号方向的扰动。我们表明，线性分类器可以强大的对抗性的例子攻击的情况下，没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机（SVM）分类器的数值实验，验证了定量公式的正确性.结果表明，设计一般的强对抗性鲁棒学习系统是可行的，但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
The Adversarial Consistency of Surrogate Risks for Binary Classification
Courant Institute（Courant 院）；New York University（纽约大学）
本文刻画了鲁棒二分类中替代损失函数的对抗一致性条件，证明对抗一致类远小于标准设置，并给出ρ-间隔损失的定量一致性结果。
2023-12-23 cs.LG math.ST stat.TH
On the existence of solutions to adversarial training in multiclass classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究多类分类中对抗训练解的存在性，在不可知分类器设定下证明三个模型均存在Borel可测鲁棒分类器，并建立对抗训练与最优传输及全变差正则化的新联系，同时改进了二分类情形下的存在性结果。
2023-05-29 cs.LG math.OC stat.ML
GAT: Generative Adversarial Training for Adversarial Example Detection and Robust Classification
University of Virginia（弗吉尼亚大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
深度神经网络对抗对抗性示例的脆弱性已经成为在敏感领域部署这些模型的重要问题。设计针对此类攻击的明确防御被证明是具有挑战性的，并且依赖于检测对抗性样本的方法仅在攻击者不注意检测机制时才有效。在本文中，我们提出了一个原则性的对抗性的例子检测方法，可以抵御范数约束的白盒攻击。受one-versus-the-rest分类的启发，在K类分类问题中，我们训练K个二元分类器，其中第i个二元分类器用于区分类别i的干净数据和其他类别的反向扰动样本。在测试时，我们首先使用一个训练好的分类器来获得输入的预测标签（比如k），然后使用第k个二元分类器来确定输入是干净的样本（k类）还是被干扰的样本（其他类）。我们进一步设计了一种生成方法来检测/分类对抗性的例子，通过解释每个二元分类器作为类条件数据的非归一化密度模型。我们对上述对抗性示例检测/分类方法进行了全面评估，并展示了它们的竞争性能和引人注目的特性。
2022-10-01 cs.CR cs.LG stat.ML
Proper Network Interpretability Helps Adversarial Robustness in Classification
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
最近的工作经验表明，存在对抗性的例子，可以隐藏神经网络的可解释性（即，使网络解释图在视觉上相似），或可解释性本身容易受到对抗攻击。在本文中，我们从理论上证明，通过适当的解释测量，实际上很难防止预测规避对抗攻击引起解释差异，正如MNIST、CIFAR-10和Restricted ImageNet上的实验所证实的那样。在此基础上，我们开发了一个可解释性感知的防御方案，该方案仅建立在促进鲁棒解释的基础上（而不需要诉诸对抗性损失最小化）。我们表明，我们的防御实现了鲁棒的分类和鲁棒的解释，特别是针对大扰动攻击的最先进的对抗性训练方法。
2020-10-21 cs.LG stat.ML
Breaking the Adversarial Robustness-Performance Trade-off in Text Classification via Manifold Purification
本文提出MC^2F方法，通过流形净化技术提升文本分类在对抗攻击下的鲁棒性，同时保持干净数据性能。
2026-01-30 cs.CL
End-to-End Adversarial White Box Attacks on Music Instrument Classification
Institute of Computational Perception, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学计算感知研究所）
输入数据的微小对抗性扰动能够极大地改变机器学习系统的性能，从而挑战此类系统的有效性。我们提出了对乐器分类系统的第一个端到端对抗性攻击，允许直接向音频波形而不是频谱图添加扰动。我们的攻击能够将准确性降低到接近随机基线，同时保持扰动几乎不可察觉，并对任何所需的工具产生错误分类。
2020-07-29 cs.LG cs.SD eess.AS
SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification
The Hong Kong University of Science and Technology（香港科技大学）
本文提出无需标签的自监督对比学习框架 SCAT，通过无标签方式生成对抗样本并进行对抗训练，在文本分类任务上既能从头训练鲁棒模型，也能提升预训练模型的鲁棒性。
2023-07-04 cs.CL
Universal Adversarial Attacks with Natural Triggers for Text Classification
Princeton University（普林斯顿大学）
最近的工作已经证明了现代文本分类器对通用对抗攻击的脆弱性，这些攻击是添加到分类器处理的文本中的输入不可知的单词序列。尽管成功，在这种攻击中产生的单词序列往往是不合语法的，可以很容易地从自然文本中区分出来。我们开发的对抗攻击看起来更接近自然的英语短语，但当添加到良性输入时，会混淆分类系统。我们利用一个adversarially正则化自动编码器（ARAE）生成触发器，并提出了一个基于梯度的搜索，旨在最大限度地提高下游分类器的预测损失。我们的攻击有效地降低了分类任务的模型准确性，同时根据自动检测指标和人类受试者研究，比以前的模型更难识别。我们的目标是证明对抗攻击可以比以前想象的更难检测，并能够开发适当的防御。
2021-04-07 cs.CL cs.CR
FuncFooler: A Practical Black-box Attack Against Learning-based Binary Code Similarity Detection Methods
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Shandong University（山东大学）；RIKEN（理化学研究所）
二进制代码相似性检测（BCSD）方法测量两个二进制可执行代码的相似性。近年来，基于学习的BCSD方法取得了很大的成功，在检测精度和效率上都优于传统的BCSD方法。然而，现有的研究是相当稀疏的基于学习的BCSD方法的对抗性脆弱性，在安全相关的应用中造成的危害。为了评估对抗性鲁棒性，设计了一种高效的黑盒对抗性代码生成算法FuncFocal。FuncFocal约束对抗代码1）保持程序的控制流图（CFG）不变，2）保持相同的语义。具体而言，FuncFocal连续地1）确定恶意代码中的易受攻击的候选者，2）从良性代码中选择并插入对抗性指令，以及3）纠正对抗性代码的语义副作用以满足约束。从经验上看，我们的FuncFocal可以成功地攻击三个基于学习的BCSD模型，包括SAFE，Asm2Vec和jTrans，这就质疑了基于学习的BCSD是否可取。
2022-08-26 cs.AI cs.CR cs.LG
Adversarial Scrubbing of Demographic Information for Text Classification
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
由语言模型学习的上下文表示通常可以编码不期望的属性，如用户的人口统计学关联，同时被训练用于不相关的目标任务。我们的目标是擦洗这些不受欢迎的属性，并学习公平的表示，同时保持目标任务的性能。在本文中，我们提出了一个对抗性学习框架“对抗洗涤器”（ADS），以消除偏见的上下文表示。我们进行理论分析，表明我们的框架收敛，而不泄漏人口统计信息在一定条件下。我们扩展了以前的评估技术，通过使用最小描述长度（MDL）探测评估去偏置性能。8个数据集上的实验评估表明，ADS生成的表示与人口统计属性的最小信息，同时最大限度地提供有关目标任务的信息。
2021-09-17 cs.CL
Contrasting Human- and Machine-Generated Word-Level Adversarial Examples for Text Classification
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
研究表明，自然语言处理模型通常被认为容易受到对抗攻击的攻击;但最近的工作引起了人们对根据某些标准验证这些对抗输入的问题的关注（例如，语义和语法的保留）。强制执行约束以维护这些标准可能会使攻击失败，从而提出有效攻击是否实际可行的问题。在这项工作中，我们通过人类语言能力的镜头来调查这一点。我们报告了众包研究，在这些研究中，我们要求人类迭代修改输入文本中的单词，同时接收即时模型反馈，目的是使情感分类模型对示例进行错误分类。我们的研究结果表明，人类能够使用保留语义的单词替换来生成大量的对抗性示例。我们分析了人类生成的对抗性示例与最近提出的TextFocal，Genetic，BAE和SememePSO攻击算法在维度自然性，情感保留，语法性和替换率方面的比较。我们的研究结果表明，人类生成的对抗性示例并不比最好的算法更能够生成自然阅读，保留情感的示例，尽管它们的计算效率要高得多。
2021-09-09 cs.CL
Black-box Adversarial ML Attack on Modulation Classification
Information Technology University, Punjab, Pakistan（巴基斯坦旁遮普信息技术大学）；Hamad Bin Khalifa University, Qatar（卡塔尔哈马德·本·哈利法大学）
最近，在文献中已经提出了许多基于深度神经网络（DNN）的调制分类方案。我们已经评估了两个著名的这样的调制分类器（基于卷积神经网络和长短期记忆的技术）对抗对抗机器学习攻击的黑盒设置的鲁棒性。我们使用Carlini \& Wagner（C-W）攻击来执行对抗攻击。据我们所知，这些调制分类器的鲁棒性还没有通过C-W攻击之前进行评估。我们的研究结果清楚地表明，最先进的基于深度机器学习的调制分类器对对抗攻击并不鲁棒。
2019-08-01 cs.CR cs.LG cs.NI
Encryption Inspired Adversarial Defense for Visual Classification
Tokyo Metropolitan University（东京都立大学）
无论模型是否受到攻击，传统的对抗性防御都会降低分类准确性。此外，大多数基于图像处理的防御由于模糊梯度的问题而失败。在本文中，我们提出了一种新的对抗性防御，这是一个防御性的变换的训练和测试图像的启发感知图像加密方法。所提出的方法利用了一个秘密密钥的逐块像素洗牌方法。实验进行了自适应和非自适应最大范数有界白盒攻击，同时考虑混淆梯度。实验结果表明，该方法在CIFAR-10数据集上，在噪声距离为8/255的干净图像和对抗性样本上分别达到了91.55%和89.66%的准确率。因此，所提出的防御优于最先进的对抗性防御，包括潜在对抗性训练，对抗性训练和温度计编码。
2020-05-16 cs.CR cs.LG stat.ML
Towards Adversarial Realism and Robust Learning for IoT Intrusion Detection and Classification
Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD), School of Engineering, Polytechnic of Porto (ISEP/IPP)（先进创新与发展智能工程与计算研究组（GECAD），波尔图理工学院工程学院（ISEP/IPP））
物联网（IoT）面临着巨大的安全挑战。机器学习模型可用于应对越来越多的针对物联网系统的网络攻击变体，但对抗攻击构成的日益严重的威胁再次表明了对可靠防御策略的需求。这项工作描述了一个现实的对抗性网络攻击的例子所需的约束类型，并提出了一种方法，一个值得信赖的对抗性鲁棒性分析与现实的对抗性规避攻击向量。所提出的方法被用来评估三个监督算法，随机森林（RF），极端梯度提升（XGB），和轻梯度提升机（LGBM），和一个无监督算法，隔离森林（IFOR）。使用自适应扰动模式方法（A2PM）生成受约束的对抗性示例，并对使用常规和对抗性训练创建的模型进行规避攻击。尽管RF在二进制分类中受影响最小，但XGB在多类分类中始终达到最高的准确性。所获得的结果证明了基于树的算法和集成对对抗性规避攻击的固有敏感性，并证明了对抗性训练的好处和设计方法的安全性，以实现更强大的物联网网络入侵检测和网络攻击分类。
2023-03-03 cs.AI cs.CR cs.LG
Benign Overfitting in Adversarially Robust Linear Classification
Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）
“良性过拟合”，即分类器记住噪声训练数据，但仍然获得良好的泛化性能，引起了机器学习界的极大关注。为了解释这一令人惊讶的现象，一系列的工作提供了理论上的理由，在过参数化的线性回归，分类和核方法。然而，目前尚不清楚良性过拟合是否仍然发生在存在对抗性示例的情况下，即，用微小的故意扰动来欺骗分类器的例子。在本文中，我们证明了良性过拟合确实发生在对抗性训练中，这是一种防御对抗性示例的原则性方法。详细地，我们证明了在$\ell_p$对抗性扰动下，对抗性训练的线性分类器在亚高斯混合数据上的风险界。我们的研究结果表明，在适度的扰动下，对抗训练的线性分类器可以实现接近最优的标准和对抗风险，尽管过拟合的噪声训练数据。数值实验验证了我们的理论研究结果。
2021-12-31 cs.LG math.OC stat.ML
Darknet Traffic Classification and Adversarial Attacks
San Jose State University（圣何塞州立大学）
暗网的匿名性通常被用于非法活动。之前的研究已经采用了机器学习和深度学习技术来自动检测暗网流量，试图阻止这些犯罪活动。这项研究旨在通过评估支持向量机（SVM），随机森林（RF），卷积神经网络（CNN）和分类器生成对抗网络（AC-GAN）来改进暗网流量检测，以分类此类流量和底层应用类型。我们发现，我们的RF模型优于CIC-Darknet 2020数据集先前工作中使用的最先进的机器学习技术。为了评估我们的RF分类器的鲁棒性，我们混淆选择应用程序类型类来模拟现实的对抗攻击场景。我们证明了我们的最佳性能分类器可以被这样的攻击击败，我们考虑的方法来处理这种对抗攻击。
2022-06-12 cs.CR cs.LG
Adversarial Attacks on Time Series
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
时间序列分类模型在研究界已经获得了显着的重要性。然而，在为这些模型生成对抗性样本方面还没有做太多的研究。这些对抗性样本可能成为安全问题。在本文中，我们提出了利用对抗性转换网络（ATN）在一个蒸馏模型攻击各种时间序列分类模型。对分类模型的拟议攻击利用一个蒸馏模型作为替代，模仿受攻击的经典时间序列分类模型的行为。我们提出的方法被应用到1-最近邻动态时间规整（1-NN）DTW，全连接网络和全卷积网络（FCN）上，所有这些都是在42个加州大学河滨分校（UCR）数据集上训练的。在本文中，我们证明了这两个模型都容易受到所有42个数据集的攻击。据我们所知，这种对时间序列分类模型的攻击以前从未发生过。最后，我们建议未来开发时间序列分类模型的研究人员将对抗性数据样本纳入其训练数据集中，以提高对抗性样本的弹性，并将模型鲁棒性考虑为评估指标。
2019-03-01 cs.LG stat.ML
Mixture GAN For Modulation Classification Resiliency Against Adversarial Attacks
University of Houston（休斯顿大学）
使用深度神经网络（DNN）方法的自动调制分类（AMC）优于传统分类技术，即使在存在挑战性的无线信道环境的情况下也是如此。然而，对抗攻击通过向无线信道注入精心设计的扰动而导致基于DNN的AMC的准确性损失。在本文中，我们提出了一种新的基于生成对抗网络（GAN）的对策方法，以保护基于DNN的AMC系统免受对抗攻击的例子。基于GAN的目标是在馈送到基于DNN的分类器之前消除对抗攻击示例。具体来说，我们已经展示了我们提出的防御GAN对快速梯度符号方法（FGSM）算法的弹性，该算法是最有效的攻击算法之一，可以制造扰动信号。现有的防御GAN已经被设计用于图像分类，并且在考虑上述通信系统的情况下不工作。因此，我们提出的对策方法部署GANs与混合的发电机，以克服模式崩溃的问题，在一个典型的GAN面临的无线电信号分类问题。仿真结果表明，我们提出的防御GAN的有效性，使它可以提高基于DNN的AMC下对抗攻击的准确性，约81%。
2022-05-29 cs.AI cs.LG cs.NI
Adversarial Attacks in Sound Event Classification
Queen Mary University of London（伦敦玛丽女王大学）；ROLI Ltd.（ROLI有限公司）
对抗攻击是指一组干扰分类模型输入以欺骗分类器的方法。在本文中，我们将不同的基于梯度的对抗攻击算法应用于五个为声音事件分类训练的深度学习模型。四个模型使用梅尔频谱图输入，一个模型使用原始音频输入。这些模型代表标准架构，如卷积，递归和密集网络。用于训练的数据集是为DCASE 2018挑战任务2发布的Freesound数据集，使用的模型来自开源代码的挑战参与者。我们的实验表明，对抗攻击可以产生高置信度和低扰动。此外，我们表明，对抗攻击是非常有效的不同的模型。
2019-08-15 cs.CR cs.LG cs.SD
The Geometry of Adversarial Training in Binary Classification
Hausdorff Center for Mathematics（豪斯多夫数学中心）；University of Bonn（波恩大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；North Carolina State University（北卡罗来纳州立大学）
我们建立了一个非参数二进制分类的对抗训练问题的家庭和一个家庭的正则化风险最小化问题，其中正则化是一个非局部周边功能之间的等价性。由此产生的正则化风险最小化问题承认$L^1+$（非局部）$\operatorname{TV}$，一种经常在图像分析和基于图形的学习中研究的形式的精确凸松弛。一个丰富的几何结构，揭示了这一重新制定，这反过来又使我们能够建立一系列的性质的最佳解决方案的原始问题，包括存在的最小和最大的解决方案（解释在一个合适的意义上），并存在的正规解决方案（也解释在一个合适的意义上）。此外，我们强调了对抗训练和周长最小化问题之间的联系如何为涉及周长/总变差的正则化风险最小化问题家族提供了一种新颖的、可直接解释的统计动机。我们的大多数理论结果与用于定义对抗攻击的距离无关。
2022-08-01 cs.LG math.AP math.MG
Defending against adversarial attacks on medical imaging AI system, classification or detection?
Wayne State University（韦恩州立大学）
疾病分类和分割等医学成像AI系统越来越多地受到基于计算机视觉的AI系统的启发和改造。尽管已经开发了一系列对抗性训练和/或基于损失函数的防御技术，并证明其在计算机视觉中是有效的，但由于以下独特的挑战，在医学图像上防御对抗攻击在很大程度上仍然是一个未知的领域：1）医学图像中的标签稀缺性显著限制了AI系统的对抗性泛化能力; 2）医学图像中的前、背景具有极大的相似性和优势性，这使得学习不同疾病类别之间的区分特征成为困难的样本;和3）与聚焦的器官目标相反，添加到整个医学图像中的精心制作的对抗性噪声可以使干净和对抗性的样本更具辨别力不同疾病类别之间的差异。在本文中，我们提出了一种新的基于半监督对抗训练（SSAT）和无监督对抗检测（UAD）的强大医学成像AI框架，然后设计了一种新的评估系统对抗风险的措施。我们使用基准OCT成像数据集，系统地展示了我们强大的医学成像AI系统在各种现实世界对抗攻击环境下与现有对抗性防御技术相比的优势。
2020-06-24 cs.CV cs.LG eess.IV
Adversarial Attacks on Deep-Learning Based Radio Signal Classification
Linköping University（林雪平大学）
尽管深度学习（DL）在许多计算机视觉和语言处理应用中取得了巨大成功，但它非常容易受到对抗攻击的影响。我们考虑使用DL的无线电信号（调制）分类任务，并提出了实用的方法，在该应用程序中的白盒和通用的黑盒对抗攻击的制作。我们表明，这些攻击可以大大降低分类性能，输入的扰动极小。特别地，这些攻击比经典的干扰攻击明显更强大，这在无线物理层使用基于DL的算法时引起了显著的安全性和鲁棒性问题。
2018-08-23 cs.CR cs.IT cs.LG
Adversarial Examples for Extreme Multilabel Text Classification
Aalto University（阿尔托大学）
极端多标签文本分类（XMTC）是一个文本分类问题，其中（i）输出空间非常大，（ii）每个数据点可能有多个正标签，（iii）数据遵循强烈不平衡的分布。随着在推荐系统和网络文档自动标注中的应用，XMTC的研究集中在提高预测精度和处理不平衡数据上。然而，基于深度学习的XMTC模型对对抗性示例的鲁棒性在很大程度上尚未得到充分研究。在本文中，我们研究XMTC模型在对抗攻击下的行为。为此，首先，我们定义了多标签文本分类问题中的对抗攻击。我们将攻击多标签文本分类器分类为（a）正目标，其中目标正标签应该落在前k个预测标签之外，以及（b）负目标，其中目标负标签应该在前k个预测标签中。然后，通过在APLC-XLNet和AttentionXML上的实验，我们证明了XMTC模型对正目标攻击非常脆弱，但对负目标攻击更鲁棒。此外，我们的实验表明，积极的目标对抗攻击的成功率具有不平衡的分布。更确切地说，尾部类非常容易受到对抗攻击的攻击，攻击者可以生成与实际数据点具有高度相似性的对抗样本。为了克服这个问题，我们探索了XMTC中重新平衡的损失函数的效果，它们不仅提高了尾类的准确性，而且还提高了这些类对对抗攻击的鲁棒性。我们的实验代码可以在https://github.com/xmc-aalto/adv-xmtc上找到
2021-12-14 cs.AI cs.LG
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation（微软公司）
针对预训练Transformer模型文本分类需大量标注数据的问题，提出READ方法，融合强化学习文本生成与半监督对抗学习，利用无标注数据生成多样合成文本提升泛化性，在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
Adversarial Attacks on Graph Classification via Bayesian Optimisation
University of Oxford（牛津大学）
图神经网络是一种在广泛的基于图的学习任务中有效的流行模型，已被证明容易受到对抗性攻击。虽然大多数文献都集中在节点级分类任务中的这种脆弱性上，但很少有人致力于分析对图级分类的对抗性攻击，这是生物化学和社交网络分析等众多现实应用的一个重要问题。现有的几种方法通常需要不切实际的设置，例如访问受害者模型的内部信息，或者不切实际的大量查询。我们提出了一种新的贝叶斯优化为基础的攻击方法的图分类模型。我们的方法是黑盒，查询效率和吝啬的扰动。我们经验验证了所提出的方法的有效性和灵活性，广泛的图形分类任务，涉及不同的图形属性，约束和攻击模式。最后，我们分析了产生的对抗样本背后的常见可解释模式，这可能会进一步揭示图分类模型的对抗鲁棒性。
2021-11-04 cs.AI cs.CR cs.LG
Undermining Image and Text Classification Algorithms Using Adversarial Attacks
Oak Ridge National Laboratory（橡树岭国家实验室）
本研究利用GANs和SMOTE生成对抗样本攻击文本分类模型，并采用快速梯度符号扰动结合GradCAM攻击人脸识别CNN，发现攻击导致文本分类准确率下降20%、人脸识别下降30%，凸显了模型脆弱性及防御必要性。
2024-11-07 cs.AI cs.CR cs.CV
A General Retraining Framework for Scalable Adversarial Classification
Vanderbilt University（范德堡大学）；Shanghai Jiaotong University（上海交通大学）
传统的分类算法假设训练数据和测试数据来自相似的分布。这种假设在对抗性设置中被违反，其中恶意行为者修改实例以逃避检测。针对对抗性规避攻击和鲁棒学习，已经开发了许多自定义方法。我们提出了第一个系统和通用的再训练框架，它可以：a）提高\emph{arbitrary}学习算法的鲁棒性，面对b）比任何现有方法更广泛的对抗模型。我们证明了，在自然条件下，再训练框架最小化了最优对抗风险的上限，并展示了如何将这一结果扩展到规避攻击的近似值。广泛的实验评估表明，我们的再训练方法与最先进的优化对抗风险的算法几乎没有区别，但更通用，可扩展性更强。实验还证实，如果没有再训练，我们的对抗框架会大大降低学习的有效性。相比之下，再训练显著提高了对规避攻击的鲁棒性，而不会显著影响整体准确性。
2016-11-26 cs.GT cs.LG stat.ML
Towards Adversarial Training with Moderate Performance Improvement for Neural Network Classification
Huawei Technologies Noah’s Ark Lab（华为技术诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
已有研究表明，深度神经网络在推理过程中容易受到噪声样本，特别是对抗样本的影响。现实世界应用中的强大深度学习系统与脆弱的神经网络之间的差距仍然很大。目前的对抗训练策略提高了对抗样本的鲁棒性。然而，这些方法会导致精度降低时，输入的例子是干净的，从而阻碍了实用性。在本文中，我们研究了一种方法，保护神经网络分类从敌对的样本，并提高其准确性时，输入的例子是干净的。我们在各种不同的网络和数据集上展示了我们所提出的方法的多功能性和有效性。
2018-07-01 cs.AI cs.CV cs.LG
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们考虑在马尔可夫链蒙特卡罗（MCMC）和贝叶斯暗知识（BDK）推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性：快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们证明了完全基于MCMC的推理具有出色的鲁棒性，显著优于基于标准点估计的学习。另一方面，BDK提供了边际改进。作为一个额外的贡献，我们提出了一个存储高效的方法来计算对抗的例子，大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Adaptive Meta-learning-based Adversarial Training for Robust Automatic Modulation Classification
Clemson University（克莱姆森大学）
本文提出基于元学习的对抗训练框架，以提升自动调制分类模型对未知对抗攻击的鲁棒性，并实现少量样本下的快速在线适应，同时显著降低在线训练时间。
2025-01-03 cs.CR cs.LG
Radio Signal Classification by Adversarially Robust Quantum Machine Learning
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；The University of Melbourne（墨尔本大学）
本研究将量子变分分类器应用于无线电信号分类，验证其对抗经典CNN攻击的鲁棒性，并提出近似振幅编码高效编码数据，填补了QML在射频分类中的空白。
2023-12-13 cs.LG quant-ph
Adversarial Attacks on Image Classification Models: FGSM and Patch Attacks and their Impact
Praxis Business School（普拉克西斯商学院）
本文研究FGSM和对抗补丁攻击对ResNet-34、GoogleNet和DenseNet-161三种预训练CNN图像分类模型的影响，通过在ImageNet上对比有无攻击时的分类准确率，揭示对抗攻击对图像分类性能的破坏作用。
2023-07-05 cs.CR cs.CV cs.LG
Golden Ratio Search: A Low-Power Adversarial Attack for Deep Learning based Modulation Classification
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出一种基于黄金比例搜索的低功耗白盒对抗攻击，用于深度学习调制分类，该方法能以最小功耗快速生成强大攻击，并有效挑战现有防御机制。
2024-09-17 cs.CR cs.LG eess.SP
Robust Classification using Robust Feature Augmentation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Georgia Institute of Technology（佐治亚理工学院）；Stony Brook University（石溪大学）
现有的深度神经网络，比如用于图像分类的深度神经网络，已经被证明容易受到对抗性图像的攻击，这些图像可能会导致DNN错误分类，而不会对图像产生任何可感知的变化。在这项工作中，我们提出了冲击吸收鲁棒特征，如二值化，例如，舍入和组提取，例如，颜色或形状，以增强分类管道，从而产生更强大的分类器。实验表明，使用这些技术增强ML模型可以提高对抗性输入的整体鲁棒性，并显着改善训练时间。在MNIST数据集上，我们实现了14倍的训练时间加速，获得了90%的对抗准确率，与Madry等人的最先进的对抗训练方法相比，并在更广泛的攻击范围内保持更高的对抗准确性。我们还发现鲁棒性改进交通标志分类使用强大的功能增强。最后，我们给出了理论上的见解，为什么人们可以期望鲁棒的特征增强来减少对抗性输入空间
2019-09-18 cs.LG stat.ML
Adversarial Training Methods for Semi-Supervised Text Classification
Preferred Networks, Inc.（Preferred Networks公司）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Kyoto University（京都大学）；Google Brain（谷歌大脑）；OpenAI
对抗训练提供了一种规范监督学习算法的方法，而虚拟对抗训练能够将监督学习算法扩展到半监督环境。然而，这两种方法都需要对输入向量的许多条目进行小的扰动，这对于稀疏的高维输入（如单热词表示）是不合适的。我们通过对递归神经网络中的单词嵌入而不是原始输入本身施加扰动，将对抗和虚拟对抗训练扩展到文本域。该方法在多个基准半监督和纯监督任务上实现了最先进的结果。我们提供了可视化和分析，显示学习的单词嵌入质量有所提高，并且在训练时，模型不太容易过拟合。代码可在https://github.com/tensorflow/models/tree/master/research/adversarial_text上获得。
2021-11-16 cs.LG stat.ML
