Adversarial Attack and Defense of Structured Prediction Models
National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
构建有效的对抗性攻击器并详细阐述针对自然语言处理（NLP）的对抗攻击的对策近年来吸引了大量的研究。然而，大多数现有的方法集中在分类问题。在本文中，我们研究了NLP中结构化预测任务的攻击和防御。除了在任何NLP任务中攻击者面临的扰动离散单词和句子流畅性问题的困难之外，结构化预测模型的攻击者还面临着一个特殊的挑战：结构化预测模型的结构化输出对输入中的小扰动很敏感。为了解决这些问题，我们提出了一个新的和统一的框架，学习攻击的结构化预测模型使用序列到序列模型，从多个参考模型的反馈相同的结构化预测任务。基于所提出的攻击，我们通过对抗性训练进一步加强了受害者模型，使其预测更加鲁棒和准确。我们在依存句法分析和词性标注中评估了所提出的框架。自动和人工评估表明，我们提出的框架成功地攻击了最先进的结构化预测模型，并通过对抗性训练增强了它们。
2020-10-18 cs.CL
Adversarial Capsule Networks for Romanian Satire Detection and Sentiment Analysis
University Politehnica of Bucharest（布加勒斯特理工大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研发院）
针对罗马尼亚语NLP资源不足的问题，本研究结合对抗训练与胶囊网络改进经典NLP模型，用于讽刺检测与情感分析，准确率最高达99.08%，优于现有方法。
2023-06-13 cs.CL
A Simple Yet Efficient Method for Adversarial Word-Substitute Attack
The Hong Kong University of Science and Technology（香港科技大学）
NLP研究人员提出了不同的单词替代黑盒攻击，可以欺骗文本分类模型。在这种攻击中，攻击者不断向目标模型发送精心制作的对抗性查询，直到它能够成功实现预期的结果。最先进的攻击方法通常需要数百或数千个查询才能找到一个对抗性示例。在本文中，我们研究了一个复杂的对手是否可以攻击系统少得多的查询。我们提出了一个简单而有效的方法，可以减少3-30倍的平均数量的对抗性查询，并保持攻击的有效性。这项研究强调，对手可以以更低的成本欺骗深度NLP模型。
2022-05-07 cs.AI cs.CL
Adversarial Self-Supervised Data-Free Distillation for Text Classification
Zhejiang University（浙江大学）
大型预训练的基于transformer的语言模型在广泛的NLP任务上取得了令人印象深刻的结果。在过去的几年里，知识蒸馏（KD）已经成为一个流行的范式，压缩计算昂贵的模型，资源有效的轻量级模型。然而，大多数KD算法，特别是在NLP中，依赖于原始训练数据集的可访问性，由于隐私问题，这些数据集可能不可用。为了解决这个问题，我们提出了一种新的两阶段无数据蒸馏方法，称为对抗性自监督无数据蒸馏（AS-DFD），它被设计用于压缩大规模基于变换的模型（例如，BERT）。为了避免在离散空间中生成文本，我们引入了一种即插即用的嵌入猜测方法来从教师的隐藏知识中制作伪嵌入。同时，通过一个自我监督模块来量化学生的能力，我们以对抗训练的方式适应伪嵌入的难度。据我们所知，我们的框架是第一个为NLP任务设计的无数据蒸馏框架。我们在几个文本分类数据集上验证了该方法的有效性。
2020-10-10 cs.AI cs.CL
Natural Backdoor Attack on Text Data
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近，高级NLP模型在各种应用程序中的使用量激增。这增加了已发布模型的安全威胁。除了干净模型的非故意缺陷之外，{\em即，}对抗攻击，具有恶意意图的中毒模型在现实生活中要危险得多。然而，目前大多数现有的工作集中在NLP模型的对抗性攻击，而不是定位攻击，也称为\textit{backdoor attacks}。本文首先提出了NLP模型上的\textit{natural backdoor attacks}。此外，我们利用各种攻击策略来生成触发器的文本数据和调查不同类型的触发器的修改范围的基础上，人类识别，和特殊情况。最后，我们对后门攻击进行了评估，结果表明，后门攻击的成功率为100%，文本分类任务的牺牲率为0.83%。
2021-01-15 cs.CL cs.CR cs.LG
Gradient-based Analysis of NLP Models is Manipulable
UC Irvine（加州大学欧文分校）；UC Berkeley（加州大学伯克利分校）
基于显着性的分析方法，如显着性图可视化和对抗性输入扰动，由于其简单性，灵活性以及最重要的是其忠实性，已广泛用于解释神经NLP模型。然而，在本文中，我们证明了模型的梯度是很容易操作的，从而使基于梯度的分析的可靠性受到质疑。特别是，我们将目标模型的层与Facade合并，Facade在不影响预测的情况下对梯度进行优化。这个Facade可以被训练成具有误导性和与任务无关的梯度，例如只关注输入中的停止词。在各种NLP任务（文本分类，NLI和QA）中，我们证明了我们的方法可以操作许多基于梯度的分析技术：显着性图，输入减少和对抗性扰动都可以将不重要或有针对性的标记识别为非常重要。本文的代码和教程可以在http://ucinlp.github.io/facade上找到。
2020-10-12 cs.CL cs.LG
IAE: Irony-based Adversarial Examples for Sentiment Analysis Systems
本文提出IAE方法，通过将直白句子转化为反讽句子生成文本对抗样本，不依赖现有反讽语料库。实验表明该方法使先进深度学习模型在情感分析任务中性能显著下降，而人类受影响较小，揭示了NLP系统对反讽的脆弱性。
2024-11-12 cs.AI cs.CL
The Impact of Quantization on the Robustness of Transformer-based Text Classifiers
Sharif University of Technology（谢里夫理工大学）；University of Guilan（吉兰大学）
该研究首次探究量化对NLP模型鲁棒性的影响，实验证明量化可显著提升BERT等模型的对抗准确率，效果优于对抗训练且无额外训练开销，为增强NLP模型鲁棒性提供了有效方案。
2024-03-08 cs.CL cs.LG
Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings
Arizona State University（亚利桑那州立大学）
为了使NLP系统具有选择性预测能力，已经提出了几种特定于任务的方法。然而，哪些方法在任务中效果最好，或者即使它们始终优于最简单的基线“MaxProb”，仍有待探索。为此，我们系统地研究了“选择性预测”在一个大规模的设置17个数据集在几个NLP任务。通过在域内（IID），域外（OOD）和对抗（ADV）设置下的全面实验，我们表明，尽管利用了额外的资源（保留的数据/计算），但现有方法在所有三种设置中都没有一致且显著优于MaxProb。此外，他们的表现并不能很好地体现在各项任务中。例如，Monte-Carlo Dropout在重复检测数据集上优于所有其他方法，但在NLI数据集上表现不佳，特别是在OOD设置中。因此，我们建议，未来的选择性预测方法应跨任务和设置进行评估，以可靠地估计其能力。
2022-03-01 cs.AI cs.CL cs.LG
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation
Seoul National University（首尔国立大学）；NAVER WEBTOON AI（NAVER WEBTOON人工智能部门）
词级对抗攻击在NLP模型中取得了成功，近年来大大降低了基于transformer的模型的性能。作为一种对策，对抗性防御已被探索，但相对较少的努力已经检测到对抗性的例子。然而，检测对抗性示例对于自动化任务（例如，审查情感分析）可能是至关重要的，这些任务希望收集有关特定人群的信息，并且另外是迈向强大防御系统的一步。为此，我们在四个数据集和四个模型上发布了四种流行攻击方法的数据集，以鼓励在这一领域的进一步研究。与此同时，我们提出了一个基于密度估计的竞争性基线，该基线在30种攻击模型组合中的29种组合中具有最高的AUC。源代码可在https://github.com/anoymous92874838/text-adv-detection上获得。
2022-03-03 cs.CL cs.CR cs.LG
Augmenting NLP data to counter Annotation Artifacts for NLI Tasks
在本文中，我们探讨了注释伪影-这种现象，其中大型预训练的NLP模型在基准数据集上实现了高性能，但实际上并没有“解决”底层任务，而是依赖于一些数据集伪影（在训练，验证和测试集上相同）来找出正确的答案。我们在著名的自然语言推理任务中探索了这一现象，首先使用对比和对抗性示例来理解模型性能的局限性，并展示了注释工件（注释器构建训练数据的方式）产生的偏见之一。然后，我们提出了一个数据增强技术来解决这个偏差，并衡量其有效性。
2023-02-09 cs.CL cs.LG
BAE: BERT-based Adversarial Examples for Text Classification
Amazon Alexa AI（亚马逊Alexa人工智能）；Health at Scale Corporation（Health at Scale公司）
现代文本分类模型容易受到对抗性示例的影响，人类无法识别原始文本的扰动版本，这些版本被模型错误分类。NLP最近的工作使用基于规则的同义词替换策略来生成对抗性示例。这些策略可能会导致脱离上下文和不自然的复杂令牌替换，这很容易被人类识别。我们提出了BAE，一个黑盒攻击生成对抗性的例子，使用上下文扰动从BERT掩蔽语言模型。BAE通过屏蔽文本的一部分并利用BERT-MLM为屏蔽的令牌生成替代方案来替换和插入原始文本中的令牌。通过自动和人工评估，我们表明BAE执行更强的攻击，除了生成具有改进的语法性和语义一致性的对抗性示例外，与以前的工作相比。
2020-10-08 cs.CL
Learning to Discriminate Perturbations for Blocking Adversarial Attacks in Text Classification
University of California, Los Angeles（加州大学洛杉矶分校）
针对机器学习模型的对抗攻击已经威胁到各种现实世界的应用，例如垃圾邮件过滤和情感分析。在本文中，我们提出了一种新的框架，学习辨别扰动（DISP），识别和调整恶意扰动，从而阻止文本分类模型的对抗攻击。为了识别对抗攻击，扰动验证器验证文本中的令牌被扰动的可能性，并提供一组潜在的扰动。对于每个潜在的扰动，嵌入估计器学习基于上下文恢复原始单词的嵌入，并且基于近似kNN搜索选择替换令牌。DISP可以阻止任何NLP模型的对抗攻击，而无需修改模型结构或训练过程。在两个基准数据集上的大量实验表明，DISP在阻止文本分类的对抗攻击方面明显优于基线方法。此外，深入分析表明，债务重组和战略计划在不同情况下都很稳健。
2019-09-06 cs.CL
Adversarial Multi-task Learning for Text Classification
Fudan University（复旦大学）
神经网络模型在多任务学习中表现出了良好的前景，它专注于学习共享层以提取共同的和任务不变的特征。然而，在大多数现有的方法中，提取的共享特征容易被特定于任务的特征或其他任务带来的噪声污染。在本文中，我们提出了一个对抗性多任务学习框架，减轻了共享和私有潜在特征空间的相互干扰。我们对16个不同的文本分类任务进行了广泛的实验，这证明了我们的方法的好处。此外，我们表明，我们提出的模型学习的共享知识可以被视为现成的知识，很容易转移到新的任务。所有16项任务的数据集都可以在\url{http://nlp.fudan.edu.cn/data/}上公开获得
2017-04-19 cs.CL
On the Sensitivity and Stability of Model Interpretations in NLP
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
近年来，出现了各种旨在揭示自然语言处理（NLP）模型如何进行预测的事后解释。尽管新的口译方法层出不穷，但如何界定和定量衡量口译的忠实性，即口译的忠实性，解释在多大程度上反映了模型的推理过程。我们提出了两个新的标准，敏感性和稳定性，提供了现有的删除为基础的标准的忠诚的补充概念。我们的研究结果表明，如何忠实的解释是可以根据不同的概念有很大的不同。出于灵敏度和稳定性的需要，我们引入了一类新的解释方法，采用对抗鲁棒性技术。实验结果表明，我们提出的方法是有效的新标准下，克服了基于梯度的方法的局限性基于删除的标准。除了文本分类，我们还将解释方法和度量应用于依存句法分析。我们的研究结果揭示了理解不同的解释。
2022-03-31 cs.CL
Multilingual and Multilabel Emotion Recognition using Virtual Adversarial Training
ShareChat
虚拟对抗训练（VAT）在监督和半监督设置下学习计算机视觉和NLP任务的鲁棒模型方面一直很有效。然而，增值税的多语言和多标签文本分类的有效性还没有被探索过。在这项工作中，我们探索了多标签情感识别的VAT，重点是利用来自不同语言的未标记数据来提高模型性能。我们在SemEval2018多标签和多语言情感识别数据集上进行了广泛的半监督实验，并在相同数量的标记数据（训练数据的10%）下，与监督学习相比，性能提高了6.2%（阿拉伯语），3.8%（西班牙语）和1.8%（英语）。我们还将西班牙语，阿拉伯语和英语的现有最先进水平分别提高了7%，4.5%和1%（Jaccard指数），并进行了探测实验，以了解不同层次的上下文模型的影响。
2021-11-11 cs.CL
A Thorough Investigation into the Application of Deep CNN for Enhancing Natural Language Processing Capabilities
University of Missouri（密苏里大学）
本文针对传统NLP模型在准确性和效率上的不足，提出整合深度卷积神经网络（DCNN）、机器学习算法和生成对抗网络（GAN）的方法，显著提升了分词、词性标注等任务的性能，分割准确率提高10%，召回率提升4%。
2024-12-20 cs.CL
Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions
University of Central Florida（中佛罗里达大学）；Ewha Womans University（梨花女子大学）
最近的自然语言处理（NLP）技术在基准数据集上实现了高性能，这主要归功于深度学习的性能显著提高。研究界的进步导致了NLP任务的最先进生产系统的极大增强，例如虚拟助理，语音识别和情感分析。然而，这样的NLP系统在测试对抗攻击时仍然经常失败。最初缺乏鲁棒性暴露了当前模型的语言理解能力中令人不安的差距，当NLP系统部署在现实生活中时会产生问题。在本文中，我们提出了一个结构化的概述NLP鲁棒性的研究，通过总结文献系统的方式在各个方面。然后，我们深入研究了健壮性的各个方面，包括技术、指标、嵌入和基准。最后，我们认为，鲁棒性应该是多维度的，提供对当前研究的见解，找出文献中的差距，提出值得追求的方向，以解决这些差距。
2022-01-03 cs.AI cs.CL cs.CR
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University（南洋理工大学）；AWS AI（亚马逊云科技人工智能）
本文演示了自然语言推理（NLI）和文本分类系统中的致命漏洞。更具体地说，我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器（CARA）生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明，仅添加1%的中毒数据，当输入假设被注入中毒签名时，受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类，这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding
Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
基于神经元的对抗训练被广泛应用于提高神经网络的鲁棒性，但由于嵌入空间是离散的，它不容易适应自然语言处理任务。在自然语言处理领域，由于文本是离散的，不能直接受到梯度的干扰，因此引入了虚拟对抗训练。或者，在NLP任务中引入虚拟对抗训练，它会在嵌入空间上产生扰动。尽管取得了成功，但现有的虚拟对抗训练方法产生的扰动大致受到Frobenius归一化球的约束。为了制作细粒度的扰动，我们提出了一种令牌感知的虚拟对抗训练方法。我们引入了一个令牌级累积扰动词汇表来更好地初始化扰动，并使用令牌级归一化球来有针对性地约束这些扰动。实验表明，我们的方法提高了性能的预训练模型，如BERT和ALBERT在各种任务的相当大的利润。该方法使用BERT模型将GLUE基准测试的得分从78.3提高到80.9，并提高了序列标记和文本分类任务的性能。
2020-12-04 cs.CL
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University（卡内基梅隆大学）
以前的工作表明，深度NLP模型并不总是概念上合理的：它们并不总是学习正确的语言概念。具体来说，他们可能对词序不敏感。为了系统地评估模型的概念合理性，相对于词序，我们介绍了一种新的解释方法：顺序敏感Shapley值（OSV）。我们进行了广泛的实证评估，以验证该方法，并揭示各种深度NLP模型学习词序的效果。使用合成数据，我们首先表明，OSV是更忠实地解释模型的行为比基于梯度的方法。其次，应用于HANS数据集，我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性，但OSV表明，增强模型并没有从根本上提高模型的阶次学习。第三，我们发现并非所有的情感分析模型都能正确地学习否定：有些模型无法捕捉到否定结构的正确语法。最后，我们证明了预训练的语言模型，如BERT，可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务，我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
对抗性脆弱性仍然是构建可靠NLP系统的主要障碍。当将不可感知的扰动添加到原始输入文本时，深度学习模型的性能可能会在攻击下急剧下降。最近的工作认为，模型的对抗性脆弱性是由监督训练中的非鲁棒特征引起的。因此，在本文中，我们从解纠缠表示学习的角度来解决对抗性鲁棒性挑战，它能够明确地解开文本中的鲁棒性和非鲁棒性特征。具体而言，受信息论中信息（VI）变化的启发，我们推导出一个由互信息组成的解纠缠学习目标，以表示潜在嵌入的语义代表性和鲁棒性和非鲁棒性特征的区分。在此基础上，我们设计了一个解纠缠学习网络来估计这些互信息。文本分类和蕴涵任务的实验表明，我们的方法显着优于对抗攻击下的代表性方法，表明丢弃非鲁棒性特征是提高对抗鲁棒性的关键。
2022-10-26 cs.CL cs.LG
Defense of Word-level Adversarial Attacks via Random Substitution Encoding
North China Electric Power University（华北电力大学）
针对计算机视觉任务的深度神经网络的对抗攻击催生了许多新技术，有助于保护模型避免错误预测。最近，对自然语言处理（NLP）任务的深度模型的词级对抗攻击也表现出强大的力量，例如，欺骗情感分类神经网络做出错误的决定。不幸的是，以前的文献很少讨论防御这种词级的同义词替换为基础的攻击，因为他们很难被感知和检测。在本文中，我们揭示了这个问题，并提出了一种新的防御框架称为随机替代编码（RSE），它引入了一个随机替代编码器到原始神经网络的训练过程。文本分类任务的广泛实验证明了我们的框架防御单词级对抗攻击的有效性，在各种基础和攻击模型。
2020-06-12 cs.CL cs.LG
Why Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in Adversarial NLP
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Chongqing University（重庆大学）
文本对抗样本在NLP研究的多个子领域中发挥着重要作用，包括安全性，评估，可解释性和数据增强。然而，大多数工作混合了所有这些角色，模糊了安全角色的问题定义和研究目标，旨在揭示NLP模型的实际问题。本文对安全场景中文本对抗样本的研究范式进行了重新思考。我们讨论了以前工作中的不足之处，并提出我们的建议，面向安全的对抗性NLP（SoadNLP）的研究应该：（1）评估他们的安全任务的方法，以证明现实世界的关注;（2）考虑现实世界的攻击者的目标，而不是开发不切实际的方法。为此，我们首先收集、处理并发布一个安全数据集集合Advbench。然后，我们重新形式化的任务，并调整SoadNLP中不同目标的重点。接下来，我们提出了一种基于启发式规则的简单方法，可以很容易地实现实际的对抗目标来模拟现实世界的攻击方法。我们在Advbench上对攻击方和防御方进行了实验。实验结果表明，该方法具有较高的实用价值，表明SoadNLP的研究范式可以从我们的新基准开始。Advbench的所有代码和数据都可以在\url{https://github.com/thunlp/Advbench}上获得。
2022-10-19 cs.CL cs.CR cs.LG
Certified Robustness to Adversarial Word Substitutions
Stanford University（斯坦福大学）
最先进的NLP模型通常会被应用看似无害的标签保留转换（例如，释义）来输入文本。可能的转换数量随文本长度呈指数级增长，因此数据增强无法覆盖输入的所有转换。本文考虑一个指数级大的标签保持变换族，其中输入中的每个单词都可以用相似的单词替换。我们训练第一个模型，这些模型可证明对这个家族中的所有单词替换都是鲁棒的。我们的训练过程使用区间边界传播（IBP）来最小化任何单词替换组合可能引起的最坏情况损失的上限。为了评估模型对这些转换的鲁棒性，我们测量了应用于测试示例的逆向选择单词替换的准确性。我们的IBP训练模型在IMDB上的情感分析和SNLI上的自然语言推理上都达到了$75\%$对抗精度。相比之下，在IMDB上，正常训练的模型和使用数据增强训练的模型分别仅达到$8\%$和$35\%$的对抗精度。
2019-09-03 cs.CL cs.LG
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；China Agricultural University（中国农业大学）
对抗攻击是NLP中神经网络模型面临的主要挑战，这阻碍了模型在安全关键应用中的部署。最近的一项工作，基于检测的防御，旨在区分敌对的句子和良性的句子。然而，{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测，这与其他范式的防御方法不同。针对这一问题，本文提出了文本屏蔽：（1）发现文本攻击与显著性信息之间的联系，提出了一种基于显著性的检测器，可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器，它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器，TextShield将仅检测范式扩展为检测-校正范式，从而填补了现有基于检测的防御的空白。综合实验表明，（a）在不同基准的各种攻击中，TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
NLP模型被证明存在鲁棒性问题，即，模型的预测可以在对输入的小扰动下容易地改变。在这项工作中，我们提出了一个受控对抗文本生成（CAT-Gen）模型，该模型在给定输入文本的情况下，通过已知对任务标签不变的可控属性生成对抗文本。例如，为了攻击产品评论的情感分类模型，我们可以使用产品类别作为可控属性，这不会改变评论的情感。在真实世界的NLP数据集上的实验表明，与许多现有的对抗文本生成方法相比，我们的方法可以生成更多样化和流畅的对抗文本。我们进一步使用我们生成的对抗性示例通过对抗性训练来改进模型，并且我们证明了我们生成的攻击对模型重新训练和不同的模型架构更加强大。
2020-10-05 cs.CL
MINIMAL: Mining Models for Data Free Universal Adversarial Triggers
Adobe Media Data Science Research（Adobe媒体数据科学研究）；IIIT-Delhi（德里印度理工学院）；SUNY at Buffalo（纽约州立大学布法罗分校）；New York University（纽约大学）
众所周知，自然语言模型容易受到对抗攻击的攻击，这些攻击大多是输入特定的。最近，有研究表明，在NLP模型中也存在输入不可知的攻击，称为通用对抗触发器。然而，现有的制作通用触发器的方法是数据密集型的。它们需要大量的数据样本来生成对抗性触发器，而攻击者通常无法访问这些触发器。例如，以前的作品为SNLI数据集每个类取3000个数据样本来生成对抗性触发器。在本文中，我们提出了一种新的无数据方法MINIMAL，从模型中挖掘输入不可知的对抗触发器。使用我们的无数据算法产生的触发器，我们将斯坦福情感树库的正类的准确率从93.6%降低到9.6%。类似地，对于斯坦福自然语言推理（SNLI），我们的单字触发器将蕴涵类的准确率从90.95%降低到小于0.6%。尽管完全无数据，但我们得到的准确度下降与数据依赖方法相当。
2021-09-25 cs.AI cs.CL cs.LG
Second-Order NLP Adversarial Examples
University of Virginia（弗吉尼亚大学）
NLP中的对抗性示例生成方法依赖于语言模型或句子编码器等模型来确定潜在的对抗性示例是否有效。在这些方法中，一个有效的对抗性示例欺骗了被攻击的模型，并被第二个模型确定为语义或语法有效。迄今为止的研究已经将所有此类示例都视为受攻击模型的错误。我们认为，这些对抗性的例子可能不是被攻击模型中的缺陷，而是决定有效性的模型中的缺陷。我们将这种无效输入称为二阶对抗示例。我们提出了约束鲁棒性曲线和相关的度量ACCS作为评估约束对二阶对抗性示例的鲁棒性的工具。为了生成这条曲线，我们设计了一个对抗攻击，直接在语义相似度模型上运行。我们测试两个约束，通用句子编码器（USE）和BERTScore。我们的研究结果表明，这样的二阶例子是存在的，但在最先进的模型中通常比一阶对抗性例子不常见。它们还表明，USE作为NLP对抗性示例的约束是有效的，而BERTScore几乎无效。运行本文中实验的代码可在https://github.com/jxmorris12/second-order-adversarial-examples上获得。
2020-10-06 cs.CL
Universal Adversarial Triggers
本文提出了一种结合词性过滤和困惑度损失函数的新技术，生成更接近自然短语的合理触发器，以提高对抗攻击的检测难度并促进鲁棒模型的发展。
2026-05-18 cs.CL cs.LG
How Does Adversarial Fine-Tuning Benefit BERT?
Visa Research（维萨研究）
对抗性训练（AT）是机器学习中防御对抗攻击最可靠的方法之一。该方法的变体已被用作正则化机制，以在NLP基准上实现SOTA结果，并且已发现它们对迁移学习和持续学习很有用。我们搜索的原因，通过对比香草和adversarially微调BERT模型的AT的有效性。我们确定部分保存BERT的语法能力在微调的成功的关键AT。我们观察到，对抗微调模型仍然更忠实于BERT的语言建模行为，更敏感的词序。作为句法能力的具体例子，一个对抗性微调模型在回指一致性上的优势可达38%，在依存句法分析上的优势可达11%。我们的分析表明，香草微调过度简化的句子表示，重点放在一个小的子集的话。然而，AT缓和了这些有影响力的词的效果，并鼓励代表性的多样性。这允许一个句子的更层次的表示，并导致BERT的语法能力的损失减轻。
2021-09-29 cs.AI cs.CL cs.LG
Towards Improving Adversarial Training of NLP Models
University of Virginia（弗吉尼亚大学）
对抗性训练是一种用于学习鲁棒深度神经网络的方法，在训练期间构建对抗性示例。然而，最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此，使用普通对抗训练来提高NLP模型的性能仍然具有挑战性，并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程，我们称之为攻击训练（A2T）。A2T的核心部分是一种新的、更便宜的词替换攻击，针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明，它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性，并且还可以保护模型免受其他类型的单词替换攻击。此外，我们表明，A2T可以提高NLP模型的标准精度，跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
虽然已经有大量的研究使用对抗攻击来分析NLP模型，但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack，这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击：目标函数，一组约束，转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现，并支持各种模型和数据集，包括BERT和其他Transformers，以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块，用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化：任何人都可以在任何模型或数据集上尝试数据增强和对抗训练，只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge
University College London（伦敦大学学院）
对抗性示例是机器学习模型的输入，旨在导致模型出错。它们对于理解机器学习模型的缺点、解释其结果以及正则化都很有用。然而，在NLP中，大多数示例生成策略通过使用已知的、预先指定的语义转换来生成输入文本，这需要大量的手动工作以及对问题和领域的深入理解。本文研究了在自然语言推理（NLI）中自动生成违反给定一阶逻辑约束的对抗性实例的问题。我们减少了识别这种对抗性的例子的问题，一个组合优化问题，通过最大化的数量测量违反这些约束的程度，并通过使用一个语言模型生成语言上合理的例子。此外，我们提出了一种方法，逆向正则化神经NLI模型，将背景知识。我们的研究结果表明，虽然所提出的方法并不总是改善SNLI和MultiNLI数据集的结果，但它显着且一致地提高了对恶意数据集的预测准确性-相对提高高达79.6%-同时大大减少了背景知识违规的数量。此外，我们表明，对抗性的例子之间的模型架构的转移，并提出的对抗性训练过程提高了NLI模型的对抗性的例子的鲁棒性。
2018-08-26 cs.AI cs.CL cs.LG
Advancing NLP Security by Leveraging LLMs as Adversarial Engines
Center for AI Security Research（人工智能安全研究中心）
本文提出将 LLM 用作多样化对抗攻击生成引擎，扩展词级攻击至补丁、通用扰动和定向攻击，以发现漏洞并提升 NLP 系统安全性。
2024-10-23 cs.AI cs.CL
Improving the robustness and accuracy of biomedical language models through adversarial training
Medical University of Vienna（维也纳医科大学）
深度Transformer神经网络模型提高了生物医学领域智能文本处理系统的预测精度。他们在各种生物医学和临床自然语言处理（NLP）基准测试中获得了最先进的性能分数。然而，这些模型的鲁棒性和可靠性迄今为止还没有得到充分的研究。神经NLP模型很容易被对抗性样本欺骗，即对输入进行微小的更改，保留文本的含义和可理解性，但迫使NLP系统做出错误的决定。这引起了人们对生物医学NLP系统的安全性和可信度的严重担忧，特别是当它们打算部署在现实世界的用例中时。我们研究了几个Transformer神经语言模型，即BioBERT，SciBERT，BioMed-RoBERTa和Bio-ClinicalBERT，在广泛的生物医学和临床文本处理任务的鲁棒性。我们实现了各种对抗攻击方法来测试不同攻击场景下的NLP系统。实验结果表明，生物医学NLP模型对对抗性样本敏感;它们的性能在字符级和单词级对抗性噪声上分别平均下降了21%和18.9%。通过进行广泛的对抗性训练实验，我们在干净样本和对抗性输入的混合上微调了NLP模型。结果表明，对抗性训练是对抗性噪声的有效防御机制;模型的鲁棒性平均提高了11.3%。此外，模型在干净数据上的性能平均提高了2.4个绝对值，这表明对抗性训练可以提高生物医学NLP系统的泛化能力。
2021-11-16 cs.AI cs.CL
Improving the Adversarial Robustness of NLP Models by Information Bottleneck
Fudan University（复旦大学）；University of California, Los Angeles（加州大学洛杉矶分校）
现有的研究表明，对抗性示例可以直接归因于非鲁棒特征的存在，这些特征具有高度的预测性，但很容易被对手操纵来欺骗NLP模型。在这项研究中，我们探索的可行性，捕获特定于任务的鲁棒性的功能，同时消除非鲁棒性的信息瓶颈理论。通过大量的实验，我们表明，使用我们的基于信息校验的方法训练的模型能够在鲁棒准确性方面实现显着提高，超过所有先前报道的防御方法的性能，同时在SST-2，AGNEWS和IMDB数据集上几乎没有性能下降。
2022-06-11 cs.CL
Emoti-Attack: Zero-Perturbation Adversarial Attacks on NLP Systems via Emoji Sequences
Lanzhou University（兰州大学）
提出Emoji-Attack，一种通过表情符号序列实现零扰动对抗攻击的新方法，在大型和小型NLP模型上均展现强攻击性能，为增强对抗鲁棒性提供新途径。
2025-02-24 cs.AI cs.CL cs.CR
Faithfulness and the Notion of Adversarial Sensitivity in NLP Explanations
SRM University AP（SRM大学AP分校）
针对自然语言处理解释忠实性评估方法存在差异和偏差的问题，提出对抗敏感性新方法，通过捕捉解释器对模型对抗攻击下输入变化的响应评估忠实性，解决现有技术局限并从新范式量化该指标。
2024-10-09 cs.AI cs.CL
Expanding Scope: Adapting English Adversarial Attacks to Chinese
University of Virginia（弗吉尼亚大学）
本文研究英文SOTA对抗攻击向中文的适配，表明结合中文分词、语言约束及形态音韵特征可生成流畅且语义一致的对抗样本，用于增强中文NLP模型鲁棒性。
2023-06-08 cs.AI cs.CL cs.CR
Adversarial Text Generation with Dynamic Contextual Perturbation
Praxis Business School（Praxis商学院）
本研究针对现有NLP对抗攻击忽略全局上下文、扰动易检测且语义不一致的问题，提出动态上下文扰动（DCP）方案，借助预训练语言模型生成跨层级的上下文感知对抗样本，显著提升攻击效果，为构建更鲁棒的NLP系统奠定基础。
2025-06-10 cs.CL cs.CR
Adversarial Training with Contrastive Learning in NLP
Handong Global University（韩东全球大学）
多年来，对抗训练在自然语言处理（NLP）环境中得到了广泛的研究。主要目标是使模型鲁棒，以便相似的输入产生语义相似的结果，这不是一个微不足道的问题，因为语言中没有客观的语义相似性度量。以前的作品使用外部预训练的NLP模型来应对这一挑战，在训练过程中引入了额外的训练阶段，消耗了大量的内存。然而，最近流行的语言处理中的对比学习方法暗示了一种获得这种相似性限制的方便方法。对比学习方法的主要优点是，它的目标是将相似的数据点映射到彼此接近，并远离表示空间中的不同数据点。在这项工作中，我们提出了带有对比学习的对抗训练（ATCL），利用对比学习的好处来对抗性地训练语言处理任务。其核心思想是通过快速梯度法（FGM）在输入的嵌入空间中进行线性扰动，并通过对比学习训练模型以保持原始表示和扰动表示接近。在NLP实验中，我们将ATCL应用于语言建模和神经机器翻译任务。结果表明，与基线相比，ATCL不仅在定量（困惑度和BLEU）得分上有所改善，而且在不使用预训练模型的情况下，ATCL还在语义层面上实现了良好的定性结果。
2021-09-19 cs.CL
Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble
Fudan University（复旦大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管神经网络在许多自然语言处理（NLP）任务上取得了突出的性能，但它们很容易受到对抗性示例的影响。在本文中，我们提出了Dirichlet邻域增强（DNE），一个随机平滑的方法来训练一个强大的模型，以防御基于替换的攻击。在训练过程中，DNE通过从由单词及其同义词构成的凸包中对输入句子中的每个单词的嵌入向量进行采样来形成虚拟句子，并使用训练数据对其进行扩充。通过这种方式，该模型对对抗攻击具有鲁棒性，同时保持原始干净数据的性能。DNE对网络架构是不可知的，并可扩展到NLP应用程序的大型模型。我们通过大量的实验证明，我们的方法始终优于最近提出的防御方法，在不同的网络架构和多个数据集的显着保证金。
2020-06-20 cs.CL cs.LG
Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
University of Virginia（弗吉尼亚大学）
我们研究了几种黑盒搜索算法的行为，这些算法用于为自然语言处理（NLP）任务生成对抗性示例。我们对与搜索相关的三个元素进行细粒度分析：搜索算法、搜索空间和搜索预算。在过去的工作中，当新的搜索算法被提出时，攻击搜索空间经常随着搜索算法而被修改。在没有消融研究基准的情况下，搜索算法随着搜索空间保持恒定而变化，人们无法判断攻击成功率的增加是由于改进的搜索算法还是限制较少的搜索空间。此外，许多以前的研究未能正确考虑搜索算法的运行时成本，这对于对抗训练等下游任务至关重要。我们的实验提供了一个可重复的基准搜索算法在各种搜索空间和查询预算，以指导未来的研究在对抗性NLP。基于我们的实验，我们建议贪婪攻击字的重要性排名时，在一个时间限制或攻击长的输入，或者束搜索或粒子群优化，否则。通过https://github.com/QData/TextAttack-Search-Benchmark共享代码实现
2020-10-12 cs.AI cs.CL cs.CR
What Learned Representations and Influence Functions Can Tell Us About Adversarial Examples
Macquarie University（麦考瑞大学）
本文将图像处理中的两种对抗样本检测方法（基于最近邻与影响函数、基于马氏距离）适配到NLP，其中前者达到最先进性能，并通过影响函数揭示NLP与图像处理中对抗子空间的联系与差异。
2023-10-10 cs.CL cs.LG
TextDefense: Adversarial Text Detection based on Word Importance Entropy
Zhejiang University（浙江大学）；Shandong University（山东大学）；National University of Defense Technology（国防科技大学）
当前，自然语言处理（NLP）模型被广泛用于各种场景。然而，NLP模型，像所有的深度模型一样，很容易受到逆向生成文本的影响。许多工作一直致力于减轻来自对抗攻击的脆弱性。然而，有没有全面的防御，在现有的作品中，每个工作针对一个特定的攻击类别或遭受的计算开销的限制，不可抗拒的自适应攻击等。在本文中，我们详尽地调查了自然语言处理中的对抗攻击算法，我们的实证研究发现，攻击算法主要是破坏文本中的单词的重要性分布。一个经过良好训练的模型可以区分干净文本和对抗性文本之间细微的重要性分布差异。基于这种直觉，我们提出了TextDefense，这是一种新的对抗性示例检测框架，它利用目标模型的能力来防御对抗攻击，同时不需要先验知识。TextDefense与以前的方法不同，它利用目标模型进行检测，因此与攻击类型无关。我们广泛的实验表明，TextDefense可以应用于不同的架构，数据集和攻击方法，并优于现有的方法。我们还发现，影响TextDefense性能的主要因素是目标模型的泛化能力。通过分析目标模型的性质和对抗样本的性质，对自然语言处理中的对抗攻击进行了深入的分析，并提出了相应的防御方法。
2023-02-12 cs.AI cs.CL cs.CR
Residue-Based Natural Language Adversarial Attack Detection
ALTA Institute（ALTA研究所）；Cambridge University（剑桥大学）
基于深度学习的系统容易受到对抗攻击的影响，在这种攻击中，输入端的微小、不可感知的变化会改变模型预测。然而，到目前为止，大多数检测这些攻击的方法都是针对图像处理系统设计的。许多流行的图像对抗性检测方法能够从嵌入特征空间中识别对抗性示例，而在NLP领域，现有的最先进的检测方法仅关注输入文本特征，而不考虑模型嵌入空间。这项工作研究了将这些图像设计策略移植到自然语言处理（NLP）任务时会产生什么样的差异-发现这些检测器不能很好地移植。这是意料之中的，因为NLP系统具有非常不同的输入形式：本质上是离散和顺序的，而不是连续和固定大小的图像输入。作为一种等价的模型聚焦的NLP检测方法，本文提出了一种简单的基于嵌入“残差”的检测器来识别对抗性样本。在许多任务上，它的性能优于移植的图像域检测器和最新的NLP特定检测器。
2022-09-25 cs.AI cs.CL
"That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks
TU Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对NLP对抗攻击防御研究较少的问题，提出一种与模型无关的对抗文本检测器，通过分析扰动输入文本时目标分类器logits的变化模式来识别攻击，显著提升了识别性能并具备跨模型、数据集和攻击的泛化能力。
2023-06-29 cs.AI cs.CL cs.LG
Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP
IBM Research（IBM研究院）
一个对抗性的例子是一个输入被小扰动所转换，机器学习模型总是错误分类。虽然有许多方法可以为文本数据生成对抗性示例，但评估这些对抗性示例的质量并不是微不足道的，因为微小的扰动（例如改变句子中的一个词）可能会导致其含义，可读性和分类标签的显著变化。在本文中，我们提出了一个由一组自动评估指标和人类评估准则组成的评估框架，以严格评估基于上述属性的对抗性示例的质量。我们用六种基准攻击方法进行了实验，发现一些方法生成的对抗性示例可读性和内容保护性都很差。我们还了解到，多种因素可能会影响攻击性能，例如文本输入的长度和分类器的结构。
2020-06-01 cs.CL cs.LG
On Adversarial Examples for Biomedical NLP Tasks
Pontificia Universidad Católica de Chile（智利天主教大学）
预训练词嵌入的成功激发了其在生物医学领域任务中的使用。BERT语言模型在命名实体识别（NER）和语义文本相似性（STS）等任务的标准性能指标上表现出了显著的效果，这为自然语言处理领域带来了重大进展。然而，目前还不清楚这些系统是否在关键领域（如法律或医疗）工作得很好。出于这个原因，在这项工作中，我们提出了一个对抗性的评估方案，对两个著名的数据集的医疗NER和STS。我们提出了两种类型的攻击的灵感来自自然的拼写错误和错别字由人类。我们还提出了另一种类型的攻击，使用医学术语的同义词。在这些对抗性设置下，模型的准确性显着下降，我们量化了这种性能损失的程度。我们还表明，我们可以通过使用对抗性示例训练模型来显着提高模型的鲁棒性。我们希望我们的工作将激励使用对抗性示例来评估和开发具有更高鲁棒性的医疗任务模型。
2020-04-23 cs.CL cs.LG
MockingBERT: A Method for Retroactively Adding Resilience to NLP Models
Hedgefrog Software LLC（赫奇福格软件有限责任公司）；Salesforce Inc.（赛富时公司）
保护NLP模型不受拼写错误的影响，无论是偶然的还是对抗性的，这一直是过去几年的研究兴趣。现有的补救措施通常会影响准确性，或者需要对每种新的攻击类别进行完整的模型重新训练。我们提出了一种新的方法，可以追溯性地为基于transformer的NLP模型添加对拼写错误的恢复能力。这种鲁棒性可以在不需要重新训练原始NLP模型的情况下实现，并且在没有拼写错误的情况下对输入的语言理解性能的损失最小。此外，我们提出了一种新的有效的近似方法生成对抗性拼写错误，这显着降低了所需的成本，以评估模型的弹性对抗攻击。
2022-08-21 cs.CL
TextGrad: Advancing Robustness Evaluation in NLP by Gradient-Driven Optimization
UC Santa Barbara（加州大学圣巴巴拉分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
对抗性示例的鲁棒性评估对于揭示自然语言处理（NLP）中流行的深度模型的可信度变得越来越重要。然而，在计算机视觉领域中，一阶投影梯度下降（PGD）被用作基准方法来生成对抗性示例以进行鲁棒性评估，与此相反，在NLP中缺乏原则性的基于一阶梯度的鲁棒性评估框架。新出现的优化挑战在于1）文本输入的离散性质以及扰动位置与实际内容之间的强耦合，以及2）扰动文本应该流畅并且在语言模型下实现低困惑度的附加约束。这些挑战使得开发类似于PGD的NLP攻击变得困难。为了弥补这一差距，我们提出了TextGrad，这是一种使用梯度驱动优化的新攻击生成器，支持NLP中对抗鲁棒性的高精度和高质量评估。具体来说，我们在一个统一的优化框架中解决了上述挑战。我们开发了一种有效的凸松弛方法来共同优化连续松弛的选址和扰动变量，并利用一种有效的采样方法来建立从连续优化变量到离散文本扰动的精确映射。此外，作为一阶攻击生成方法，TextGrad可以被烘焙到对抗训练中，以进一步提高NLP模型的鲁棒性。大量的实验证明了TextGrad的有效性，不仅在攻击生成的鲁棒性评估，而且在对抗性防御。
2022-12-19 cs.CL
Sample Attackability in Natural Language Adversarial Attacks
University of Cambridge（剑桥大学）
本研究正式定义NLP攻击中的样本可攻击性/鲁棒性，实验表明深度学习检测器优于样本不确定性方法，但不同攻击方法间可攻击性共识低，影响检测方法可移植性。
2023-06-21 cs.AI cs.CL
