Adversarial Training with Contrastive Learning in NLP
Handong Global University（韩东全球大学）
多年来，对抗训练在自然语言处理（NLP）环境中得到了广泛的研究。主要目标是使模型鲁棒，以便相似的输入产生语义相似的结果，这不是一个微不足道的问题，因为语言中没有客观的语义相似性度量。以前的作品使用外部预训练的NLP模型来应对这一挑战，在训练过程中引入了额外的训练阶段，消耗了大量的内存。然而，最近流行的语言处理中的对比学习方法暗示了一种获得这种相似性限制的方便方法。对比学习方法的主要优点是，它的目标是将相似的数据点映射到彼此接近，并远离表示空间中的不同数据点。在这项工作中，我们提出了带有对比学习的对抗训练（ATCL），利用对比学习的好处来对抗性地训练语言处理任务。其核心思想是通过快速梯度法（FGM）在输入的嵌入空间中进行线性扰动，并通过对比学习训练模型以保持原始表示和扰动表示接近。在NLP实验中，我们将ATCL应用于语言建模和神经机器翻译任务。结果表明，与基线相比，ATCL不仅在定量（困惑度和BLEU）得分上有所改善，而且在不使用预训练模型的情况下，ATCL还在语义层面上实现了良好的定性结果。
2021-09-19 cs.CL
MockingBERT: A Method for Retroactively Adding Resilience to NLP Models
Hedgefrog Software LLC（赫奇福格软件有限责任公司）；Salesforce Inc.（赛富时公司）
保护NLP模型不受拼写错误的影响，无论是偶然的还是对抗性的，这一直是过去几年的研究兴趣。现有的补救措施通常会影响准确性，或者需要对每种新的攻击类别进行完整的模型重新训练。我们提出了一种新的方法，可以追溯性地为基于transformer的NLP模型添加对拼写错误的恢复能力。这种鲁棒性可以在不需要重新训练原始NLP模型的情况下实现，并且在没有拼写错误的情况下对输入的语言理解性能的损失最小。此外，我们提出了一种新的有效的近似方法生成对抗性拼写错误，这显着降低了所需的成本，以评估模型的弹性对抗攻击。
2022-08-21 cs.CL
TextGrad: Advancing Robustness Evaluation in NLP by Gradient-Driven Optimization
UC Santa Barbara（加州大学圣巴巴拉分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
对抗性示例的鲁棒性评估对于揭示自然语言处理（NLP）中流行的深度模型的可信度变得越来越重要。然而，在计算机视觉领域中，一阶投影梯度下降（PGD）被用作基准方法来生成对抗性示例以进行鲁棒性评估，与此相反，在NLP中缺乏原则性的基于一阶梯度的鲁棒性评估框架。新出现的优化挑战在于1）文本输入的离散性质以及扰动位置与实际内容之间的强耦合，以及2）扰动文本应该流畅并且在语言模型下实现低困惑度的附加约束。这些挑战使得开发类似于PGD的NLP攻击变得困难。为了弥补这一差距，我们提出了TextGrad，这是一种使用梯度驱动优化的新攻击生成器，支持NLP中对抗鲁棒性的高精度和高质量评估。具体来说，我们在一个统一的优化框架中解决了上述挑战。我们开发了一种有效的凸松弛方法来共同优化连续松弛的选址和扰动变量，并利用一种有效的采样方法来建立从连续优化变量到离散文本扰动的精确映射。此外，作为一阶攻击生成方法，TextGrad可以被烘焙到对抗训练中，以进一步提高NLP模型的鲁棒性。大量的实验证明了TextGrad的有效性，不仅在攻击生成的鲁棒性评估，而且在对抗性防御。
2022-12-19 cs.CL
Towards Improving Adversarial Training of NLP Models
University of Virginia（弗吉尼亚大学）
对抗性训练是一种用于学习鲁棒深度神经网络的方法，在训练期间构建对抗性示例。然而，最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此，使用普通对抗训练来提高NLP模型的性能仍然具有挑战性，并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程，我们称之为攻击训练（A2T）。A2T的核心部分是一种新的、更便宜的词替换攻击，针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明，它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性，并且还可以保护模型免受其他类型的单词替换攻击。此外，我们表明，A2T可以提高NLP模型的标准精度，跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
Advancing NLP Security by Leveraging LLMs as Adversarial Engines
Center for AI Security Research（人工智能安全研究中心）
本文提出将 LLM 用作多样化对抗攻击生成引擎，扩展词级攻击至补丁、通用扰动和定向攻击，以发现漏洞并提升 NLP 系统安全性。
2024-10-23 cs.AI cs.CL
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
虽然已经有大量的研究使用对抗攻击来分析NLP模型，但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack，这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击：目标函数，一组约束，转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现，并支持各种模型和数据集，包括BERT和其他Transformers，以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块，用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化：任何人都可以在任何模型或数据集上尝试数据增强和对抗训练，只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Improving the robustness and accuracy of biomedical language models through adversarial training
Medical University of Vienna（维也纳医科大学）
深度Transformer神经网络模型提高了生物医学领域智能文本处理系统的预测精度。他们在各种生物医学和临床自然语言处理（NLP）基准测试中获得了最先进的性能分数。然而，这些模型的鲁棒性和可靠性迄今为止还没有得到充分的研究。神经NLP模型很容易被对抗性样本欺骗，即对输入进行微小的更改，保留文本的含义和可理解性，但迫使NLP系统做出错误的决定。这引起了人们对生物医学NLP系统的安全性和可信度的严重担忧，特别是当它们打算部署在现实世界的用例中时。我们研究了几个Transformer神经语言模型，即BioBERT，SciBERT，BioMed-RoBERTa和Bio-ClinicalBERT，在广泛的生物医学和临床文本处理任务的鲁棒性。我们实现了各种对抗攻击方法来测试不同攻击场景下的NLP系统。实验结果表明，生物医学NLP模型对对抗性样本敏感;它们的性能在字符级和单词级对抗性噪声上分别平均下降了21%和18.9%。通过进行广泛的对抗性训练实验，我们在干净样本和对抗性输入的混合上微调了NLP模型。结果表明，对抗性训练是对抗性噪声的有效防御机制;模型的鲁棒性平均提高了11.3%。此外，模型在干净数据上的性能平均提高了2.4个绝对值，这表明对抗性训练可以提高生物医学NLP系统的泛化能力。
2021-11-16 cs.AI cs.CL
A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement
University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
近年来，NLP模型在金融、医疗、新闻媒体等关键领域得到了广泛应用，引起了人们对模型鲁棒性和脆弱性的关注。在本文中，我们提出了一种新的基于网络的对抗攻击妥协NLP模型和鲁棒性增强技术。我们首先为每个实例构建恶意提示，并在恶意目的的影响下通过掩码和填充生成对抗性示例。我们的攻击技术针对NLP模型的固有漏洞，即使不与受害者NLP模型交互，只要它基于预训练的语言模型（PLM），我们也可以生成样本。此外，我们设计了一种基于神经网络的对抗训练方法，以提高PLM的鲁棒性。由于我们的训练方法实际上不会生成对抗样本，因此它可以有效地应用于大规模训练集。实验结果表明，我们的攻击方法可以实现更多样化，流畅和自然的对抗性的例子，攻击成功率高。此外，我们的鲁棒性增强方法可以显着提高模型抵抗对抗攻击的鲁棒性。我们的工作表明，激励范式有很大的潜力，在探测PLM的一些根本缺陷和微调他们的下游任务。
2022-03-21 cs.CL
From Hero to Zéroe: A Benchmark of Low-Level Adversarial Attacks
Technische Universität Darmstadt（达姆施塔特工业大学）
对抗攻击是对机器学习分类器输入的标签保留修改，旨在欺骗机器而不是人类。自然语言处理（NLP）主要集中在高级攻击场景，如释义输入文本。我们认为，这些在典型的应用场景中（如社交媒体）不太现实，而是专注于角色级别的低级别攻击。在人类认知能力和人类鲁棒性的指导下，我们提出了第一个大规模的低级别对抗攻击目录和基准，我们称之为Zéroe，包括9种不同的攻击模式，包括视觉和语音对手。我们表明，RoberTa，NLP目前的主力，在我们的攻击失败。我们的数据集为测试未来更像人类的NLP模型的鲁棒性提供了基准。
2020-10-28 cs.CL
Faithfulness and the Notion of Adversarial Sensitivity in NLP Explanations
SRM University AP（SRM大学AP分校）
针对自然语言处理解释忠实性评估方法存在差异和偏差的问题，提出对抗敏感性新方法，通过捕捉解释器对模型对抗攻击下输入变化的响应评估忠实性，解决现有技术局限并从新范式量化该指标。
2024-10-09 cs.AI cs.CL
Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
尽管深度神经网络（DNN）在自然语言处理（NLP）等许多领域取得了巨大的成功，但它们也被证明容易受到恶意生成的对抗性示例的攻击。这种固有的漏洞已经威胁到各种现实世界部署的基于DNN的应用程序。为了增强模型的鲁棒性，在英语NLP领域提出了几种对策，并取得了令人满意的效果。然而，由于中文独特的语言属性，将现有的防御扩展到中文领域并非易事。因此，我们提出了AdvGraph，这是一种新的防御方法，通过将对抗性知识纳入输入的语义表示来增强基于中文的NLP模型的鲁棒性。在两个真实世界任务上的广泛实验表明，与以前的工作相比，AdvGraph表现出更好的性能：（i）有效-即使在自适应攻击设置下，它也显着增强了模型的鲁棒性，而不会对合法输入的模型性能产生负面影响;（ii）通用-其关键组件，即，隐含对抗知识的表示是任务不可知的，可以在任何基于中文的NLP模型中重用，而无需重新训练;（iii）高效-它是具有次线性计算复杂性的轻量级防御，可以保证实际场景中所需的效率。
2021-02-23 cs.CL
Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble
Fudan University（复旦大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管神经网络在许多自然语言处理（NLP）任务上取得了突出的性能，但它们很容易受到对抗性示例的影响。在本文中，我们提出了Dirichlet邻域增强（DNE），一个随机平滑的方法来训练一个强大的模型，以防御基于替换的攻击。在训练过程中，DNE通过从由单词及其同义词构成的凸包中对输入句子中的每个单词的嵌入向量进行采样来形成虚拟句子，并使用训练数据对其进行扩充。通过这种方式，该模型对对抗攻击具有鲁棒性，同时保持原始干净数据的性能。DNE对网络架构是不可知的，并可扩展到NLP应用程序的大型模型。我们通过大量的实验证明，我们的方法始终优于最近提出的防御方法，在不同的网络架构和多个数据集的显着保证金。
2020-06-20 cs.CL cs.LG
What Learned Representations and Influence Functions Can Tell Us About Adversarial Examples
Macquarie University（麦考瑞大学）
本文将图像处理中的两种对抗样本检测方法（基于最近邻与影响函数、基于马氏距离）适配到NLP，其中前者达到最先进性能，并通过影响函数揭示NLP与图像处理中对抗子空间的联系与差异。
2023-10-10 cs.CL cs.LG
Residue-Based Natural Language Adversarial Attack Detection
ALTA Institute（ALTA研究所）；Cambridge University（剑桥大学）
基于深度学习的系统容易受到对抗攻击的影响，在这种攻击中，输入端的微小、不可感知的变化会改变模型预测。然而，到目前为止，大多数检测这些攻击的方法都是针对图像处理系统设计的。许多流行的图像对抗性检测方法能够从嵌入特征空间中识别对抗性示例，而在NLP领域，现有的最先进的检测方法仅关注输入文本特征，而不考虑模型嵌入空间。这项工作研究了将这些图像设计策略移植到自然语言处理（NLP）任务时会产生什么样的差异-发现这些检测器不能很好地移植。这是意料之中的，因为NLP系统具有非常不同的输入形式：本质上是离散和顺序的，而不是连续和固定大小的图像输入。作为一种等价的模型聚焦的NLP检测方法，本文提出了一种简单的基于嵌入“残差”的检测器来识别对抗性样本。在许多任务上，它的性能优于移植的图像域检测器和最新的NLP特定检测器。
2022-09-25 cs.AI cs.CL
Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP
IBM Research（IBM研究院）
一个对抗性的例子是一个输入被小扰动所转换，机器学习模型总是错误分类。虽然有许多方法可以为文本数据生成对抗性示例，但评估这些对抗性示例的质量并不是微不足道的，因为微小的扰动（例如改变句子中的一个词）可能会导致其含义，可读性和分类标签的显著变化。在本文中，我们提出了一个由一组自动评估指标和人类评估准则组成的评估框架，以严格评估基于上述属性的对抗性示例的质量。我们用六种基准攻击方法进行了实验，发现一些方法生成的对抗性示例可读性和内容保护性都很差。我们还了解到，多种因素可能会影响攻击性能，例如文本输入的长度和分类器的结构。
2020-06-01 cs.CL cs.LG
On Adversarial Examples for Biomedical NLP Tasks
Pontificia Universidad Católica de Chile（智利天主教大学）
预训练词嵌入的成功激发了其在生物医学领域任务中的使用。BERT语言模型在命名实体识别（NER）和语义文本相似性（STS）等任务的标准性能指标上表现出了显著的效果，这为自然语言处理领域带来了重大进展。然而，目前还不清楚这些系统是否在关键领域（如法律或医疗）工作得很好。出于这个原因，在这项工作中，我们提出了一个对抗性的评估方案，对两个著名的数据集的医疗NER和STS。我们提出了两种类型的攻击的灵感来自自然的拼写错误和错别字由人类。我们还提出了另一种类型的攻击，使用医学术语的同义词。在这些对抗性设置下，模型的准确性显着下降，我们量化了这种性能损失的程度。我们还表明，我们可以通过使用对抗性示例训练模型来显着提高模型的鲁棒性。我们希望我们的工作将激励使用对抗性示例来评估和开发具有更高鲁棒性的医疗任务模型。
2020-04-23 cs.CL cs.LG
Why Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in Adversarial NLP
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Chongqing University（重庆大学）
文本对抗样本在NLP研究的多个子领域中发挥着重要作用，包括安全性，评估，可解释性和数据增强。然而，大多数工作混合了所有这些角色，模糊了安全角色的问题定义和研究目标，旨在揭示NLP模型的实际问题。本文对安全场景中文本对抗样本的研究范式进行了重新思考。我们讨论了以前工作中的不足之处，并提出我们的建议，面向安全的对抗性NLP（SoadNLP）的研究应该：（1）评估他们的安全任务的方法，以证明现实世界的关注;（2）考虑现实世界的攻击者的目标，而不是开发不切实际的方法。为此，我们首先收集、处理并发布一个安全数据集集合Advbench。然后，我们重新形式化的任务，并调整SoadNLP中不同目标的重点。接下来，我们提出了一种基于启发式规则的简单方法，可以很容易地实现实际的对抗目标来模拟现实世界的攻击方法。我们在Advbench上对攻击方和防御方进行了实验。实验结果表明，该方法具有较高的实用价值，表明SoadNLP的研究范式可以从我们的新基准开始。Advbench的所有代码和数据都可以在\url{https://github.com/thunlp/Advbench}上获得。
2022-10-19 cs.CL cs.CR cs.LG
SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification
The Hong Kong University of Science and Technology（香港科技大学）
本文提出无需标签的自监督对比学习框架 SCAT，通过无标签方式生成对抗样本并进行对抗训练，在文本分类任务上既能从头训练鲁棒模型，也能提升预训练模型的鲁棒性。
2023-07-04 cs.CL
The Annotation Bottleneck in Persian Text NLP: Persian as an Annotation-Scarce Language
本文提出波斯语是标注稀缺而非单纯低资源语言，通过三项定量交叉验证分析其34种文本资源，发现标注稀缺源于任务领域覆盖不均等问题，而非整体标注量不足。
2026-08-26 cs.CL
Identifying Human Strategies for Generating Word-Level Adversarial Examples
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
NLP中的对抗性示例正受到越来越多的研究关注。研究的一条线是生成针对微调的Transformer模型的单词级对抗性示例，这些模型保留了自然性和语法性。以前的工作发现，人类和机器生成的对抗性示例在自然性和语法正确性方面具有可比性。最值得注意的是，人类能够比自动攻击更轻松地生成对抗性示例。在本文中，我们详细分析了人类如何创建这些对抗性示例。通过探索人类工作者在生成过程中的行为模式，我们根据人类更喜欢选择哪些词进行对抗性替换（例如，词频率、词显著性、情感）以及在输入序列中词被替换的位置和时间。通过我们的研究结果，我们试图激励人们努力利用人类策略来构建更强大的NLP模型。
2022-10-20 cs.CL
From Automation to Collaboration: Human-in-the-Loop Methods for Safe and Trustworthy NLP
Department of Computer Science and Engineering, BRAC University（布拉克大学计算机科学与工程系）；Department of Electrical and Electronic Engineering, Rajshahi University of Engineering and Technology（拉贾沙希工程与技术大学电子与电气工程系）
本文综述了人机协同方法，通过人类监督支持审计、鲁棒性评估、数据构建和模型引导，以提升NLP在安全可信方面的表现，并指出了可扩展探测、可持续鲁棒性基准、低资源设置和私有系统治理等方面的差距。
2026-05-24 cs.CL
"That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks
TU Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对NLP对抗攻击防御研究较少的问题，提出一种与模型无关的对抗文本检测器，通过分析扰动输入文本时目标分类器logits的变化模式来识别攻击，显著提升了识别性能并具备跨模型、数据集和攻击的泛化能力。
2023-06-29 cs.AI cs.CL cs.LG
Sample Attackability in Natural Language Adversarial Attacks
University of Cambridge（剑桥大学）
本研究正式定义NLP攻击中的样本可攻击性/鲁棒性，实验表明深度学习检测器优于样本不确定性方法，但不同攻击方法间可攻击性共识低，影响检测方法可移植性。
2023-06-21 cs.AI cs.CL
Adversarial Attack and Defense of Structured Prediction Models
National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
构建有效的对抗性攻击器并详细阐述针对自然语言处理（NLP）的对抗攻击的对策近年来吸引了大量的研究。然而，大多数现有的方法集中在分类问题。在本文中，我们研究了NLP中结构化预测任务的攻击和防御。除了在任何NLP任务中攻击者面临的扰动离散单词和句子流畅性问题的困难之外，结构化预测模型的攻击者还面临着一个特殊的挑战：结构化预测模型的结构化输出对输入中的小扰动很敏感。为了解决这些问题，我们提出了一个新的和统一的框架，学习攻击的结构化预测模型使用序列到序列模型，从多个参考模型的反馈相同的结构化预测任务。基于所提出的攻击，我们通过对抗性训练进一步加强了受害者模型，使其预测更加鲁棒和准确。我们在依存句法分析和词性标注中评估了所提出的框架。自动和人工评估表明，我们提出的框架成功地攻击了最先进的结构化预测模型，并通过对抗性训练增强了它们。
2020-10-18 cs.CL
Model-tuning Via Prompts Makes NLP Models Adversarially Robust
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Science (IISc)（印度科学学院）
本文提出通过提示模板进行下游适配的 MVP 方法，在多数据集、攻击和模型上显著提升 NLP 对抗鲁棒性，并揭示 MLP-FT 脆弱源于任务错配与随机初始化参数。
2023-12-06 cs.CL cs.LG
Adversarial Capsule Networks for Romanian Satire Detection and Sentiment Analysis
University Politehnica of Bucharest（布加勒斯特理工大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研发院）
针对罗马尼亚语NLP资源不足的问题，本研究结合对抗训练与胶囊网络改进经典NLP模型，用于讽刺检测与情感分析，准确率最高达99.08%，优于现有方法。
2023-06-13 cs.CL
FastWordBug: A Fast Method To Generate Adversarial Text Against NLP Applications
Baidu X-Lab（百度研究院深度学习实验室）
在本文中，我们提出了一种新的算法，FastWordBug，有效地产生小文本扰动的黑盒设置，迫使一个情感分析或文本分类模式作出不正确的预测。通过结合词的词性属性，提出了一种能够快速识别影响文本分类的重要词的评分方法。我们评估FastWordBug在三个真实世界的文本数据集和两个国家的最先进的机器学习模型下黑盒设置。结果表明，我们的方法可以显著降低模型的准确性，同时可以尽可能少地调用模型，具有最高的攻击效率。我们还攻击了两个流行的真实世界的NLP云服务，结果表明，我们的方法也工作。
2020-01-31 cs.CL cs.CR
Adversarial Attacks and Defense for Conversation Entailment Task
University of Michigan（密歇根大学）
本文研究对话蕴含任务中大语言模型对同义词替换对抗攻击的脆弱性，通过创新微调技术和嵌入扰动损失方法显著提升模型鲁棒性，为可靠NLP应用提供防御方案。
2024-05-02 cs.AI cs.CL
Gradient Masters at BLP-2025 Task 1: Advancing Low-Resource NLP for Bengali using Ensemble-Based Adversarial Training for Hate Speech Detection
SUST（斯瓦希里大学）
本文提出基于集成的对抗训练方法，用于孟加拉语低资源NLP中的仇恨言论检测，提升了子任务的分类性能。
2025-11-23 cs.CL
TextKD-GAN: Text Generation using KnowledgeDistillation and Generative Adversarial Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
文本生成在许多NLP应用中特别重要，例如机器翻译、语言建模和文本摘要。生成对抗网络（GANs）在计算机视觉中的高质量图像生成方面取得了显着的成功，最近，GANs也引起了NLP社区的极大兴趣。然而，由于文本的离散性，在NLP中取得类似的成功将更具挑战性。在这项工作中，我们介绍了一种方法，使用知识蒸馏，有效地利用GAN设置文本生成。我们演示了自动编码器（AE）如何用于提供句子的连续表示，这是一种将非零概率分配给多个单词的平滑表示。我们提取该表示来训练生成器以合成类似的平滑表示。我们使用不同的数据集进行了一些实验来验证我们的想法，并表明与传统的基于GAN的文本生成方法相比，我们提出的方法在BLEU得分和Jensen-Shannon距离（JSD）度量方面具有更好的性能。
2019-04-23 cs.CL
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tencent（腾讯）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
针对自然语言处理系统的对抗攻击，对输入进行看似无害的修改，可能会导致目标模型的任意错误。虽然引起了极大的关注，但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成（例如，图像），生成保留原始含义的对抗性文本是具有挑战性的，因为文本空间是离散的和不可微的。为了应对这些挑战，我们提出了一个目标可控的对抗攻击框架T3，它适用于一系列NLP任务。特别是，我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间，在此基础上，我们优化了对抗扰动。一种新的基于树的解码器，然后应用到正则化生成的文本的语法正确性，并操纵它的句子（T3（发送））或单词（T3（字））的水平。我们考虑两个最具代表性的NLP任务：情感分析和问答（QA）。大量的实验结果和人类研究表明，T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案，而不会误导人类。此外，我们还证明了生成的对抗性文本具有很高的可转移性，这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
Randomized Smoothing with Masked Inference for Adversarially Robust Text Classifications
Nanyang Technological University（南洋理工大学）；Salesforce AI（Salesforce人工智能研究院）；Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术科学学院）；A*STAR（新加坡科技研究局）
提出RSMI框架，结合随机平滑与掩码推理，将文本分类对抗鲁棒性提升2至3倍，并通过实验验证其有效性。
2023-05-11 cs.AI cs.CL
Adversarial Evaluation for Models of Natural Language
Carnegie Mellon University（卡内基梅隆大学）
我们现在有一套丰富且不断增长的建模工具和算法，用于从未完全注释的文本中归纳语言结构。在本文中，我们讨论了我们目前的方法的一些弱点。我们提出了一个新的抽象框架评估自然语言处理（NLP）模型一般和无监督的NLP模型。中心思想是明确研究人员之间的某些对抗性角色，以便更明确地界定评价中的不同角色，并为所有角色的执行者提供为更大目标做出可衡量贡献的方法。采用这种方法可能有助于通过鼓励更早地考虑误差分析来表征模型的成功和失败。该框架可以以多种方式实例化，模拟一些熟悉的内在和外在评估以及一些新的评估。
2012-07-15 cs.CL
Extreme Miscalibration and the Illusion of Adversarial Robustness
Amazon（亚马逊公司）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Cambridge（剑桥大学）
本文揭示了误校准模型会掩盖梯度从而造成对抗鲁棒性提升的错觉（IOR），指出通过测试时温度校准可消除此干扰以找到对抗样本，并建议将其纳入鲁棒性评估，同时提出训练时缩放温度以增强真实鲁棒性。
2024-10-13 cs.CL
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校自然科学学院）
本文提出利用LLM自动生成多样化对比集，并在SNLI上构建3000样本对比集，通过微调提升模型鲁棒性和泛化能力，为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
Expanding Scope: Adapting English Adversarial Attacks to Chinese
University of Virginia（弗吉尼亚大学）
本文研究英文SOTA对抗攻击向中文的适配，表明结合中文分词、语言约束及形态音韵特征可生成流畅且语义一致的对抗样本，用于增强中文NLP模型鲁棒性。
2023-06-08 cs.AI cs.CL cs.CR
Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
University of Virginia（弗吉尼亚大学）
我们研究了几种黑盒搜索算法的行为，这些算法用于为自然语言处理（NLP）任务生成对抗性示例。我们对与搜索相关的三个元素进行细粒度分析：搜索算法、搜索空间和搜索预算。在过去的工作中，当新的搜索算法被提出时，攻击搜索空间经常随着搜索算法而被修改。在没有消融研究基准的情况下，搜索算法随着搜索空间保持恒定而变化，人们无法判断攻击成功率的增加是由于改进的搜索算法还是限制较少的搜索空间。此外，许多以前的研究未能正确考虑搜索算法的运行时成本，这对于对抗训练等下游任务至关重要。我们的实验提供了一个可重复的基准搜索算法在各种搜索空间和查询预算，以指导未来的研究在对抗性NLP。基于我们的实验，我们建议贪婪攻击字的重要性排名时，在一个时间限制或攻击长的输入，或者束搜索或粒子群优化，否则。通过https://github.com/QData/TextAttack-Search-Benchmark共享代码实现
2020-10-12 cs.AI cs.CL cs.CR
Universal Adversarial Triggers for Attacking and Analyzing NLP
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Maryland（马里兰大学）；University of California, Irvine（加州大学欧文分校）
对抗性示例突出了模型的脆弱性，对于评估和解释非常有用。我们定义了通用对抗触发器：输入不可知的令牌序列，当与数据集的任何输入连接时，触发模型产生特定的预测。我们提出了一种梯度引导的令牌搜索，找到短的触发序列（例如，一个词用于分类，四个词用于语言建模），其成功地触发了目标预测。例如，触发器导致SNLI蕴涵准确率从89.94%下降到0.55%，SQuAD中72%的“为什么”问题被回答为“杀死美国人”，GPT-2语言模型即使在非种族背景下也会喷出种族主义输出。此外，尽管触发器使用白盒访问特定模型进行了优化，但它们会转移到我们考虑的所有任务的其他模型。最后，由于触发器与输入无关，因此它们提供了对全局模型行为的分析。例如，他们证实SNLI模型利用了数据集偏见，并有助于诊断阅读理解模型所学习的知识。
2021-01-03 cs.CL cs.LG
Adversarial Training for Machine Reading Comprehension with Virtual Embeddings
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；University of Maryland（马里兰大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
对抗性训练（AT）作为一种正则化方法，已经证明了它在各种任务上的有效性。虽然在一些自然语言处理任务上已经有了成功的应用，但是自然语言处理任务的显著特征还没有被充分利用。在本文中，我们的目标是应用AT的机器阅读理解（MRC）的任务。此外，我们通过提出一种名为PQAT的新型对抗训练方法来适应MRC任务，该方法扰动嵌入矩阵而不是词向量。为了区分段落和问题的角色，PQAT使用额外的虚拟P/Q嵌入矩阵来分别从段落和问题中收集单词的全局扰动。我们测试了广泛的MRC任务，包括跨度为基础的提取RC和多项选择RC的方法。实验结果表明，对抗性训练具有普遍的有效性，PQAT进一步提高了性能。
2021-06-08 cs.CL
Emoti-Attack: Zero-Perturbation Adversarial Attacks on NLP Systems via Emoji Sequences
Lanzhou University（兰州大学）
提出Emoji-Attack，一种通过表情符号序列实现零扰动对抗攻击的新方法，在大型和小型NLP模型上均展现强攻击性能，为增强对抗鲁棒性提供新途径。
2025-02-24 cs.AI cs.CL cs.CR
Adversarial Training for Large Neural Language Models
Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI（微软 Dynamics 365 AI）
泛化和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性，但过去的工作经常发现它会损害泛化。在自然语言处理（NLP）中，预训练大型神经语言模型（如BERT）在各种任务的泛化方面表现出令人印象深刻的增益，并通过对抗性微调进一步改进。然而，这些模型仍然容易受到对抗攻击。在本文中，我们证明了对抗性预训练可以提高泛化能力和鲁棒性。我们提出了一个通用算法ALUM（大型神经语言模型的对抗训练），它通过在嵌入空间中应用扰动来正则化训练目标，从而最大化对抗损失。我们首次全面研究了对抗训练的各个阶段，包括从头开始的预训练，在训练有素的模型上进行持续的预训练，以及针对特定任务的微调。ALUM在常规和对抗场景下，在广泛的NLP任务上获得了比BERT更大的收益。即使是在非常大的文本语料库上训练过的模型，比如RoberTa，ALUM仍然可以从持续的预训练中获得显著的收益，而传统的非对抗性方法则不能。ALUM可以进一步与特定于任务的微调相结合，以获得额外的收益。ALUM代码可在https://github.com/namisan/mt-dnn上公开获得。
2020-04-29 cs.CL
Whispers of Doubt Amidst Echoes of Triumph in NLP Robustness
Kahlert School of Computing（卡勒特计算机学院）；University of Utah（犹他大学）
本文评估20多个不同架构与预训练目标的模型，发现单纯扩大规模无法解决NLP鲁棒性问题，且部分现有对抗评估方法也需重新审视。
2024-04-03 cs.CL
How do humans perceive adversarial text? A reality check on the validity and naturalness of word-based adversarial attacks
University of Luxembourg（卢森堡大学）
本文通过378人调查检验现有词级文本对抗攻击的人类可感知性，发现其在现实场景中不实用，并主张将人类可感知性作为文本攻击的首要成功标准。
2023-05-24 cs.AI cs.CL
TextDefense: Adversarial Text Detection based on Word Importance Entropy
Zhejiang University（浙江大学）；Shandong University（山东大学）；National University of Defense Technology（国防科技大学）
当前，自然语言处理（NLP）模型被广泛用于各种场景。然而，NLP模型，像所有的深度模型一样，很容易受到逆向生成文本的影响。许多工作一直致力于减轻来自对抗攻击的脆弱性。然而，有没有全面的防御，在现有的作品中，每个工作针对一个特定的攻击类别或遭受的计算开销的限制，不可抗拒的自适应攻击等。在本文中，我们详尽地调查了自然语言处理中的对抗攻击算法，我们的实证研究发现，攻击算法主要是破坏文本中的单词的重要性分布。一个经过良好训练的模型可以区分干净文本和对抗性文本之间细微的重要性分布差异。基于这种直觉，我们提出了TextDefense，这是一种新的对抗性示例检测框架，它利用目标模型的能力来防御对抗攻击，同时不需要先验知识。TextDefense与以前的方法不同，它利用目标模型进行检测，因此与攻击类型无关。我们广泛的实验表明，TextDefense可以应用于不同的架构，数据集和攻击方法，并优于现有的方法。我们还发现，影响TextDefense性能的主要因素是目标模型的泛化能力。通过分析目标模型的性质和对抗样本的性质，对自然语言处理中的对抗攻击进行了深入的分析，并提出了相应的防御方法。
2023-02-12 cs.AI cs.CL cs.CR
Adversarial Attacks and Defenses for Social Network Text Processing Applications: Techniques, Challenges and Future Research Directions
Texas A&M University, San Antonio（德克萨斯A&M大学圣安东尼奥分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）；King Faisal University（费萨尔国王大学）
社交媒体的使用越来越多，导致了几种机器学习（ML）和自然语言处理（NLP）工具的开发，以处理前所未有的社交媒体内容，从而做出可行的决策。然而，这些MLand NLP算法已被广泛证明容易受到对抗攻击的攻击。这些漏洞允许攻击者在社交媒体文本处理的不同应用中对这些算法发动多样化的对抗攻击。在本文中，我们提供了一个全面的审查的主要方法，对抗攻击和防御的背景下，社交媒体应用程序，特别关注的关键挑战和未来的研究方向。详细地说，我们涵盖了六个关键应用的文献，即（i）谣言检测，（ii）讽刺检测，（iii）点击诱饵和垃圾邮件识别，（iv）仇恨言论检测，（v）错误信息检测，（vi）情感分析。然后，我们强调并发和预期的未来研究问题，并为未来的工作提供建议和方向。
2021-10-26 cs.CL
A Simple Yet Efficient Method for Adversarial Word-Substitute Attack
The Hong Kong University of Science and Technology（香港科技大学）
NLP研究人员提出了不同的单词替代黑盒攻击，可以欺骗文本分类模型。在这种攻击中，攻击者不断向目标模型发送精心制作的对抗性查询，直到它能够成功实现预期的结果。最先进的攻击方法通常需要数百或数千个查询才能找到一个对抗性示例。在本文中，我们研究了一个复杂的对手是否可以攻击系统少得多的查询。我们提出了一个简单而有效的方法，可以减少3-30倍的平均数量的对抗性查询，并保持攻击的有效性。这项研究强调，对手可以以更低的成本欺骗深度NLP模型。
2022-05-07 cs.AI cs.CL
A Survey on Out-of-Distribution Evaluation of Neural NLP Models
Deakin University（迪肯大学）；VinUniversity（文莱大学）
本综述探讨了神经NLP模型的分布外（OOD）评估，在统一定义下比较了对抗鲁棒性、领域泛化和数据集偏差三个研究方向，总结了各自的数据生成过程与评估协议，并指出了未来的挑战与机遇。
2023-06-27 cs.CL
Hierarchical Attention: What Really Counts in Various NLP Tasks
Peking University（北京大学）
序列到序列模型中的注意力机制在各种自然语言处理任务中表现出了强大的能力和出色的性能，例如句子嵌入，文本生成，机器翻译，机器阅读理解等。不幸的是，现有的注意力机制只能学习高级或低级特征。本文认为层次机制的缺乏是注意力机制性能提高的瓶颈，提出了一种基于多层次注意力不同层次加权和的层次注意力机制（Ham）。Ham在中文诗歌生成任务上获得了最先进的BLEU得分0.26，与现有的机器阅读理解模型（如BIDAF和Match-LSTM）相比，平均提高了近6.5%。此外，我们的实验和定理表明，Ham比现有的注意力机制具有更好的泛化和表征能力。
2018-08-10 cs.CL
Adversarial Contrastive Pre-training for Protein Sequences
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
自然语言处理（NLP）的最新发展表明，大规模的自我监督预训练对下游任务非常有益。这些想法已经被应用到其他领域，包括蛋白质氨基酸序列的分析。然而，迄今为止，大多数蛋白质序列的尝试依赖于直接掩蔽语言模型风格的预训练。在这项工作中，我们为蛋白质设计了一种新的对抗性预训练方法，扩展和专门化了NLP中的类似进展。与传统的MLM预训练相比，我们展示了令人信服的结果，但需要进一步开发以确保收益值得显著的计算成本。
2021-01-31 cs.AI cs.CL
Adversarial Text Generation with Dynamic Contextual Perturbation
Praxis Business School（Praxis商学院）
本研究针对现有NLP对抗攻击忽略全局上下文、扰动易检测且语义不一致的问题，提出动态上下文扰动（DCP）方案，借助预训练语言模型生成跨层级的上下文感知对抗样本，显著提升攻击效果，为构建更鲁棒的NLP系统奠定基础。
2025-06-10 cs.CL cs.CR
Detecting Textual Adversarial Examples Based on Distributional Characteristics of Data Representations
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
虽然深度神经网络在各种机器学习任务中已经达到了最先进的性能，但通过向正确分类的输入添加小的非随机扰动来构建的对抗性示例，成功地欺骗了高度表达的深度分类器进行不正确的预测。在过去的五年里，自然语言任务中的对抗攻击方法使用字符级、单词级、短语级或句子级文本扰动蓬勃发展。虽然在NLP中有一些工作是通过主动方法来防御这种攻击，如对抗训练，但据我们所知，没有有效的通用反应方法来通过检测文本对抗示例来防御，例如在图像处理文献中发现的。在本文中，我们提出了两个新的反应性的方法，NLP来填补这一空白，这与少数有限的应用基线从NLP是完全基于分布特性的学习表示：我们适应一个从图像处理文献（本地固有的包容性（LID）），并提出了一个新的（多距离表示包容方法（MDRE））。自适应LID和MDRE在IMDB数据集上以及在MultiNLI数据集上的后两者上获得了字符级、单词级和短语级攻击的最新结果。为了将来的研究，我们发布了我们的代码。
2022-04-29 cs.CL cs.LG
Adversarial Self-Supervised Data-Free Distillation for Text Classification
Zhejiang University（浙江大学）
大型预训练的基于transformer的语言模型在广泛的NLP任务上取得了令人印象深刻的结果。在过去的几年里，知识蒸馏（KD）已经成为一个流行的范式，压缩计算昂贵的模型，资源有效的轻量级模型。然而，大多数KD算法，特别是在NLP中，依赖于原始训练数据集的可访问性，由于隐私问题，这些数据集可能不可用。为了解决这个问题，我们提出了一种新的两阶段无数据蒸馏方法，称为对抗性自监督无数据蒸馏（AS-DFD），它被设计用于压缩大规模基于变换的模型（例如，BERT）。为了避免在离散空间中生成文本，我们引入了一种即插即用的嵌入猜测方法来从教师的隐藏知识中制作伪嵌入。同时，通过一个自我监督模块来量化学生的能力，我们以对抗训练的方式适应伪嵌入的难度。据我们所知，我们的框架是第一个为NLP任务设计的无数据蒸馏框架。我们在几个文本分类数据集上验证了该方法的有效性。
2020-10-10 cs.AI cs.CL
Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
NLP最近的一系列工作集中在模型在合成上概括人工语言的能力上。然而，当考虑自然语言任务时，所涉及的数据不是严格的或局部的组合。量化数据的组合性是一项具有挑战性的任务，主要针对短话语进行了研究。我们使用递归神经模型（Tree-LSTM），它具有限制节点之间信息传输的瓶颈。我们说明，比较数据的表示模型和没有瓶颈可以用来产生一个组合性度量。该过程被应用到使用合成数据的算术表达式的评估，和使用自然语言数据的情感分类。我们证明了通过瓶颈压缩不成比例地影响非组合的例子，然后使用瓶颈组合性度量（bottleneck compositionality metric）来区分组合样本和非组合样本，从而在数据集上产生组合性排名。
2023-01-31 cs.CL
PromptFix: Few-shot Backdoor Removal via Adversarial Prompt Tuning
School of Information Science & Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；Department of Computer Science, Stony Brook University（石溪大学计算机科学系）
本文提出PromptFix，一种少样本场景下通过对抗性提示调优移除NLP模型后门的方法，保持模型参数不变，仅用两组软令牌近似并抵消触发词，在多种攻击和领域偏移下验证了有效性。
2024-06-06 cs.CL cs.LG
