VoteTRANS: Detecting Adversarial Text without Training by Voting on Hard Labels of Transformations
KDDI Research, Inc.（KDDI综合研究所）；National Institute of Informatics（国立信息学研究所）
针对现有对抗文本检测依赖训练数据的问题，提出无需训练的 VoteTRANS，通过比较输入文本及其变换预测的硬标签进行投票检测，并在多种攻击、模型和数据集上验证有效。
2023-06-02 cs.CL
Identifying Adversarial Sentences by Analyzing Text Complexity
KDDI Research, Inc.（KDDI综合研究所）；The University of Tokyo（东京大学）
攻击者创建对抗性文本来欺骗人类感知和当前的人工智能系统，以执行恶意目的，例如垃圾邮件产品评论和虚假政治帖子。我们研究了对抗性文本与原文之间的差异，以防止风险。我们证明了由人类书写的文本更加连贯和流畅。此外，人类可以通过具有现代词汇的灵活文本来表达思想，而机器则专注于通过简单和常见的词汇优化生成的文本。我们还提出了一种方法，通过提取与我们的研究结果相关的特征来识别敌对文本。该方法的准确率为82.0%，等出错率为18.4%，优于现有方法的最佳准确率为77.0%，等出错率为22.8%。
2019-12-19 cs.CL
AdvExpander: Generating Natural Language Adversarial Examples by Expanding Text
Tsinghua University（清华大学）；TAL Education Group（好未来教育集团）；Hangzhou Dianzi University（杭州电子科技大学）
对抗性示例对于暴露机器学习模型的脆弱性至关重要。尽管最流行的基于替换的方法成功地替换了原始示例中的一些字符或单词，但仅替换不足以揭示模型的所有鲁棒性问题。在本文中，我们提出了AdvExpander，这是一种通过扩展文本来制作新的对抗性示例的方法，它是对以前基于替换的方法的补充。我们首先利用语言规则来确定哪些成分扩展和扩展什么类型的修饰语。然后，我们通过插入从基于CVAE的生成模型中搜索的对抗性修改器来扩展每个组成部分，该生成模型是在大规模语料库上预先训练的。为了搜索对抗性修改器，我们直接在潜在空间中搜索对抗性潜在代码，而无需调整预先训练的参数。为了确保我们的对抗性示例在文本匹配中保持标签，我们还使用启发式规则约束修改。三个分类任务的实验验证了AdvExpander的有效性和我们的对抗性例子的有效性。AdvExpander通过文本扩展制作了一种新型的对抗性示例，从而有望揭示新的鲁棒性问题。
2020-12-18 cs.CL
Learning to Discriminate Perturbations for Blocking Adversarial Attacks in Text Classification
University of California, Los Angeles（加州大学洛杉矶分校）
针对机器学习模型的对抗攻击已经威胁到各种现实世界的应用，例如垃圾邮件过滤和情感分析。在本文中，我们提出了一种新的框架，学习辨别扰动（DISP），识别和调整恶意扰动，从而阻止文本分类模型的对抗攻击。为了识别对抗攻击，扰动验证器验证文本中的令牌被扰动的可能性，并提供一组潜在的扰动。对于每个潜在的扰动，嵌入估计器学习基于上下文恢复原始单词的嵌入，并且基于近似kNN搜索选择替换令牌。DISP可以阻止任何NLP模型的对抗攻击，而无需修改模型结构或训练过程。在两个基准数据集上的大量实验表明，DISP在阻止文本分类的对抗攻击方面明显优于基线方法。此外，深入分析表明，债务重组和战略计划在不同情况下都很稳健。
2019-09-06 cs.CL
SEPP: Similarity Estimation of Predicted Probabilities for Defending and Detecting Adversarial Text
KDDI Research, Inc.（KDDI研究所）
有两种情况描述分类器如何处理输入文本，即错误分类和正确分类。就错误分类的文本而言，分类器处理具有不正确预测和对抗性文本的文本，这些文本是为了欺骗分类器而生成的，被称为受害者。这两种类型都被受害者误解，但它们仍然可以被其他分类器识别。这导致受害者和其他分类器之间的预测概率存在很大差距。相比之下，受害者正确分类的文本通常会被其他人成功预测，并导致小的差距。在本文中，我们提出了一个集成模型的基础上相似性估计的预测概率（SEPP），利用大差距的错误分类的预测，在正确的分类小差距。然后，SEPP纠正错误分类文本的错误预测。我们通过不同类型的受害者分类器，分类任务和对抗攻击证明了SEPP在防御和检测对抗文本方面的弹性。
2021-10-13 cs.CL
Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们的最新努力，改善代码转换语言模型，遭受数据稀缺。我们研究的方法来增加码转换训练文本数据，人工生成它们。具体地说，我们提出了一个基于循环一致对抗网络的框架，将单语文本转换为语码转换文本，将语码转换视为一种说话风格。SEAME语料库上的实验结果表明，利用人工生成的代码切换文本数据，提高了一致的语言模型，以及自动语音识别性能。
2021-12-12 cs.CL
DP-GAN: Diversity-Promoting Generative Adversarial Network for Generating Informative and Diversified Text
Peking University（北京大学）
现有的文本生成方法往往会产生重复和“无聊”的表达。为了解决这个问题，我们提出了一个新的文本生成模型，称为多样性促进生成对抗网络（DP-GAN）。该模型为重复生成的文本分配低奖励，为“新颖”和流畅的文本分配高奖励，鼓励生成器生成多样化和信息丰富的文本。此外，我们提出了一种新的语言模型为基础的鉴别器，它可以更好地区分新的文本从重复的文本没有饱和的问题相比，现有的基于分类器的歧视。评论生成和对话生成任务的实验结果表明，我们的模型可以生成比现有基线更多样化和信息量更大的文本。代码可在https://github.com/lancopku/DPGAN上获得
2018-08-21 cs.CL
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
最近的工作提出了几种有效的方法来生成基于梯度的对抗性扰动的嵌入，并证明了模型的性能和鲁棒性可以提高，当他们训练这些污染的嵌入。虽然他们很少关注如何帮助模型更有效地学习这些对抗样本。在本文中，我们着眼于在模型的训练过程中增强模型防御基于梯度的对抗攻击的能力，并提出了两种新的对抗训练方法：（1）CARL缩小了原始样本及其对抗样本在表示空间中的距离，同时扩大了它们与不同标记样本的距离。(2)RAR迫使模型从其对抗性表示中重建原始样本。实验结果表明，所提出的两种方法优于强基线在各种文本分类数据集。分析实验表明，使用本文方法时，输入句子的语义表示不会受到对抗性扰动的显著影响，并且在对抗攻击下，模型的性能下降较小。也就是说，我们的方法可以有效地提高模型的鲁棒性。此外，RAR还可以用于生成文本形式的对抗样本。
2021-09-14 cs.CL
Cross-Modal Robustness Transfer (CMRT): Training Robust Speech Translation Models Using Adversarial Text
Department of Advanced Computing Sciences（先进计算科学系）
提出跨模态鲁棒性迁移（CMRT）框架，将文本模态的对抗鲁棒性迁移到语音模态，无需生成对抗语音数据，在四个语言对上平均提升超过3个BLEU点。
2026-06-25 cs.CL
Adversarial Generation and Encoding of Nested Texts
Amobee Inc.（Amobee公司）
在本文中，我们提出了一个新的语言模型称为代理，它代表对抗生成和编码的嵌套文本。AGENT被设计用于编码、生成和细化由长而连贯的文本组成的文档，例如一整本书，只要它们是分层注释的（嵌套的）。即分为句子、段落和章节。我们的系统的核心思想是学习文本层次结构（句子，段落等）的每个级别的矢量表示，并训练每个这样的表示来执行3个任务：从用于创建表示的较低级别重建向量序列的任务，以及BERT Devlin等人[2018]的掩蔽语言建模（MLM）和“下一句预测”任务的广义版本。此外，我们提出了一个新的对抗模型的长文本生成，并提出了一种方法来提高生成的文本的一致性，通过遍历其向量表示树。
2019-06-01 cs.CL
Generative Adversarial Nets for Multiple Text Corpora
Northwestern University（西北大学）
生成对抗网络（GANs）已成功应用于图像数据的人工生成。在文本数据方面，从单个语料库中人工生成自然语言已经做了很多工作。我们考虑多个文本语料库作为输入数据，其中GANs可以有两种应用：（1）在每个语料库具有不同词嵌入的情况下创建一致的跨语料库词嵌入;（2）为每个语料库生成鲁棒的词袋文档嵌入。我们展示了我们的GAN模型对现实世界的文本数据集，从不同的语料库，并表明，从两个模型的嵌入导致监督学习问题的改进。
2017-12-25 cs.CL
Arabic Synonym BERT-based Adversarial Examples for Text Classification
Clarkson University（克拉克森大学）
本文首次对阿拉伯语文本分类进行词级对抗攻击研究，提出基于BERT的MLM同义词攻击方法，发现微调BERT模型更易受攻击，且对抗训练可恢复至少2%准确率。
2024-02-05 cs.CL
Precisely the Point: Adversarial Augmentations for Faithful and Informative Text Generation
Peking University（北京大学）；Baidu Inc.（百度公司）
虽然模型鲁棒性在语言理解中得到了广泛的研究，但Seq2Seq生成的鲁棒性仍然研究不足。在本文中，我们首次对预训练的Seq2Seq模型的鲁棒性进行了定量分析。我们发现，即使是目前的SOTA预训练Seq2Seq模型（BART）仍然是脆弱的，这导致文本生成任务的忠实性和信息量显着退化。这促使我们进一步提出了一种新的对抗性增强框架，即AdvSeq，通过增强Seq2Seq模型的鲁棒性来普遍提高其忠实性和信息量。AdvSeq在训练过程中自动构建两种类型的对抗性增强，包括通过扰动单词表示的隐式对抗性样本和通过单词交换的显式对抗性样本，这两者都有效地提高了Seq2Seq的鲁棒性。在三个流行的文本生成任务上进行的大量实验表明，AdvSeq在自动和人工评估设置下显着提高了Seq2Seq生成的忠实性和信息量。
2022-10-22 cs.CL
SUCEA: Reasoning-Intensive Retrieval for Adversarial Fact-checking through Claim Decomposition and Editing
New York University（纽约大学）；NYU Shanghai（纽约大学上海校区）；Yale University（耶鲁大学）；Allen Institute for AI（人工智能 Allen 机构）
SUCEA框架通过声明分解、迭代证据检索与编辑及证据聚合三个步骤，无需训练即可提升对抗性事实核查的检索与蕴含标签准确率，在两个数据集上优于四个基线方法。
2025-06-05 cs.AI cs.CL
From Unsupervised Machine Translation To Adversarial Text Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了一个基于自注意力的双语对抗文本生成器（B-GAN），它可以学习从无监督神经机器翻译系统的编码器表示生成文本。B-GAN能够生成分布式潜在空间表示，该表示可以与基于注意力的解码器配对以生成流畅的句子。当在两种语言之间共享的编码器上训练并与适当的解码器配对时，它可以生成任何一种语言的句子。B-GAN使用用于自动编码器的重建损失、用于翻译的跨域损失和用于文本生成的基于GAN的对抗性损失的组合来训练。我们证明，仅使用多个损失在单语语料库上训练的B-GAN，与单语基线相比，可以生成更流畅的句子，同时有效地使用一半的参数。
2020-11-10 cs.CL
Don't Retrain, Just Rewrite: Countering Adversarial Perturbations by Rewriting Text
University of Utah（犹他大学）；Bloomberg（彭博社）
本文提出ATINTER模型，通过重写对抗性输入而非重新训练分类器来提升文本分类鲁棒性，在多个数据集和攻击下优于现有防御方法，并能跨任务迁移。
2023-05-25 cs.CL
Text Generation Based on Generative Adversarial Nets with Latent Variable
Beihang University（北京航空航天大学）
在本文中，我们提出了一个模型，使用生成对抗网（GAN）生成真实感的文本。代替使用标准的GAN，我们将变分自编码器（VAE）与生成对抗网相结合。高级隐随机变量的使用有助于学习数据分布，解决生成对抗网总是发出相似数据的问题。我们提出了VGAN模型，其中生成模型由递归神经网络和VAE组成。判别模型是一个卷积神经网络。通过策略梯度对模型进行训练。我们将该模型应用到文本生成任务中，并将其与最近的其他基于神经网络的模型进行比较，如递归神经网络语言模型和SeqGAN。我们通过计算负对数似然和BLEU得分来评估模型的性能。我们在三个基准数据集上进行了实验，结果表明，我们的模型优于其他以前的模型。
2018-11-07 cs.CL
Efficient Black-Box Adversarial Attacks on Neural Text Detectors
University of Twente（特温特大学）
该研究针对神经文本检测器，提出三种资源高效的黑盒对抗攻击策略修改GPT-3.5生成文本，实验证明参数调整与字符级变异效果显著，可在人类难以察觉的情况下使检测器误分类。
2023-11-03 cs.CL
SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification
The Hong Kong University of Science and Technology（香港科技大学）
本文提出无需标签的自监督对比学习框架 SCAT，通过无标签方式生成对抗样本并进行对抗训练，在文本分类任务上既能从头训练鲁棒模型，也能提升预训练模型的鲁棒性。
2023-07-04 cs.CL
A Constraint-Enforcing Reward for Adversarial Attacks on Text Classifiers
University of Technology Sydney（悉尼科技大学）；CSIRO’s Data61（联邦科学与工业研究组织Data61）；Rozetta Technology（罗泽塔科技）
本文针对文本分类器对抗攻击，训练编码器-解码器复述模型并结合强化学习与约束强制奖励生成有效对抗样本，在两个数据集上取得优于竞争攻击的成功率。
2024-05-20 cs.CL
CAMF: Collaborative Adversarial Multi-agent Framework for Machine Generated Text Detection
Stanford University（斯坦福大学）；College of Information Technology（信息科技学院）；School of Business（商学院）
本文提出协作对抗多智能体框架CAMF，通过多维语言特征提取、对抗一致性探测和综合判断聚合三阶段协同检测机器生成文本，实验证明其显著优于现有零样本检测方法。
2025-08-16 cs.CL
Aggressive Language Detection with Joint Text Normalization via Adversarial Multi-task Learning
Wuhan University（武汉大学）
攻击性语言检测（ALD）是自然语言处理领域的重要应用之一。现有的研究大多将ALD视为神经模型的规则分类，而忽略了社交媒体文本的内在冲突，它们非常不规范和不规则。在这项工作中，我们的目标是通过对抗性多任务学习框架联合执行文本规范化（TN）来改进ALD。ALD和TN的私有编码器分别专注于特定于任务的特征检索，而共享编码器学习两个任务的底层公共特征。在对抗性训练中，任务学习区分ALD或TN的单独学习。在四个ALD数据集上的实验结果表明，我们的模型在不同设置下的性能优于所有基线，证明了联合学习TN与ALD的必要性。为了更好地理解我们的方法，进行了进一步的分析。
2020-09-19 cs.CL
Improved Text Classification via Contrastive Adversarial Training
IBM Watson（IBM沃森）；IBM Research AI（IBM研究院AI）
我们提出了一种简单而通用的方法来规范基于transformer的编码器的文本分类任务的微调。具体来说，在微调过程中，我们通过扰动模型的词嵌入来生成对抗性示例，并对干净和对抗性示例进行对比学习，以教会模型学习噪声不变的表示。通过对干净和对抗性样本以及额外的对比目标进行训练，我们观察到了对干净样本进行标准微调的一致改进。在几个GLUE基准测试任务中，我们的微调BERT Large模型平均比BERT Large基线提高1.7%，我们的微调RoBERTa Large比RoBERTa Large基线提高1.3%。我们还使用三个意图分类数据集在不同领域验证了我们的方法，其中我们的微调RoBERTa Large平均比RoBERTa Large基线高出1-2%。
2022-02-17 cs.CL
Contrasting Human- and Machine-Generated Word-Level Adversarial Examples for Text Classification
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
研究表明，自然语言处理模型通常被认为容易受到对抗攻击的攻击;但最近的工作引起了人们对根据某些标准验证这些对抗输入的问题的关注（例如，语义和语法的保留）。强制执行约束以维护这些标准可能会使攻击失败，从而提出有效攻击是否实际可行的问题。在这项工作中，我们通过人类语言能力的镜头来调查这一点。我们报告了众包研究，在这些研究中，我们要求人类迭代修改输入文本中的单词，同时接收即时模型反馈，目的是使情感分类模型对示例进行错误分类。我们的研究结果表明，人类能够使用保留语义的单词替换来生成大量的对抗性示例。我们分析了人类生成的对抗性示例与最近提出的TextFocal，Genetic，BAE和SememePSO攻击算法在维度自然性，情感保留，语法性和替换率方面的比较。我们的研究结果表明，人类生成的对抗性示例并不比最好的算法更能够生成自然阅读，保留情感的示例，尽管它们的计算效率要高得多。
2021-09-09 cs.CL
Robust Vision-Language Models via Tensor Decomposition: A Defense Against Adversarial Attacks
University of California, Riverside（加州大学河滨分校）
本文提出一种基于张量分解的轻量级防御方法，无需重新训练即可提升预训练视觉-语言模型对对抗攻击的鲁棒性，并在CLIP上验证了其有效性。
2025-09-19 cs.AI cs.CL cs.CV
Adversarial Text Generation via Feature-Mover's Distance
Duke University（杜克大学）；Microsoft Research（微软研究院）；Baidu Research（百度研究院）
生成对抗网络（GANs）在生成真实值数据方面取得了重大成功。然而，文本的离散性阻碍了GAN在文本生成任务中的应用。而不是使用标准的GAN目标，我们建议通过一种新的方法，启发最佳运输，以改善文本生成GAN。具体来说，我们考虑使用一种新的度量标准，称为特征移动者的距离（FMD）匹配真实和合成句子的潜在特征分布。该公式导致高度区分性的批评和易于优化的目标，克服了现有方法中的模式崩溃和脆性训练问题。广泛的实验进行了各种任务，以评估所提出的模型经验，包括无条件的文本生成，从非平行文本的风格转移，和无监督的密码破解。所提出的模型产生优越的性能，表现出广泛的适用性和有效性。
2020-08-12 cs.CL
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Generating Watermarked Adversarial Texts
对抗性样本生成是近年来的研究热点，因为它会导致深度神经网络（DNN）对生成的对抗性样本进行错误分类，这揭示了DNN的脆弱性，促使我们寻找好的解决方案来提高DNN模型的鲁棒性。由于自然语言在社交网络上的广泛性和高流动性，文献中已经提出了各种基于自然语言的对抗攻击算法。这些算法生成具有高语义质量的对抗性文本示例。然而，生成的对抗性文本示例可能被恶意或非法使用。为了解决这个问题，我们提出了一个通用的框架生成水印对抗文本的例子。对于给定文本中的每个单词，确定一组候选单词，以确保该组中的所有单词都可以用于携带秘密比特或促进对抗性示例的构建。通过应用词级对抗文本生成算法，可以最终生成带水印的对抗文本示例。实验结果表明，该方法生成的对抗性文本样本不仅能够成功欺骗高级DNN模型，而且能够携带水印，有效验证对抗性样本的所有权，并追踪其来源。而且，水印在对抗性样本生成算法攻击后仍能存活，显示了其适用性和优越性。
2021-10-25 cs.CL cs.CR
Adversarial Training with Fast Gradient Projection Method against Synonym Substitution based Text Attacks
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）
对抗性训练是提高深度神经网络在图像分类中鲁棒性的最成功的方法。然而，对于文本分类，现有的基于同义词替换的对抗攻击是有效的，但不能有效地纳入实际的文本对抗性训练。基于同义词的攻击对图像非常有效，但由于词汇、语法和语义的限制以及文本输入空间的离散性，基于同义词替换的文本攻击很难实现。因此，本文提出了一种基于同义词替换的快速文本对抗攻击方法--快速梯度投影方法（FGPM），该方法在达到相似攻击性能的同时，比现有文本攻击方法的速度提高了约20倍。然后，我们将FGPM与对抗性训练相结合，并提出了一种文本防御方法，称为对抗性训练与Logit配对增强的FGPM（ATFL）。实验结果表明，ATFL能显著提高模型的鲁棒性，并能有效阻止对抗性样本的迁移。
2020-12-16 cs.CL cs.LG
SALSA-TEXT : self attentive latent space based adversarial text generation
Montreal research Center（蒙特利尔研究中心）
受自注意力机制和Transformer架构在序列转换和图像生成应用中的成功启发，我们提出了新的基于自注意的架构来提高基于对抗性潜在代码的文本生成方案的性能。基于对抗性潜码的文本生成方法由于其良好的效果而受到广泛关注。在本文中，我们采取了一个步骤来加强这些设置中使用的架构，特别是AAE和ARAE。我们对两种基于潜在代码的方法（AAE和ARAE）进行了基准测试，这些方法是基于对抗性设置设计的。在我们的实验中，谷歌句子压缩数据集被用来比较我们的方法与这些方法使用各种客观和主观的措施。实验表明，所提出的（自我）注意力为基础的模型优于国家的最先进的对抗代码为基础的文本生成。
2018-10-08 cs.AI cs.CL
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；China Agricultural University（中国农业大学）
对抗攻击是NLP中神经网络模型面临的主要挑战，这阻碍了模型在安全关键应用中的部署。最近的一项工作，基于检测的防御，旨在区分敌对的句子和良性的句子。然而，{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测，这与其他范式的防御方法不同。针对这一问题，本文提出了文本屏蔽：（1）发现文本攻击与显著性信息之间的联系，提出了一种基于显著性的检测器，可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器，它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器，TextShield将仅检测范式扩展为检测-校正范式，从而填补了现有基于检测的防御的空白。综合实验表明，（a）在不同基准的各种攻击中，TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology（华中科技大学）
一系列工作表明，自然的文本处理模型容易受到对抗性示例的影响。相应地，提出了各种防御方法，以减轻威胁的文本对抗性的例子，例如，对抗性训练，输入变换，检测等。在这项工作中，我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换，其中每个字相互影响其他的话。我们发现，我们可以破坏这种相互作用，消除敌对扰动随机替换一个词与它的同义词。基于这一观察，我们提出了一种新的文本对抗性示例检测方法，称为随机替换和投票（RS&V），它通过累积k个样本的logits来投票预测标签，这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络，而无需修改架构或额外的训练，并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明，我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例，同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
TextGAIL: Generative Adversarial Imitation Learning for Text Generation
University of California, Davis（加利福尼亚大学戴维斯分校）；ByteDance（字节跳动）
用于文本生成的生成对抗网络（GANs）最近受到了许多批评，因为它们的表现比MLE同行更差。我们怀疑以前的文本GANs性能较差是由于它们的判别器中缺乏可靠的指导信号。为了解决这个问题，我们提出了一个用于文本生成的生成对抗模仿学习框架，该框架使用大型预训练的语言模型来提供更可靠的奖励指导。我们的方法使用对比度优化，和近端策略优化（PPO），以稳定和提高文本生成性能。为了评估，我们进行了一组不同的无条件和有条件的文本生成任务的实验。实验结果表明，TextGAIL在质量和多样性方面都比MLE基线有更好的性能。我们还验证了我们的直觉，即TextGAIL的奖励证明了通过额外任务提供合理奖励的能力。
2021-04-26 cs.CL cs.LG
Unifying Adversarial Robustness and Training Across Text Scoring Models
uwaterloo（滑铁卢大学）
本文提出统一文本评分模型中对抗鲁棒性与训练的方法，通过引入多种对抗训练方法提升模型鲁棒性和任务效果，并展示其在RLHF中的应用价值。
2026-01-31 cs.CL cs.IR
A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio（德克萨斯农工大学圣安东尼奥分校）
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中，机器支持人类，但在少数其他应用程序中（例如对抗性机器学习，社交机器人和巨魔），机器试图模仿人类。在这个范围内，我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同，基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子，但这项工作可以在许多方面进行扩展，例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG
Generating Natural Language Adversarial Examples on a Large Scale with Generative Models
Ant Financial Services Group（蚂蚁金融服务集团）；Zhejiang University（浙江大学）；University of Southern California（南加利福尼亚大学）
目前文本分类模型已经得到了广泛的应用。然而，这些分类器被发现很容易被对抗性的例子所欺骗。幸运的是，标准的攻击方法以成对的方式生成对抗性文本，也就是说，对抗性文本只能通过替换几个单词来从真实世界的文本中创建。在许多应用中，这些文本的数量有限，因此它们对应的对抗性示例往往不够多样，有时难以阅读，因此可以很容易地被人类检测到，并且不能大规模地制造混乱。在本文中，我们提出了一个端到端的解决方案，使用生成模型从头开始有效地生成对抗性文本，而不限于干扰给定的文本。我们称之为无限制的对抗性文本生成。具体来说，我们训练一个条件变分自编码器（VAE）与一个额外的对抗性损失，以指导生成对抗性的例子。此外，为了提高对抗文本的有效性，我们利用判别器和生成对抗网络（GANs）的训练框架，使对抗文本与真实数据一致。在情感分析上的实验结果证明了该方法的可扩展性和有效性。它可以以比现有方法更高的成功率攻击文本分类模型，同时为人类提供可接受的质量。
2020-03-10 cs.CL cs.LG stat.ML
Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers
EPFL（洛桑联邦理工学院）；Armasuisse S+T（瑞士联邦国防采购局科学技术部）
最近，有研究表明，尽管深度神经网络在不同领域表现出色，但它们很容易受到对抗性样本的影响。在本文中，我们提出了一个基于梯度的对抗攻击对基于transformer的文本分类器。在我们的方法中，对抗性扰动被施加为块稀疏的，因此得到的对抗性示例与原始句子只有几个单词不同。由于文本数据的离散性，我们执行梯度投影来找到我们提出的优化问题的最小值。实验结果表明，虽然我们的对抗攻击保持了句子的语义，但它可以将GPT-2在不同数据集（AG News，MNLI和Yelp Reviews）上的准确率降低到5%以下。此外，所提出的优化问题的块稀疏性约束导致对抗性示例中的小扰动。
2022-03-11 cs.CL cs.LG
A Universal Adversarial Policy for Text Classifiers
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
发现普遍对抗扰动的存在对对抗学习领域产生了巨大的理论和实践影响。在文本领域，大多数普遍的研究都集中在添加到所有文本中的对抗性前缀上。然而，与视觉域不同，将相同的扰动添加到不同的输入会导致明显不自然的输入。因此，我们引入了一种新的通用对抗设置-通用对抗策略，它具有其他通用攻击的许多优点，但也会产生有效的文本-从而使其在实践中具有相关性。我们通过学习一个单一的搜索策略，在一组预定义的语义保留文本的变化，对许多文本。这一提法具有普遍性，因为该政策成功地有效地找到了关于新法规的对抗性实例。我们的方法使用文本扰动，这被广泛证明是在非通用设置（特定的同义词替换）中产生自然攻击。我们建议使用强化学习的这种配方的强基线方法。它的泛化能力（从500个训练文本中）表明，普遍的对抗模式也存在于文本域中。
2022-06-19 cs.CL cs.CR cs.LG
How do humans perceive adversarial text? A reality check on the validity and naturalness of word-based adversarial attacks
University of Luxembourg（卢森堡大学）
本文通过378人调查检验现有词级文本对抗攻击的人类可感知性，发现其在现实场景中不实用，并主张将人类可感知性作为文本攻击的首要成功标准。
2023-05-24 cs.AI cs.CL
Evaluating Text Classification Robustness to Part-of-Speech Adversarial Examples
为提升文本对抗样本质量，本文探究不同词性对文本分类器的影响，发现CNN算法在评论数据集上对特定词性词元存在明显偏差，暴露了其语言处理的关键漏洞。
2024-08-15 cs.CL cs.LG
Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
对抗性脆弱性仍然是构建可靠NLP系统的主要障碍。当将不可感知的扰动添加到原始输入文本时，深度学习模型的性能可能会在攻击下急剧下降。最近的工作认为，模型的对抗性脆弱性是由监督训练中的非鲁棒特征引起的。因此，在本文中，我们从解纠缠表示学习的角度来解决对抗性鲁棒性挑战，它能够明确地解开文本中的鲁棒性和非鲁棒性特征。具体而言，受信息论中信息（VI）变化的启发，我们推导出一个由互信息组成的解纠缠学习目标，以表示潜在嵌入的语义代表性和鲁棒性和非鲁棒性特征的区分。在此基础上，我们设计了一个解纠缠学习网络来估计这些互信息。文本分类和蕴涵任务的实验表明，我们的方法显着优于对抗攻击下的代表性方法，表明丢弃非鲁棒性特征是提高对抗鲁棒性的关键。
2022-10-26 cs.CL cs.LG
TextDefense: Adversarial Text Detection based on Word Importance Entropy
Zhejiang University（浙江大学）；Shandong University（山东大学）；National University of Defense Technology（国防科技大学）
当前，自然语言处理（NLP）模型被广泛用于各种场景。然而，NLP模型，像所有的深度模型一样，很容易受到逆向生成文本的影响。许多工作一直致力于减轻来自对抗攻击的脆弱性。然而，有没有全面的防御，在现有的作品中，每个工作针对一个特定的攻击类别或遭受的计算开销的限制，不可抗拒的自适应攻击等。在本文中，我们详尽地调查了自然语言处理中的对抗攻击算法，我们的实证研究发现，攻击算法主要是破坏文本中的单词的重要性分布。一个经过良好训练的模型可以区分干净文本和对抗性文本之间细微的重要性分布差异。基于这种直觉，我们提出了TextDefense，这是一种新的对抗性示例检测框架，它利用目标模型的能力来防御对抗攻击，同时不需要先验知识。TextDefense与以前的方法不同，它利用目标模型进行检测，因此与攻击类型无关。我们广泛的实验表明，TextDefense可以应用于不同的架构，数据集和攻击方法，并优于现有的方法。我们还发现，影响TextDefense性能的主要因素是目标模型的泛化能力。通过分析目标模型的性质和对抗样本的性质，对自然语言处理中的对抗攻击进行了深入的分析，并提出了相应的防御方法。
2023-02-12 cs.AI cs.CL cs.CR
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tencent（腾讯）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
针对自然语言处理系统的对抗攻击，对输入进行看似无害的修改，可能会导致目标模型的任意错误。虽然引起了极大的关注，但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成（例如，图像），生成保留原始含义的对抗性文本是具有挑战性的，因为文本空间是离散的和不可微的。为了应对这些挑战，我们提出了一个目标可控的对抗攻击框架T3，它适用于一系列NLP任务。特别是，我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间，在此基础上，我们优化了对抗扰动。一种新的基于树的解码器，然后应用到正则化生成的文本的语法正确性，并操纵它的句子（T3（发送））或单词（T3（字））的水平。我们考虑两个最具代表性的NLP任务：情感分析和问答（QA）。大量的实验结果和人类研究表明，T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案，而不会误导人类。此外，我们还证明了生成的对抗性文本具有很高的可转移性，这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
Adversarial Texts with Gradient Methods
图像的对抗样本在文献中已经被广泛研究。在众多的攻击方法中，基于梯度的方法是一种有效且易于计算的攻击方法。在这项工作中，我们提出了一个框架，以适应图像的梯度攻击方法的文本域。使用梯度方法生成对抗性文本的主要困难是：i）输入空间是离散的，这使得很难直接在输入中积累小噪声; ii）对抗性文本的质量难以测量。我们通过在嵌入空间中搜索对抗文本来解决第一个问题，然后通过最近邻搜索来重建对抗文本。对于后一个问题，我们采用词移动距离（WMD）来量化对抗文本的质量。通过对IMDB电影评论、路透社-2和路透社-5新闻通讯社三个数据集的广泛实验，我们证明了我们的框架可以利用梯度攻击方法生成与原始文本只有几个字不同的高质量对抗文本。在很多情况下，我们可以改变一个词来改变整个文本的标签。我们成功地将FGM和DeepFool纳入我们的框架。此外，我们的经验表明，大规模杀伤性武器是密切相关的对抗性文本的质量。
2018-01-24 cs.CL cs.CR cs.LG
Graded Suspiciousness of Adversarial Texts to Human
SPi
本研究通过人类评价数据集和回归模型量化对抗文本的可疑性，并展示如何利用该分数生成更不易被察觉的对抗文本，为降低对抗文本可疑性提供基线。
2025-01-23 cs.CL cs.CR cs.LG
Universal Adversarial Perturbation for Text Classification
University of Maryland（马里兰大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
给定一个最先进的深度神经网络文本分类器，我们证明了一个通用的和非常小的扰动向量（在嵌入空间中）的存在，导致自然文本被错误分类的概率很高。与可以找到单个固定大小的对抗性扰动的图像不同，文本具有可变长度，因此我们将“通用性”定义为“令牌不可知”，其中单个扰动应用于每个令牌，从而在序列级别上产生灵活大小的不同扰动。我们提出了一种计算普遍对抗性扰动的算法，并表明最先进的深度神经网络非常容易受到这些扰动的影响，尽管它们保留了大部分令牌的邻近区域。我们还展示了如何使用这些对抗性扰动来生成对抗性文本样本。令人惊讶的普遍存在的“令牌不可知”对抗扰动可能揭示了文本分类器的重要属性。
2019-10-10 cs.CL cs.LG stat.ML
Model Robustness with Text Classification: Semantic-preserving adversarial attacks
Wells Fargo（富国银行）
我们提出了创建对抗攻击的算法，以评估模型在文本分类问题中的鲁棒性。它们可以用来创建白盒攻击和黑盒攻击，同时保留原始文本的语义和语法。这些攻击在白盒设置中导致大量的翻转，并且可以在黑盒设置中使用相同的规则。在黑盒设置中，创建的攻击能够逆转基于Transformer的架构的决策。
2020-08-14 cs.CL cs.LG
Universal Adversarial Attacks with Natural Triggers for Text Classification
Princeton University（普林斯顿大学）
最近的工作已经证明了现代文本分类器对通用对抗攻击的脆弱性，这些攻击是添加到分类器处理的文本中的输入不可知的单词序列。尽管成功，在这种攻击中产生的单词序列往往是不合语法的，可以很容易地从自然文本中区分出来。我们开发的对抗攻击看起来更接近自然的英语短语，但当添加到良性输入时，会混淆分类系统。我们利用一个adversarially正则化自动编码器（ARAE）生成触发器，并提出了一个基于梯度的搜索，旨在最大限度地提高下游分类器的预测损失。我们的攻击有效地降低了分类任务的模型准确性，同时根据自动检测指标和人类受试者研究，比以前的模型更难识别。我们的目标是证明对抗攻击可以比以前想象的更难检测，并能够开发适当的防御。
2021-04-07 cs.CL cs.CR
A survey on text generation using generative adversarial networks
São Paulo State University（圣保罗州立大学）
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的，因为它提供了生成所谓的“自然”语言的替代方案。然而，对抗性文本生成并不是一项简单的任务，因为其最重要的架构生成对抗网络被设计用于处理连续信息（图像）而不是离散数据（文本）。因此，大多数作品都基于三种可能的选择，即，Gumbel-Softmax微分，强化学习和修改的训练目标。所有的替代品在本次调查中进行审查，因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库，如Science Direct，IEEEEXplore，Springer，Association for Computing Machinery和arXiv，而每一个选定的工作都经过严格的分析和评估，以呈现其目标，方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation（微软公司）
针对预训练Transformer模型文本分类需大量标注数据的问题，提出READ方法，融合强化学习文本生成与半监督对抗学习，利用无标注数据生成多样合成文本提升泛化性，在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
ARAML: A Stable Adversarial Training Framework for Text Generation
Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
现有的用于文本生成的生成对抗网络（GAN）大多存在策略梯度等强化学习训练算法不稳定的问题，导致性能不稳定。为了解决这个问题，我们提出了一个新的框架，称为对抗性奖励增强最大似然（ARAML）。在对抗性训练期间，训练器将奖励分配给从数据附近的静态分布而不是生成器分布中获取的样本。该生成器是最优化的最大似然估计增强的最大似然的奖励，而不是策略梯度。实验表明，我们的模型可以比最先进的文本GANs具有更稳定的训练过程。
2019-08-20 cs.CL cs.LG
Evaluating Defensive Distillation For Defending Text Processing Neural Networks Against Adversarial Examples
对抗性样本是人工修改的输入样本，会导致错误分类，但人类无法检测到。这些对抗性示例对于图像和文本分类等许多任务来说都是一个挑战，特别是研究表明，许多对抗性示例可以在不同的分类器之间转移。在这项工作中，我们评估了一种流行的防御策略的性能对抗性的例子，称为防御蒸馏，它可以成功地硬化神经网络对抗性的例子在图像域。然而，我们没有将防御性蒸馏应用于图像分类网络，而是首次研究了它在文本分类任务上的性能，并评估了它对对抗性文本示例的可移植性的影响。我们的研究结果表明，防御蒸馏只对文本分类神经网络的影响很小，既不帮助提高其对对抗性的例子，也不阻止神经网络之间的对抗性的例子的可移植性。
2019-08-21 cs.CL cs.CR cs.LG
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University（复旦大学计算机学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）
深度神经网络容易受到对抗攻击的攻击，其中对输入的小扰动会改变模型预测。在许多情况下，故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中，我们提出了第一个研究，系统地研究了文本分类模型的对抗性示例的可移植性，并探讨了各种因素，包括网络架构，标记化方案，词嵌入和模型容量，如何影响对抗性示例的可移植性。基于这些研究，我们提出了一个遗传算法，以找到一个集成的模型，可以用来诱导对抗性的例子，愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后，我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
Towards a Robust Deep Neural Network in Texts: A Survey
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（空天信息安全与可信计算教育部重点实验室）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
深度神经网络（DNN）已经在各种任务（例如，图像分类、语音识别和自然语言处理（NLP））。然而，研究人员已经证明，基于DNN的模型容易受到对抗性示例的影响，这些示例通过向合法输入中添加不可察觉的扰动来导致错误的预测。近年来，研究发现文本领域存在对抗性的例子，可以有效地规避各种基于DNN的文本分析器，并进一步带来虚假信息扩散的威胁。本文综述了国内外对抗性文本生成技术的研究现状，并提出了相应的防御方法。更重要的是，我们希望我们的工作可以激励未来的研究，开发更强大的基于DNN的文本分析器来对抗已知和未知的对抗技术。我们根据扰动单元对现有的制作对抗文本的对抗技术进行了分类，有助于更好地理解对抗文本的生成并构建强大的防御模型。在介绍文本域中的对抗攻击和防御的分类时，我们从不同NLP任务的角度介绍了对抗技术。最后，我们讨论了文本中的对抗攻击和防御的现有挑战，并提出了未来的研究方向，在这个新兴的和具有挑战性的领域。
2021-04-21 cs.CL cs.CR cs.LG
