How Does Adversarial Fine-Tuning Benefit BERT?
Visa Research（维萨研究）
对抗性训练（AT）是机器学习中防御对抗攻击最可靠的方法之一。该方法的变体已被用作正则化机制，以在NLP基准上实现SOTA结果，并且已发现它们对迁移学习和持续学习很有用。我们搜索的原因，通过对比香草和adversarially微调BERT模型的AT的有效性。我们确定部分保存BERT的语法能力在微调的成功的关键AT。我们观察到，对抗微调模型仍然更忠实于BERT的语言建模行为，更敏感的词序。作为句法能力的具体例子，一个对抗性微调模型在回指一致性上的优势可达38%，在依存句法分析上的优势可达11%。我们的分析表明，香草微调过度简化的句子表示，重点放在一个小的子集的话。然而，AT缓和了这些有影响力的词的效果，并鼓励代表性的多样性。这允许一个句子的更层次的表示，并导致BERT的语法能力的损失减轻。
2021-09-29 cs.AI cs.CL cs.LG
Improving Health Mentioning Classification of Tweets using Contrastive Adversarial Training
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
健康提及分类（HMC）将输入文本分类为健康提及或不健康提及。疾病词的比喻性和非健康性提及使得分类任务具有挑战性。学习输入文本的上下文是解决这个问题的关键。这个想法是通过周围的单词来学习单词表示，并利用文本中的表情符号来帮助改善分类结果。在本文中，我们使用对抗性训练来改进输入文本的单词表示，该训练在模型的微调过程中充当正则化器。我们通过扰动模型的嵌入来生成对抗性的例子，然后在一对干净的和对抗性的例子上训练模型。此外，我们利用对比损失，推动一对干净的和扰动的例子接近对方和其他例子远离表示空间。我们训练和评估的方法上公开可用的PHM 2017数据集的扩展版本。实验表明，在BERT-Large基线上提高了1.0%，在Roberta-Large基线上提高了0.6%，而在F1得分方面，比最先进的水平提高了5.8%。此外，我们利用可解释的AI的力量对结果进行了简要分析。
2022-03-03 cs.AI
Fooling the Textual Fooler via Randomizing Latent Representations
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；Baidu Research（百度研究院）；Amazon（亚马逊）
本文提出轻量级防御方法AdvFooler，通过在推理时随机化潜在表示来迷惑黑盒词级对抗攻击，在不增加训练开销且几乎不影响准确性的前提下实现接近最先进的鲁棒性。
2024-06-09 cs.AI cs.CL
HQA-VLAttack: Towards High Quality Adversarial Attack on Vision-Language Pre-Trained Models
Dalian University of Technology（大连理工大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Shenzhen University（深圳大学）
本文提出HQA-VLAttack框架，通过文本和图像攻击阶段生成高质量对抗示例，同时优化正负样本相似度，提升攻击成功率。
2026-04-14 cs.AI cs.CV
Exact Adversarial Attack to Image Captioning via Structured Output Learning with Latent Variables
University of Electronic Science and Technology of China（电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们研究了基于CNN+RNN的图像描述系统受到对抗性噪声的鲁棒性。我们提出了欺骗图像描述系统产生一些有针对性的部分字幕的图像污染的对抗性噪声，即使有针对性的字幕是完全无关的图像内容。部分字幕表示字幕中某些位置的词被观察到，而其他位置的词不受限制，这是首次研究针对部分字幕的精确对抗攻击。由于标题中单词之间的顺序依赖关系，我们将针对部分标题的对抗性噪声的生成公式化为具有潜在变量的结构化输出学习问题。然后采用广义期望最大化算法和带隐变量的结构支持向量机对问题进行优化。所提出的方法生成非常成功的攻击三个流行的CNN+RNN基于图像描述模型。此外，本文提出的攻击方法有助于理解图像描述系统的内部机制，为进一步改进自动图像描述系统向人工字幕方向发展提供指导。
2019-05-10 cs.AI cs.CV
Mutation-Based Adversarial Attacks on Neural Text Detectors
Texas A&M University – San Antonio（德克萨斯农工大学圣安东尼奥分校）
神经文本检测器旨在确定区分神经（机器生成）和人类文本的特征。为了挑战这种检测器，对抗攻击可以改变生成的文本的统计特征，使检测任务变得越来越困难。受软件开发和测试中突变分析进展的启发，在本文中，我们提出了基于字符和单词的突变算子，用于生成对抗性样本，以攻击最先进的自然文本检测器。这属于白盒对抗攻击。在这种攻击中，攻击者可以访问原始文本并基于该原始文本创建变异实例。其最终目标是混淆机器学习模型和分类器，降低它们的预测精度。
2023-02-11 cs.AI cs.CR
Vulnerability of Natural Language Classifiers to Evolutionary Generated Adversarial Text
University of Stirling（斯特灵大学）；University of Strathclyde（斯特拉斯克莱德大学）
提出GAversary混合遗传算法，仅利用模型logit输出作为黑盒，通过GloVe嵌入改进词替换的语义相似性，在多个基准数据集上显著降低目标模型准确率（最佳从76.8%降至5.8%），但扰动词数约为对比方法的两倍。
2026-06-26 cs.AI
Adv-OLM: Generating Textual Adversaries via OLM
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校（IIT Kanpur））
深度学习模型容易受到对抗性示例的影响，这些示例在原始输入中具有不可感知的扰动，从而导致针对这些模型的对抗攻击。对NLP中最先进的Transformers的这些攻击的分析可以帮助提高这些模型对这种对抗性输入的鲁棒性。在本文中，我们提出了先进的OLM，黑盒攻击方法，适应闭塞和语言模型（OLM）的想法，以目前最先进的攻击方法。OLM用于对句子中的单词进行排名，然后使用单词替换策略进行替换。我们的实验表明，我们的方法优于其他攻击方法的几个文本分类任务。
2021-01-21 cs.AI cs.CL cs.LG
Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach
College of Computing, Mohammed VI Polytechnic University（计算学院、摩洛哥穆莱·易斯·本·阿卜杜勒阿齐兹理工学院）；CID Development（CID开发公司）
本文提出基于增长界矩阵的正则化技术，提升LSTM、S4和CNN在词替换攻击下的鲁棒性，同时改善干净文本泛化，实验显示对抗鲁棒性最高提升8.8%。
2025-07-14 cs.AI cs.CL cs.LG
A Simple Yet Efficient Method for Adversarial Word-Substitute Attack
The Hong Kong University of Science and Technology（香港科技大学）
NLP研究人员提出了不同的单词替代黑盒攻击，可以欺骗文本分类模型。在这种攻击中，攻击者不断向目标模型发送精心制作的对抗性查询，直到它能够成功实现预期的结果。最先进的攻击方法通常需要数百或数千个查询才能找到一个对抗性示例。在本文中，我们研究了一个复杂的对手是否可以攻击系统少得多的查询。我们提出了一个简单而有效的方法，可以减少3-30倍的平均数量的对抗性查询，并保持攻击的有效性。这项研究强调，对手可以以更低的成本欺骗深度NLP模型。
2022-05-07 cs.AI cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
Combating Adversarial Misspellings with Robust Word Recognition
Carnegie Mellon University（卡内基梅隆大学）
为了对抗对抗性拼写错误，我们建议在下游分类器之前放置一个单词识别模型。我们的单词识别模型建立在RNN半字符架构的基础上，引入了几种新的退避策略来处理罕见和不可见的单词。训练识别随机添加，下降，交换和键盘错误损坏的单词，我们的方法实现了32%的相对（和3.3%的绝对）错误减少香草半字符模型。值得注意的是，我们的管道赋予下游分类器鲁棒性，优于对抗训练和现成的拼写检查器。与针对情感分析进行微调的BERT模型相比，单个敌对选择的字符攻击将准确率从90.3%降低到45.8%。我们的防御系统可以将准确率恢复到75%。令人惊讶的是，更好的单词识别并不总是需要更强的鲁棒性。我们的分析表明，鲁棒性还取决于一个量，我们表示的灵敏度。
2019-08-29 cs.CL cs.CR cs.LG
Identifying Human Strategies for Generating Word-Level Adversarial Examples
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
NLP中的对抗性示例正受到越来越多的研究关注。研究的一条线是生成针对微调的Transformer模型的单词级对抗性示例，这些模型保留了自然性和语法性。以前的工作发现，人类和机器生成的对抗性示例在自然性和语法正确性方面具有可比性。最值得注意的是，人类能够比自动攻击更轻松地生成对抗性示例。在本文中，我们详细分析了人类如何创建这些对抗性示例。通过探索人类工作者在生成过程中的行为模式，我们根据人类更喜欢选择哪些词进行对抗性替换（例如，词频率、词显著性、情感）以及在输入序列中词被替换的位置和时间。通过我们的研究结果，我们试图激励人们努力利用人类策略来构建更强大的NLP模型。
2022-10-20 cs.CL
Generative Adversarial Networks for text using word2vec intermediaries
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；St Michael’s Hospital（圣迈克尔医院）
生成对抗网络（GANs）已经取得了相当大的成功，特别是在真实图像的生成方面。在这项工作中，我们采用类似的技术来生成文本。我们提出了一种新的方法来处理文本的离散性，在训练过程中，使用词嵌入。我们的方法是不可知的词汇量的大小，并取得了竞争力的结果相对于各种离散梯度估计的方法。
2019-04-04 cs.AI cs.CL cs.LG
Gradient-Based Word Substitution for Obstinate Adversarial Examples Generation in Language Models
提出基于梯度的 GradObstinate 词语替换方法，无需人工规则即可自动生成顽固对抗样本，并在多个模型、基准及黑盒大模型上验证其更高攻击成功率与可迁移性。
2023-08-18 cs.AI cs.CL cs.CR
Frequency-Guided Word Substitutions for Detecting Textual Adversarial Examples
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
最近的努力表明，神经文本处理模型容易受到对抗性示例的影响，但这些示例的性质却知之甚少。在这项工作中，我们展示了针对CNN、LSTM和基于Transformer的分类模型的对抗攻击，这些攻击通过被替换的单词及其对应的替换之间的频率差异来执行单词替换。基于这些发现，我们提出了频率引导的词替换（FGWS），一个简单的算法，利用敌对词替换的频率特性检测敌对的例子。FGWS通过准确检测SST-2和IMDb情感数据集上的对抗性示例实现了强大的性能，与基于RoberTa的分类模型相比，F1检测分数高达91.4%。我们比较我们的方法对最近提出的扰动歧视框架，并表明我们优于它高达13.0%F1。
2021-01-26 cs.CL
Frauds Bargain Attack: Generating Adversarial Text Samples via Word Manipulation Process
University of Technology Sydney（悉尼科技大学）；ShanghaiTech University（上海科技大学）
针对NLP模型易受对抗样本攻击且现有生成方法依赖确定性规则的问题，提出基于随机化机制和Metropolis-Hasting采样器的欺诈交易攻击（FBA），通过上下文感知的词操作过程生成高质量对抗样本，在攻击成功率、不可感知性和句子质量上优于其他方法。
2023-12-27 cs.AI cs.CL
Adversarial Attacks on Image Generation With Made-Up Words
Columbia University（哥伦比亚大学）
文本引导的图像生成模型可以被提示使用逆向设计的随机词来生成图像，以鲁棒地唤起特定的视觉概念。这种生成的两种方法介绍：macaronic提示，它涉及到通过连接来自不同语言的子字单元来设计神秘的混合词;和唤起提示，它涉及到设计其广泛的形态特征与现有单词足够相似的临时词，以触发强大的视觉联想。这两种方法也可以结合起来生成与更具体的视觉概念相关联的图像。这些技术的影响，为规避现有的方法，内容审核，特别是生成攻击性或有害的图像，进行了讨论。
2022-08-04 cs.CL cs.CR cs.CV
Using Adversarial Debiasing to Remove Bias from Word Embeddings
词嵌入已经被证明包含了原始语料库中存在的社会偏见。处理这个问题的现有方法已被证明只能消除表面的偏见。对抗性去偏见的方法被认为是同样肤浅的，但这在以前的作品中没有得到验证。使用其他方法中的浅层去除实验，我显示的结果表明对抗性去偏在去除偏见方面更有效，从而激发了对对抗性去偏效用的进一步研究。
2021-07-22 cs.CL
A Modified Word Saliency-Based Adversarial Attack on Text Classification Models
Praxis Business School（普拉西斯商学院）
本文提出MWSAA对抗攻击方法，通过显著性估计筛选关键词并依据语义相似度进行修改，在保持文本连贯的同时提升了对文本分类模型的攻击成功率。
2024-03-17 cs.CL cs.CR cs.LG
Guided Perturbation Sensitivity (GPS): Detecting Adversarial Text via Embedding Stability and Word Importance
University of Houston（休斯顿大学）
GPS通过嵌入稳定性与词重要性检测对抗文本，实现高准确率和低计算成本的攻击识别。
2026-01-28 cs.AI cs.CL cs.LG
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap研究所）
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明，可以构建一个映射矩阵，将两组单语词嵌入对齐在一起，而无需高质量的并行数据，如字典或词典对齐语料库。然而，如果没有后细化，这些方法的初步映射的性能并不好，导致在类型学上遥远的语言的性能差。在本文中，我们提出了一种弱监督对抗训练方法来克服这一限制，基于直觉，即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法，对于大多数语言，它提高了以前无监督对抗方法的性能，特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation
Seoul National University（首尔国立大学）；NAVER WEBTOON AI（NAVER WEBTOON人工智能部门）
词级对抗攻击在NLP模型中取得了成功，近年来大大降低了基于transformer的模型的性能。作为一种对策，对抗性防御已被探索，但相对较少的努力已经检测到对抗性的例子。然而，检测对抗性示例对于自动化任务（例如，审查情感分析）可能是至关重要的，这些任务希望收集有关特定人群的信息，并且另外是迈向强大防御系统的一步。为此，我们在四个数据集和四个模型上发布了四种流行攻击方法的数据集，以鼓励在这一领域的进一步研究。与此同时，我们提出了一个基于密度估计的竞争性基线，该基线在30种攻击模型组合中的29种组合中具有最高的AUC。源代码可在https://github.com/anoymous92874838/text-adv-detection上获得。
2022-03-03 cs.CL cs.CR cs.LG
Generating Watermarked Adversarial Texts
对抗性样本生成是近年来的研究热点，因为它会导致深度神经网络（DNN）对生成的对抗性样本进行错误分类，这揭示了DNN的脆弱性，促使我们寻找好的解决方案来提高DNN模型的鲁棒性。由于自然语言在社交网络上的广泛性和高流动性，文献中已经提出了各种基于自然语言的对抗攻击算法。这些算法生成具有高语义质量的对抗性文本示例。然而，生成的对抗性文本示例可能被恶意或非法使用。为了解决这个问题，我们提出了一个通用的框架生成水印对抗文本的例子。对于给定文本中的每个单词，确定一组候选单词，以确保该组中的所有单词都可以用于携带秘密比特或促进对抗性示例的构建。通过应用词级对抗文本生成算法，可以最终生成带水印的对抗文本示例。实验结果表明，该方法生成的对抗性文本样本不仅能够成功欺骗高级DNN模型，而且能够携带水印，有效验证对抗性样本的所有权，并追踪其来源。而且，水印在对抗性样本生成算法攻击后仍能存活，显示了其适用性和优越性。
2021-10-25 cs.CL cs.CR
Defending Pre-trained Language Models from Adversarial Word Substitutions Without Performance Sacrifice
Shanghai Jiao Tong University（上海交通大学）
预训练的上下文化语言模型（PrLM）在下游自然语言理解任务中带来了强大的性能提升。然而，PrLM仍然可以很容易地被敌对词替换所欺骗，这是最具挑战性的文本对抗攻击方法之一。现有的防御方法遭受显着的性能损失和复杂性。因此，本文提出了一个紧凑的和性能保持的框架，异常检测与频率感知随机化（ADFAR）。详细地说，我们设计了一个辅助异常检测分类器，并采用多任务学习过程，通过该过程，PrLM能够区分敌对的输入样本。然后，为了防御对抗性单词替换，将频率感知的随机化过程应用于那些识别出的对抗性输入样本。实验结果表明，ADFAR在各种任务上的推理速度明显优于新提出的防御方法。值得注意的是，ADFAR不会损害PrLM的整体性能。代码可在https://github.com/LilyNLP/ADFAR上获得
2021-05-30 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
Adversarial Multi-Criteria Learning for Chinese Word Segmentation
Fudan University（复旦大学）
不同的语言学视角导致了汉语分词标准的差异。大多数现有的方法侧重于提高性能的每一个单一的标准。然而，利用这些不同的标准并挖掘其共同的基础知识是有趣的。在本文中，我们提出了对抗性的多标准学习CWS通过整合共享的知识，从多个异构的分割标准。在八个具有异构切分标准的语料库上的实验表明，与单一标准学习相比，每个语料库的性能都得到了显著的提高。本文的源代码可以在Github上找到。
2017-04-25 cs.CL
Certified Robustness to Adversarial Word Substitutions
Stanford University（斯坦福大学）
最先进的NLP模型通常会被应用看似无害的标签保留转换（例如，释义）来输入文本。可能的转换数量随文本长度呈指数级增长，因此数据增强无法覆盖输入的所有转换。本文考虑一个指数级大的标签保持变换族，其中输入中的每个单词都可以用相似的单词替换。我们训练第一个模型，这些模型可证明对这个家族中的所有单词替换都是鲁棒的。我们的训练过程使用区间边界传播（IBP）来最小化任何单词替换组合可能引起的最坏情况损失的上限。为了评估模型对这些转换的鲁棒性，我们测量了应用于测试示例的逆向选择单词替换的准确性。我们的IBP训练模型在IMDB上的情感分析和SNLI上的自然语言推理上都达到了$75\%$对抗精度。相比之下，在IMDB上，正常训练的模型和使用数据增强训练的模型分别仅达到$8\%$和$35\%$的对抗精度。
2019-09-03 cs.CL cs.LG
Multi-Adversarial Learning for Cross-Lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap 研究所）
生成对抗网络（GANs）已经成功地在没有监督的情况下诱导跨语言词嵌入-跨语言匹配词的映射。尽管取得了这些成功，但GANs在远距离语言的困难情况下的性能仍然不令人满意。这些局限性可以通过GANs的错误假设来解释，即源和目标嵌入空间通过单个线性映射相关并且近似同构。相反，我们假设，特别是在遥远的语言中，映射只是分段线性的，并提出了一种多对抗学习方法。这种新方法通过多个映射来产生种子跨语言词典，每个映射被诱导以适合于一个子空间的映射。我们对无监督双语词典归纳的实验表明，该方法比以前的单一映射方法，特别是对遥远的语言，提高了性能。
2021-08-25 cs.CL
Non-Adversarial Unsupervised Word Translation
Facebook AI Research（Facebook人工智能研究院）；Tel Aviv University（特拉维夫大学）
非平行语际语料库中的无监督单词翻译引起了人们的广泛研究兴趣。最近，用对抗性损失函数训练的神经网络方法在这项任务上实现了高精度。尽管最近的技术取得了令人印象深刻的成功，但它们存在生成对抗模型的典型缺点：对超参数敏感，训练时间长，缺乏可解释性。在本文中，我们观察到，两个足够相似的分布可以正确地对齐迭代匹配方法。我们提出了一种新的方法，首先对齐两种语言的单词分布的二阶矩，然后迭代地细化对齐。对欧洲和非欧洲语言的单词翻译进行的大量实验表明，我们的方法比最近最先进的深度对抗方法具有更好的性能，并且与监督基线相比具有竞争力。它也是高效的，易于在CPU上并行化和可解释的。
2018-08-13 cs.CL cs.LG
Defense of Word-level Adversarial Attacks via Random Substitution Encoding
North China Electric Power University（华北电力大学）
针对计算机视觉任务的深度神经网络的对抗攻击催生了许多新技术，有助于保护模型避免错误预测。最近，对自然语言处理（NLP）任务的深度模型的词级对抗攻击也表现出强大的力量，例如，欺骗情感分类神经网络做出错误的决定。不幸的是，以前的文献很少讨论防御这种词级的同义词替换为基础的攻击，因为他们很难被感知和检测。在本文中，我们揭示了这个问题，并提出了一种新的防御框架称为随机替代编码（RSE），它引入了一个随机替代编码器到原始神经网络的训练过程。文本分类任务的广泛实验证明了我们的框架防御单词级对抗攻击的有效性，在各种基础和攻击模型。
2020-06-12 cs.CL cs.LG
Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach
University of Technology Sydney（悉尼科技大学）；Shandong University（山东大学）
本文提出QA-Attack词级对抗策略，利用定制注意力机制和删除排序策略替换同义词，在保持语法完整性的同时成功欺骗问答模型，并在多项指标上超越现有对抗技术。
2024-11-12 cs.AI cs.CL cs.LG
The Sensitivity of Word Embeddings-based Author Detection Models to Semantic-preserving Adversarial Perturbations
The University of Tennessee（田纳西大学）
作者身份分析是自然语言处理领域的一个重要课题。它允许检测文章，新闻，书籍或消息的最有可能的作者。这种技术有多种用途的任务有关的作者归属，检测剽窃，风格分析，来源的错误信息，本文的重点是探讨的局限性和敏感性，建立的方法对抗性操作的输入。为此，并使用这些既定的技术，我们首先开发了一个实验框架，作者检测和输入扰动。接下来，我们通过实验评估了作者身份检测模型对输入叙述的语义保留对抗性扰动的集合的性能。最后，我们比较和分析了不同的扰动策略，输入和模型配置的效果，以及这些对作者检测模型的影响。
2021-02-23 cs.AI cs.CL
Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and Improved Training
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
对抗训练在学习双语词典方面取得了令人印象深刻的成功，没有任何并行数据，通过将单语嵌入映射到共享空间。然而，最近的研究表明，非对抗性方法在更具挑战性的语言对中表现出更好的性能。在这项工作中，我们重新审视了用于无监督单词翻译的对抗自动编码器，并提出了两个新的扩展，以产生更稳定的训练和改进的结果。我们的方法包括正则化条款，以加强循环一致性和输入重建，并把目标编码器作为对手对相应的编码器。对欧洲、非欧洲和低资源语言的广泛实验表明，我们的方法比最近提出的对抗性和非对抗性方法更鲁棒，性能更好。
2019-04-04 cs.CL cs.LG stat.ML
Adversarial Examples for Evaluating Math Word Problem Solvers
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
标准的准确性指标表明，数学应用题（MWP）求解器在基准数据集上实现了高性能。然而，现有的MWP求解器在多大程度上真正理解语言及其与数字的关系仍然不清楚。在本文中，我们生成对抗攻击来评估最先进的MWP求解器的鲁棒性。我们提出了两种生成对抗攻击的方法：问句重排和句子释义。我们在两个基准数据集上对三个神经MWP求解器进行了实验。平均而言，我们的攻击方法能够在这些数据集上将MWP求解器的准确性降低40个百分点以上。我们的研究结果表明，现有的MWP求解器是敏感的语言变化的问题文本。我们通过人工评估来验证生成的对抗性示例的有效性和质量。
2021-09-13 cs.CL
Searching for an Effective Defender: Benchmarking Defense against Adversarial Word Substitution
School of Computer Science, Fudan University（复旦大学计算机学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）
最近的研究表明，深度神经网络容易受到故意制作的对抗性示例的攻击，并且已经提出了各种方法来防御神经NLP模型的对抗性单词替换攻击。然而，对于同一攻击环境下不同防御方式的比较研究还缺乏系统性。本文试图通过全面研究理解在代表性对抗攻击下，各种防御方法训练的神经文本分类器的行为，来填补系统研究的空白。此外，我们提出了一种有效的方法来进一步提高神经文本分类器对此类攻击的鲁棒性，并在AGNEWS和IMDB数据集上的干净和对抗性示例上实现了最高的准确率。
2021-10-06 cs.CL
Contrasting Human- and Machine-Generated Word-Level Adversarial Examples for Text Classification
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
研究表明，自然语言处理模型通常被认为容易受到对抗攻击的攻击;但最近的工作引起了人们对根据某些标准验证这些对抗输入的问题的关注（例如，语义和语法的保留）。强制执行约束以维护这些标准可能会使攻击失败，从而提出有效攻击是否实际可行的问题。在这项工作中，我们通过人类语言能力的镜头来调查这一点。我们报告了众包研究，在这些研究中，我们要求人类迭代修改输入文本中的单词，同时接收即时模型反馈，目的是使情感分类模型对示例进行错误分类。我们的研究结果表明，人类能够使用保留语义的单词替换来生成大量的对抗性示例。我们分析了人类生成的对抗性示例与最近提出的TextFocal，Genetic，BAE和SememePSO攻击算法在维度自然性，情感保留，语法性和替换率方面的比较。我们的研究结果表明，人类生成的对抗性示例并不比最好的算法更能够生成自然阅读，保留情感的示例，尽管它们的计算效率要高得多。
2021-09-09 cs.CL
Personalized sentence generation using generative adversarial networks with author-specific word usage
University of Electronic Science and Technology of China（中国电子科技大学）；National Pingtung University（国立屏东大学）
作者专用词的使用是读者感知作者写作风格的重要特征。在这项工作中，个性化的句子生成方法的基础上生成对抗网络（GANs），提出了解决这个问题。在GAN训练中，将常用的功能词和内容词作为输入特征和句子结构约束。对于由用户决定的相关主题的句子生成，输入词的命名实体识别（NER）信息也用于网络训练。将该方法与基于GAN的句子生成方法进行了比较，实验结果表明，基于BLEU和SimHash评分等客观评价，使用该方法生成的句子与同一作者的原始句子更相似。
2019-04-20 cs.CL
Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation
University of Virginia（弗吉尼亚大学）
神经语言模型显示出对对抗性示例的脆弱性，这些示例在语义上与其原始对应物相似，其中一些单词被其同义词取代。提高模型鲁棒性的一种常见方法是对抗性训练，它遵循两个步骤--通过攻击目标模型来收集对抗性示例，并使用这些对抗性示例在增强数据集上微调模型。传统对抗训练的目标是使模型在原始/对抗样本对上产生相同的正确预测。然而，两个相似文本的模型决策之间的一致性被忽视。我们认为，一个强大的模型应该在原始/对抗样本对上表现一致，也就是说，基于相同的原因（如何）做出相同的预测（什么），这可以通过一致的解释来反映。在这项工作中，我们提出了一种新的特征级对抗训练方法FLAT。FLAT旨在提高模型在预测和解释方面的鲁棒性。FLAT在神经网络中引入了可变的单词掩码，以学习全局单词的重要性，并作为一个瓶颈，教导模型根据重要单词进行预测。FLAT通过正则化相应的全局单词重要性得分，明确地解决了由模型对原始/对抗性示例对中被替换单词及其同义词的理解之间的不匹配引起的脆弱性问题。实验表明，FLAT在提高四种神经网络模型（LSTM，CNN，BERT和DeBERTa）对四种文本分类任务的两种对抗攻击的预测和解释的鲁棒性方面的有效性。通过FLAT训练的模型在不同攻击的不可预见的对抗性示例上也表现出比基线模型更好的鲁棒性。
2022-03-23 cs.CL
Generating Valid and Natural Adversarial Examples with Large Language Models
School of Advanced Technology（先进技术学院）；School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University（西交利物浦大学人工智能与先进计算学院）；University of Liverpool（利物浦大学）
本文提出LLM-Attack方法，利用大型语言模型通过词重要性排序和词同义词替换两阶段过程，生成既有效又自然的对抗样本，在多个数据集上显著超越基线模型。
2023-11-20 cs.AI cs.CL
Adversarial Math Word Problem Generation
Duke University（杜克大学）
针对 LLM 干扰数学能力评估的问题，本文利用抽象语法树和数值编辑生成保留原题结构与难度的对抗性数学应用题，显著降低多种开源与闭源 LLM 的解题表现。
2024-06-15 cs.AI cs.CL
Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
词义消歧是英语翻译中常见的翻译错误之一。我们认为，一些不正确的消歧选择是由于模型过度依赖训练数据中的数据集工件，特别是表面的单词共现，而不是对源文本的更深入理解。我们介绍了一种基于统计数据属性的预测消歧错误的方法，证明了它在多个领域和模型类型中的有效性。此外，我们开发了一个简单的对抗攻击策略，最小限度地干扰句子，以引起消歧错误，以进一步探讨翻译模型的鲁棒性。我们的研究结果表明，消歧鲁棒性在不同领域之间存在很大差异，并且在相同数据上训练的不同模型容易受到不同的攻击。
2020-11-03 cs.CL
LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
FSTM - University of Luxembourg（卢森堡大学FSTM分校）；Luxembourg Institute of Science and Technology（卢森堡科学与技术研究所）；Brown University（布朗大学）
针对神经语言模型易过拟合全局句子表征、难以捕捉局部语义细节的问题，提出对抗训练策略LANE，通过生成选择性标记替换词的负样本提升词义区分能力，在相关基准上性能优于对比学习基线，且模型无关可集成。
2025-11-14 cs.CL
Unsupervised Word Translation Pairing using Refinement based Point Set Registration
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
词嵌入的跨语言对齐在跨语言知识传递中起着重要作用，用于改进机器翻译和其他多语言应用。目前的无监督方法依赖于跨语言的词嵌入空间的几何结构的相似性，使用对抗网络和细化策略来学习保持结构的线性变换。然而，在实践中，这样的技术往往遭受不稳定性和收敛问题，需要繁琐的微调精确的参数设置。本文提出了BioSpere，一种新的框架，用于无监督映射的双语词嵌入到一个共享的向量空间，通过结合对抗初始化和细化过程与点集配准算法用于图像处理。我们表明，我们的框架弥补了现有方法的缺点，并且对可变对抗学习性能相对不变，在参数选择和训练损失方面具有鲁棒性。并行词典归纳任务的实验评估表明，我们的框架在不同的语言对的最先进的结果。
2020-11-26 cs.AI cs.CL
WARP: Word-level Adversarial ReProgramming
YerevaNN；Yerevan State University（埃里温州立大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
从预训练的语言模型进行迁移学习最近成为解决许多NLP任务的主要方法。用于多个任务的迁移学习的最大化参数共享的常见方法在语言模型之上训练一个或多个任务特定层。在本文中，我们提出了一种基于对抗性重编程的替代方法，该方法扩展了自动提示生成的早期工作。对抗性重编程试图学习特定于任务的词嵌入，当这些词嵌入连接到输入文本时，指示语言模型解决指定的任务。每个任务使用多达25 K个可训练参数，这种方法在GLUE基准测试的公共排行榜上具有多达25 M个可训练参数，优于所有现有方法。我们的方法初始化了特定于任务的人类可读提示，也适用于Few-Shot设置，在两个SuperGLUE任务上的表现优于GPT-3，只有32个训练样本。
2021-06-02 cs.CL
Robust Textual Embedding against Word-level Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）
我们属性的脆弱性自然语言处理模型的事实，类似的输入被转换为不同的表示在嵌入空间中，导致不一致的输出，我们提出了一种新的强大的训练方法，称为快速三重度量学习（FTML）。具体来说，我们认为原始样本应该与其对抗性对应物具有相似的表示，并将其表示与其他样本区分开来，以获得更好的鲁棒性。为此，我们在标准训练中采用三重度量学习，以将单词拉近其正样本（即，同义词）并推开它们的阴性样本（即，非同义词）在嵌入空间中。大量的实验表明，FTML可以显著提高模型对各种高级对抗攻击的鲁棒性，同时保持对原始样本有竞争力的分类精度。此外，我们的方法是有效的，因为它只需要调整嵌入，并在标准训练上引入很少的开销。我们的工作显示了通过鲁棒的词嵌入来提高文本鲁棒性的巨大潜力。
2022-07-27 cs.CL
A sentiment analysis model for car review texts based on adversarial training and whole word mask BERT
Beijing University of Posts and Telecommunications（北京邮电大学）；Didi Research Institute, Didi Chuxing（滴滴出行滴滴研究院）
在汽车评价领域，越来越多的网友选择在互联网平台上发表自己的意见，而这些评论会影响到买家的决策和汽车口碑的走向。情感分析作为自然语言处理的一个重要分支，为分析海量汽车评论文本的情感类型提供了一种有效的研究方法。然而，由于汽车领域评论文本的词汇专业性和文本噪声大，当一般的情感分析模型应用于汽车评论时，模型的准确性会很差。为了克服上述挑战，我们针对汽车评论文本的情感分析任务。从词向量的角度出发，利用汽车领域专有词汇的全词掩码进行预训练，然后采用对抗训练集的策略进行训练数据。在此基础上，提出了一种基于对抗训练和整词掩码BERT的汽车评论文本情感分析模型（ATWWM-BERT）。
2022-06-06 cs.CL cs.IR
Generating Adversarial Examples in Chinese Texts Using Sentence-Pieces
Fudan University（复旦大学）
文本中的对抗攻击大多是基于替换的攻击方法，通过替换原文本中的单词或字符来实现成功攻击。最近的方法使用预先训练的语言模型作为替代生成器。而在中文中，这种方法是不适用的，因为中文中的单词需要首先分割。在本文中，我们提出了一个预训练的语言模型作为替代生成器使用的棋子，以制作对抗性的例子在中国。生成的对抗性例子中的替换不是字符或单词，而是\textit{'pieces'}，这对中国读者来说更自然。实验结果表明，生成的对抗样本可以误导强目标模型，并保持流畅和语义保持。
2020-12-29 cs.CL
SemRoDe: Macro Adversarial Training to Learn Representations That are Robust to Word-Level Attacks
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（信息通信研究院）；A*STAR（新加坡科技研究局）；Centre for Frontier AI Research（前沿人工智能研究中心）；Nanyang Technological University（南洋理工大学）
本文提出SemRoDe宏观对抗训练方法，通过将对抗样本投影到偏移最小的域并对齐高层特征，学习桥接基础域与对抗域的鲁棒表示，在BERT和RoBERTa上取得最先进的词级攻击防御效果。
2024-03-27 cs.CL cs.LG
Interpretable Adversarial Training for Text
University of Maryland（马里兰大学）
在文本域中生成高质量和可解释的对抗性示例比在图像域中更艰巨。这部分是由于文本的离散性，部分是由于确保对抗性示例仍然是可能的和可解释的问题，部分是由于在输入扰动下保持标签不变性的问题。为了解决其中的一些挑战，我们引入了稀疏投影梯度下降（SPGD），这是一种为文本制作可解释的对抗性示例的新方法。SPGD通过将输入扰动投影到具有最高余弦相似度的附近词嵌入的方向上来对输入扰动施加方向正则化约束。该约束确保扰动在可解释的方向上移动每个词嵌入（即，朝向另一个附近的词嵌入）。此外，SPGD施加稀疏性约束的扰动在句子层面上忽略词嵌入扰动的范数低于一定的阈值。这个约束确保我们的方法每个序列只改变几个单词，从而产生更高质量的对抗性示例。我们对IMDB电影评论数据集的实验表明，与最先进的方法相比，所提出的SPGD方法提高了对抗性示例的可解释性和似然性（通过平均每个单词的困惑度进行评估），同时在训练性能方面几乎没有损失。
2019-05-30 cs.CL cs.LG stat.ML
Coupling Distant Annotation and Adversarial Training for Cross-Domain Chinese Word Segmentation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
全监督神经网络方法在中文分词（CWS）领域取得了显著的进展。然而，当监督模型应用于域外数据时，其性能往往会急剧下降。性能下降是由跨域的分布差距和词汇表（OOV）问题引起的。为了同时缓解这两个问题，本文提出了跨领域CWS的远程注释和对抗训练的耦合。对于远距离标注，我们重新思考了“中文单词”的本质，设计了一个自动远距离标注机制，不需要任何监督或预定义的字典从目标领域。该方法可以有效地探索特定领域的词汇和远程注释的目标领域的原始文本。对于对抗性训练，我们开发了一个双级训练过程来进行降噪和最大限度地利用源域信息。在不同领域的多个真实世界数据集上的实验表明，我们的模型的优越性和鲁棒性，显着优于以前的最先进的跨域CWS方法。
2020-09-02 cs.CL cs.LG
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对LLM在含无关信息的数学应用题上性能下降的问题，提出生成对抗变体的提示框架及数据集PROBLEMATHIC，并通过微调提升模型鲁棒性约8%。
2025-09-15 cs.CL
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology（华中科技大学）
一系列工作表明，自然的文本处理模型容易受到对抗性示例的影响。相应地，提出了各种防御方法，以减轻威胁的文本对抗性的例子，例如，对抗性训练，输入变换，检测等。在这项工作中，我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换，其中每个字相互影响其他的话。我们发现，我们可以破坏这种相互作用，消除敌对扰动随机替换一个词与它的同义词。基于这一观察，我们提出了一种新的文本对抗性示例检测方法，称为随机替换和投票（RS&V），它通过累积k个样本的logits来投票预测标签，这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络，而无需修改架构或额外的训练，并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明，我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例，同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
