SAFER: A Structure-free Approach for Certified Robustness to Adversarial Word Substitutions
UT Austin（德克萨斯大学奥斯汀分校）
最先进的NLP模型通常会被人类不知道的转换所欺骗，例如同义词替换。出于安全原因，开发具有认证鲁棒性的模型至关重要，该模型可以证明保证预测不会被任何可能的同义词替换所改变。在这项工作中，我们提出了一个新的随机平滑技术的基础上，它构建了一个随机集成应用随机字替换输入句子，并利用集成的统计特性，可证明的鲁棒性认证的鲁棒性的认证方法。我们的方法简单且无结构，因为它只需要模型输出的黑盒查询，因此可以应用于任何预训练模型（如BERT）和任何类型的模型（世界级或子字级）。我们的方法显着优于最近的最先进的方法，在IMDB和亚马逊文本分类任务的认证鲁棒性。据我们所知，我们是第一个在大型系统（如BERT）上实现认证鲁棒性的工作，具有实际意义的认证准确性。
2020-05-29 cs.CL cs.CR cs.LG
A Simple Yet Efficient Method for Adversarial Word-Substitute Attack
The Hong Kong University of Science and Technology（香港科技大学）
NLP研究人员提出了不同的单词替代黑盒攻击，可以欺骗文本分类模型。在这种攻击中，攻击者不断向目标模型发送精心制作的对抗性查询，直到它能够成功实现预期的结果。最先进的攻击方法通常需要数百或数千个查询才能找到一个对抗性示例。在本文中，我们研究了一个复杂的对手是否可以攻击系统少得多的查询。我们提出了一个简单而有效的方法，可以减少3-30倍的平均数量的对抗性查询，并保持攻击的有效性。这项研究强调，对手可以以更低的成本欺骗深度NLP模型。
2022-05-07 cs.AI cs.CL
Contrasting Human- and Machine-Generated Word-Level Adversarial Examples for Text Classification
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
研究表明，自然语言处理模型通常被认为容易受到对抗攻击的攻击;但最近的工作引起了人们对根据某些标准验证这些对抗输入的问题的关注（例如，语义和语法的保留）。强制执行约束以维护这些标准可能会使攻击失败，从而提出有效攻击是否实际可行的问题。在这项工作中，我们通过人类语言能力的镜头来调查这一点。我们报告了众包研究，在这些研究中，我们要求人类迭代修改输入文本中的单词，同时接收即时模型反馈，目的是使情感分类模型对示例进行错误分类。我们的研究结果表明，人类能够使用保留语义的单词替换来生成大量的对抗性示例。我们分析了人类生成的对抗性示例与最近提出的TextFocal，Genetic，BAE和SememePSO攻击算法在维度自然性，情感保留，语法性和替换率方面的比较。我们的研究结果表明，人类生成的对抗性示例并不比最好的算法更能够生成自然阅读，保留情感的示例，尽管它们的计算效率要高得多。
2021-09-09 cs.CL
Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation
University of Virginia（弗吉尼亚大学）
神经语言模型显示出对对抗性示例的脆弱性，这些示例在语义上与其原始对应物相似，其中一些单词被其同义词取代。提高模型鲁棒性的一种常见方法是对抗性训练，它遵循两个步骤--通过攻击目标模型来收集对抗性示例，并使用这些对抗性示例在增强数据集上微调模型。传统对抗训练的目标是使模型在原始/对抗样本对上产生相同的正确预测。然而，两个相似文本的模型决策之间的一致性被忽视。我们认为，一个强大的模型应该在原始/对抗样本对上表现一致，也就是说，基于相同的原因（如何）做出相同的预测（什么），这可以通过一致的解释来反映。在这项工作中，我们提出了一种新的特征级对抗训练方法FLAT。FLAT旨在提高模型在预测和解释方面的鲁棒性。FLAT在神经网络中引入了可变的单词掩码，以学习全局单词的重要性，并作为一个瓶颈，教导模型根据重要单词进行预测。FLAT通过正则化相应的全局单词重要性得分，明确地解决了由模型对原始/对抗性示例对中被替换单词及其同义词的理解之间的不匹配引起的脆弱性问题。实验表明，FLAT在提高四种神经网络模型（LSTM，CNN，BERT和DeBERTa）对四种文本分类任务的两种对抗攻击的预测和解释的鲁棒性方面的有效性。通过FLAT训练的模型在不同攻击的不可预见的对抗性示例上也表现出比基线模型更好的鲁棒性。
2022-03-23 cs.CL
Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
词义消歧是英语翻译中常见的翻译错误之一。我们认为，一些不正确的消歧选择是由于模型过度依赖训练数据中的数据集工件，特别是表面的单词共现，而不是对源文本的更深入理解。我们介绍了一种基于统计数据属性的预测消歧错误的方法，证明了它在多个领域和模型类型中的有效性。此外，我们开发了一个简单的对抗攻击策略，最小限度地干扰句子，以引起消歧错误，以进一步探讨翻译模型的鲁棒性。我们的研究结果表明，消歧鲁棒性在不同领域之间存在很大差异，并且在相同数据上训练的不同模型容易受到不同的攻击。
2020-11-03 cs.CL
LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
FSTM - University of Luxembourg（卢森堡大学FSTM分校）；Luxembourg Institute of Science and Technology（卢森堡科学与技术研究所）；Brown University（布朗大学）
针对神经语言模型易过拟合全局句子表征、难以捕捉局部语义细节的问题，提出对抗训练策略LANE，通过生成选择性标记替换词的负样本提升词义区分能力，在相关基准上性能优于对比学习基线，且模型无关可集成。
2025-11-14 cs.CL
A sentiment analysis model for car review texts based on adversarial training and whole word mask BERT
Beijing University of Posts and Telecommunications（北京邮电大学）；Didi Research Institute, Didi Chuxing（滴滴出行滴滴研究院）
在汽车评价领域，越来越多的网友选择在互联网平台上发表自己的意见，而这些评论会影响到买家的决策和汽车口碑的走向。情感分析作为自然语言处理的一个重要分支，为分析海量汽车评论文本的情感类型提供了一种有效的研究方法。然而，由于汽车领域评论文本的词汇专业性和文本噪声大，当一般的情感分析模型应用于汽车评论时，模型的准确性会很差。为了克服上述挑战，我们针对汽车评论文本的情感分析任务。从词向量的角度出发，利用汽车领域专有词汇的全词掩码进行预训练，然后采用对抗训练集的策略进行训练数据。在此基础上，提出了一种基于对抗训练和整词掩码BERT的汽车评论文本情感分析模型（ATWWM-BERT）。
2022-06-06 cs.CL cs.IR
Adversarial Word Dilution as Text Data Augmentation in Low-Resource Regime
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；University of Ottawa（渥太华大学）
本文提出对抗性词语稀释方法，通过极小极大优化生成困难正样本用于低资源文本分类数据增强，在三个基准数据集上优于现有方法，并具备可解释性和免训练扩展能力。
2023-08-09 cs.CL
How Does Adversarial Fine-Tuning Benefit BERT?
Visa Research（维萨研究）
对抗性训练（AT）是机器学习中防御对抗攻击最可靠的方法之一。该方法的变体已被用作正则化机制，以在NLP基准上实现SOTA结果，并且已发现它们对迁移学习和持续学习很有用。我们搜索的原因，通过对比香草和adversarially微调BERT模型的AT的有效性。我们确定部分保存BERT的语法能力在微调的成功的关键AT。我们观察到，对抗微调模型仍然更忠实于BERT的语言建模行为，更敏感的词序。作为句法能力的具体例子，一个对抗性微调模型在回指一致性上的优势可达38%，在依存句法分析上的优势可达11%。我们的分析表明，香草微调过度简化的句子表示，重点放在一个小的子集的话。然而，AT缓和了这些有影响力的词的效果，并鼓励代表性的多样性。这允许一个句子的更层次的表示，并导致BERT的语法能力的损失减轻。
2021-09-29 cs.AI cs.CL cs.LG
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University（复旦大学计算机学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）
深度神经网络容易受到对抗攻击的攻击，其中对输入的小扰动会改变模型预测。在许多情况下，故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中，我们提出了第一个研究，系统地研究了文本分类模型的对抗性示例的可移植性，并探讨了各种因素，包括网络架构，标记化方案，词嵌入和模型容量，如何影响对抗性示例的可移植性。基于这些研究，我们提出了一个遗传算法，以找到一个集成的模型，可以用来诱导对抗性的例子，愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后，我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
Word Similarity Datasets for Indian Languages: Annotation and Baseline Systems
International Institute of Information Technology（国际信息技术学院）
本文构建了六种印度语言的词语相似度数据集，通过翻译和重新标注英语数据集，并为三种语言提供词表示模型的基线评估。
2026-09-29 cs.CL cs.LG
Universal Adversarial Attacks with Natural Triggers for Text Classification
Princeton University（普林斯顿大学）
最近的工作已经证明了现代文本分类器对通用对抗攻击的脆弱性，这些攻击是添加到分类器处理的文本中的输入不可知的单词序列。尽管成功，在这种攻击中产生的单词序列往往是不合语法的，可以很容易地从自然文本中区分出来。我们开发的对抗攻击看起来更接近自然的英语短语，但当添加到良性输入时，会混淆分类系统。我们利用一个adversarially正则化自动编码器（ARAE）生成触发器，并提出了一个基于梯度的搜索，旨在最大限度地提高下游分类器的预测损失。我们的攻击有效地降低了分类任务的模型准确性，同时根据自动检测指标和人类受试者研究，比以前的模型更难识别。我们的目标是证明对抗攻击可以比以前想象的更难检测，并能够开发适当的防御。
2021-04-07 cs.CL cs.CR
Transferable End-to-End Aspect-based Sentiment Analysis with Selective Adversarial Learning
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）；Southern University of Science and Technology（南方科技大学）
联合提取方面和情感可以有效地制定为一个序列标记问题。然而，由于在许多领域中缺乏注释的序列数据，这种制定阻碍了监督方法的有效性。为了解决这个问题，我们首先探索了一个无监督的领域自适应设置这个任务。以往的工作只能利用体貌词和观点词之间的共同句法关系来弥补领域空缺，这对外部语言资源的依赖性很大。为了解决这个问题，我们提出了一种新的选择性对抗学习（SAL）方法来对齐推断的相关向量，自动捕获它们的潜在关系。SAL方法可以动态地学习每个单词的对齐权重，使得更重要的单词可以拥有更高的对齐权重，以实现细粒度（单词级）自适应。大量的实验证明了所提出的SAL方法的有效性。
2019-10-31 cs.CL
Arabic Synonym BERT-based Adversarial Examples for Text Classification
Clarkson University（克拉克森大学）
本文首次对阿拉伯语文本分类进行词级对抗攻击研究，提出基于BERT的MLM同义词攻击方法，发现微调BERT模型更易受攻击，且对抗训练可恢复至少2%准确率。
2024-02-05 cs.CL
FastWordBug: A Fast Method To Generate Adversarial Text Against NLP Applications
Baidu X-Lab（百度研究院深度学习实验室）
在本文中，我们提出了一种新的算法，FastWordBug，有效地产生小文本扰动的黑盒设置，迫使一个情感分析或文本分类模式作出不正确的预测。通过结合词的词性属性，提出了一种能够快速识别影响文本分类的重要词的评分方法。我们评估FastWordBug在三个真实世界的文本数据集和两个国家的最先进的机器学习模型下黑盒设置。结果表明，我们的方法可以显著降低模型的准确性，同时可以尽可能少地调用模型，具有最高的攻击效率。我们还攻击了两个流行的真实世界的NLP云服务，结果表明，我们的方法也工作。
2020-01-31 cs.CL cs.CR
Semantic-Preserving Adversarial Text Attacks
University of Technology Sydney（悉尼科技大学）；China University of Petroleum (East China)（中国石油大学（华东））；University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
深度神经网络（DNN）被认为容易受到对抗性图像的攻击，而它们在文本分类中的鲁棒性却很少被研究。文献中已经提出了几种文本攻击方法，包括字符级、单词级和文本级攻击。然而，它仍然是一个挑战，以尽量减少必要的词的变化，以诱导错误分类，同时确保词汇的正确性，语法的合理性，语义相似性。在本文中，我们提出了一种基于Bigram和Unigram的自适应语义保存优化（BU-SPO）方法来检查深层模型的脆弱性。我们的方法有四个主要优点。首先，我们提出攻击文本文档，不仅在unigram字的水平，但也在bigram水平，更好地保持语义，避免产生无意义的输出。其次，我们提出了一种混合的方法来取代输入的单词与选项之间的同义词候选人和义素候选人，这大大丰富了潜在的替代相比，只使用同义词。第三，设计了一个优化算法，语义保持优化（SPO），确定单词替换的优先级，以降低修改成本。最后，我们进一步改进了SPO与语义过滤器（命名为SPOF），以找到具有最高语义相似度的对抗性示例。我们评估我们的BU-SPO和BU-SPOF对IMDB，AG的新闻，和雅虎的有效性！通过攻击四种流行的DNN模型来回答文本数据集。实验结果表明，与现有方法相比，我们的方法通过改变最少的单词数量来实现最高的攻击成功率和语义率。
2023-03-03 cs.CL stat.ML
Using Random Perturbations to Mitigate Adversarial Attacks on Sentiment Analysis Models
University of Colorado Colorado Springs（科罗拉多斯普林斯科罗拉多大学）
对深度学习模型的攻击通常难以识别，因此难以防范。这个问题由于使用公共数据集而加剧，这些公共数据集通常在使用前不进行手动检查。在本文中，我们提供了一个解决方案，通过使用，在测试过程中，随机扰动，如拼写校正，如果必要的话，替换随机同义词，或简单地删除这个词，这个漏洞。这些扰动应用于随机句子中的随机单词，以保护NLP模型免受对抗攻击。我们的随机扰动防御和增强随机性防御方法成功地将受攻击的模型恢复到与攻击前模型相似的精度。在这项工作中使用的模型的原始准确率是80%的情感分类。在遭受攻击后，准确率下降到0%到44%之间。在应用我们的防御方法后，模型的精度在统计显著性范围内恢复到原始精度。
2022-02-11 cs.CL cs.LG
BERT is Robust! A Case Against Synonym-Based Adversarial Examples in Text Classification
ETH Zurich（苏黎世联邦理工学院）
深度神经网络已经席卷了自然语言处理。虽然这导致了许多任务的惊人改进，但它也开创了一个新的研究领域，通过攻击这些神经网络来质疑它们的鲁棒性。在本文中，我们研究了四个字替换为基础的攻击BERT。我们结合了对单个单词替换的人工评估和概率分析，结果表明，96%到99%的分析攻击不保留语义，这表明它们的成功主要是基于向模型提供不良数据。为了进一步证实这一点，我们引入了一个有效的数据增强过程，并表明可以通过在训练过程中包含类似于攻击的数据来防止许多对抗性示例。额外的后处理步骤将最先进攻击的成功率降低到5%以下。最后，通过寻找更合理的阈值对词替换的约束，我们得出结论，BERT是一个更强大的攻击研究表明。
2021-09-15 cs.CL
Towards Crafting Text Adversarial Samples
IBM India Research Lab（IBM印度研究院）
对抗性样本是策略性修改的样本，其目的是欺骗手头的分类器。攻击者将特制的对抗样本引入到已部署的分类器中，这些样本被分类器错误分类。然而，这些样本被认为是从完全不同的类中提取的，因此很难检测到对抗性样本。大多数先前的工作都集中在图像域中合成对抗样本。在本文中，我们提出了一种新的方法，通过修改原始样本制作对抗性文本样本。原始文本样本的修改是通过删除或替换文本中的重要或突出词或通过在文本样本中引入新词来完成的。我们的算法最适合在每个类别的例子中有子类别的数据集。在制作对抗性样本时，一个关键的约束是生成有意义的句子，这些句子可以从语言（英语）的角度看是合法的。在IMDB电影评论数据集的情感分析和Twitter数据集的性别检测上的实验结果表明了该方法的有效性。
2017-07-10 cs.AI cs.CL cs.CV
Robustness of Misinformation Classification Systems to Adversarial Examples Through BeamAttack
Department of Medical Informatics, Amsterdam UMC（医学信息学系，阿姆斯特丹大学医学中心）；Department of Informatics, University of Zurich（信息学系，苏黎世大学）；Department of Computational Linguistics, University of Zurich（计算语言学系，苏黎世大学）
本文扩展了BeamAttack对抗攻击算法，通过支持词语删除、跳过替换并集成LIME，在BODEGA框架下对BiLSTM、BERT和对抗训练RoBERTa实现超过99%攻击成功率，同时保持原文语义和词汇相似性。
2025-07-03 cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
关于隐含关系的推理（例如，词对之间的释义、常识、百科全书）对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对，隐含地表示背景知识，这种关系。我们的成对嵌入被计算为单词表示的组合函数，这是通过最大化两个单词共同出现的上下文的逐点互信息（PMI）来学习的。我们将这些表示添加到现有推理模型的跨句注意力层（例如，QA的Biorean，NLI的ESIM），而不是扩展或替换现有的词嵌入。实验表明，在最近发布的SQuAD 2.0上的增益为2.7%，在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化，在对抗SQuAD数据集上获得约6-7%的收益，在Glockner et al.（2018）的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
HQA-Attack: Toward High Quality Black-Box Hard-Label Adversarial Attack on Text
Dalian University of Technology（大连理工大学）；Peking University（北京大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang Lab（之江实验室）
提出HQA-Attack框架，通过替换回原始词和同义词优化，在黑盒硬标签场景下生成高语义相似度、低扰动率的文本对抗样本，显著优于现有方法。
2024-02-02 cs.AI cs.CL
Low-Resource Text Classification using Domain-Adversarial Learning
Stuttgart Media University（斯图加特媒体大学）；University of Stuttgart（斯图加特大学）
深度学习技术最近在许多自然语言处理任务中取得了成功，形成了最先进的系统。然而，它们需要大量的注释数据，而这些数据往往是缺失的。本文探讨了使用领域对抗学习作为正则化器，以避免在新目标领域或语言的低资源和零资源设置中为深度复杂神经网络训练域不变特征时的过拟合。在新语言的情况下，我们表明，单语词向量可以直接用于训练，而无需预对齐。它们在公共空间中的投影可以在训练时学习，达到预训练的多语言词向量的最终性能。
2020-04-22 cs.CL
Adv-OLM: Generating Textual Adversaries via OLM
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校（IIT Kanpur））
深度学习模型容易受到对抗性示例的影响，这些示例在原始输入中具有不可感知的扰动，从而导致针对这些模型的对抗攻击。对NLP中最先进的Transformers的这些攻击的分析可以帮助提高这些模型对这种对抗性输入的鲁棒性。在本文中，我们提出了先进的OLM，黑盒攻击方法，适应闭塞和语言模型（OLM）的想法，以目前最先进的攻击方法。OLM用于对句子中的单词进行排名，然后使用单词替换策略进行替换。我们的实验表明，我们的方法优于其他攻击方法的几个文本分类任务。
2021-01-21 cs.AI cs.CL cs.LG
A Context Aware Approach for Generating Natural Language Attacks
International Institute of Information Technology, Hyderabad（国际信息技术研究所海得拉巴分校）；Data Sciences and Analytics Center（数据科学与分析中心）；Kohli Center on Intelligent Systems（科利智能系统中心）
我们研究的一个重要任务是在黑盒环境中攻击自然语言处理模型。我们提出了一种攻击策略，在文本分类和蕴涵任务上制作语义相似的对抗性示例。我们提出的攻击通过考虑原始单词及其周围上下文的信息来找到候选单词。它联合利用掩蔽语言建模和下一句预测来进行上下文理解。与先前文献中提出的攻击相比，我们能够生成高质量的对抗性示例，这些示例在成功率和单词扰动百分比方面都有显着提高。
2020-12-24 cs.CL
Can current NLI systems handle German word order? Investigating language model performance on a new German challenge set of minimal pairs
Mannheim University（曼海姆大学）；Heidelberg University（海德堡大学）
本文提出首个德语词序对抗 NLI 数据集 WOGLI，利用仅词序和形态变化不同的最小对立体，评估并揭示德语模型在翻译数据训练后处理词序推理的局限。
2023-06-07 cs.CL
Towards Robustness Against Natural Language Word Substitutions
Nanyang Technological University（南洋理工大学）；Xiamen University（厦门大学）；National Institute of Informatics（国立信息学研究所）
对单词替换的鲁棒性具有定义明确且广泛接受的形式，即，使用语义相似的词作为替换，因此它被认为是在自然语言处理中实现更广泛的鲁棒性的基本垫脚石。先前的防御方法通过使用$l_2$ -球或超矩形来捕获向量空间中的单词替换，这导致扰动集不够包容或不必要地大，从而阻碍了鲁棒训练的最坏情况的模仿。在本文中，我们介绍了一种新的\textit{Adversarial Sparse Convex Combination}（ASCC）方法。我们将单词替换攻击空间建模为凸包，并利用正则化项来对实际替换进行扰动，从而使我们的建模更好地与离散文本空间对齐。基于ASCC方法，我们进一步提出了ASCC-defense，它利用ASCC来生成最坏情况的扰动，并将对抗训练纳入鲁棒性。实验表明，ASCC-defense在两个流行的NLP任务\emph{i.e.}，情感分析和自然语言推理的鲁棒性方面优于当前最先进的技术，涉及跨多个模型架构的几种攻击。此外，我们还设想了一种新的NLP鲁棒性防御方法，我们鲁棒训练的词向量可以插入到正常训练的模型中，并在不应用任何其他防御技术的情况下增强其鲁棒性。
2021-07-28 cs.CL
Improved Text Classification via Contrastive Adversarial Training
IBM Watson（IBM沃森）；IBM Research AI（IBM研究院AI）
我们提出了一种简单而通用的方法来规范基于transformer的编码器的文本分类任务的微调。具体来说，在微调过程中，我们通过扰动模型的词嵌入来生成对抗性示例，并对干净和对抗性示例进行对比学习，以教会模型学习噪声不变的表示。通过对干净和对抗性样本以及额外的对比目标进行训练，我们观察到了对干净样本进行标准微调的一致改进。在几个GLUE基准测试任务中，我们的微调BERT Large模型平均比BERT Large基线提高1.7%，我们的微调RoBERTa Large比RoBERTa Large基线提高1.3%。我们还使用三个意图分类数据集在不同领域验证了我们的方法，其中我们的微调RoBERTa Large平均比RoBERTa Large基线高出1-2%。
2022-02-17 cs.CL
UPB at SemEval-2021 Task 7: Adversarial Multi-Task Learning for Detecting and Rating Humor and Offense
University Politehnica of Bucharest（布加勒斯特理工大学）
检测幽默是一项具有挑战性的任务，因为单词可能共享多个配价，并且根据上下文，相同的单词甚至可以用于攻击性表达。基于Transformer的神经网络架构在多个自然语言处理任务上获得了最先进的结果，特别是文本分类。对抗性学习与其他技术（如多任务学习）相结合，有助于神经模型学习数据的内在属性。在这项工作中，我们描述了我们的对抗性多任务网络AMTL-Humor，用于检测和评估SemEval-2021任务7中的幽默和攻击性文本。模型的每个分支都专注于解决相关的任务，并且由BiLSTM层和Capsule层组成，在用于生成上下文化嵌入的BERTweet之上。我们的最佳模型由所有测试配置的集合组成，任务1a的F1得分为95.66%，准确率为94.70%，任务1b和任务2的RMSE得分分别为0.6200和0.5318。
2021-04-13 cs.AI cs.CL
Adversarial Attacks on Image Generation With Made-Up Words
Columbia University（哥伦比亚大学）
文本引导的图像生成模型可以被提示使用逆向设计的随机词来生成图像，以鲁棒地唤起特定的视觉概念。这种生成的两种方法介绍：macaronic提示，它涉及到通过连接来自不同语言的子字单元来设计神秘的混合词;和唤起提示，它涉及到设计其广泛的形态特征与现有单词足够相似的临时词，以触发强大的视觉联想。这两种方法也可以结合起来生成与更具体的视觉概念相关联的图像。这些技术的影响，为规避现有的方法，内容审核，特别是生成攻击性或有害的图像，进行了讨论。
2022-08-04 cs.CL cs.CR cs.CV
Non-Adversarial Unsupervised Word Translation
Facebook AI Research（Facebook人工智能研究院）；Tel Aviv University（特拉维夫大学）
非平行语际语料库中的无监督单词翻译引起了人们的广泛研究兴趣。最近，用对抗性损失函数训练的神经网络方法在这项任务上实现了高精度。尽管最近的技术取得了令人印象深刻的成功，但它们存在生成对抗模型的典型缺点：对超参数敏感，训练时间长，缺乏可解释性。在本文中，我们观察到，两个足够相似的分布可以正确地对齐迭代匹配方法。我们提出了一种新的方法，首先对齐两种语言的单词分布的二阶矩，然后迭代地细化对齐。对欧洲和非欧洲语言的单词翻译进行的大量实验表明，我们的方法比最近最先进的深度对抗方法具有更好的性能，并且与监督基线相比具有竞争力。它也是高效的，易于在CPU上并行化和可解释的。
2018-08-13 cs.CL cs.LG
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
Identifying Human Strategies for Generating Word-Level Adversarial Examples
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
NLP中的对抗性示例正受到越来越多的研究关注。研究的一条线是生成针对微调的Transformer模型的单词级对抗性示例，这些模型保留了自然性和语法性。以前的工作发现，人类和机器生成的对抗性示例在自然性和语法正确性方面具有可比性。最值得注意的是，人类能够比自动攻击更轻松地生成对抗性示例。在本文中，我们详细分析了人类如何创建这些对抗性示例。通过探索人类工作者在生成过程中的行为模式，我们根据人类更喜欢选择哪些词进行对抗性替换（例如，词频率、词显著性、情感）以及在输入序列中词被替换的位置和时间。通过我们的研究结果，我们试图激励人们努力利用人类策略来构建更强大的NLP模型。
2022-10-20 cs.CL
Generative Adversarial Networks for text using word2vec intermediaries
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；St Michael’s Hospital（圣迈克尔医院）
生成对抗网络（GANs）已经取得了相当大的成功，特别是在真实图像的生成方面。在这项工作中，我们采用类似的技术来生成文本。我们提出了一种新的方法来处理文本的离散性，在训练过程中，使用词嵌入。我们的方法是不可知的词汇量的大小，并取得了竞争力的结果相对于各种离散梯度估计的方法。
2019-04-04 cs.AI cs.CL cs.LG
Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and Improved Training
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
对抗训练在学习双语词典方面取得了令人印象深刻的成功，没有任何并行数据，通过将单语嵌入映射到共享空间。然而，最近的研究表明，非对抗性方法在更具挑战性的语言对中表现出更好的性能。在这项工作中，我们重新审视了用于无监督单词翻译的对抗自动编码器，并提出了两个新的扩展，以产生更稳定的训练和改进的结果。我们的方法包括正则化条款，以加强循环一致性和输入重建，并把目标编码器作为对手对相应的编码器。对欧洲、非欧洲和低资源语言的广泛实验表明，我们的方法比最近提出的对抗性和非对抗性方法更鲁棒，性能更好。
2019-04-04 cs.CL cs.LG stat.ML
Frequency-Guided Word Substitutions for Detecting Textual Adversarial Examples
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
最近的努力表明，神经文本处理模型容易受到对抗性示例的影响，但这些示例的性质却知之甚少。在这项工作中，我们展示了针对CNN、LSTM和基于Transformer的分类模型的对抗攻击，这些攻击通过被替换的单词及其对应的替换之间的频率差异来执行单词替换。基于这些发现，我们提出了频率引导的词替换（FGWS），一个简单的算法，利用敌对词替换的频率特性检测敌对的例子。FGWS通过准确检测SST-2和IMDb情感数据集上的对抗性示例实现了强大的性能，与基于RoberTa的分类模型相比，F1检测分数高达91.4%。我们比较我们的方法对最近提出的扰动歧视框架，并表明我们优于它高达13.0%F1。
2021-01-26 cs.CL
Less is More: Understanding Word-level Textual Adversarial Attack via n-gram Frequency Descend
Southern University of Science and Technology（南方科技大学）；Hong Kong University of Science and Technology（香港科技大学）；Agency for Science, Technology and Research（新加坡科技研究局）；Tencent AI Lab（腾讯AI实验室）；OPPO Mobile Telecommunications Corp.（OPPO移动通信公司）
该研究通过分析词级文本对抗攻击的n-gram频率模式，发现约90%的攻击会产生n-gram频率下降的样本，据此提出用该类样本做对抗训练的方法，其提升模型鲁棒性的效果与梯度法相当。
2024-04-15 cs.AI cs.CL cs.CR
SemRoDe: Macro Adversarial Training to Learn Representations That are Robust to Word-Level Attacks
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（信息通信研究院）；A*STAR（新加坡科技研究局）；Centre for Frontier AI Research（前沿人工智能研究中心）；Nanyang Technological University（南洋理工大学）
本文提出SemRoDe宏观对抗训练方法，通过将对抗样本投影到偏移最小的域并对齐高层特征，学习桥接基础域与对抗域的鲁棒表示，在BERT和RoBERTa上取得最先进的词级攻击防御效果。
2024-03-27 cs.CL cs.LG
Using Adversarial Debiasing to Remove Bias from Word Embeddings
词嵌入已经被证明包含了原始语料库中存在的社会偏见。处理这个问题的现有方法已被证明只能消除表面的偏见。对抗性去偏见的方法被认为是同样肤浅的，但这在以前的作品中没有得到验证。使用其他方法中的浅层去除实验，我显示的结果表明对抗性去偏在去除偏见方面更有效，从而激发了对对抗性去偏效用的进一步研究。
2021-07-22 cs.CL
Coupling Distant Annotation and Adversarial Training for Cross-Domain Chinese Word Segmentation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
全监督神经网络方法在中文分词（CWS）领域取得了显著的进展。然而，当监督模型应用于域外数据时，其性能往往会急剧下降。性能下降是由跨域的分布差距和词汇表（OOV）问题引起的。为了同时缓解这两个问题，本文提出了跨领域CWS的远程注释和对抗训练的耦合。对于远距离标注，我们重新思考了“中文单词”的本质，设计了一个自动远距离标注机制，不需要任何监督或预定义的字典从目标领域。该方法可以有效地探索特定领域的词汇和远程注释的目标领域的原始文本。对于对抗性训练，我们开发了一个双级训练过程来进行降噪和最大限度地利用源域信息。在不同领域的多个真实世界数据集上的实验表明，我们的模型的优越性和鲁棒性，显着优于以前的最先进的跨域CWS方法。
2020-09-02 cs.CL cs.LG
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology（华中科技大学）
一系列工作表明，自然的文本处理模型容易受到对抗性示例的影响。相应地，提出了各种防御方法，以减轻威胁的文本对抗性的例子，例如，对抗性训练，输入变换，检测等。在这项工作中，我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换，其中每个字相互影响其他的话。我们发现，我们可以破坏这种相互作用，消除敌对扰动随机替换一个词与它的同义词。基于这一观察，我们提出了一种新的文本对抗性示例检测方法，称为随机替换和投票（RS&V），它通过累积k个样本的logits来投票预测标签，这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络，而无需修改架构或额外的训练，并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明，我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例，同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
Guided Perturbation Sensitivity (GPS): Detecting Adversarial Text via Embedding Stability and Word Importance
University of Houston（休斯顿大学）
GPS通过嵌入稳定性与词重要性检测对抗文本，实现高准确率和低计算成本的攻击识别。
2026-01-28 cs.AI cs.CL cs.LG
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap研究所）
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明，可以构建一个映射矩阵，将两组单语词嵌入对齐在一起，而无需高质量的并行数据，如字典或词典对齐语料库。然而，如果没有后细化，这些方法的初步映射的性能并不好，导致在类型学上遥远的语言的性能差。在本文中，我们提出了一种弱监督对抗训练方法来克服这一限制，基于直觉，即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法，对于大多数语言，它提高了以前无监督对抗方法的性能，特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Generating Watermarked Adversarial Texts
对抗性样本生成是近年来的研究热点，因为它会导致深度神经网络（DNN）对生成的对抗性样本进行错误分类，这揭示了DNN的脆弱性，促使我们寻找好的解决方案来提高DNN模型的鲁棒性。由于自然语言在社交网络上的广泛性和高流动性，文献中已经提出了各种基于自然语言的对抗攻击算法。这些算法生成具有高语义质量的对抗性文本示例。然而，生成的对抗性文本示例可能被恶意或非法使用。为了解决这个问题，我们提出了一个通用的框架生成水印对抗文本的例子。对于给定文本中的每个单词，确定一组候选单词，以确保该组中的所有单词都可以用于携带秘密比特或促进对抗性示例的构建。通过应用词级对抗文本生成算法，可以最终生成带水印的对抗文本示例。实验结果表明，该方法生成的对抗性文本样本不仅能够成功欺骗高级DNN模型，而且能够携带水印，有效验证对抗性样本的所有权，并追踪其来源。而且，水印在对抗性样本生成算法攻击后仍能存活，显示了其适用性和优越性。
2021-10-25 cs.CL cs.CR
Adversarial Texts with Gradient Methods
图像的对抗样本在文献中已经被广泛研究。在众多的攻击方法中，基于梯度的方法是一种有效且易于计算的攻击方法。在这项工作中，我们提出了一个框架，以适应图像的梯度攻击方法的文本域。使用梯度方法生成对抗性文本的主要困难是：i）输入空间是离散的，这使得很难直接在输入中积累小噪声; ii）对抗性文本的质量难以测量。我们通过在嵌入空间中搜索对抗文本来解决第一个问题，然后通过最近邻搜索来重建对抗文本。对于后一个问题，我们采用词移动距离（WMD）来量化对抗文本的质量。通过对IMDB电影评论、路透社-2和路透社-5新闻通讯社三个数据集的广泛实验，我们证明了我们的框架可以利用梯度攻击方法生成与原始文本只有几个字不同的高质量对抗文本。在很多情况下，我们可以改变一个词来改变整个文本的标签。我们成功地将FGM和DeepFool纳入我们的框架。此外，我们的经验表明，大规模杀伤性武器是密切相关的对抗性文本的质量。
2018-01-24 cs.CL cs.CR cs.LG
Interpretable Adversarial Training for Text
University of Maryland（马里兰大学）
在文本域中生成高质量和可解释的对抗性示例比在图像域中更艰巨。这部分是由于文本的离散性，部分是由于确保对抗性示例仍然是可能的和可解释的问题，部分是由于在输入扰动下保持标签不变性的问题。为了解决其中的一些挑战，我们引入了稀疏投影梯度下降（SPGD），这是一种为文本制作可解释的对抗性示例的新方法。SPGD通过将输入扰动投影到具有最高余弦相似度的附近词嵌入的方向上来对输入扰动施加方向正则化约束。该约束确保扰动在可解释的方向上移动每个词嵌入（即，朝向另一个附近的词嵌入）。此外，SPGD施加稀疏性约束的扰动在句子层面上忽略词嵌入扰动的范数低于一定的阈值。这个约束确保我们的方法每个序列只改变几个单词，从而产生更高质量的对抗性示例。我们对IMDB电影评论数据集的实验表明，与最先进的方法相比，所提出的SPGD方法提高了对抗性示例的可解释性和似然性（通过平均每个单词的困惑度进行评估），同时在训练性能方面几乎没有损失。
2019-05-30 cs.CL cs.LG stat.ML
Defending Pre-trained Language Models from Adversarial Word Substitutions Without Performance Sacrifice
Shanghai Jiao Tong University（上海交通大学）
预训练的上下文化语言模型（PrLM）在下游自然语言理解任务中带来了强大的性能提升。然而，PrLM仍然可以很容易地被敌对词替换所欺骗，这是最具挑战性的文本对抗攻击方法之一。现有的防御方法遭受显着的性能损失和复杂性。因此，本文提出了一个紧凑的和性能保持的框架，异常检测与频率感知随机化（ADFAR）。详细地说，我们设计了一个辅助异常检测分类器，并采用多任务学习过程，通过该过程，PrLM能够区分敌对的输入样本。然后，为了防御对抗性单词替换，将频率感知的随机化过程应用于那些识别出的对抗性输入样本。实验结果表明，ADFAR在各种任务上的推理速度明显优于新提出的防御方法。值得注意的是，ADFAR不会损害PrLM的整体性能。代码可在https://github.com/LilyNLP/ADFAR上获得
2021-05-30 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Adversarial Multi-Criteria Learning for Chinese Word Segmentation
Fudan University（复旦大学）
不同的语言学视角导致了汉语分词标准的差异。大多数现有的方法侧重于提高性能的每一个单一的标准。然而，利用这些不同的标准并挖掘其共同的基础知识是有趣的。在本文中，我们提出了对抗性的多标准学习CWS通过整合共享的知识，从多个异构的分割标准。在八个具有异构切分标准的语料库上的实验表明，与单一标准学习相比，每个语料库的性能都得到了显著的提高。本文的源代码可以在Github上找到。
2017-04-25 cs.CL
Multi-Adversarial Learning for Cross-Lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap 研究所）
生成对抗网络（GANs）已经成功地在没有监督的情况下诱导跨语言词嵌入-跨语言匹配词的映射。尽管取得了这些成功，但GANs在远距离语言的困难情况下的性能仍然不令人满意。这些局限性可以通过GANs的错误假设来解释，即源和目标嵌入空间通过单个线性映射相关并且近似同构。相反，我们假设，特别是在遥远的语言中，映射只是分段线性的，并提出了一种多对抗学习方法。这种新方法通过多个映射来产生种子跨语言词典，每个映射被诱导以适合于一个子空间的映射。我们对无监督双语词典归纳的实验表明，该方法比以前的单一映射方法，特别是对遥远的语言，提高了性能。
2021-08-25 cs.CL
Word-level Textual Adversarial Attacking as Combinatorial Optimization
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Columbia University（哥伦比亚大学）
进行对抗攻击是为了揭示深层神经网络的脆弱性。文本对抗攻击具有挑战性，因为文本是离散的，一个小的扰动可以给原始输入带来显着的变化。词级攻击是文本攻击方法中的一种，可以看作是一个组合优化问题。然而，现有的字级攻击模型还远远不够完善，主要是因为不合适的搜索空间减少方法和效率低下的优化算法。在本文中，我们提出了一种新的攻击模型，它结合了基于语义的单词替换方法和粒子群优化搜索算法来解决这两个问题分别。我们在三个基准数据集上进行了详尽的实验，通过攻击BiLSTM和BERT来评估我们的攻击模型。实验结果表明，与基线方法相比，我们的模型始终实现了更高的攻击成功率和工艺更高质量的对抗性示例。进一步的实验表明，我们的模型具有更高的可移植性，可以带来更多的鲁棒性增强受害者模型的对抗性训练。本文的所有代码和数据都可以在https://github.com/thunlp/SememePSO-Attack上获得。
2020-12-09 cs.AI cs.CL cs.LG
Improved and Efficient Text Adversarial Attacks using Target Information
Monash University（莫纳什大学）
最近，在黑盒环境中研究自然语言模型上的对抗性示例的兴趣越来越大。这些方法通过干扰某些重要的词直到分类器标签被改变来攻击自然语言分类器。为了找到这些重要的词，这些方法通过对每个输入句子逐词查询目标模型来对所有词进行重要性排名，导致查询效率很高。引入了一种新的有趣的方法，通过可解释的学习来学习单词排名而不是以前的昂贵搜索来解决这个问题。使用这种方法的主要优点是，它实现了与最先进的方法相当的攻击率，但速度更快，查询更少，其中需要更少的查询以避免对攻击代理的怀疑。尽管如此，这种方法牺牲了有用的信息，可以利用从目标分类器的查询效率的缘故。在本文中，我们研究了利用目标模型输出和数据对攻击率和平均查询次数的影响，我们表明这两个方面都可以得到改善，额外查询的开销有限。
2021-05-02 cs.AI cs.CL cs.CR
Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach
University of Technology Sydney（悉尼科技大学）；Shandong University（山东大学）
本文提出QA-Attack词级对抗策略，利用定制注意力机制和删除排序策略替换同义词，在保持语法完整性的同时成功欺骗问答模型，并在多项指标上超越现有对抗技术。
2024-11-12 cs.AI cs.CL cs.LG
