Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation
University of Virginia（弗吉尼亚大学）
神经语言模型显示出对对抗性示例的脆弱性，这些示例在语义上与其原始对应物相似，其中一些单词被其同义词取代。提高模型鲁棒性的一种常见方法是对抗性训练，它遵循两个步骤--通过攻击目标模型来收集对抗性示例，并使用这些对抗性示例在增强数据集上微调模型。传统对抗训练的目标是使模型在原始/对抗样本对上产生相同的正确预测。然而，两个相似文本的模型决策之间的一致性被忽视。我们认为，一个强大的模型应该在原始/对抗样本对上表现一致，也就是说，基于相同的原因（如何）做出相同的预测（什么），这可以通过一致的解释来反映。在这项工作中，我们提出了一种新的特征级对抗训练方法FLAT。FLAT旨在提高模型在预测和解释方面的鲁棒性。FLAT在神经网络中引入了可变的单词掩码，以学习全局单词的重要性，并作为一个瓶颈，教导模型根据重要单词进行预测。FLAT通过正则化相应的全局单词重要性得分，明确地解决了由模型对原始/对抗性示例对中被替换单词及其同义词的理解之间的不匹配引起的脆弱性问题。实验表明，FLAT在提高四种神经网络模型（LSTM，CNN，BERT和DeBERTa）对四种文本分类任务的两种对抗攻击的预测和解释的鲁棒性方面的有效性。通过FLAT训练的模型在不同攻击的不可预见的对抗性示例上也表现出比基线模型更好的鲁棒性。
2022-03-23 cs.CL
Multitask Fine-Tuning and Generative Adversarial Learning for Improved Auxiliary Classification
Stanford University（斯坦福大学）
本研究提出Multitask BERT架构通过多任务微调优化情感分类等任务，并构建AC-GAN-BERT框架应用生成对抗学习生成伪嵌入进行辅助分类，验证了对抗学习方法的有效性。
2024-08-11 cs.CL
Bengali Intent Classification with Generative Adversarial BERT
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；Chittagong University of Engineering and Technology（吉大港工程技术大学）
该研究构建了包含30个类别的孟加拉语意图分类数据集BNIntent30，并提出GAN-BnBERT模型，结合BERT上下文嵌入与GAN生成建模能力，在该数据集上性能优于Bi-LSTM和独立BERT分类模型。
2023-12-17 cs.CL
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
HQA-Attack: Toward High Quality Black-Box Hard-Label Adversarial Attack on Text
Dalian University of Technology（大连理工大学）；Peking University（北京大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang Lab（之江实验室）
提出HQA-Attack框架，通过替换回原始词和同义词优化，在黑盒硬标签场景下生成高语义相似度、低扰动率的文本对抗样本，显著优于现有方法。
2024-02-02 cs.AI cs.CL
Adversarial Training for Aspect-Based Sentiment Analysis with BERT
University of Parma（帕尔马大学）
基于情感的情感分析（ABSA）处理情感及其目标的提取。为了帮助神经网络更好地泛化，为这项任务收集标记数据可能是费力和耗时的。作为替代方案，可以通过在嵌入空间中执行的对抗过程人工生成与真实世界示例相似的数据。虽然这些例子不是真实的句子，但它们已被证明是一种正则化方法，可以使神经网络更加鲁棒。在这项工作中，我们将Goodfellow et al.（2014）提出的对抗训练应用于Xu et al.（2019）提出的后训练BERT（BERT-PT）语言模型，用于情感分析中的Aspect Extraction和Aspect Sentiment Classification两个主要任务。在通过消融研究改进后训练的BERT的结果之后，我们提出了一种新的称为BERT对抗训练（BAT）的架构，以在ABSA中利用对抗训练。所提出的模型在这两个任务中都优于后训练的BERT。据我们所知，这是第一次在ABSA中应用对抗训练的研究。
2020-10-23 cs.CL cs.LG stat.ML
How Does Adversarial Fine-Tuning Benefit BERT?
Visa Research（维萨研究）
对抗性训练（AT）是机器学习中防御对抗攻击最可靠的方法之一。该方法的变体已被用作正则化机制，以在NLP基准上实现SOTA结果，并且已发现它们对迁移学习和持续学习很有用。我们搜索的原因，通过对比香草和adversarially微调BERT模型的AT的有效性。我们确定部分保存BERT的语法能力在微调的成功的关键AT。我们观察到，对抗微调模型仍然更忠实于BERT的语言建模行为，更敏感的词序。作为句法能力的具体例子，一个对抗性微调模型在回指一致性上的优势可达38%，在依存句法分析上的优势可达11%。我们的分析表明，香草微调过度简化的句子表示，重点放在一个小的子集的话。然而，AT缓和了这些有影响力的词的效果，并鼓励代表性的多样性。这允许一个句子的更层次的表示，并导致BERT的语法能力的损失减轻。
2021-09-29 cs.AI cs.CL cs.LG
Improved Text Classification via Contrastive Adversarial Training
IBM Watson（IBM沃森）；IBM Research AI（IBM研究院AI）
我们提出了一种简单而通用的方法来规范基于transformer的编码器的文本分类任务的微调。具体来说，在微调过程中，我们通过扰动模型的词嵌入来生成对抗性示例，并对干净和对抗性示例进行对比学习，以教会模型学习噪声不变的表示。通过对干净和对抗性样本以及额外的对比目标进行训练，我们观察到了对干净样本进行标准微调的一致改进。在几个GLUE基准测试任务中，我们的微调BERT Large模型平均比BERT Large基线提高1.7%，我们的微调RoBERTa Large比RoBERTa Large基线提高1.3%。我们还使用三个意图分类数据集在不同领域验证了我们的方法，其中我们的微调RoBERTa Large平均比RoBERTa Large基线高出1-2%。
2022-02-17 cs.CL
A sentiment analysis model for car review texts based on adversarial training and whole word mask BERT
Beijing University of Posts and Telecommunications（北京邮电大学）；Didi Research Institute, Didi Chuxing（滴滴出行滴滴研究院）
在汽车评价领域，越来越多的网友选择在互联网平台上发表自己的意见，而这些评论会影响到买家的决策和汽车口碑的走向。情感分析作为自然语言处理的一个重要分支，为分析海量汽车评论文本的情感类型提供了一种有效的研究方法。然而，由于汽车领域评论文本的词汇专业性和文本噪声大，当一般的情感分析模型应用于汽车评论时，模型的准确性会很差。为了克服上述挑战，我们针对汽车评论文本的情感分析任务。从词向量的角度出发，利用汽车领域专有词汇的全词掩码进行预训练，然后采用对抗训练集的策略进行训练数据。在此基础上，提出了一种基于对抗训练和整词掩码BERT的汽车评论文本情感分析模型（ATWWM-BERT）。
2022-06-06 cs.CL cs.IR
TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding
Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
基于神经元的对抗训练被广泛应用于提高神经网络的鲁棒性，但由于嵌入空间是离散的，它不容易适应自然语言处理任务。在自然语言处理领域，由于文本是离散的，不能直接受到梯度的干扰，因此引入了虚拟对抗训练。或者，在NLP任务中引入虚拟对抗训练，它会在嵌入空间上产生扰动。尽管取得了成功，但现有的虚拟对抗训练方法产生的扰动大致受到Frobenius归一化球的约束。为了制作细粒度的扰动，我们提出了一种令牌感知的虚拟对抗训练方法。我们引入了一个令牌级累积扰动词汇表来更好地初始化扰动，并使用令牌级归一化球来有针对性地约束这些扰动。实验表明，我们的方法提高了性能的预训练模型，如BERT和ALBERT在各种任务的相当大的利润。该方法使用BERT模型将GLUE基准测试的得分从78.3提高到80.9，并提高了序列标记和文本分类任务的性能。
2020-12-04 cs.CL
SAFER: A Structure-free Approach for Certified Robustness to Adversarial Word Substitutions
UT Austin（德克萨斯大学奥斯汀分校）
最先进的NLP模型通常会被人类不知道的转换所欺骗，例如同义词替换。出于安全原因，开发具有认证鲁棒性的模型至关重要，该模型可以证明保证预测不会被任何可能的同义词替换所改变。在这项工作中，我们提出了一个新的随机平滑技术的基础上，它构建了一个随机集成应用随机字替换输入句子，并利用集成的统计特性，可证明的鲁棒性认证的鲁棒性的认证方法。我们的方法简单且无结构，因为它只需要模型输出的黑盒查询，因此可以应用于任何预训练模型（如BERT）和任何类型的模型（世界级或子字级）。我们的方法显着优于最近的最先进的方法，在IMDB和亚马逊文本分类任务的认证鲁棒性。据我们所知，我们是第一个在大型系统（如BERT）上实现认证鲁棒性的工作，具有实际意义的认证准确性。
2020-05-29 cs.CL cs.CR cs.LG
Knowledge Graph Enhanced Aspect-Level Sentiment Analysis
Banaras Hindu University（贝拿勒斯印度大学）
针对语境特定词义理解难题，提出结合BERT与知识图谱同义词数据、动态注意力机制、位置记忆库及DCGRU的方面级情感分析方法，在三个常用数据集上取得更优分类性能。
2025-03-18 cs.CL
Simple Contrastive Representation Adversarial Learning for NLP Tasks
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）
对比学习等自监督学习方法在自然语言处理中受到广泛关注。该方法利用成对的训练数据扩充，构造出具有良好表示能力的编码器分类任务。然而，在NLP任务中，在对比学习上构建学习对要困难得多。以前的工作产生词级的变化，形成对，但小的转换可能会导致显着的变化，句子的意义作为离散和稀疏的性质自然语言。在本文中，进行对抗训练以在NLP的嵌入空间上生成具有挑战性和更难学习的对抗示例作为学习对。使用对比学习可以提高对抗训练的泛化能力，因为对比损失可以均匀样本分布。同时，对抗性训练也增强了对比学习的鲁棒性。提出了两个新的框架，监督对比对抗学习（SCAL）和无监督SCAL（USCAL），它通过利用对比学习的对抗训练产生学习对。监督任务的基于标签的损失被用来生成对抗性示例，而非监督任务则带来对比损失。为了验证所提出的框架的有效性，我们将其用于基于transformer的模型，用于自然语言理解，句子语义文本相似性和对抗性学习任务。在GLUE基准测试任务上的实验结果表明，我们的微调监督方法优于BERT $_{base}$超过1.75\%。在语义文本相似度（STS）测试中，我们的方法与BERT $_{base}$的测试结果一致，达到了77.29%.我们的方法的鲁棒性在NLI任务的多个对抗数据集下获得了最先进的结果。
2021-12-02 cs.CL
BERT Lost Patience Won't Be Robust to Adversarial Slowdown
Oregon State University（俄勒冈州立大学）
本文提出WAFFLE攻击，系统评估多出口语言模型对对抗性减速的鲁棒性，发现机制越复杂越脆弱，对抗训练无效但ChatGPT输入净化有效，呼吁开发高效鲁棒的多出口模型。
2023-10-31 cs.CL cs.CR cs.LG
Semantic-Preserving Adversarial Text Attacks
University of Technology Sydney（悉尼科技大学）；China University of Petroleum (East China)（中国石油大学（华东））；University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
深度神经网络（DNN）被认为容易受到对抗性图像的攻击，而它们在文本分类中的鲁棒性却很少被研究。文献中已经提出了几种文本攻击方法，包括字符级、单词级和文本级攻击。然而，它仍然是一个挑战，以尽量减少必要的词的变化，以诱导错误分类，同时确保词汇的正确性，语法的合理性，语义相似性。在本文中，我们提出了一种基于Bigram和Unigram的自适应语义保存优化（BU-SPO）方法来检查深层模型的脆弱性。我们的方法有四个主要优点。首先，我们提出攻击文本文档，不仅在unigram字的水平，但也在bigram水平，更好地保持语义，避免产生无意义的输出。其次，我们提出了一种混合的方法来取代输入的单词与选项之间的同义词候选人和义素候选人，这大大丰富了潜在的替代相比，只使用同义词。第三，设计了一个优化算法，语义保持优化（SPO），确定单词替换的优先级，以降低修改成本。最后，我们进一步改进了SPO与语义过滤器（命名为SPOF），以找到具有最高语义相似度的对抗性示例。我们评估我们的BU-SPO和BU-SPOF对IMDB，AG的新闻，和雅虎的有效性！通过攻击四种流行的DNN模型来回答文本数据集。实验结果表明，与现有方法相比，我们的方法通过改变最少的单词数量来实现最高的攻击成功率和语义率。
2023-03-03 cs.CL stat.ML
Breaking BERT: Gradient Attack on Twitter Sentiment Analysis for Targeted Misclassification
School of Computer Science Engineering and Information Systems, Vellore Institute of Technology（韦洛尔理工学院计算机科学工程与信息系统学院）；Center for AI Research (CAIR), University of Agder(UiA)（阿格德大学人工智能研究中心）；College of Computer Science and Information Technology, IAU（IAU计算机科学与信息技术学院）
本文针对Twitter情感分析中BERT模型的固有漏洞，提出一种基于梯度和白盒方法的对抗攻击框架，通过迭代替换高影响力单词生成隐蔽的对抗文本以实现目标错误分类。
2025-04-02 cs.CL cs.LG
Are Synonym Substitution Attacks Really Synonym Substitution Attacks?
National Taiwan University（国立台湾大学）
本文质疑同义词替换攻击的有效性，发现现有方法产生大量不符合语法或语义的无效替换词，且现有约束难以检测这些无效对抗样本。
2023-05-08 cs.CL
Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment
University of Hong Kong（香港大学）；A*STAR（新加坡科技研究局）
机器学习算法通常容易受到对抗性示例的影响，这些示例与原始示例相比具有难以察觉的变化，但可以欺骗最先进的模型。通过暴露恶意制作的对抗性示例，有助于评估甚至提高这些模型的鲁棒性。在本文中，我们提出了TextFocal，一个简单但强大的基线来生成自然的对抗文本。通过将其应用于两个基本的自然语言任务，文本分类和文本蕴涵，我们成功地攻击了三个目标模型，包括强大的预训练BERT，以及广泛使用的卷积和递归神经网络。我们从三个方面证明了这个框架的优势：（1）有效-它在成功率和扰动率方面优于最先进的攻击，（2）实用性保留-它保留了语义内容和语法，并保持了人类的正确分类，（3）高效-它生成的对抗性文本具有与文本长度线性相关的计算复杂性。* 代码、预训练的目标模型和测试示例可在https://github.com/jind11/TextFooler上获得。
2020-04-08 cs.AI cs.CL cs.LG
Defense of Word-level Adversarial Attacks via Random Substitution Encoding
North China Electric Power University（华北电力大学）
针对计算机视觉任务的深度神经网络的对抗攻击催生了许多新技术，有助于保护模型避免错误预测。最近，对自然语言处理（NLP）任务的深度模型的词级对抗攻击也表现出强大的力量，例如，欺骗情感分类神经网络做出错误的决定。不幸的是，以前的文献很少讨论防御这种词级的同义词替换为基础的攻击，因为他们很难被感知和检测。在本文中，我们揭示了这个问题，并提出了一种新的防御框架称为随机替代编码（RSE），它引入了一个随机替代编码器到原始神经网络的训练过程。文本分类任务的广泛实验证明了我们的框架防御单词级对抗攻击的有效性，在各种基础和攻击模型。
2020-06-12 cs.CL cs.LG
Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders
University of Cambridge（剑桥大学）
近年来，预训练的掩蔽语言模型（MLMs）已经彻底改变了NLP。然而，以前的工作表明，现成的MLMs是不是有效的通用词汇或句子编码器，没有进一步的任务特定的微调NLI，句子相似性，或释义任务，使用注释的任务数据。在这项工作中，我们证明，它是可以把MLMs有效的通用词汇和句子编码器，即使没有任何额外的数据，没有任何监督。我们提出了一种非常简单，快速和有效的对比学习技术，称为BPERT，它转换MLMs（例如，BERT和RoBERTa）在20-30秒内转换成这样的编码器，而无需任何额外的外部知识。BERT-BERT依赖于完全相同或稍微修改的字符串对作为正（即，同义）微调的例子，并旨在最大限度地提高他们的相似性，在身份微调。我们报告了在不同领域和不同语言的词汇级和词汇级任务中，与使用E-BERT的现成MLMs相比的巨大收益。值得注意的是，在标准句子语义相似性（STS）任务中，我们的自监督Sentence-BERT模型甚至与先前工作中任务调整的Sentence-BERT模型的性能相匹配。最后，我们深入研究了MLMs的内部工作原理，并提出了一些证据，说明为什么这种简单的方法可以产生有效的通用词汇和句子编码器。
2021-09-09 cs.AI cs.CL cs.LG
Natural Language Adversarial Defense through Synonym Encoding
Huazhong University of Science and Technology（华中科技大学）
在自然语言处理领域，深度学习模型最近被认为容易受到各种类型的对抗性扰动的影响，但在防御方面的工作相对较少。特别是，对于成功的基于同义词替换的攻击，几乎没有有效的防御方法，这些攻击保留了原始文本的句法结构和语义信息，同时欺骗了深度学习模型。我们在这个方向做出贡献，并提出了一种新的对抗性防御方法，称为同义词编码方法（SEM）。具体来说，SEM在目标模型的输入层之前插入编码器，将每个同义词集群映射到唯一的编码，并训练模型以消除可能的对抗性扰动，而无需修改网络架构或添加额外的数据。大量的实验表明，SEM可以有效地防御当前的同义词替换攻击，并阻止敌对的例子的可移植性。SEM还可以轻松有效地扩展到大型模型和大型数据集。
2021-06-15 cs.CL cs.LG
KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）
预训练模型被广泛用于微调下游任务，线性分类器通过交叉熵损失进行优化，这可能面临鲁棒性和稳定性问题。这些问题可以通过学习表示来改善，这些表示在进行预测时关注同一类中的相似性和不同类中的矛盾。在本文中，我们利用K-最近邻分类器进行预训练模型的微调。对于这个KNN分类器，我们引入了一个有监督的动量对比学习框架来学习有监督的下游任务的聚类表示。大量的文本分类任务和鲁棒性测试的实验表明，通过将KNN与传统的微调过程中，我们可以获得显着的提高清洁的准确性在丰富的源和Few-Shot设置，可以提高对对抗攻击的鲁棒性。\footnote{all codes is available at https://github.com/LinyangLee/KNN-BERT}
2021-10-06 cs.CL
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington（华盛顿大学）
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而，目前还不清楚模型从哪里学习特定于任务的知识，特别是在zero-shot设置中。在这项工作中，我们希望从预训练中找到模型特定于任务的能力的证据，并且特别感兴趣的是定位一个非常小的预训练数据子集，这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据，并提出了一种新的方法ORCA有效地识别它，通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解：在情感分析和文本蕴涵的任务中，BERT显示出对BookCorpus的大量依赖，这是BERT的两个预训练语料库中较小的语料库，以及预训练示例，这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
Using Random Perturbations to Mitigate Adversarial Attacks on Sentiment Analysis Models
University of Colorado Colorado Springs（科罗拉多斯普林斯科罗拉多大学）
对深度学习模型的攻击通常难以识别，因此难以防范。这个问题由于使用公共数据集而加剧，这些公共数据集通常在使用前不进行手动检查。在本文中，我们提供了一个解决方案，通过使用，在测试过程中，随机扰动，如拼写校正，如果必要的话，替换随机同义词，或简单地删除这个词，这个漏洞。这些扰动应用于随机句子中的随机单词，以保护NLP模型免受对抗攻击。我们的随机扰动防御和增强随机性防御方法成功地将受攻击的模型恢复到与攻击前模型相似的精度。在这项工作中使用的模型的原始准确率是80%的情感分类。在遭受攻击后，准确率下降到0%到44%之间。在应用我们的防御方法后，模型的精度在统计显著性范围内恢复到原始精度。
2022-02-11 cs.CL cs.LG
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室）
在这篇文章中，我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题，通过利用意义之间的语义关系，如同义关系，上位关系和下位关系，以压缩普林斯顿WordNet的意义词汇，从而减少必须观察到的不同的意义标签的数量，以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法，大大减少了神经WSD模型的大小，其好处是提高其覆盖率，而无需额外的训练数据，并且不会影响其精度。除了我们的方法，我们提出了一个WSD系统，它依赖于预先训练的BERT词向量，以实现的结果，显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Semantic Stealth: Adversarial Text Attacks on NLP Using Several Methods
Praxis Tech School（Praxis 科技学院）
本文以 BERT 为受害模型，在 IMDB、AG News 和 SST2 上比较 BERT-on-BERT、PWWS 与 FBA 三种文本对抗攻击，发现 PWWS 综合表现最强。
2024-04-08 cs.CL cs.CR cs.LG
Towards Robustness of Text-to-SQL Models against Synonym Substitution
Queen Mary University of London（伦敦玛丽女王大学）；UC Berkeley（加州大学伯克利分校）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Nanning Central Sub-branch of the People’s Bank of China（中国人民银行南宁中心支行）；Guangxi University of Finance and Economics（广西财经学院）；Beijing MeiyiLab Co.,Ltd.（北京美仪实验室有限公司）
最近，在研究神经网络将文本描述翻译成SQL查询方面取得了重大进展。尽管在一些公共基准测试中取得了良好的性能，但现有的文本到SQL模型通常依赖于自然语言（NL）问题中的单词与表模式中的标记之间的词汇匹配，这可能使模型容易受到破坏模式链接机制的攻击。在这项工作中，我们调查的鲁棒性的文本到SQL模型的同义词替换。特别是，我们引入了Spider-Syn，这是一个基于Spider基准测试的人工数据集，用于文本到SQL的翻译。Spider-Syn中的NL问题是从Spider修改而来的，通过手动选择反映真实世界问题释义的同义词来替换它们的模式相关单词。我们观察到，通过消除NL问题和表模式之间的这种明确的对应关系，即使同义词没有被敌对地选择来进行最坏情况的对抗攻击，准确性也会急剧下降。最后，我们提出了两类方法来提高模型的鲁棒性。第一类方法通过修改模型输入为表模式使用额外的同义词注释，而第二类方法基于对抗训练。我们证明，这两类方法显着优于他们的同行没有防御，和第一类的方法更有效。
2021-06-19 cs.CL
A Comprehensive Study on NLP Data Augmentation for Hate Speech Detection: Legacy Methods, BERT, and LLMs
University of Oulu（奥卢大学）
本文系统比较了仇恨言论检测中传统与基于BERT和LLM的数据增强方法，并提出上下文余弦相似度过滤方案，在降低标签改变率的同时提升分类性能。
2024-03-30 cs.CL
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology（华中科技大学）；Xidian University（西安电子科技大学）
自然语言视频定位是视觉-语言理解领域的一个重要课题，它不仅需要深入理解计算机视觉和自然语言这两个方面，更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题，这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究，但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此，本文的目的是全面调查的对抗鲁棒性NLVL模型，从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标，我们提出了一种新的对抗攻击范式，称为同义词感知的对抗攻击NLVL（SNEAK），它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
BERT-ATTACK: Adversarial Attack Against BERT Using BERT
Fudan University（复旦大学）
对离散数据（如文本）的对抗攻击已被证明比连续数据（如图像）更具挑战性，因为很难用基于梯度的方法生成对抗样本。目前成功的文本攻击方法通常采用字符或单词级的启发式替换策略，这仍然具有挑战性，在保持语义一致性和语言流畅性的情况下，在大量可能的替换组合空间中找到最优解。在本文中，我们提出了\textbf{BERT-Attack}，这是一种高质量和有效的方法，可以使用BERT为例的预先训练的掩蔽语言模型来生成对抗样本。我们在下游任务中将BERT转向其微调模型和其他深度神经模型，以便我们可以成功地误导目标模型进行错误预测。我们的方法在成功率和扰动百分比方面都优于最先进的攻击策略，而生成的对抗样本是流畅的，语义保留的。此外，计算成本低，因此可以大规模发电。该代码可在https://github.com/LinyangLee/BERT-Attack上获得。
2020-10-02 cs.CL
Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究院）
越来越多的文献声称，深度神经网络在处理恶意创建的对抗性示例时是脆弱的。然而，目前还不清楚这些模型在经常存在\textit{natural rather than malicious}对抗实例的现实场景中将如何表现。本文系统地探讨了BERT（NLP中最先进的Transformer风格模型）在处理噪声数据（特别是无意中出现的键盘输入错误）时的鲁棒性。对情感分析和问答基准的密集实验表明：（i）句子中各个单词的错别字影响不相等。信息词中的错别字是造成损害的最主要因素，其次是插入、删除等; (iii)人类和机器在识别对抗攻击方面有不同的侧重点。
2020-02-27 cs.CL
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation（微软公司）
针对预训练Transformer模型文本分类需大量标注数据的问题，提出READ方法，融合强化学习文本生成与半监督对抗学习，利用无标注数据生成多样合成文本提升泛化性，在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
On the Language-specificity of Multilingual BERT and the Impact of Fine-tuning
University of Malta（马耳他大学）；Idiap Research Institute（伊迪亚普研究所）；Utrecht University（乌得勒支大学）
最近的研究表明，多语言BERT（mBERT）获得的知识有两个组成部分：语言特定的和语言中立的。本文分析了它们之间的关系，在两个任务的微调-词性标注和自然语言推理-这需要模型承担不同程度的语言特定的知识。可视化显示，mBERT在微调后失去了按语言聚类表征的能力，这一结果得到了语言识别实验证据的支持。然而，使用梯度反转和迭代对抗学习的“unlearning”语言特定表示的进一步实验表明，除了微调的效果之外，不会进一步改善语言独立组件。这里提出的结果表明，微调的过程导致重组模型的有限的代表性的能力，提高语言独立的代表性，在牺牲特定语言的。
2021-12-26 cs.CL cs.NE
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University（南洋理工大学）；AWS AI（亚马逊云科技人工智能）
本文演示了自然语言推理（NLI）和文本分类系统中的致命漏洞。更具体地说，我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器（CARA）生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明，仅添加1%的中毒数据，当输入假设被注入中毒签名时，受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类，这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21
Alibaba Group（阿里巴巴集团）
首字母缩略词识别的重点是发现首字母缩略词和被缩写的短语，这对于科学文档理解任务至关重要。然而，手动标注的数据集的有限大小阻碍了问题的进一步改善。最近在大型语料库上预训练的语言模型的突破清楚地表明，无监督的预训练可以大大提高下游任务的性能。在本文中，我们提出了一种名为AT-BERT的对抗性训练BERT方法，这是我们为AAAI 2021年科学文档理解（SDU）挑战赛的首字母缩略词识别任务提供的获胜解决方案。具体地，采用预训练的BERT来捕获更好的语义表示。然后，我们将FGM对抗训练策略融入到BERT的微调中，使模型更具鲁棒性和通用性。此外，一个集成机制，设计涉及从多个BERT变量学习的表示。将所有这些组件组装在一起，在SciAI数据集上的实验结果表明，我们提出的方法优于所有其他具有竞争力的最先进的方法。
2021-01-12 cs.CL
GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）；Imperial College London（伦敦帝国理工学院）；Queen Mary University of London（伦敦玛丽女王大学）
像BERT这样的大型预训练语言模型是最近许多NLP任务改进背后的驱动力。然而，BERT只被训练来预测缺失的单词-无论是在面具后面还是在下一个句子中-并且除了通过无监督的预训练获得的信息之外，没有词汇，句法或语义信息的知识。我们提出了一种新的方法来显式地将语言知识以词嵌入的形式注入到预训练的BERT的任何层中。当注入基于依赖性和反拟合嵌入时，我们在多个语义相似性数据集上的性能改进表明这些信息是有益的，并且目前在原始模型中缺失。我们的定性分析表明，反拟合嵌入注入特别有助于涉及同义词对的情况下。
2020-10-23 cs.CL
MENLI: Robust Evaluation Metrics from Natural Language Inference
Technische Universität Darmstadt（达姆施塔特工业大学）；Universität Bielefeld（比勒费尔德大学）
本文提出基于自然语言推理的评估指标MENLI，以增强文本生成评估的对抗稳健性，结合现有指标可提升15%-30%的稳健性及5%-30%的质量。
2023-12-26 cs.CL cs.CR cs.LG
Certified Robustness to Text Adversarial Attacks by Randomized [MASK]
Fudan University（复旦大学）
最近，一些认证的防御方法已经开发出可证明地保证了文本分类器的鲁棒性对抗性同义词替换。然而，所有现有的认证防御方法都假设防御者被告知对手如何生成同义词，这是不现实的情况。在本文中，我们提出了一种可证明的鲁棒防御方法，通过随机屏蔽输入文本中的一定比例的单词，其中上述不切实际的假设不再是必要的。该方法不仅可以抵御基于单词替换的攻击，而且可以抵御字符级扰动。我们可以证明超过50%的文本分类对AGNEWS上的5个词和SST 2数据集上的2个词的任何扰动都是鲁棒的。实验结果表明，我们的随机平滑方法显着优于最近提出的防御方法在多个数据集。
2021-07-25 cs.CL
UCAS-IIE-NLP at SemEval-2023 Task 12: Enhancing Generalization of Multilingual BERT for Low-resource Sentiment Analysis
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对非洲低资源语言情感分析中数据稀缺问题，提出 SACL-XLMR，结合基于词典的多语言 BERT 与有监督对抗对比学习，在 SemEval-2023 零样本子任务中排名第一。
2023-06-01 cs.AI cs.CL
Combating Adversarial Misspellings with Robust Word Recognition
Carnegie Mellon University（卡内基梅隆大学）
为了对抗对抗性拼写错误，我们建议在下游分类器之前放置一个单词识别模型。我们的单词识别模型建立在RNN半字符架构的基础上，引入了几种新的退避策略来处理罕见和不可见的单词。训练识别随机添加，下降，交换和键盘错误损坏的单词，我们的方法实现了32%的相对（和3.3%的绝对）错误减少香草半字符模型。值得注意的是，我们的管道赋予下游分类器鲁棒性，优于对抗训练和现成的拼写检查器。与针对情感分析进行微调的BERT模型相比，单个敌对选择的字符攻击将准确率从90.3%降低到45.8%。我们的防御系统可以将准确率恢复到75%。令人惊讶的是，更好的单词识别并不总是需要更强的鲁棒性。我们的分析表明，鲁棒性还取决于一个量，我们表示的灵敏度。
2019-08-29 cs.CL cs.CR cs.LG
Fast Adversarial Training against Textual Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）
本文提出快速对抗训练方法FAT，通过单步扰动生成和历史扰动初始化，在无同义词场景下高效提升BERT模型的对抗鲁棒性，并在多种字符级和词级攻击中优于现有防御基线。
2024-01-23 cs.AI cs.CL
Achieving Verified Robustness to Symbol Substitutions via Interval Bound Propagation
DeepMind；University College London（伦敦大学学院）
神经网络是许多当代NLP系统的一部分，但它们的经验成功是以易受对抗攻击为代价的。以前的工作已经使用对抗训练和数据增强来部分减轻这种脆弱性，但由于离散文本扰动引起的搜索空间的复杂性，这些不太可能找到最坏情况的对手。在这项工作中，我们从相反的方向来解决这个问题：正式验证系统对预定义的一类对抗攻击的鲁棒性。我们研究同义词替换或字符翻转扰动下的文本分类。我们建议将这些输入扰动建模为单纯形，然后使用区间界传播-一种正式的模型验证方法。我们修改了传统的对数似然训练目标，以训练可以有效验证的模型，否则将带来指数搜索复杂度。由此产生的模型在标称精度方面只有很小的差异，但在扰动下有很大的提高验证精度，并在最坏情况下的对手与一个有效的可计算的正式保证。
2019-12-20 cs.CL cs.CR cs.LG
Using Paraphrases to Study Properties of Contextual Embeddings
University of Michigan（密歇根大学）
我们使用释义作为一个独特的数据源来分析上下文嵌入，特别关注BERT。由于释义自然地编码一致的单词和短语语义，它们为研究嵌入的属性提供了独特的镜头。使用释义数据库的路线，我们研究的释义以及短语表示的话。我们发现，上下文嵌入有效地处理多义词，但在许多情况下，给同义词令人惊讶的不同表示。我们证实了以前的研究结果，BERT是敏感的词序，但发现略有不同的模式比以前的工作在跨BERT的层的语境化的水平。
2022-07-12 cs.CL
Model Extraction and Adversarial Transferability, Your BERT is Vulnerable!
Monash University（莫纳什大学）；Ant Group（蚂蚁集团）；The Australian National University（澳大利亚国立大学）；Data61 CSIRO；Lehigh University（里海大学）
自然语言处理（NLP）任务，从文本分类到文本生成，已经被预先训练的语言模型（如BERT）彻底改变。这允许公司通过为下游任务封装微调的BERT模型来轻松构建强大的API。然而，当一个经过微调的BERT模型被部署为服务时，它可能会遭受恶意用户发起的不同攻击。在这项工作中，我们首先介绍了对手如何在有限的先验知识和查询的情况下，在多个基准数据集上窃取基于BERT的API服务（受害者/目标模型）。我们进一步表明，提取的模型可以导致对受害者模型的高度可转移的对抗攻击。我们的研究表明，即使受害者模型和攻击模型之间存在架构不匹配，基于BERT的API服务的潜在漏洞仍然存在。最后，我们研究了两种保护受害者模型的防御策略，发现除非牺牲受害者模型的性能，否则模型抽取和对抗转移都可以有效地危害目标模型
2021-03-18 cs.CL
Alert-ME: An Explainability-Driven Defense Against Adversarial Examples in Transformer-Based Text Classification
School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）；CREST - The Centre for Research on Engineering Software Technologies（工程软件技术研究中心）；Department of Computer Science and Software Engineering, The University of Western Australia（西澳大学计算机科学与软件工程学院）
针对Transformer文本分类器的对抗攻击，提出可解释性驱动的EDIT框架，集成注意力图与集成梯度检测扰动，并通过最优转换净化输入，在多个数据集上显著提升防御性能与效率。
2025-10-24 cs.AI cs.CL cs.LG
Robust Textual Embedding against Word-level Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）
我们属性的脆弱性自然语言处理模型的事实，类似的输入被转换为不同的表示在嵌入空间中，导致不一致的输出，我们提出了一种新的强大的训练方法，称为快速三重度量学习（FTML）。具体来说，我们认为原始样本应该与其对抗性对应物具有相似的表示，并将其表示与其他样本区分开来，以获得更好的鲁棒性。为此，我们在标准训练中采用三重度量学习，以将单词拉近其正样本（即，同义词）并推开它们的阴性样本（即，非同义词）在嵌入空间中。大量的实验表明，FTML可以显著提高模型对各种高级对抗攻击的鲁棒性，同时保持对原始样本有竞争力的分类精度。此外，我们的方法是有效的，因为它只需要调整嵌入，并在标准训练上引入很少的开销。我们的工作显示了通过鲁棒的词嵌入来提高文本鲁棒性的巨大潜力。
2022-07-27 cs.CL
Are Multilingual BERT models robust? A Case Study on Adversarial Attacks for Multilingual Question Answering
IBM Research AI（IBM研究院AI）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）
最近的方法利用单语问答（QA）模型的弱点，通过添加对抗性陈述的通道。这些攻击导致最先进的性能降低了近50%。在本文中，我们首次探索并成功攻击了一个多语言QA（MLQA）系统，该系统使用多种攻击策略对多语言BERT进行了预训练，使对抗性语句的性能降低了85%。我们表明，该模型优先考虑英语和语言的问题，而不管其他语言的QA对。此外，我们还表明，在训练过程中添加我们的攻击策略有助于减轻攻击。
2021-04-15 cs.CL
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology（华中科技大学）
一系列工作表明，自然的文本处理模型容易受到对抗性示例的影响。相应地，提出了各种防御方法，以减轻威胁的文本对抗性的例子，例如，对抗性训练，输入变换，检测等。在这项工作中，我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换，其中每个字相互影响其他的话。我们发现，我们可以破坏这种相互作用，消除敌对扰动随机替换一个词与它的同义词。基于这一观察，我们提出了一种新的文本对抗性示例检测方法，称为随机替换和投票（RS&V），它通过累积k个样本的logits来投票预测标签，这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络，而无需修改架构或额外的训练，并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明，我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例，同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
Data Augmentation for Voice-Assistant NLU using BERT-based Interchangeable Rephrase
Samsung Research America（三星美国研究院）
我们引入了一种基于字节对编码的数据增强技术和一种类似BERT的自我注意力模型，以提高口语语言理解任务的性能。我们比较和评估这种方法与一系列增强技术，包括生成模型，如VAE和性能提升技术，如同义词替换和回译。我们表明，我们的方法在语音助手的领域和意图分类任务以及专注于话语自然度和语义相似性的用户研究中表现出色。
2021-04-16 cs.CL cs.LG
Weakly Supervised Cross-platform Teenager Detection with Adversarial BERT
Queen Mary University of London（伦敦玛丽女王大学）
青少年检测是社交媒体中年龄检测任务的一个重要案例，其目的是检测青少年用户以保护他们免受负面影响。青少年检测任务受到标记数据稀缺的影响，这加剧了在社交媒体平台上表现良好的能力。为了进一步研究在平台上没有标记数据的情况下的青少年检测，我们提出了一种新的基于对抗性BERT的跨平台框架。我们的框架可以使用来自源平台的有限数量的标记实例，而不使用来自目标平台的标记数据，将知识从源转移到目标社交媒体。我们在四个公开的数据集上进行了实验，结果表明我们的框架可以显着改善跨平台青少年检测任务的竞争基线模型。
2021-08-24 cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
Quantifying True Robustness: Synonymity-Weighted Similarity for Trustworthy XAI Evaluation
The University of Mississippi（密苏里大学）
本文提出基于同义词加权的相似性方法，用于更准确评估XAI系统的鲁棒性，防止攻击成功率的高估。
2025-12-29 cs.AI cs.CL cs.LG
Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
通用和特定领域的BERT模型都被广泛用于自然语言处理（NLP）任务。本文研究了BERT模型在对抗攻击中对命名实体识别（NER）输入数据变化的脆弱性。实验结果表明，BERT模型容易受到实体上下文变化的影响，有20.2%~ 45.0%的实体预测完全错误，另有29.3%~ 53.3%的实体预测部分错误。BERT模型似乎最容易受到实体的本地上下文的变化的影响，并且通常单个变化就足以欺骗模型。从头开始训练的特定于领域的BERT模型（SciBERT）比原始BERT模型或保留BERT词汇的特定于领域的模型（BioBERT）更脆弱。我们还发现，BERT模型是特别容易受到紧急实体。我们的研究结果图表BERT模型NER的弱点，并强调进一步研究发现和减少这些弱点的重要性。
2022-01-31 cs.CL cs.IR
Using BERT Encoding to Tackle the Mad-lib Attack in SMS Spam Detection
Universidad Distrital Francisco José de Caldas（弗朗西斯科·何塞·德·卡尔达斯地区大学）
欺骗垃圾邮件过滤器的策略之一是用同义词或类似的词代替可发音的词，使检测算法无法识别邮件。在本文中，我们调查是否最近开发的语言模型敏感的语义和上下文的话，如谷歌的BERT，可能是有用的，以克服这种对抗攻击（称为“疯狂的库”，根据单词替换游戏）。使用5572个SMS垃圾消息的数据集，我们首先使用广泛已知的文档表示模型（BoW和TFIDF）和新颖的BERT模型，结合各种分类算法（决策树，kNN，SVM，Logistic回归，朴素贝叶斯，多层感知器）建立了检测性能的基线。然后，我们建立了这些消息中包含的词汇的词库，并建立了一个Mad-lib攻击实验，在这个实验中，我们修改了一个数据子集（在基线实验中没有使用）的每条消息，用词库中的同义词替换原始单词的比率不同。最后，我们评估了三种表示模型（BoW，TFIDF和BERT）与基线实验（SVM）中的最佳分类器的检测性能。我们发现经典模型在原始数据集中达到了94%的平衡准确度（BA），而BERT模型达到了96%。另一方面，Mad-lib攻击实验表明，BERT编码在平均替换率为每条消息1.82个单词的情况下，能够保持96%的相似BA性能，在平均替换率为每条消息3.34个单词的情况下，能够保持95%的相似BA性能。相比之下，BoW和TFIDF编码器的BA性能下降到偶然。这些结果暗示了BERT模型在对抗这些类型的巧妙攻击方面的潜在优势，在一定程度上抵消了…
2021-07-13 cs.CL cs.IR cs.LG
