Second-Order NLP Adversarial Examples
University of Virginia(弗吉尼亚大学)
NLP中的对抗性示例生成方法依赖于语言模型或句子编码器等模型来确定潜在的对抗性示例是否有效。在这些方法中,一个有效的对抗性示例欺骗了被攻击的模型,并被第二个模型确定为语义或语法有效。迄今为止的研究已经将所有此类示例都视为受攻击模型的错误。我们认为,这些对抗性的例子可能不是被攻击模型中的缺陷,而是决定有效性的模型中的缺陷。我们将这种无效输入称为二阶对抗示例。我们提出了约束鲁棒性曲线和相关的度量ACCS作为评估约束对二阶对抗性示例的鲁棒性的工具。为了生成这条曲线,我们设计了一个对抗攻击,直接在语义相似度模型上运行。我们测试两个约束,通用句子编码器(USE)和BERTScore。我们的研究结果表明,这样的二阶例子是存在的,但在最先进的模型中通常比一阶对抗性例子不常见。它们还表明,USE作为NLP对抗性示例的约束是有效的,而BERTScore几乎无效。运行本文中实验的代码可在https://github.com/jxmorris12/second-order-adversarial-examples上获得。
2020-10-06 cs.CL
A Survey of Adversarial Defences and Robustness in NLP
Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Bhupat and Jyoti Mehta School of Biosciences(布帕特与乔蒂·梅塔生物科学学院)
本文综述了 NLP 中对抗防御方法,提出新分类法,并分析了深度神经网络的脆弱性及防御挑战。
2023-04-18 cs.CL
Balanced Adversarial Training: Balancing Tradeoffs between Fickleness and Obstinacy in NLP Models
University of Virginia(弗吉尼亚大学)
传统的(变化无常的)对抗性例子涉及找到一个小的扰动,它不会改变输入的真实标签,但会混淆分类器,使其输出不同的预测。相反,当对手发现一个小的扰动,保持分类器的预测,但改变输入的真实标签时,就会出现顽固的对抗性例子。对抗性训练和认证的鲁棒训练在提高机器学习模型对变化无常的对抗性示例的鲁棒性方面表现出一定的有效性。我们表明,标准的对抗性训练方法专注于减少易变的对抗性示例的脆弱性,可能会使模型更容易受到顽固的对抗性示例的影响,实验包括自然语言推理和释义识别任务。为了应对这种现象,我们引入了平衡对抗训练,它结合了对比学习,以提高对反复无常和顽固对抗性示例的鲁棒性。
2022-10-29 cs.CL
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI(德国人工智能研究中心);University of Copenhagen(哥本哈根大学)
现代自然语言处理(NLP)方法采用自监督预训练目标,如掩蔽语言建模,以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽,最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似,使最近在图像表示预训练中取得了成功。然而,在NLP中,自动创建文本输入增强仍然非常具有挑战性,因为单个令牌可以颠倒句子的含义。出于这个原因,一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对,而不是输入-输入对。在这项调查中,我们总结了最近的自监督和监督对比NLP预训练方法,并描述了它们用于改进语言建模,少量或零样本学习,预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念,从以前的研究和结构工程的应用和跨领域的关系。最后,我们指出了对比NLP面临的挑战和未来的发展方向,以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
Improved Text Classification via Contrastive Adversarial Training
IBM Watson(IBM沃森);IBM Research AI(IBM研究院AI)
我们提出了一种简单而通用的方法来规范基于transformer的编码器的文本分类任务的微调。具体来说,在微调过程中,我们通过扰动模型的词嵌入来生成对抗性示例,并对干净和对抗性示例进行对比学习,以教会模型学习噪声不变的表示。通过对干净和对抗性样本以及额外的对比目标进行训练,我们观察到了对干净样本进行标准微调的一致改进。在几个GLUE基准测试任务中,我们的微调BERT Large模型平均比BERT Large基线提高1.7%,我们的微调RoBERTa Large比RoBERTa Large基线提高1.3%。我们还使用三个意图分类数据集在不同领域验证了我们的方法,其中我们的微调RoBERTa Large平均比RoBERTa Large基线高出1-2%。
2022-02-17 cs.CL
Improving the Adversarial Robustness of NLP Models by Information Bottleneck
Fudan University(复旦大学);University of California, Los Angeles(加州大学洛杉矶分校)
现有的研究表明,对抗性示例可以直接归因于非鲁棒特征的存在,这些特征具有高度的预测性,但很容易被对手操纵来欺骗NLP模型。在这项研究中,我们探索的可行性,捕获特定于任务的鲁棒性的功能,同时消除非鲁棒性的信息瓶颈理论。通过大量的实验,我们表明,使用我们的基于信息校验的方法训练的模型能够在鲁棒准确性方面实现显着提高,超过所有先前报道的防御方法的性能,同时在SST-2,AGNEWS和IMDB数据集上几乎没有性能下降。
2022-06-11 cs.CL
SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification
The Hong Kong University of Science and Technology(香港科技大学)
本文提出无需标签的自监督对比学习框架 SCAT,通过无标签方式生成对抗样本并进行对抗训练,在文本分类任务上既能从头训练鲁棒模型,也能提升预训练模型的鲁棒性。
2023-07-04 cs.CL
MockingBERT: A Method for Retroactively Adding Resilience to NLP Models
Hedgefrog Software LLC(赫奇福格软件有限责任公司);Salesforce Inc.(赛富时公司)
保护NLP模型不受拼写错误的影响,无论是偶然的还是对抗性的,这一直是过去几年的研究兴趣。现有的补救措施通常会影响准确性,或者需要对每种新的攻击类别进行完整的模型重新训练。我们提出了一种新的方法,可以追溯性地为基于transformer的NLP模型添加对拼写错误的恢复能力。这种鲁棒性可以在不需要重新训练原始NLP模型的情况下实现,并且在没有拼写错误的情况下对输入的语言理解性能的损失最小。此外,我们提出了一种新的有效的近似方法生成对抗性拼写错误,这显着降低了所需的成本,以评估模型的弹性对抗攻击。
2022-08-21 cs.CL
TextGrad: Advancing Robustness Evaluation in NLP by Gradient-Driven Optimization
UC Santa Barbara(加州大学圣巴巴拉分校);Michigan State University(密歇根州立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
对抗性示例的鲁棒性评估对于揭示自然语言处理(NLP)中流行的深度模型的可信度变得越来越重要。然而,在计算机视觉领域中,一阶投影梯度下降(PGD)被用作基准方法来生成对抗性示例以进行鲁棒性评估,与此相反,在NLP中缺乏原则性的基于一阶梯度的鲁棒性评估框架。新出现的优化挑战在于1)文本输入的离散性质以及扰动位置与实际内容之间的强耦合,以及2)扰动文本应该流畅并且在语言模型下实现低困惑度的附加约束。这些挑战使得开发类似于PGD的NLP攻击变得困难。为了弥补这一差距,我们提出了TextGrad,这是一种使用梯度驱动优化的新攻击生成器,支持NLP中对抗鲁棒性的高精度和高质量评估。具体来说,我们在一个统一的优化框架中解决了上述挑战。我们开发了一种有效的凸松弛方法来共同优化连续松弛的选址和扰动变量,并利用一种有效的采样方法来建立从连续优化变量到离散文本扰动的精确映射。此外,作为一阶攻击生成方法,TextGrad可以被烘焙到对抗训练中,以进一步提高NLP模型的鲁棒性。大量的实验证明了TextGrad的有效性,不仅在攻击生成的鲁棒性评估,而且在对抗性防御。
2022-12-19 cs.CL
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心)
最近的工作提出了几种有效的方法来生成基于梯度的对抗性扰动的嵌入,并证明了模型的性能和鲁棒性可以提高,当他们训练这些污染的嵌入。虽然他们很少关注如何帮助模型更有效地学习这些对抗样本。在本文中,我们着眼于在模型的训练过程中增强模型防御基于梯度的对抗攻击的能力,并提出了两种新的对抗训练方法:(1)CARL缩小了原始样本及其对抗样本在表示空间中的距离,同时扩大了它们与不同标记样本的距离。(2)RAR迫使模型从其对抗性表示中重建原始样本。实验结果表明,所提出的两种方法优于强基线在各种文本分类数据集。分析实验表明,使用本文方法时,输入句子的语义表示不会受到对抗性扰动的显著影响,并且在对抗攻击下,模型的性能下降较小。也就是说,我们的方法可以有效地提高模型的鲁棒性。此外,RAR还可以用于生成文本形式的对抗样本。
2021-09-14 cs.CL
A Benchmark Study of Contrastive Learning for Arabic Social Meaning
The University of British Columbia(不列颠哥伦比亚大学)
对比学习(CL)为各种NLP任务带来了重大进展。尽管取得了这一进展,CL迄今尚未应用于阿拉伯语NLP。也不清楚它能给特定类别的任务带来多少好处,比如那些涉及阿拉伯语社会意义的任务(例如,情感分析、方言识别、仇恨语音检测)。在这项工作中,我们提出了一个全面的基准研究国家的最先进的监督CL方法在广泛的阿拉伯语社会意义的任务。通过广泛的实证分析,我们表明CL方法在我们考虑的大多数任务上都优于香草精调。我们还表明,CL可以是数据有效的,并量化这种效率。总的来说,我们的工作使我们能够展示CL方法的前景,包括在低资源环境中。
2022-10-22 cs.CL
Towards Improving Adversarial Training of NLP Models
University of Virginia(弗吉尼亚大学)
对抗性训练是一种用于学习鲁棒深度神经网络的方法,在训练期间构建对抗性示例。然而,最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此,使用普通对抗训练来提高NLP模型的性能仍然具有挑战性,并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程,我们称之为攻击训练(A2T)。A2T的核心部分是一种新的、更便宜的词替换攻击,针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明,它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性,并且还可以保护模型免受其他类型的单词替换攻击。此外,我们表明,A2T可以提高NLP模型的标准精度,跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering
The University of Melbourne(墨尔本大学)
数据伪影激励机器学习模型通过利用数据中的捷径来学习不可转移的概括,越来越多的证据表明,数据伪影对深度学习模型在最近的自然语言处理基准测试中取得的强大结果起着重要作用。在本文中,我们专注于面向任务的对话,并调查是否流行的数据集,如MultiWOZ包含这样的数据工件。我们发现,通过在训练样本中只保留频繁短语,最先进的模型与用完整数据训练的变体相比表现相似,这表明它们利用这些虚假的相关性来解决任务。基于此,我们提出了一个基于对比学习的框架,以鼓励模型忽略这些线索,专注于学习可推广的模式。我们还尝试了对抗性过滤,以删除“简单”的训练实例,以便模型专注于从“较难”的实例中学习。我们进行了大量的泛化实验,例如,跨域/数据集和对抗性测试-评估我们方法的鲁棒性,发现它工作得非常好。
2022-05-20 cs.CL
Advancing NLP Security by Leveraging LLMs as Adversarial Engines
Center for AI Security Research(人工智能安全研究中心)
本文提出将 LLM 用作多样化对抗攻击生成引擎,扩展词级攻击至补丁、通用扰动和定向攻击,以发现漏洞并提升 NLP 系统安全性。
2024-10-23 cs.AI cs.CL
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College(达特茅斯学院);Northwestern University(西北大学)
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器,即,聚类语义相似的句子,分散其他句子。在这项工作中,我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例(例如,句子和不相关的图像/音频数据)。特别是,除了通过文本的对比损失进行学习之外,我们的模型还对来自非语言领域的示例进行聚类(例如,视觉/听觉)与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关,使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明,使用额外的非语言(图像/音频)对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务(即,聚类)与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
近年来,NLP模型在金融、医疗、新闻媒体等关键领域得到了广泛应用,引起了人们对模型鲁棒性和脆弱性的关注。在本文中,我们提出了一种新的基于网络的对抗攻击妥协NLP模型和鲁棒性增强技术。我们首先为每个实例构建恶意提示,并在恶意目的的影响下通过掩码和填充生成对抗性示例。我们的攻击技术针对NLP模型的固有漏洞,即使不与受害者NLP模型交互,只要它基于预训练的语言模型(PLM),我们也可以生成样本。此外,我们设计了一种基于神经网络的对抗训练方法,以提高PLM的鲁棒性。由于我们的训练方法实际上不会生成对抗样本,因此它可以有效地应用于大规模训练集。实验结果表明,我们的攻击方法可以实现更多样化,流畅和自然的对抗性的例子,攻击成功率高。此外,我们的鲁棒性增强方法可以显着提高模型抵抗对抗攻击的鲁棒性。我们的工作表明,激励范式有很大的潜力,在探测PLM的一些根本缺陷和微调他们的下游任务。
2022-03-21 cs.CL
From Hero to Zéroe: A Benchmark of Low-Level Adversarial Attacks
Technische Universität Darmstadt(达姆施塔特工业大学)
对抗攻击是对机器学习分类器输入的标签保留修改,旨在欺骗机器而不是人类。自然语言处理(NLP)主要集中在高级攻击场景,如释义输入文本。我们认为,这些在典型的应用场景中(如社交媒体)不太现实,而是专注于角色级别的低级别攻击。在人类认知能力和人类鲁棒性的指导下,我们提出了第一个大规模的低级别对抗攻击目录和基准,我们称之为Zéroe,包括9种不同的攻击模式,包括视觉和语音对手。我们表明,RoberTa,NLP目前的主力,在我们的攻击失败。我们的数据集为测试未来更像人类的NLP模型的鲁棒性提供了基准。
2020-10-28 cs.CL
Improving the robustness and accuracy of biomedical language models through adversarial training
Medical University of Vienna(维也纳医科大学)
深度Transformer神经网络模型提高了生物医学领域智能文本处理系统的预测精度。他们在各种生物医学和临床自然语言处理(NLP)基准测试中获得了最先进的性能分数。然而,这些模型的鲁棒性和可靠性迄今为止还没有得到充分的研究。神经NLP模型很容易被对抗性样本欺骗,即对输入进行微小的更改,保留文本的含义和可理解性,但迫使NLP系统做出错误的决定。这引起了人们对生物医学NLP系统的安全性和可信度的严重担忧,特别是当它们打算部署在现实世界的用例中时。我们研究了几个Transformer神经语言模型,即BioBERT,SciBERT,BioMed-RoBERTa和Bio-ClinicalBERT,在广泛的生物医学和临床文本处理任务的鲁棒性。我们实现了各种对抗攻击方法来测试不同攻击场景下的NLP系统。实验结果表明,生物医学NLP模型对对抗性样本敏感;它们的性能在字符级和单词级对抗性噪声上分别平均下降了21%和18.9%。通过进行广泛的对抗性训练实验,我们在干净样本和对抗性输入的混合上微调了NLP模型。结果表明,对抗性训练是对抗性噪声的有效防御机制;模型的鲁棒性平均提高了11.3%。此外,模型在干净数据上的性能平均提高了2.4个绝对值,这表明对抗性训练可以提高生物医学NLP系统的泛化能力。
2021-11-16 cs.AI cs.CL
Faithfulness and the Notion of Adversarial Sensitivity in NLP Explanations
SRM University AP(SRM大学AP分校)
针对自然语言处理解释忠实性评估方法存在差异和偏差的问题,提出对抗敏感性新方法,通过捕捉解释器对模型对抗攻击下输入变化的响应评估忠实性,解决现有技术局限并从新范式量化该指标。
2024-10-09 cs.AI cs.CL
Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
尽管深度神经网络(DNN)在自然语言处理(NLP)等许多领域取得了巨大的成功,但它们也被证明容易受到恶意生成的对抗性示例的攻击。这种固有的漏洞已经威胁到各种现实世界部署的基于DNN的应用程序。为了增强模型的鲁棒性,在英语NLP领域提出了几种对策,并取得了令人满意的效果。然而,由于中文独特的语言属性,将现有的防御扩展到中文领域并非易事。因此,我们提出了AdvGraph,这是一种新的防御方法,通过将对抗性知识纳入输入的语义表示来增强基于中文的NLP模型的鲁棒性。在两个真实世界任务上的广泛实验表明,与以前的工作相比,AdvGraph表现出更好的性能:(i)有效-即使在自适应攻击设置下,它也显着增强了模型的鲁棒性,而不会对合法输入的模型性能产生负面影响;(ii)通用-其关键组件,即,隐含对抗知识的表示是任务不可知的,可以在任何基于中文的NLP模型中重用,而无需重新训练;(iii)高效-它是具有次线性计算复杂性的轻量级防御,可以保证实际场景中所需的效率。
2021-02-23 cs.CL
Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble
Fudan University(复旦大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
尽管神经网络在许多自然语言处理(NLP)任务上取得了突出的性能,但它们很容易受到对抗性示例的影响。在本文中,我们提出了Dirichlet邻域增强(DNE),一个随机平滑的方法来训练一个强大的模型,以防御基于替换的攻击。在训练过程中,DNE通过从由单词及其同义词构成的凸包中对输入句子中的每个单词的嵌入向量进行采样来形成虚拟句子,并使用训练数据对其进行扩充。通过这种方式,该模型对对抗攻击具有鲁棒性,同时保持原始干净数据的性能。DNE对网络架构是不可知的,并可扩展到NLP应用程序的大型模型。我们通过大量的实验证明,我们的方法始终优于最近提出的防御方法,在不同的网络架构和多个数据集的显着保证金。
2020-06-20 cs.CL cs.LG
What Learned Representations and Influence Functions Can Tell Us About Adversarial Examples
Macquarie University(麦考瑞大学)
本文将图像处理中的两种对抗样本检测方法(基于最近邻与影响函数、基于马氏距离)适配到NLP,其中前者达到最先进性能,并通过影响函数揭示NLP与图像处理中对抗子空间的联系与差异。
2023-10-10 cs.CL cs.LG
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University(亚利桑那州立大学)
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而,在自然语言处理(NLP)领域,用于创建关于对比学习(CL)假设的相似对的增强方法具有挑战性。这是因为,即使简单地修改输入中的单词也可能改变句子的语义含义,因此违反了分布假设。在这篇综述论文中,我们形式化的对比学习框架,强调需要解决的数据转换步骤中的考虑因素,并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后,我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Residue-Based Natural Language Adversarial Attack Detection
ALTA Institute(ALTA研究所);Cambridge University(剑桥大学)
基于深度学习的系统容易受到对抗攻击的影响,在这种攻击中,输入端的微小、不可感知的变化会改变模型预测。然而,到目前为止,大多数检测这些攻击的方法都是针对图像处理系统设计的。许多流行的图像对抗性检测方法能够从嵌入特征空间中识别对抗性示例,而在NLP领域,现有的最先进的检测方法仅关注输入文本特征,而不考虑模型嵌入空间。这项工作研究了将这些图像设计策略移植到自然语言处理(NLP)任务时会产生什么样的差异-发现这些检测器不能很好地移植。这是意料之中的,因为NLP系统具有非常不同的输入形式:本质上是离散和顺序的,而不是连续和固定大小的图像输入。作为一种等价的模型聚焦的NLP检测方法,本文提出了一种简单的基于嵌入“残差”的检测器来识别对抗性样本。在许多任务上,它的性能优于移植的图像域检测器和最新的NLP特定检测器。
2022-09-25 cs.AI cs.CL
Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP
IBM Research(IBM研究院)
一个对抗性的例子是一个输入被小扰动所转换,机器学习模型总是错误分类。虽然有许多方法可以为文本数据生成对抗性示例,但评估这些对抗性示例的质量并不是微不足道的,因为微小的扰动(例如改变句子中的一个词)可能会导致其含义,可读性和分类标签的显著变化。在本文中,我们提出了一个由一组自动评估指标和人类评估准则组成的评估框架,以严格评估基于上述属性的对抗性示例的质量。我们用六种基准攻击方法进行了实验,发现一些方法生成的对抗性示例可读性和内容保护性都很差。我们还了解到,多种因素可能会影响攻击性能,例如文本输入的长度和分类器的结构。
2020-06-01 cs.CL cs.LG
On Adversarial Examples for Biomedical NLP Tasks
Pontificia Universidad Católica de Chile(智利天主教大学)
预训练词嵌入的成功激发了其在生物医学领域任务中的使用。BERT语言模型在命名实体识别(NER)和语义文本相似性(STS)等任务的标准性能指标上表现出了显著的效果,这为自然语言处理领域带来了重大进展。然而,目前还不清楚这些系统是否在关键领域(如法律或医疗)工作得很好。出于这个原因,在这项工作中,我们提出了一个对抗性的评估方案,对两个著名的数据集的医疗NER和STS。我们提出了两种类型的攻击的灵感来自自然的拼写错误和错别字由人类。我们还提出了另一种类型的攻击,使用医学术语的同义词。在这些对抗性设置下,模型的准确性显着下降,我们量化了这种性能损失的程度。我们还表明,我们可以通过使用对抗性示例训练模型来显着提高模型的鲁棒性。我们希望我们的工作将激励使用对抗性示例来评估和开发具有更高鲁棒性的医疗任务模型。
2020-04-23 cs.CL cs.LG
Why Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in Adversarial NLP
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Alibaba Group(阿里巴巴集团);Chongqing University(重庆大学)
文本对抗样本在NLP研究的多个子领域中发挥着重要作用,包括安全性,评估,可解释性和数据增强。然而,大多数工作混合了所有这些角色,模糊了安全角色的问题定义和研究目标,旨在揭示NLP模型的实际问题。本文对安全场景中文本对抗样本的研究范式进行了重新思考。我们讨论了以前工作中的不足之处,并提出我们的建议,面向安全的对抗性NLP(SoadNLP)的研究应该:(1)评估他们的安全任务的方法,以证明现实世界的关注;(2)考虑现实世界的攻击者的目标,而不是开发不切实际的方法。为此,我们首先收集、处理并发布一个安全数据集集合Advbench。然后,我们重新形式化的任务,并调整SoadNLP中不同目标的重点。接下来,我们提出了一种基于启发式规则的简单方法,可以很容易地实现实际的对抗目标来模拟现实世界的攻击方法。我们在Advbench上对攻击方和防御方进行了实验。实验结果表明,该方法具有较高的实用价值,表明SoadNLP的研究范式可以从我们的新基准开始。Advbench的所有代码和数据都可以在\url{https://github.com/thunlp/Advbench}上获得。
2022-10-19 cs.CL cs.CR cs.LG
Identifying Human Strategies for Generating Word-Level Adversarial Examples
University College London(伦敦大学学院);Tilburg University(蒂尔堡大学)
NLP中的对抗性示例正受到越来越多的研究关注。研究的一条线是生成针对微调的Transformer模型的单词级对抗性示例,这些模型保留了自然性和语法性。以前的工作发现,人类和机器生成的对抗性示例在自然性和语法正确性方面具有可比性。最值得注意的是,人类能够比自动攻击更轻松地生成对抗性示例。在本文中,我们详细分析了人类如何创建这些对抗性示例。通过探索人类工作者在生成过程中的行为模式,我们根据人类更喜欢选择哪些词进行对抗性替换(例如,词频率、词显著性、情感)以及在输入序列中词被替换的位置和时间。通过我们的研究结果,我们试图激励人们努力利用人类策略来构建更强大的NLP模型。
2022-10-20 cs.CL
From Automation to Collaboration: Human-in-the-Loop Methods for Safe and Trustworthy NLP
Department of Computer Science and Engineering, BRAC University(布拉克大学计算机科学与工程系);Department of Electrical and Electronic Engineering, Rajshahi University of Engineering and Technology(拉贾沙希工程与技术大学电子与电气工程系)
本文综述了人机协同方法,通过人类监督支持审计、鲁棒性评估、数据构建和模型引导,以提升NLP在安全可信方面的表现,并指出了可扩展探测、可持续鲁棒性基准、低资源设置和私有系统治理等方面的差距。
2026-05-24 cs.CL
Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition
School of computer and Information Engineering, Central South University of Forestry and Technology(中南林业科技大学计算机与信息工程学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);State University of New York(纽约州立大学)
本文提出AR-IIGCN方法,通过对抗表示消除模态异质性,并利用模态内与模态间图对比学习捕获互补语义和类别边界信息,在IEMOCAP和MELD数据集上显著提升多模态情感识别准确率。
2024-08-31 cs.CL
Adversarial Attack and Defense of Structured Prediction Models
National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
构建有效的对抗性攻击器并详细阐述针对自然语言处理(NLP)的对抗攻击的对策近年来吸引了大量的研究。然而,大多数现有的方法集中在分类问题。在本文中,我们研究了NLP中结构化预测任务的攻击和防御。除了在任何NLP任务中攻击者面临的扰动离散单词和句子流畅性问题的困难之外,结构化预测模型的攻击者还面临着一个特殊的挑战:结构化预测模型的结构化输出对输入中的小扰动很敏感。为了解决这些问题,我们提出了一个新的和统一的框架,学习攻击的结构化预测模型使用序列到序列模型,从多个参考模型的反馈相同的结构化预测任务。基于所提出的攻击,我们通过对抗性训练进一步加强了受害者模型,使其预测更加鲁棒和准确。我们在依存句法分析和词性标注中评估了所提出的框架。自动和人工评估表明,我们提出的框架成功地攻击了最先进的结构化预测模型,并通过对抗性训练增强了它们。
2020-10-18 cs.CL
"That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks
TU Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
针对NLP对抗攻击防御研究较少的问题,提出一种与模型无关的对抗文本检测器,通过分析扰动输入文本时目标分类器logits的变化模式来识别攻击,显著提升了识别性能并具备跨模型、数据集和攻击的泛化能力。
2023-06-29 cs.AI cs.CL cs.LG
Adversarial Contrastive Pre-training for Protein Sequences
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
自然语言处理(NLP)的最新发展表明,大规模的自我监督预训练对下游任务非常有益。这些想法已经被应用到其他领域,包括蛋白质氨基酸序列的分析。然而,迄今为止,大多数蛋白质序列的尝试依赖于直接掩蔽语言模型风格的预训练。在这项工作中,我们为蛋白质设计了一种新的对抗性预训练方法,扩展和专门化了NLP中的类似进展。与传统的MLM预训练相比,我们展示了令人信服的结果,但需要进一步开发以确保收益值得显著的计算成本。
2021-01-31 cs.AI cs.CL
Sample Attackability in Natural Language Adversarial Attacks
University of Cambridge(剑桥大学)
本研究正式定义NLP攻击中的样本可攻击性/鲁棒性,实验表明深度学习检测器优于样本不确定性方法,但不同攻击方法间可攻击性共识低,影响检测方法可移植性。
2023-06-21 cs.AI cs.CL
Adversarial Contrastive Estimation
Borealis AI;University of Toronto(多伦多大学)
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计(NCE)和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中,我们将对比学习视为所有此类方法的抽象,并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本,这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入,顺序嵌入和知识图谱嵌入的建议,并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
Model-tuning Via Prompts Makes NLP Models Adversarially Robust
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Science (IISc)(印度科学学院)
本文提出通过提示模板进行下游适配的 MVP 方法,在多数据集、攻击和模型上显著提升 NLP 对抗鲁棒性,并揭示 MLP-FT 脆弱源于任务错配与随机初始化参数。
2023-12-06 cs.CL cs.LG
FastWordBug: A Fast Method To Generate Adversarial Text Against NLP Applications
Baidu X-Lab(百度研究院深度学习实验室)
在本文中,我们提出了一种新的算法,FastWordBug,有效地产生小文本扰动的黑盒设置,迫使一个情感分析或文本分类模式作出不正确的预测。通过结合词的词性属性,提出了一种能够快速识别影响文本分类的重要词的评分方法。我们评估FastWordBug在三个真实世界的文本数据集和两个国家的最先进的机器学习模型下黑盒设置。结果表明,我们的方法可以显著降低模型的准确性,同时可以尽可能少地调用模型,具有最高的攻击效率。我们还攻击了两个流行的真实世界的NLP云服务,结果表明,我们的方法也工作。
2020-01-31 cs.CL cs.CR
Adversarial Attacks and Defense for Conversation Entailment Task
University of Michigan(密歇根大学)
本文研究对话蕴含任务中大语言模型对同义词替换对抗攻击的脆弱性,通过创新微调技术和嵌入扰动损失方法显著提升模型鲁棒性,为可靠NLP应用提供防御方案。
2024-05-02 cs.AI cs.CL
Learning Visually-Grounded Semantics from Contrastive Adversarial Samples
Megvii Inc.(旷视科技)
我们研究的问题接地分布表示的文本的视觉域,即视觉语义嵌入(简称VSE)。从对VSE嵌入的有见地的对抗攻击开始,我们展示了当前框架和图像-文本数据集的局限性(例如,MS-COCO)。现实世界语义可能构成的数量与并行数据规模之间的巨大差距,在很大程度上限制了模型建立文本语义与视觉概念之间的联系。我们通过用文本对比对抗样本增强MS-COCO图像描述数据集来缓解这个问题。这些样本是使用语言规则和WordNet知识库合成的。构造过程是语法和语义感知的。这些样本强制模型将学习到的嵌入嵌入到图像中的具体概念中。除了防御已知类型的对抗攻击之外,这种简单但强大的技术还在各种下游任务的基线上带来了显著的改进。我们在https://github.com/ExplorerFreda/VSE-C上发布代码。
2018-06-27 cs.CL cs.CV
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学);Tencent(腾讯);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
针对自然语言处理系统的对抗攻击,对输入进行看似无害的修改,可能会导致目标模型的任意错误。虽然引起了极大的关注,但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成(例如,图像),生成保留原始含义的对抗性文本是具有挑战性的,因为文本空间是离散的和不可微的。为了应对这些挑战,我们提出了一个目标可控的对抗攻击框架T3,它适用于一系列NLP任务。特别是,我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间,在此基础上,我们优化了对抗扰动。一种新的基于树的解码器,然后应用到正则化生成的文本的语法正确性,并操纵它的句子(T3(发送))或单词(T3(字))的水平。我们考虑两个最具代表性的NLP任务:情感分析和问答(QA)。大量的实验结果和人类研究表明,T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案,而不会误导人类。此外,我们还证明了生成的对抗性文本具有很高的可转移性,这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
Randomized Smoothing with Masked Inference for Adversarially Robust Text Classifications
Nanyang Technological University(南洋理工大学);Salesforce AI(Salesforce人工智能研究院);Birla Institute of Technology and Science, Pilani(皮拉尼比特拉技术科学学院);A*STAR(新加坡科技研究局)
提出RSMI框架,结合随机平滑与掩码推理,将文本分类对抗鲁棒性提升2至3倍,并通过实验验证其有效性。
2023-05-11 cs.AI cs.CL
Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
American University of Beirut(贝鲁特美国大学)
对比解释方法超越了透明度,并解决了解释的对比方面。这样的解释正在成为一个有吸引力的选择,以提供可操作的变化的情况下,分类器的决定产生不利影响。然而,它们对文本数据的扩展还没有得到充分的探索,并且很少有人对它们的脆弱性和局限性进行调查。这项工作的动机文本的反事实奠定了基础,一个新的评价方案的启发,忠实的解释。因此,我们扩展计算的三个指标,接近性,连通性和稳定性,文本数据和我们的基准两个成功的对比方法,多汁和MiCE,我们建议的指标。在情感分析数据上的实验表明,在两种模型中,反事实与其原始对应物的连通性都不明显。更有趣的是,生成的对比文本更容易与POLYJUICE,突出了潜在表征在反事实搜索的重要性。最后,我们对文本追索方法进行了第一次语义对抗攻击。结果表明,POLYJUICE的鲁棒性和潜在的输入表示在鲁棒性和可靠性中发挥的作用。
2022-10-17 cs.AI cs.CL cs.HC
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校自然科学学院)
本文提出利用LLM自动生成多样化对比集,并在SNLI上构建3000样本对比集,通过微调提升模型鲁棒性和泛化能力,为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation for COVID-19 Information Service with Contrastive Adversarial Domain Mixup
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Notre Dame(圣母大学)
在COVID-19错误信息检测的实际应用中,一个根本的挑战是缺乏标记的COVID数据来实现模型的监督端到端训练,特别是在大流行的早期阶段。为了应对这一挑战,我们提出了一个无监督的领域自适应框架,该框架使用对比学习和对抗性领域混合来将知识从现有的源数据领域转移到目标COVID-19数据领域。特别是,为了弥合源域和目标域之间的差距,我们的方法减少了基于径向基函数(RBF)这两个域之间的差异。此外,我们利用领域对抗性示例的力量来建立一个中间领域混合,其中来自两个领域的输入文本的潜在表示可以在训练过程中混合。在多个真实世界数据集上进行的大量实验表明,我们的方法可以有效地使错误信息检测系统适应看不见的COVID-19目标域,与最先进的基线相比有显着改进。
2022-10-06 cs.AI cs.CL
Expanding Scope: Adapting English Adversarial Attacks to Chinese
University of Virginia(弗吉尼亚大学)
本文研究英文SOTA对抗攻击向中文的适配,表明结合中文分词、语言约束及形态音韵特征可生成流畅且语义一致的对抗样本,用于增强中文NLP模型鲁棒性。
2023-06-08 cs.AI cs.CL cs.CR
Contrastive Learning of Sociopragmatic Meaning in Social Media
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出一种学习任务无关社会语用表示的新对比学习框架,可迁移至情感、仇恨言论、幽默、讽刺等任务,并在域内外及少样本设置下优于现有方法,在16个数据集上仅用20个样本微调即平均提升F1值11.66。
2023-05-25 cs.AI cs.CL
Detect Rumors in Microblog Posts for Low-Resource Domains via Adversarial Contrastive Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Hong Kong Baptist University(香港浸会大学);Jilin University(吉林大学)
随着突发新闻或热门话题出现的大量虚假谣言严重阻碍了真相。现有的谣言检测方法在昨天的新闻上取得了令人满意的性能,因为有足够的语料库从同一领域收集模型训练。然而,由于缺乏训练数据和先验知识(即,低资源制度)。在本文中,我们提出了一个对抗性的对比学习框架来检测谣言,通过调整从资源丰富的谣言数据中学习到的特征来检测谣言。我们的模型通过语言对齐和一种新的监督对比训练范式明确地克服了领域和/或语言使用的限制。此外,我们开发了一种对抗性增强机制,以进一步增强低资源谣言表示的鲁棒性。在从真实微博平台收集的两个低资源数据集上进行的大量实验表明,我们的框架比最先进的方法具有更好的性能,并且在早期阶段具有更好的谣言检测能力。
2022-04-19 cs.AI cs.CL
Universal Adversarial Triggers for Attacking and Analyzing NLP
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Maryland(马里兰大学);University of California, Irvine(加州大学欧文分校)
对抗性示例突出了模型的脆弱性,对于评估和解释非常有用。我们定义了通用对抗触发器:输入不可知的令牌序列,当与数据集的任何输入连接时,触发模型产生特定的预测。我们提出了一种梯度引导的令牌搜索,找到短的触发序列(例如,一个词用于分类,四个词用于语言建模),其成功地触发了目标预测。例如,触发器导致SNLI蕴涵准确率从89.94%下降到0.55%,SQuAD中72%的“为什么”问题被回答为“杀死美国人”,GPT-2语言模型即使在非种族背景下也会喷出种族主义输出。此外,尽管触发器使用白盒访问特定模型进行了优化,但它们会转移到我们考虑的所有任务的其他模型。最后,由于触发器与输入无关,因此它们提供了对全局模型行为的分析。例如,他们证实SNLI模型利用了数据集偏见,并有助于诊断阅读理解模型所学习的知识。
2021-01-03 cs.CL cs.LG
Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
University of Virginia(弗吉尼亚大学)
我们研究了几种黑盒搜索算法的行为,这些算法用于为自然语言处理(NLP)任务生成对抗性示例。我们对与搜索相关的三个元素进行细粒度分析:搜索算法、搜索空间和搜索预算。在过去的工作中,当新的搜索算法被提出时,攻击搜索空间经常随着搜索算法而被修改。在没有消融研究基准的情况下,搜索算法随着搜索空间保持恒定而变化,人们无法判断攻击成功率的增加是由于改进的搜索算法还是限制较少的搜索空间。此外,许多以前的研究未能正确考虑搜索算法的运行时成本,这对于对抗训练等下游任务至关重要。我们的实验提供了一个可重复的基准搜索算法在各种搜索空间和查询预算,以指导未来的研究在对抗性NLP。基于我们的实验,我们建议贪婪攻击字的重要性排名时,在一个时间限制或攻击长的输入,或者束搜索或粒子群优化,否则。通过https://github.com/QData/TextAttack-Search-Benchmark共享代码实现
2020-10-12 cs.AI cs.CL cs.CR
Supervised Adversarial Contrastive Learning for Emotion Recognition in Conversations
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出监督对抗对比学习框架SACL及上下文对抗训练策略CAT,并构建SACL-LSTM模型,在三个对话情感识别数据集上取得最先进性能。
2023-07-09 cs.AI cs.CL cs.LG
Emoti-Attack: Zero-Perturbation Adversarial Attacks on NLP Systems via Emoji Sequences
Lanzhou University(兰州大学)
提出Emoji-Attack,一种通过表情符号序列实现零扰动对抗攻击的新方法,在大型和小型NLP模型上均展现强攻击性能,为增强对抗鲁棒性提供新途径。
2025-02-24 cs.AI cs.CL cs.CR
SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized Sequence Representations
DSIG - Bayer Pharmaceuticals(拜耳制药 DSIG);New York University(纽约大学);Michigan State University(密歇根州立大学)
虽然对比学习被证明是计算机视觉中一种有效的训练策略,但自然语言处理(NLP)直到最近才将其作为掩蔽语言建模(MLM)的自监督替代方案,以改进序列表示。本文介绍了SupCL-Seq,它将有监督的对比学习从计算机视觉扩展到NLP中序列表示的优化。通过改变标准Transformer架构中的丢弃掩码概率,对于每个表示(锚),我们生成增强的改变视图。然后利用监督对比损失来最大化系统将相似样本拉在一起的能力(例如,锚和它们改变的视图)并推开属于其他类的样本。尽管它很简单,但与标准BERTbase相比,SupCLSeq在GLUE基准上的许多序列分类任务中都有很大的收益,包括CoLA上6%的绝对改进,MRPC上5.4%,RTE上4.7%和STSB上2.6%。我们还显示出一致的收益超过自我监督的对比学习表示,特别是在非语义任务。最后,我们表明,这些收益不仅仅是由于增强,而是下游优化的序列表示。代码:https://github.com/hooman650/SupCL-Seq
2021-09-15 cs.CL cs.LG
How do humans perceive adversarial text? A reality check on the validity and naturalness of word-based adversarial attacks
University of Luxembourg(卢森堡大学)
本文通过378人调查检验现有词级文本对抗攻击的人类可感知性,发现其在现实场景中不实用,并主张将人类可感知性作为文本攻击的首要成功标准。
2023-05-24 cs.AI cs.CL