Evaluating Text Classification Robustness to Part-of-Speech Adversarial Examples
为提升文本对抗样本质量,本文探究不同词性对文本分类器的影响,发现CNN算法在评论数据集上对特定词性词元存在明显偏差,暴露了其语言处理的关键漏洞。
2024-08-15 cs.CL cs.LG
Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
对抗性脆弱性仍然是构建可靠NLP系统的主要障碍。当将不可感知的扰动添加到原始输入文本时,深度学习模型的性能可能会在攻击下急剧下降。最近的工作认为,模型的对抗性脆弱性是由监督训练中的非鲁棒特征引起的。因此,在本文中,我们从解纠缠表示学习的角度来解决对抗性鲁棒性挑战,它能够明确地解开文本中的鲁棒性和非鲁棒性特征。具体而言,受信息论中信息(VI)变化的启发,我们推导出一个由互信息组成的解纠缠学习目标,以表示潜在嵌入的语义代表性和鲁棒性和非鲁棒性特征的区分。在此基础上,我们设计了一个解纠缠学习网络来估计这些互信息。文本分类和蕴涵任务的实验表明,我们的方法显着优于对抗攻击下的代表性方法,表明丢弃非鲁棒性特征是提高对抗鲁棒性的关键。
2022-10-26 cs.CL cs.LG
A Comparative Study on TF-IDF feature Weighting Method and its Analysis using Unstructured Dataset
NIT Trichy(特里奇国家技术学院)
本文在IMDB和Amazon Alexa数据集上比较N-Grams与TF-IDF特征加权方法,结合多种分类器验证,发现TF-IDF在随机森林上取得最高准确率93.81%等最优性能。
2023-08-08 cs.CL cs.LG
Model Robustness with Text Classification: Semantic-preserving adversarial attacks
Wells Fargo(富国银行)
我们提出了创建对抗攻击的算法,以评估模型在文本分类问题中的鲁棒性。它们可以用来创建白盒攻击和黑盒攻击,同时保留原始文本的语义和语法。这些攻击在白盒设置中导致大量的翻转,并且可以在黑盒设置中使用相同的规则。在黑盒设置中,创建的攻击能够逆转基于Transformer的架构的决策。
2020-08-14 cs.CL cs.LG
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University(复旦大学计算机学院);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系)
深度神经网络容易受到对抗攻击的攻击,其中对输入的小扰动会改变模型预测。在许多情况下,故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中,我们提出了第一个研究,系统地研究了文本分类模型的对抗性示例的可移植性,并探讨了各种因素,包括网络架构,标记化方案,词嵌入和模型容量,如何影响对抗性示例的可移植性。基于这些研究,我们提出了一个遗传算法,以找到一个集成的模型,可以用来诱导对抗性的例子,愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后,我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
Evaluating Defensive Distillation For Defending Text Processing Neural Networks Against Adversarial Examples
对抗性样本是人工修改的输入样本,会导致错误分类,但人类无法检测到。这些对抗性示例对于图像和文本分类等许多任务来说都是一个挑战,特别是研究表明,许多对抗性示例可以在不同的分类器之间转移。在这项工作中,我们评估了一种流行的防御策略的性能对抗性的例子,称为防御蒸馏,它可以成功地硬化神经网络对抗性的例子在图像域。然而,我们没有将防御性蒸馏应用于图像分类网络,而是首次研究了它在文本分类任务上的性能,并评估了它对对抗性文本示例的可移植性的影响。我们的研究结果表明,防御蒸馏只对文本分类神经网络的影响很小,既不帮助提高其对对抗性的例子,也不阻止神经网络之间的对抗性的例子的可移植性。
2019-08-21 cs.CL cs.CR cs.LG
TextBugger: Generating Adversarial Text Against Real-world Applications
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Lehigh University(理海大学)
基于深度学习的文本理解(DLTU)是各种应用背后的骨干技术,包括问答、机器翻译和文本分类。尽管DLTU非常受欢迎,但其安全漏洞在很大程度上仍然是未知的,这是高度关注的,因为它越来越多地用于安全敏感的应用程序,如情感分析和有毒内容检测。在本文中,我们表明DLTU本质上容易受到对抗性文本攻击,其中恶意制作的文本会触发目标DLTU系统和服务的不当行为。具体来说,我们提出了TextBugger,一个用于生成对抗性文本的通用攻击框架。与之前的作品相比,TextBugger在以下方面有很大的不同:(i)有效-它在攻击成功率方面优于最先进的攻击;(ii)规避-它保留了良性文本的实用性,94.9%的敌对文本被人类读者正确识别;(iii)高效-它生成的敌对文本的计算复杂性与文本长度呈次线性关系。我们在一组用于情感分析和有毒内容检测的真实DLTU系统和服务上对TextBugger进行了经验评估,证明了其有效性、规避性和效率。例如,TextBugger在基于Amazon AWS Comprehend的IMDB数据集上在4.61秒内实现了100\%的成功率,并保留了97\%的语义相似度。我们进一步讨论了可能的防御机制,以减轻这种攻击和对手的潜在对策,这导致有前途的方向,进一步研究。
2018-12-13 cs.CL cs.CR cs.LG
Identifying Adversarial Attacks on Text Classifiers
University of California, Irvine(加利福尼亚大学尔湾分校);University of Oregon, Eugene(俄勒冈大学尤金分校)
针对文本分类器的对抗攻击的规模持续增长,每年都有新的攻击出现,其中许多攻击可以在标准工具包中找到,例如TextAttack和OpenAttack。作为回应,有越来越多的关于鲁棒学习的工作,这减少了对这些攻击的脆弱性,尽管有时在计算时间或准确性方面付出了很高的代价。在本文中,我们采取了另一种方法-我们试图通过分析敌对文本来了解攻击者,以确定使用了哪些方法来创建它。我们的第一个贡献是一个广泛的攻击检测和标记数据集:150万攻击实例,由12个对抗攻击生成,目标是在六个源数据集上训练的三个分类器,用于英语的情感分析和滥用检测。作为我们的第二个贡献,我们使用这个数据集来开发和基准测试一些用于攻击识别的分类器--确定给定的文本是否被恶意操纵以及被哪种攻击操纵。作为第三个贡献,我们证明了这些任务的三个类别的功能的有效性:文本属性,捕获内容和文本的呈现;语言模型属性,确定哪些令牌是更多或更少的可能性在整个输入;和目标模型属性,表示文本分类器是如何受到攻击的影响,包括内部节点激活。总的来说,这代表了对文本分类器进行对抗攻击取证的第一步。
2022-01-21 cs.CL cs.CR cs.LG
A Modified Word Saliency-Based Adversarial Attack on Text Classification Models
Praxis Business School(普拉西斯商学院)
本文提出MWSAA对抗攻击方法,通过显著性估计筛选关键词并依据语义相似度进行修改,在保持文本连贯的同时提升了对文本分类模型的攻击成功率。
2024-03-17 cs.CL cs.CR cs.LG
Towards Crafting Text Adversarial Samples
IBM India Research Lab(IBM印度研究院)
对抗性样本是策略性修改的样本,其目的是欺骗手头的分类器。攻击者将特制的对抗样本引入到已部署的分类器中,这些样本被分类器错误分类。然而,这些样本被认为是从完全不同的类中提取的,因此很难检测到对抗性样本。大多数先前的工作都集中在图像域中合成对抗样本。在本文中,我们提出了一种新的方法,通过修改原始样本制作对抗性文本样本。原始文本样本的修改是通过删除或替换文本中的重要或突出词或通过在文本样本中引入新词来完成的。我们的算法最适合在每个类别的例子中有子类别的数据集。在制作对抗性样本时,一个关键的约束是生成有意义的句子,这些句子可以从语言(英语)的角度看是合法的。在IMDB电影评论数据集的情感分析和Twitter数据集的性别检测上的实验结果表明了该方法的有效性。
2017-07-10 cs.AI cs.CL cs.CV
Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation
Seoul National University(首尔国立大学);NAVER WEBTOON AI(NAVER WEBTOON人工智能部门)
词级对抗攻击在NLP模型中取得了成功,近年来大大降低了基于transformer的模型的性能。作为一种对策,对抗性防御已被探索,但相对较少的努力已经检测到对抗性的例子。然而,检测对抗性示例对于自动化任务(例如,审查情感分析)可能是至关重要的,这些任务希望收集有关特定人群的信息,并且另外是迈向强大防御系统的一步。为此,我们在四个数据集和四个模型上发布了四种流行攻击方法的数据集,以鼓励在这一领域的进一步研究。与此同时,我们提出了一个基于密度估计的竞争性基线,该基线在30种攻击模型组合中的29种组合中具有最高的AUC。源代码可在https://github.com/anoymous92874838/text-adv-detection上获得。
2022-03-03 cs.CL cs.CR cs.LG
Adversarial Text Normalization
Meta AI;University of Waterloo(滑铁卢大学)
基于文本的对抗攻击正变得越来越普遍,普通互联网用户也可以使用。随着这些攻击的激增,解决模型鲁棒性差距的需求变得迫在眉睫。虽然对抗性数据的再训练可能会提高性能,但这些模型仍然存在另一类字符级攻击。此外,重新训练模型的过程是时间和资源密集型的,这就需要一个轻量级的、可重用的防御。在这项工作中,我们提出了对抗性文本规范化器,这是一种新的方法,可以以较低的计算开销恢复受攻击内容的基线性能。我们评估了规范化器在容易受到对抗攻击的两个问题领域,即仇恨语音和自然语言推理上的功效。我们发现,文本规范化提供了一种针对字符级攻击的任务不可知的防御,可以作为对抗性再训练解决方案的补充,后者更适合于语义改变。
2022-06-08 cs.CL
Learning Frames from Text with an Unsupervised Latent Variable Model
Carnegie Mellon University(卡内基梅隆大学)
我们开发了一个概率潜变量模型来从语料库中发现语义框架--事件类型及其参与者。我们提出了一个狄利克雷多项式模型,框架是潜在的类别,解释了连接的动词-主语-宾语三元组,给定的文档级稀疏。我们分析了模型学习的内容,并将其与FrameNet进行了比较,注意到它学习了一些新颖有趣的框架。本文档还包含对推理问题的讨论,包括集中参数学习;以及对句法分析准确性的小规模错误分析。
2013-07-28 cs.CL
BAE: BERT-based Adversarial Examples for Text Classification
Amazon Alexa AI(亚马逊Alexa人工智能);Health at Scale Corporation(Health at Scale公司)
现代文本分类模型容易受到对抗性示例的影响,人类无法识别原始文本的扰动版本,这些版本被模型错误分类。NLP最近的工作使用基于规则的同义词替换策略来生成对抗性示例。这些策略可能会导致脱离上下文和不自然的复杂令牌替换,这很容易被人类识别。我们提出了BAE,一个黑盒攻击生成对抗性的例子,使用上下文扰动从BERT掩蔽语言模型。BAE通过屏蔽文本的一部分并利用BERT-MLM为屏蔽的令牌生成替代方案来替换和插入原始文本中的令牌。通过自动和人工评估,我们表明BAE执行更强的攻击,除了生成具有改进的语法性和语义一致性的对抗性示例外,与以前的工作相比。
2020-10-08 cs.CL
Learning to Discriminate Perturbations for Blocking Adversarial Attacks in Text Classification
University of California, Los Angeles(加州大学洛杉矶分校)
针对机器学习模型的对抗攻击已经威胁到各种现实世界的应用,例如垃圾邮件过滤和情感分析。在本文中,我们提出了一种新的框架,学习辨别扰动(DISP),识别和调整恶意扰动,从而阻止文本分类模型的对抗攻击。为了识别对抗攻击,扰动验证器验证文本中的令牌被扰动的可能性,并提供一组潜在的扰动。对于每个潜在的扰动,嵌入估计器学习基于上下文恢复原始单词的嵌入,并且基于近似kNN搜索选择替换令牌。DISP可以阻止任何NLP模型的对抗攻击,而无需修改模型结构或训练过程。在两个基准数据集上的大量实验表明,DISP在阻止文本分类的对抗攻击方面明显优于基线方法。此外,深入分析表明,债务重组和战略计划在不同情况下都很稳健。
2019-09-06 cs.CL
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心)
最近的工作提出了几种有效的方法来生成基于梯度的对抗性扰动的嵌入,并证明了模型的性能和鲁棒性可以提高,当他们训练这些污染的嵌入。虽然他们很少关注如何帮助模型更有效地学习这些对抗样本。在本文中,我们着眼于在模型的训练过程中增强模型防御基于梯度的对抗攻击的能力,并提出了两种新的对抗训练方法:(1)CARL缩小了原始样本及其对抗样本在表示空间中的距离,同时扩大了它们与不同标记样本的距离。(2)RAR迫使模型从其对抗性表示中重建原始样本。实验结果表明,所提出的两种方法优于强基线在各种文本分类数据集。分析实验表明,使用本文方法时,输入句子的语义表示不会受到对抗性扰动的显著影响,并且在对抗攻击下,模型的性能下降较小。也就是说,我们的方法可以有效地提高模型的鲁棒性。此外,RAR还可以用于生成文本形式的对抗样本。
2021-09-14 cs.CL
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
对抗攻击是NLP中神经网络模型面临的主要挑战,这阻碍了模型在安全关键应用中的部署。最近的一项工作,基于检测的防御,旨在区分敌对的句子和良性的句子。然而,{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测,这与其他范式的防御方法不同。针对这一问题,本文提出了文本屏蔽:(1)发现文本攻击与显著性信息之间的联系,提出了一种基于显著性的检测器,可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器,它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器,TextShield将仅检测范式扩展为检测-校正范式,从而填补了现有基于检测的防御的空白。综合实验表明,(a)在不同基准的各种攻击中,TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
Arabic Synonym BERT-based Adversarial Examples for Text Classification
Clarkson University(克拉克森大学)
本文首次对阿拉伯语文本分类进行词级对抗攻击研究,提出基于BERT的MLM同义词攻击方法,发现微调BERT模型更易受攻击,且对抗训练可恢复至少2%准确率。
2024-02-05 cs.CL
On Adversarial Examples for Text Classification by Perturbing Latent Representations
Baylor University(贝勒大学);School of Engineering & Computer Science(工程与计算机科学学院);Department of Computer Science(计算机科学系);Baylor.AI lab(贝勒人工智能实验室)
针对文本分类器离散输入限制白盒攻击的问题,本文提出在嵌入向量空间实施扰动并映射回文本,构建基于梯度的鲁棒性评估框架。
2024-05-06 cs.AI cs.CL cs.CR
SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification
The Hong Kong University of Science and Technology(香港科技大学)
本文提出无需标签的自监督对比学习框架 SCAT,通过无标签方式生成对抗样本并进行对抗训练,在文本分类任务上既能从头训练鲁棒模型,也能提升预训练模型的鲁棒性。
2023-07-04 cs.CL
Universal Adversarial Attacks with Natural Triggers for Text Classification
Princeton University(普林斯顿大学)
最近的工作已经证明了现代文本分类器对通用对抗攻击的脆弱性,这些攻击是添加到分类器处理的文本中的输入不可知的单词序列。尽管成功,在这种攻击中产生的单词序列往往是不合语法的,可以很容易地从自然文本中区分出来。我们开发的对抗攻击看起来更接近自然的英语短语,但当添加到良性输入时,会混淆分类系统。我们利用一个adversarially正则化自动编码器(ARAE)生成触发器,并提出了一个基于梯度的搜索,旨在最大限度地提高下游分类器的预测损失。我们的攻击有效地降低了分类任务的模型准确性,同时根据自动检测指标和人类受试者研究,比以前的模型更难识别。我们的目标是证明对抗攻击可以比以前想象的更难检测,并能够开发适当的防御。
2021-04-07 cs.CL cs.CR
Subjective Sentiment Analysis for Arabic Newswire Comments
本文提出了一种基于监督机器学习方法的方法来区分积极,消极和中立的阿拉伯语评论在线新闻专线。语料库被标记为主观性和情感分析(SSA)在话语水平。该模型使用计数和TF-IDF表示,并应用六种机器学习算法;多项式朴素贝叶斯,支持向量机(SVM),随机森林,逻辑回归,多层感知器和使用uni-gram,bi-gram特征的k-最近邻。其目标是从书面文本中提取用户情感。实验结果表明,n-gram特征可以大大提高性能,并表明多项式朴素贝叶斯方法在预测主题极性方面是最准确的。使用基于单词的uni-gram和bi-gram组合训练的计数向量实现了最佳结果,两个类的总体准确率为85.57%,三个类的总体准确率为65.64%。
2019-11-09 cs.CL
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation(微软公司)
针对预训练Transformer模型文本分类需大量标注数据的问题,提出READ方法,融合强化学习文本生成与半监督对抗学习,利用无标注数据生成多样合成文本提升泛化性,在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University(南洋理工大学);AWS AI(亚马逊云科技人工智能)
本文演示了自然语言推理(NLI)和文本分类系统中的致命漏洞。更具体地说,我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器(CARA)生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明,仅添加1%的中毒数据,当输入假设被注入中毒签名时,受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类,这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions
University of Amsterdam(阿姆斯特丹大学);Technical University of Denmark(丹麦技术大学)
生成流和扩散模型主要是在有序数据上训练的,例如自然图像。本文介绍了两个扩展的流和扩散的分类数据,如语言或图像分割:Argmax流和多项式扩散。Argmax流由连续分布(如归一化流)和argmax函数的组合定义。为了优化这个模型,我们学习了argmax的概率逆,将分类数据提升到连续空间。多项式扩散在扩散过程中逐渐添加分类噪声,为此学习生成去噪过程。我们证明,我们的方法优于现有的去量化方法的文本建模和建模图像分割图的对数似然。
2021-10-22 cs.CL cs.LG stat.ML
Inference and Evaluation of the Multinomial Mixture Model for Text Clustering
在这篇文章中,我们研究了在文本集合中使用概率模型进行无监督聚类。无监督聚类已成为许多智能文本处理应用的基本模块,如信息检索、文本分类或信息抽取。在这篇文章中考虑的模型包括一个混合的多项分布的字数,每个组件对应于一个不同的主题。我们提出和对比各种估计程序,适用于监督和无监督的情况下。在监督学习中,这项工作提出了一个标准,用于评估新文档的后验概率,这比“朴素贝叶斯”方法在统计上更合理。在无监督的情况下,我们提出了建立一个系统的评估框架的措施,并开始检查的期望最大化(EM)算法作为推理的基本工具。我们讨论了初始化的重要性和其他功能的影响,如平滑策略或词汇量的大小,从而说明了高维参数空间所产生的困难。我们还提出了一个启发式算法的基础上迭代EM词汇减少来解决这个问题。利用这一事实,潜在的变量可以解析地整合出来,我们最后表明,吉布斯抽样算法是易于处理的,并媲美基本的期望最大化方法。
2006-06-14 cs.CL cs.IR
Kannada named entity recognition and classification (nerc) based on multinomial naïve bayes (mnb) classifier
Jawaharlal Nehru National College of Engineering(贾瓦哈拉尔·尼赫鲁国家工程学院)
命名实体识别和分类(NERC)是识别文本中的专有名词并将这些名词分类为某些预定义的类别(如人名、位置、组织、日期和时间等)的过程。这项工作的目的是开发一种新的模型NERC,基于多项朴素贝叶斯(MNB)分类器。本文采用的方法是在对训练语料进行特征提取的基础上,利用词频、逆文档频率,并将它们拟合到一个tf-idf-vectorizer中。本文讨论了在发展拟议的模型的各种问题。讨论了系统的实现细节和性能评估。实验在95,170个标记的训练语料库和5,000个标记的测试语料库上进行。实验结果表明,该模型的准确率、召回率和F1测度分别为83%、79%和81%。
2015-09-12 cs.CL
Adversarial Feature Matching for Text Generation
Duke University(杜克大学)
生成对抗网络(GAN)在生成真实(实值)合成数据方面取得了巨大成功。然而,收敛问题和处理离散数据的困难阻碍了GAN对文本的适用性。我们提出了一个通过对抗训练生成真实文本的框架。我们采用长短期记忆网络作为生成器,卷积网络作为训练器。而不是使用GAN的标准目标,我们建议通过核差异度量匹配真实和合成句子的高维潜在特征分布。这通过减轻模式崩溃问题来减轻对抗训练。我们的实验表明,在定量评估的优越性能,并证明我们的模型可以生成逼真的句子。
2017-11-18 cs.CL cs.LG stat.ML
Adversarial Removal of Demographic Attributes from Text Data
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
表示学习和对抗训练的最新进展似乎成功地从学习的表示中去除了不需要的特征。我们表明,作者的人口统计信息被编码在-并且可以从-基于文本的神经分类器学习的中间表示中恢复。这意味着,在文本数据上训练的分类器的决策对人口统计属性不是不可知的,并且可能是人口统计属性的条件。当尝试使用对抗训练来移除这些人口统计信息时,我们发现,虽然对抗组件在训练期间达到了机会级别的发展集准确度,但在第一部分的编码句子上训练的事后分类器仍然能够在相同的数据上达到更高的分类准确度。这种行为在多个任务、人口统计属性和数据集之间是一致的。我们探索了几种技术来提高对抗组件的有效性。我们的主要结论是一个警示:不要依赖对抗性训练来实现敏感特征的不变表示。
2018-09-02 cs.CL cs.LG stat.ML
Interpretable Adversarial Perturbation in Input Embedding Space for Text
Preferred Networks, Inc.(优选网络公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室)
在图像处理领域取得巨大成功之后,对抗训练的思想已被应用于自然语言处理(NLP)领域的任务。一种有前途的方法直接将图像处理领域中开发的对抗训练应用于输入词嵌入空间,而不是文本的离散输入空间。然而,这种方法放弃了生成对抗性文本的可解释性,以显着提高NLP任务的性能。本文通过限制输入嵌入空间中现有单词的扰动方向来恢复这些方法的可解释性。因此,我们可以通过将扰动视为句子中单词的替换,同时保持甚至提高任务性能,来直接重建具有对实际文本的扰动的每个输入。
2018-05-08 cs.CL cs.LG stat.ML
Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
训练生成模型,生成高质量的文本,具有足够的多样性是一个重要的开放性问题的自然语言生成(NLG)社区。最近,生成对抗模型已被广泛应用于文本生成任务,其中对抗训练的生成器减轻了传统最大似然方法所经历的暴露偏差,并导致有希望的生成质量。然而,由于对抗训练的模式坍塌的臭名昭著的缺陷,对抗训练的生成器面临质量多样性权衡,即,发电机模型往往为了提高发电质量而严重牺牲发电分集。在本文中,我们提出了一种新的方法,旨在通过有效地减速对抗训练的模式坍塌来提高对抗文本生成的性能。为此,我们引入了一个合作的训练范式,其中一个语言模型与生成器合作训练,我们利用语言模型有效地塑造数据分布的生成器对模式坍塌。此外,而不是从事合作更新的发电机在一个原则性的方式,我们制定了一个Meta学习机制,其中的合作更新的发电机作为一个高层次的Meta任务,与直觉,确保参数的发电机后,对抗更新将保持抵抗模式坍塌。在实验中,我们证明了我们提出的方法可以有效地减缓对抗文本生成器的模式坍塌的速度。总的来说,我们提出的方法是能够优于基线的方法与显着的利润率方面的生成质量和多样性的验证域。
2020-03-12 cs.CL cs.LG stat.ML
Interpretable Adversarial Training for Text
University of Maryland(马里兰大学)
在文本域中生成高质量和可解释的对抗性示例比在图像域中更艰巨。这部分是由于文本的离散性,部分是由于确保对抗性示例仍然是可能的和可解释的问题,部分是由于在输入扰动下保持标签不变性的问题。为了解决其中的一些挑战,我们引入了稀疏投影梯度下降(SPGD),这是一种为文本制作可解释的对抗性示例的新方法。SPGD通过将输入扰动投影到具有最高余弦相似度的附近词嵌入的方向上来对输入扰动施加方向正则化约束。该约束确保扰动在可解释的方向上移动每个词嵌入(即,朝向另一个附近的词嵌入)。此外,SPGD施加稀疏性约束的扰动在句子层面上忽略词嵌入扰动的范数低于一定的阈值。这个约束确保我们的方法每个序列只改变几个单词,从而产生更高质量的对抗性示例。我们对IMDB电影评论数据集的实验表明,与最先进的方法相比,所提出的SPGD方法提高了对抗性示例的可解释性和似然性(通过平均每个单词的困惑度进行评估),同时在训练性能方面几乎没有损失。
2019-05-30 cs.CL cs.LG stat.ML
Generating Black-Box Adversarial Examples for Text Classifiers Using a Deep Reinforced Model
MIT Media Lab(麻省理工学院媒体实验室)
最近,生成对抗性示例已经成为衡量深度学习模型鲁棒性的重要手段。对抗性示例帮助我们识别模型的可验证性,并通过应用对抗性训练技术进一步对抗这些漏洞。在自然语言领域,拼写错误或释义形式的小扰动可以彻底改变文本的语义。我们提出了一种基于强化学习的方法,在黑盒设置中生成对抗性的例子。我们证明了我们的方法能够欺骗训练有素的模型(a)IMDB情感分类任务和(b)AG的新闻语料库新闻分类任务,成功率非常高。我们发现生成的对抗性示例是对原始文本的语义保持扰动。
2019-09-17 cs.CL cs.IR cs.LG
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology(华中科技大学)
一系列工作表明,自然的文本处理模型容易受到对抗性示例的影响。相应地,提出了各种防御方法,以减轻威胁的文本对抗性的例子,例如,对抗性训练,输入变换,检测等。在这项工作中,我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换,其中每个字相互影响其他的话。我们发现,我们可以破坏这种相互作用,消除敌对扰动随机替换一个词与它的同义词。基于这一观察,我们提出了一种新的文本对抗性示例检测方法,称为随机替换和投票(RS&V),它通过累积k个样本的logits来投票预测标签,这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络,而无需修改架构或额外的训练,并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明,我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例,同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
ADDMU: Detection of Far-Boundary Adversarial Examples with Data and Model Uncertainty Estimation
University of California, Los Angeles(加州大学洛杉矶分校);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
对抗性示例检测(AED)是对抗性攻击的一种重要防御技术,越来越受到自然语言处理(NLP)社区的关注。尽管新的AED方法激增,但我们的研究表明,现有的方法严重依赖于捷径来实现良好的性能。换句话说,一旦模型预测发生变化,NLP中当前基于搜索的对抗性攻击就会停止,因此这些攻击生成的大多数对抗性示例都位于模型决策边界附近。为了超越这种捷径并公平地评估AED方法,我们建议使用\textbf{F} ar \textbf{B} ouncement(\textbf{FB})对抗性示例来测试AED方法。现有的方法在这种情况下表现出比随机猜测更差的性能。为了克服这一局限性,我们提出了一种新的技术,\textbf{ADDMU},\textbf{a}的\textbf{d}检测与\textbf{d}数据和\textbf{m}模型\textbf{u}不确定性,它结合了两种类型的不确定性估计的定期和FB敌对的例子检测。我们的新方法在每个场景下都比以前的方法高出3.6和6.0 \emph{AUC}点。最后,我们的分析表明,\textbf{ADDMU}提供的两种类型的不确定性可以用来描述对抗性示例,并识别对对抗性训练中模型鲁棒性贡献最大的示例。
2022-10-22 cs.CL cs.LG
Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks
University of Toronto(多伦多大学)
文本到图像的翻译一直是一个活跃的研究领域在最近的过去。网络学习句子的含义并生成描述句子的准确图像的能力显示了模型更像人类思考的能力。流行的文本到图像翻译方法利用生成对抗网络(GANs)基于文本输入生成高质量图像,但生成的图像并不总是反映作为输入的模型的句子的含义。我们通过使用字幕网络对生成的图像进行字幕来解决这个问题,并利用地面实况字幕和生成的字幕之间的距离来进一步改进网络。我们展示了我们的方法和现有方法之间的广泛比较。
2018-08-14 cs.CL cs.CV cs.LG
TextGAIL: Generative Adversarial Imitation Learning for Text Generation
University of California, Davis(加利福尼亚大学戴维斯分校);ByteDance(字节跳动)
用于文本生成的生成对抗网络(GANs)最近受到了许多批评,因为它们的表现比MLE同行更差。我们怀疑以前的文本GANs性能较差是由于它们的判别器中缺乏可靠的指导信号。为了解决这个问题,我们提出了一个用于文本生成的生成对抗模仿学习框架,该框架使用大型预训练的语言模型来提供更可靠的奖励指导。我们的方法使用对比度优化,和近端策略优化(PPO),以稳定和提高文本生成性能。为了评估,我们进行了一组不同的无条件和有条件的文本生成任务的实验。实验结果表明,TextGAIL在质量和多样性方面都比MLE基线有更好的性能。我们还验证了我们的直觉,即TextGAIL的奖励证明了通过额外任务提供合理奖励的能力。
2021-04-26 cs.CL cs.LG
A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio(德克萨斯农工大学圣安东尼奥分校)
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中,机器支持人类,但在少数其他应用程序中(例如对抗性机器学习,社交机器人和巨魔),机器试图模仿人类。在这个范围内,我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同,基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子,但这项工作可以在许多方面进行扩展,例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG
Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers
EPFL(洛桑联邦理工学院);Armasuisse S+T(瑞士联邦国防采购局科学技术部)
最近,有研究表明,尽管深度神经网络在不同领域表现出色,但它们很容易受到对抗性样本的影响。在本文中,我们提出了一个基于梯度的对抗攻击对基于transformer的文本分类器。在我们的方法中,对抗性扰动被施加为块稀疏的,因此得到的对抗性示例与原始句子只有几个单词不同。由于文本数据的离散性,我们执行梯度投影来找到我们提出的优化问题的最小值。实验结果表明,虽然我们的对抗攻击保持了句子的语义,但它可以将GPT-2在不同数据集(AG News,MNLI和Yelp Reviews)上的准确率降低到5%以下。此外,所提出的优化问题的块稀疏性约束导致对抗性示例中的小扰动。
2022-03-11 cs.CL cs.LG
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学);Tencent(腾讯);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
针对自然语言处理系统的对抗攻击,对输入进行看似无害的修改,可能会导致目标模型的任意错误。虽然引起了极大的关注,但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成(例如,图像),生成保留原始含义的对抗性文本是具有挑战性的,因为文本空间是离散的和不可微的。为了应对这些挑战,我们提出了一个目标可控的对抗攻击框架T3,它适用于一系列NLP任务。特别是,我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间,在此基础上,我们优化了对抗扰动。一种新的基于树的解码器,然后应用到正则化生成的文本的语法正确性,并操纵它的句子(T3(发送))或单词(T3(字))的水平。我们考虑两个最具代表性的NLP任务:情感分析和问答(QA)。大量的实验结果和人类研究表明,T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案,而不会误导人类。此外,我们还证明了生成的对抗性文本具有很高的可转移性,这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
A Universal Adversarial Policy for Text Classifiers
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
发现普遍对抗扰动的存在对对抗学习领域产生了巨大的理论和实践影响。在文本领域,大多数普遍的研究都集中在添加到所有文本中的对抗性前缀上。然而,与视觉域不同,将相同的扰动添加到不同的输入会导致明显不自然的输入。因此,我们引入了一种新的通用对抗设置-通用对抗策略,它具有其他通用攻击的许多优点,但也会产生有效的文本-从而使其在实践中具有相关性。我们通过学习一个单一的搜索策略,在一组预定义的语义保留文本的变化,对许多文本。这一提法具有普遍性,因为该政策成功地有效地找到了关于新法规的对抗性实例。我们的方法使用文本扰动,这被广泛证明是在非通用设置(特定的同义词替换)中产生自然攻击。我们建议使用强化学习的这种配方的强基线方法。它的泛化能力(从500个训练文本中)表明,普遍的对抗模式也存在于文本域中。
2022-06-19 cs.CL cs.CR cs.LG
ARAML: A Stable Adversarial Training Framework for Text Generation
Institute for Artificial Intelligence(人工智能研究院);State Key Lab of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
现有的用于文本生成的生成对抗网络(GAN)大多存在策略梯度等强化学习训练算法不稳定的问题,导致性能不稳定。为了解决这个问题,我们提出了一个新的框架,称为对抗性奖励增强最大似然(ARAML)。在对抗性训练期间,训练器将奖励分配给从数据附近的静态分布而不是生成器分布中获取的样本。该生成器是最优化的最大似然估计增强的最大似然的奖励,而不是策略梯度。实验表明,我们的模型可以比最先进的文本GANs具有更稳定的训练过程。
2019-08-20 cs.CL cs.LG
Adversarial Texts with Gradient Methods
图像的对抗样本在文献中已经被广泛研究。在众多的攻击方法中,基于梯度的方法是一种有效且易于计算的攻击方法。在这项工作中,我们提出了一个框架,以适应图像的梯度攻击方法的文本域。使用梯度方法生成对抗性文本的主要困难是:i)输入空间是离散的,这使得很难直接在输入中积累小噪声; ii)对抗性文本的质量难以测量。我们通过在嵌入空间中搜索对抗文本来解决第一个问题,然后通过最近邻搜索来重建对抗文本。对于后一个问题,我们采用词移动距离(WMD)来量化对抗文本的质量。通过对IMDB电影评论、路透社-2和路透社-5新闻通讯社三个数据集的广泛实验,我们证明了我们的框架可以利用梯度攻击方法生成与原始文本只有几个字不同的高质量对抗文本。在很多情况下,我们可以改变一个词来改变整个文本的标签。我们成功地将FGM和DeepFool纳入我们的框架。此外,我们的经验表明,大规模杀伤性武器是密切相关的对抗性文本的质量。
2018-01-24 cs.CL cs.CR cs.LG
Graded Suspiciousness of Adversarial Texts to Human
SPi
本研究通过人类评价数据集和回归模型量化对抗文本的可疑性,并展示如何利用该分数生成更不易被察觉的对抗文本,为降低对抗文本可疑性提供基线。
2025-01-23 cs.CL cs.CR cs.LG
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization
Fudan University(复旦大学);Tencent PCG(腾讯平台与内容事业群)
本文提出DSRM方法,通过扰动输入数据的概率分布而非嵌入来估计对抗损失,仅需干净数据即可进行对抗训练,在减少70%时间消耗的同时显著提升了BERT对文本对抗攻击的鲁棒性。
2023-06-27 cs.CL cs.LG
Towards a Robust Deep Neural Network in Texts: A Survey
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education(空天信息安全与可信计算教育部重点实验室);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
深度神经网络(DNN)已经在各种任务(例如,图像分类、语音识别和自然语言处理(NLP))。然而,研究人员已经证明,基于DNN的模型容易受到对抗性示例的影响,这些示例通过向合法输入中添加不可察觉的扰动来导致错误的预测。近年来,研究发现文本领域存在对抗性的例子,可以有效地规避各种基于DNN的文本分析器,并进一步带来虚假信息扩散的威胁。本文综述了国内外对抗性文本生成技术的研究现状,并提出了相应的防御方法。更重要的是,我们希望我们的工作可以激励未来的研究,开发更强大的基于DNN的文本分析器来对抗已知和未知的对抗技术。我们根据扰动单元对现有的制作对抗文本的对抗技术进行了分类,有助于更好地理解对抗文本的生成并构建强大的防御模型。在介绍文本域中的对抗攻击和防御的分类时,我们从不同NLP任务的角度介绍了对抗技术。最后,我们讨论了文本中的对抗攻击和防御的现有挑战,并提出了未来的研究方向,在这个新兴的和具有挑战性的领域。
2021-04-21 cs.CL cs.CR cs.LG
Text Adversarial Purification as Defense against Adversarial Attacks
Fudan University(复旦大学)
本研究针对文本对抗攻击防御研究较少的问题,提出一种借助掩码语言模型注入并重构噪声的文本对抗净化方法,可有效抵御Textfooler、BERT-Attack等强词替换类对抗攻击。
2023-05-03 cs.CL
Adversarial Alignment of Multilingual Models for Extracting Temporal Expressions from Text
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
虽然时间标记仍然是基于规则的系统占主导地位,最近有神经时间标记器的尝试。然而,所有这些都集中在单语设置。在本文中,我们探索了从文本中提取时间表达式的多语言方法,并研究了将嵌入空间对齐到一个公共空间的对抗训练。有了这个,我们创建了一个单一的多语言模型,也可以转移到看不见的语言,并设置在这些跨语言迁移实验的新的艺术状态。
2020-05-19 cs.CL cs.LG
Latent Code and Text-based Generative Adversarial Networks for Soft-text Generation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
生成对抗网络(GANs)的文本生成可以根据用于识别的信号类型分为基于文本和基于代码的类别。在这项工作中,我们引入了一种新的基于文本的方法,称为软GAN,有效地利用GAN设置文本生成。我们演示了自动编码器(AE)如何用于提供句子的连续表示,我们将其称为软文本。该软表示将用于GAN鉴别以合成相似的软文本。我们还提出了一个或多个鉴别器的混合潜码和基于文本的GAN(LATEXT-GAN)方法,其中潜码和软文本的组合用于GAN歧视。我们在两个著名的数据集(SNLI和Image COCO)上进行了大量的主观和客观实验来验证我们的技术。我们使用几个评估指标讨论了结果,并表明所提出的技术优于传统的基于GAN的文本生成方法。
2019-04-23 cs.CL cs.LG
Generative Adversarial Networks for text using word2vec intermediaries
University of Toronto(多伦多大学);Vector Institute(向量研究院);St Michael’s Hospital(圣迈克尔医院)
生成对抗网络(GANs)已经取得了相当大的成功,特别是在真实图像的生成方面。在这项工作中,我们采用类似的技术来生成文本。我们提出了一种新的方法来处理文本的离散性,在训练过程中,使用词嵌入。我们的方法是不可知的词汇量的大小,并取得了竞争力的结果相对于各种离散梯度估计的方法。
2019-04-04 cs.AI cs.CL cs.LG
Adversarial Text Purification: A Large Language Model Approach for Defense
Arizona State University(亚利桑那州立大学)
本文提出一种利用大语言模型和提示工程净化对抗文本的防御方法,无需显式表征离散噪声,在多种分类器上平均将受攻击准确率提升超65%。
2024-02-05 cs.AI cs.CL cs.CR
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa(渥太华大学);American University(美利坚大学)
计算机生成文本的检测是一个重要性迅速增加的领域,因为新生的生成模型允许有效创建引人注目的类人文本,这些文本可能被滥用于垃圾邮件,虚假信息,网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测,但尽管威胁形势不断发展,但对检测方法对对抗攻击的鲁棒性分析很少。为此,我们评估了神经和非神经方法检测计算机生成的文本的能力,对文本对抗攻击的鲁棒性,以及成功的对抗攻击对人类判断文本质量的影响。我们发现,虽然统计特征的表现不如神经特征,但统计特征提供了额外的对抗鲁棒性,可以在集成检测模型中加以利用。在这个过程中,我们发现,以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小,并确定有前途的统计功能,而不是使用。最后,我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG