首页/论文/2012.13339

arXiv 2012.133392020-12-24cs.CL

一种上下文感知的自然语言攻击生成方法

A Context Aware Approach for Generating Natural Language Attacks

International Institute of Information Technology, Hyderabad（国际信息技术研究所海得拉巴分校）；Data Sciences and Analytics Center（数据科学与分析中心）；Kohli Center on Intelligent Systems（科利智能系统中心）

Rishabh Maheshwary, Saket Maheshwary, Vikram Pudi

备注：: Accepted as Student Poster at AAAI 2021

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们研究的一个重要任务是在黑盒环境中攻击自然语言处理模型。我们提出了一种攻击策略，在文本分类和蕴涵任务上制作语义相似的对抗性示例。我们提出的攻击通过考虑原始单词及其周围上下文的信息来找到候选单词。它联合利用掩蔽语言建模和下一句预测来进行上下文理解。与先前文献中提出的攻击相比，我们能够生成高质量的对抗性示例，这些示例在成功率和单词扰动百分比方面都有显着提高。

英文摘要：

We study an important task of attacking natural language processing models in a black box setting. We propose an attack strategy that crafts semantically similar adversarial examples on text classification and entailment tasks. Our proposed attack finds candidate words by considering the information of both the original word and its surrounding context. It jointly leverages masked language modelling and next sentence prediction for context understanding. In comparison to attacks proposed in prior literature, we are able to generate high quality adversarial examples that do significantly better both in terms of success rate and word perturbation percentage.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

在硬标签黑盒环境中生成自然语言攻击

Generating Natural Language Attacks in a Hard Label Black Box Setting

International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）

我们研究了一个重要的和具有挑战性的任务，攻击自然语言处理模型中的硬标签黑盒设置。我们提出了一种基于决策的攻击策略，该策略在文本分类和蕴涵任务上制作高质量的对抗性示例。我们提出的攻击策略利用基于种群的优化算法，通过只观察目标模型预测的顶部标签来制作合理且语义相似的对抗性示例。在每次迭代中，优化过程允许单词替换，最大限度地提高原始文本和对抗文本之间的整体语义相似性。此外，我们的方法不依赖于使用替代模型或任何类型的训练数据。我们通过对七个基准数据集的五个最先进的目标模型进行广泛的实验和消融研究，证明了我们提出的方法的有效性。与先前文献中提出的攻击相比，我们能够在高度受限的设置中以较低的词扰动百分比实现更高的成功率。

2021-04-29cs.CL

贪婪攻击和Gumbel攻击：生成离散数据的对抗性示例

Greedy Attack and Gumbel Attack: Generating Adversarial Examples for Discrete Data

University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）

我们提出了一个概率框架，研究对抗攻击的离散数据。基于这个框架，我们得到了一个扰动为基础的方法，贪婪攻击，和一个可扩展的学习为基础的方法，Gumbel攻击，说明了各种权衡的攻击设计。我们使用定量指标和人类评估来证明这些方法对各种最先进的文本分类模型的有效性，包括基于单词的CNN，基于字符的CNN和LSTM。作为我们的结果的例子，我们表明，基于字符的卷积网络的准确性下降到随机选择的水平，通过贪婪攻击只修改五个字符。

2018-05-31cs.AIcs.CLcs.CR

RAP：基于鲁棒性扰动的NLP模型后门攻击防御

RAP: Robustness-Aware Perturbations for Defending against Backdoor Attacks on NLP Models

Center for Data Science, Peking University（北京大学数据科学中心）；Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信AI模式识别中心）；MOE Key Laboratory of Computational Linguistics, School of EECS, Peking University（北京大学信息工程学院教育部计算语言学重点实验室）

后门攻击是一种利用特定触发器恶意控制训练良好的模型实例输出的攻击，最近被证明是对重用深度神经网络（DNN）安全性的严重威胁。在这项工作中，我们提出了一个有效的在线防御机制的基础上鲁棒性感知扰动。通过对后门训练过程的分析，指出中毒样本和干净样本在鲁棒性上存在较大差距。出于这一观察，我们构建了一个基于词的鲁棒性感知扰动区分中毒样本从干净的样本，以抵御后门攻击的自然语言处理（NLP）模型。此外，我们给出了一个理论分析的可行性，我们的鲁棒性感知的扰动为基础的防御方法。在情感分析和有毒检测任务上的实验结果表明，与现有的在线防御方法相比，该方法具有更好的防御性能和更低的计算开销。我们的代码可在https://github.com/lancopku/RAP上获得。

2021-10-15cs.CLcs.LG

生成标签内聚性和格式良好的对抗性声明

Generating Label Cohesive and Well-Formed Adversarial Claims

University of Copenhagen（哥本哈根大学）

对抗攻击揭示了训练模型的重要弱点和缺陷。一种有效的攻击类型是通用对抗触发器，它是单独的n-gram，当附加到受攻击的类的实例时，可以欺骗模型预测目标类。然而，对于诸如事实检查之类的推理任务，这些触发器经常会无意中颠倒它们所插入的实例的含义。此外，这种攻击会产生语义上无意义的输入，因为它们只是将触发器连接到现有样本。在这里，我们研究如何生成针对事实检查系统的对抗攻击，这些事实检查系统保留了地面真值含义并且在语义上是有效的。我们扩展了HotFlip攻击算法用于通用触发器生成，通过联合最小化目标类损失的事实检查模型和蕴涵类损失的辅助自然语言推理模型。然后，我们训练一个条件语言模型来生成语义上有效的语句，其中包括找到的通用触发器。我们发现，所产生的攻击保持的方向性和语义有效性的索赔比以前的工作。

2020-09-17cs.CLcs.LG

Adv-OLM：通过OLM生成文本对手

Adv-OLM: Generating Textual Adversaries via OLM

Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校（IIT Kanpur））

深度学习模型容易受到对抗性示例的影响，这些示例在原始输入中具有不可感知的扰动，从而导致针对这些模型的对抗攻击。对NLP中最先进的Transformers的这些攻击的分析可以帮助提高这些模型对这种对抗性输入的鲁棒性。在本文中，我们提出了先进的OLM，黑盒攻击方法，适应闭塞和语言模型（OLM）的想法，以目前最先进的攻击方法。OLM用于对句子中的单词进行排名，然后使用单词替换策略进行替换。我们的实验表明，我们的方法优于其他攻击方法的几个文本分类任务。

2021-01-21cs.AIcs.CLcs.LG

一种生成自然语言对抗性示例的几何启发攻击

A Geometry-Inspired Attack for Generating Natural Language Adversarial Examples

ETH Zurich（苏黎世联邦理工学院）；Department of Electrical Engineering and Information Technology（电气工程与信息技术系）；Switzerland（瑞士（注：此处原文本中“Switzerland”为国家信息，非机构，根据提取规则，机构粒度到大学/学院/公司/研究院级别即可，故主要机构为ETH Zurich））

为自然语言生成对抗性示例是困难的，因为自然语言由离散的符号组成，并且示例通常具有可变的长度。在本文中，我们提出了一个几何启发的攻击生成自然语言对抗性的例子。我们的攻击通过迭代逼近深度神经网络（DNN）的决策边界来生成对抗性示例。在两个不同模型的数据集上的实验表明，我们的攻击欺骗自然语言模型的成功率很高，而只替换了几个单词。人类评估表明，我们的攻击生成的对抗性示例很难被人类识别。进一步的实验表明，对抗性训练可以提高模型对攻击的鲁棒性。

2020-10-03cs.CL

更多相关论文收起更多论文

基于概率差引导的文本对抗攻击上下文感知束搜索

A Context-Aware Approach for Textual Adversarial Attack through Probability Difference Guided Beam Search

National University of Defense Technology（国防科技大学）

文本对抗攻击暴露了文本分类器的弱点，可以用来提高其鲁棒性。现有的上下文感知攻击方法只考虑了攻击者的黄金标签概率，在搜索攻击路径时采用贪婪搜索，限制了攻击效率。为了解决这些问题，我们提出了PDBS，一个上下文感知的文本对抗攻击模型，使用概率差引导的束搜索。概率差是对所有类标签概率的综合考虑，PDBS用它来指导攻击路径的选择。此外，PDBS使用束搜索来找到成功的攻击路径，从而避免遭受有限的搜索空间。大量的实验和人工评估表明，PDBS在一系列评估指标上优于以前的最佳模型，特别是攻击成功率高达19.5%。消融研究和定性分析进一步证实了PDBS的有效性。

2022-08-17cs.CL

上下文感知的命名实体识别对抗攻击

Context-aware Adversarial Attack on Named Entity Recognition

University of Houston（休斯顿大学）；Snap Inc.（Snap公司）

针对命名实体识别任务，提出上下文感知的对抗攻击方法，通过扰动最具信息量的词并研究候选替换策略生成自然对抗样本，实验证明其欺骗模型的效果优于强基线。

2024-02-03cs.CL

$DA^3$：针对语言模型的分布感知对抗攻击

$DA^3$: A Distribution-Aware Adversarial Attack against Language Models

University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Texas A&M University（德克萨斯农工大学）

针对现有对抗样本因数据分布偏移易被检测的问题，提出分布感知对抗攻击方法$DA^3$及新评估指标NASR，在四个数据集上验证了对多种模型的有效性与可迁移性。

2024-09-20cs.CL

SafeInt：通过安全感知表示干预屏蔽大语言模型的越狱攻击

SafeInt: Shielding Large Language Models from Jailbreak Attacks via Safety-Aware Representation Intervention

Nankai University（南开大学）；Tianjin University of Technology（天津理工大学）

SafeInt提出一种安全感知表示干预方法，通过将越狱样本表示重定位至拒绝区域，在六种攻击和两个数据集上优于基线，同时保持实用性。

2025-05-23cs.CL

为TableQA生成语义有效的对抗性问题

Generating Semantically Valid Adversarial Questions for TableQA

University of Cambridge（剑桥大学）；Amazon（亚马逊）

对基于表格数据的问答系统（TableQA）的对抗攻击可以帮助评估它们在多大程度上能够理解自然语言问题并使用表格进行推理。然而，生成自然语言对抗性问题是困难的，因为即使是单个字符交换也可能导致人类感知中的巨大语义差异。在本文中，我们提出了SAGE（语义有效的对抗生成器），一个Wasserstein序列到序列模型的TableQA白盒攻击。为了保留原始问题的含义，我们使用SIMILE和实体去词汇化进行最小风险训练。我们使用Gumbel-Softmax将对抗损失纳入端到端训练。实验结果表明，SAGE在语义有效性和流畅性方面优于现有的局部攻击模型，同时获得了良好的攻击成功率。最后，我们证明了使用SAGE增强数据进行对抗性训练可以提高TableQA系统的性能和鲁棒性。

2020-12-25cs.CL

使用Aesthet-Aware Coarse-to-Fine解码生成长且信息丰富的评论

Generating Long and Informative Reviews with Aspect-Aware Coarse-to-Fine Decoding

Renmin University of China（中国人民大学）；Boss Zhipin（BOSS直聘）

生成长而信息丰富的评论文本是一项具有挑战性的自然语言生成任务。以往的工作主要集中在词级生成，忽略了自然语言的主题和句法特征的重要性。在本文中，我们提出了一种新的审查生成模型，通过表征精心设计的方面感知的粗到细的生成过程。首先，我们对方面转换进行建模，以捕获整个内容流。然后，为了生成句子，将使用方面感知解码器预测方面感知草图。最后，另一个解码器通过生成相应的单词来填充语义槽。我们的方法是能够联合利用方面语义，语法草图，和上下文信息。大量的实验结果证明了该模型的有效性。

2021-04-19cs.CL

大型语言模型易受诱饵替换攻击生成有害内容

Large Language Models are Vulnerable to Bait-and-Switch Attacks for Generating Harmful Content

Stanford University（斯坦福大学）

本文揭示了大型语言模型的安全输出可通过简单的查找替换事后操纵转化为有害内容，指出仅关注逐字输出安全性不足，需同时考虑事后转换风险。

2024-02-21cs.AIcs.CL

使用ChatGPT生成网络钓鱼攻击

Generating Phishing Attacks using ChatGPT

The University of Texas at Arlington（德克萨斯大学阿灵顿分校）

本研究识别了可输入ChatGPT的恶意提示，以生成模仿品牌并规避检测的钓鱼网站，无需越狱即可实现。

2023-05-09cs.CLcs.CR

基于改进的束搜索算法生成自然语言对抗示例

Generating Natural Language Adversarial Examples through An Improved Beam Search Algorithm

School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Key Laboratory of Image Information Processing and Intelligent Control, Ministry of Education（图像信息处理与智能控制教育部重点实验室）

针对文本领域的对抗攻击的研究近年来引起了人们的广泛兴趣，并提出了许多攻击成功率较高的方法。然而，这些攻击方法效率低下，因为它们在制作文本对抗示例时需要对受害者模型进行大量查询。本文提出了一种新的攻击模型，其攻击成功率超过了基准攻击方法，但更重要的是，其攻击效率远远高于基准攻击方法。通过在四个基准数据集上攻击WordCNN、LSTM、BiLSTM和BERT，对新方法进行了经验评估。例如，当攻击IMDB上的BERT和BiLSTM时，它实现了比最先进的方法高100\%的攻击成功率，但对受害者模型的查询次数仅分别是最先进方法的1/4和1/6.5。进一步的实验表明，该方法在生成的对抗性样本上具有良好的可移植性。

2021-10-15cs.AIcs.CL

OutFlip：基于自然语言攻击的未知意图检测的域外样本生成

OutFlip: Generating Out-of-Domain Samples for Unknown Intent Detection with Natural Language Attack

Kakao Enterprise（Kakao企业）；Sungkyunkwan University（成均馆大学）

在面向任务的对话系统中，域外输入检测是至关重要的，因为接受不支持的输入可能导致系统的错误响应。本文提出了OutFlip，一种仅使用域内训练数据集自动生成域外样本的方法。对白盒自然语言攻击方法HotFlip进行了改进，使其生成的样本为域外样本，而不是对抗样本。我们的评估结果表明，将OutFlip生成的域外样本集成到训练数据集中可以显着提高意图分类模型的域外检测性能。

2021-05-12cs.CLcs.LG

SNEAK：基于同义语句的对抗攻击的自然语言视频定位

SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization

Huazhong University of Science and Technology（华中科技大学）；Xidian University（西安电子科技大学）

自然语言视频定位是视觉-语言理解领域的一个重要课题，它不仅需要深入理解计算机视觉和自然语言这两个方面，更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题，这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究，但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此，本文的目的是全面调查的对抗鲁棒性NLVL模型，从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标，我们提出了一种新的对抗攻击范式，称为同义词感知的对抗攻击NLVL（SNEAK），它捕捉视觉和语言侧之间的跨通道相互作用。

2021-12-08cs.AIcs.CLcs.CV

欺诈交易攻击：通过词操作过程生成对抗文本样本

Frauds Bargain Attack: Generating Adversarial Text Samples via Word Manipulation Process

University of Technology Sydney（悉尼科技大学）；ShanghaiTech University（上海科技大学）

针对NLP模型易受对抗样本攻击且现有生成方法依赖确定性规则的问题，提出基于随机化机制和Metropolis-Hasting采样器的欺诈交易攻击（FBA），通过上下文感知的词操作过程生成高质量对抗样本，在攻击成功率、不可感知性和句子质量上优于其他方法。

2023-12-27cs.AIcs.CL

面向对重学习攻击具有鲁棒性的大语言模型遗忘：一种锐度感知最小化视角及其扩展

Towards LLM Unlearning Resilient to Relearning Attacks: A Sharpness-Aware Minimization Perspective and Beyond

Amazon（亚马逊）；University of Minnesota（明尼苏达大学）；IBM Research（IBM研究院）

本文提出利用锐度感知最小化及平滑策略增强大语言模型遗忘对重学习攻击的鲁棒性，实验证明有效且能防御越狱攻击。

2025-05-27cs.CLcs.LG

社交媒体中具有情绪感知的点击欺诈攻击

Emotion-Aware Clickbait Attack in Social Media

Southern Illinois University（南方伊利诺伊大学）

本文提出一种基于情感空间的点击欺诈生成攻击方法，通过风格转换优化情感影响，实验显示其显著降低现有分类器性能。

2026-04-30cs.CLcs.SI

KDA：一种知识蒸馏攻击者，用于生成多样化提示以突破LLM的安全限制

KDA: A Knowledge-Distilled Attacker for Generating Diverse Prompts to Jailbreak LLMs

University of Pennsylvania（宾夕法尼亚大学）

针对现有LLM突破方法成本高、不实用的问题，提出知识蒸馏攻击者（KDA），将多个SOTA攻击者知识蒸馏到单一开源模型，自动生成多样攻击提示，提升攻击成功率与效率，为大规模红队测试提供实用工具。

2025-02-05cs.AIcs.CLcs.CR

BeamAttack：通过束搜索和混合语义空间生成高质量文本对抗示例

BeamAttack: Generating High-quality Textual Adversarial Examples through Beam Search and Mixed Semantic Spaces

University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Xidian University（西安电子科技大学）

基于神经网络的自然语言处理模型容易受到对抗性样本的影响。这些对抗性的例子对人类读者来说是不可感知的，但可能会误导模型做出错误的预测。在黑盒环境下，攻击者可以在不知道模型参数和结构的情况下欺骗模型。以往的词级攻击主要采用单一语义空间和贪婪搜索作为搜索策略。然而，这些方法无法平衡攻击成功率，对抗性示例的质量和时间消耗。在本文中，我们提出了BeamAttack，这是一种文本攻击算法，它利用混合语义空间和改进的束搜索来制作高质量的对抗性示例。大量的实验表明，BeamAttack可以提高攻击成功率，同时节省大量的查询和时间，例如，在对MR数据集样本进行攻击时，与贪婪搜索相比，攻击成功率最多提高7%.与启发式搜索相比，BeamAttack最多可以节省85%的模型查询，并获得了有竞争力的攻击成功率。BeamAttack制作的对抗性示例具有高度的可移植性，可以有效提高模型在对抗性训练中的鲁棒性。代码可在https://github.com/zhuhai-ustc/beamattack/tree/master上获得

2023-03-09cs.CLcs.CR

请允许我注意：利用架构感知攻击打破基于微调的提示注入防御

May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks

UC San Diego（加州大学圣迭戈分校）

本文提出一种基于注意力的攻击算法，揭示了现有白盒提示注入防御的不足，攻击成功率高达85-95%

2025-12-17cs.AIcs.CLcs.CR

LAGO：基于语言相似性感知图优化的少样本跨语言嵌入反转攻击

LAGO: Few-shot Crosslingual Embedding Inversion Attacks via Language Similarity-Aware Graph Optimization

Department of Electronic Systems（电子系统系）；Department of Computer Science（计算机科学系）；Aalborg University（奥尔堡大学）

提出LAGO，一种基于语言相似性感知图优化的少样本跨语言嵌入反转攻击方法，通过图约束分布式优化和Frobenius正则化，在极少量样本下显著提升攻击可迁移性（Rouge-L提升10-20%），强调语言相似性在隐私保护中的关键作用。

2025-05-21cs.AIcs.CLcs.CR

SafeDecoding：通过安全感知解码防御越狱攻击

SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding

University of Washington（华盛顿大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Allen Institute for AI（艾伦人工智能研究所）

本文提出SafeDecoding，一种安全感知解码策略，通过放大安全免责声明的token概率并削弱有害token序列的概率，有效防御LLM越狱攻击，在不损害响应有用性的前提下显著降低攻击成功率。

2024-07-25cs.AIcs.CLcs.CR

大型音频语言模型中的音频越狱：分类、攻防分析与成本感知评估

Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation

National Taiwan University（台湾大学）

本文提出了大型音频语言模型中音频越狱攻击与防御的统一分类法和受控实证评估，揭示了声学最佳N攻击暴露了最坏情况下的音频空间漏洞，叙事框架是一种有效的低延迟语义威胁，而现有防御在鲁棒性与良性可用性之间存在权衡。

2026-05-28cs.AIcs.CLcs.SD

针对预训练大型语言模型的上下文感知成员推理攻击

Context-Aware Membership Inference Attacks against Pre-trained Large Language Models

Mohamed bin Zayed University of Artificial Intelligence（莫扎伊德·本·扎耶德人工智能大学）；Brave Software（Brave软件公司）；Imperial College London（帝国理工学院）；National University of Singapore（新加坡国立大学）

本文提出一种针对预训练LLMs的新型成员推理攻击方法，通过将统计测试适应于数据点内子序列的困惑度动态，有效解决了以往方法忽略LLMs生成特性的问题，显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。

2025-09-16cs.AIcs.CLcs.CR

MALCOM：生成恶意评论以攻击神经假新闻检测模型

MALCOM: Generating Malicious Comments to Attack Neural Fake News Detection Models

The Pennsylvania State University（宾夕法尼亚州立大学）

近年来，所谓的“假新闻”泛滥，对社会造成了很大的干扰，削弱了新闻生态系统。因此，为了缓解这些问题，研究人员开发了最先进的模型，使用复杂的数据科学和机器学习技术自动检测社交媒体上的假新闻。在这项工作中，那么，我们问“如果对手试图攻击这样的检测模型？“并通过以下方式调查相关问题：（i）提出一种针对假新闻检测器的新型威胁模型，其中对手可以对新闻文章发布恶意评论以误导假新闻检测器，以及（ii）开发MALCOM，一种端到端的对抗性评论生成框架以实现这种攻击。通过综合评估，我们证明了平均约94%和93.5%的时间MALCOM可以成功地误导五个最新的神经检测模型，以始终输出有针对性的真实和虚假新闻标签。此外，MALCOM还可以欺骗黑盒假新闻检测器，平均90%的时间总是输出真实的新闻标签。我们还将我们的攻击模型与两个真实世界数据集的四个基线进行了比较，不仅在攻击性能上，而且在生成的质量，一致性，可转移性和鲁棒性上。

2020-09-27cs.CLcs.LGstat.ML