Practical Feasibility of Gradient Inversion Attacks in Federated Learning
Scaleout Systems；Uppsala University（乌普萨拉大学）
本文研究了联邦学习中梯度反向攻击的实际可行性，发现现代性能优化模型能有效抵御重建，表明其不构成重大隐私风险。
2026-10-07 cs.AI cs.CR cs.LG
No More Guessing: a Verifiable Gradient Inversion Attack in Federated Learning
Inria, France（法国国家信息与自动化技术研究所）；CNRS, France（法国国家科学研究中心）
本文提出一种可验证梯度反向攻击，通过几何视角检测激活边界区域中的单个记录，实现精确样本恢复，提升联邦学习中数值表格数据的隐私保护。
2026-04-16 cs.AI cs.CR cs.LG
Model Inversion Attacks on Llama 3: Extracting PII from Large Language Models
Senior Software Engineer American Express（美国运通高级软件工程师）
本文研究针对 Meta 多语言模型 Llama 3.2 的模型反演攻击，通过精心设计的提示词成功提取密码、邮箱和账号等个人身份信息，揭示小型 LLM 的隐私脆弱性，并探讨差分隐私与数据清洗等防御策略。
2025-07-06 cs.AI cs.CR cs.LG
GI-PIP: Do We Require Impractical Auxiliary Dataset for Gradient Inversion Attacks?
School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）；School of Electronics and Information Engineering, Beihang University（北京航空航天大学电子信息工程学院）
本文提出GI-PIP方法，利用异常检测模型从少量辅助数据中提取图像先验分布，并以异常分数损失调控梯度反转攻击，仅用ImageNet 3.8%的数据即实现16.12 dB PSNR恢复，显著降低了对辅助数据量和分布的要求。
2024-04-01 cs.AI cs.CR cs.LG
AGIC: Approximate Gradient Inversion Attack on Federated Learning
Delft University of Technology（代尔夫特理工大学）
联邦学习是一种私有设计的分布式学习范例，其中客户端在中央服务器聚合其本地更新以计算全局模型之前，在其自己的数据上训练本地模型。根据所使用的聚合方法，局部更新是局部学习模型的梯度或权重。最近的重建攻击对单个小批量的梯度更新应用梯度反转优化，以重建客户端在训练期间使用的私有数据。由于最先进的重建攻击只关注单个更新，因此忽略了现实的对抗场景，例如对多个更新的观察和从多个小批量训练的更新。一些研究考虑了更具挑战性的对抗性场景，其中只有基于多个小批量的模型更新是可观察的，并采用计算昂贵的模拟来解开每个局部步骤的底层样本。在本文中，我们提出了AGIC，这是一种新的近似梯度反转攻击，可以有效地从模型或梯度更新中重建图像，并跨越多个时期。简而言之，AGIC（i）从模型更新中近似使用的训练样本的梯度更新，以避免昂贵的仿真过程，（ii）利用从多个时期收集的梯度/模型更新，以及（iii）相对于神经网络结构为重建质量向层分配增加的权重。我们在三个数据集上广泛评估了AGIC，CIFAR-10，CIFAR-100和ImageNet。我们的研究结果表明，AGIC增加峰值信噪比（PSNR）高达50%相比，两个代表国家的最先进的梯度反转攻击。此外，AGIC比最先进的基于模拟的攻击更快，例如，在攻击FedAvg时，在模型更新之间有8个本地步骤，速度快了5倍。
2022-07-14 cs.DC cs.LG
Enhancing Privacy against Inversion Attacks in Federated Learning by using Mixing Gradients Strategies
JPMorgan Chase（摩根大通）
联邦学习降低了信息泄露的风险，但仍然容易受到攻击。我们研究了几个神经网络设计决策可以抵御梯度反转攻击。我们发现，重叠的梯度提供了数值阻力梯度反演的高度脆弱的致密层。具体来说，我们建议利用梯度最大化的混合，通过选择一个适当的损失函数和绘制相同的标签。我们表明，否则，它是可能的，直接恢复所有的向量在一个小批量没有任何数值优化，由于交叉熵损失的去混合性质。为了准确地评估数据恢复，我们引入了一个绝对变化距离（AVD）度量图像中的信息泄漏，来自总变差。与标准度量（例如均方误差或结构相似性指数）相比，AVD提供了一种用于在噪声图像中提取信息的连续度量。最后，我们对各种反转攻击和训练性能的信息恢复的实证结果支持我们的防御策略。这些策略也被证明对深度卷积神经网络（如用于图像识别的LeNET）有用。我们希望，这项研究将有助于指导进一步的战略，实现信任的联邦政策的发展。
2022-04-26 cs.AI cs.CR cs.CY
Evaluating Selective Encryption Against Gradient Inversion Attacks
Information Networking Institute（信息网络研究所）；Carnegie Mellon University（卡内基梅隆大学）；TensorOpera AI；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文系统评估了选择性加密在对抗梯度反演攻击中的效果，提出基于距离的重要性分析框架，并发现梯度幅度是普遍有效的度量，同时为不同模型和隐私需求提供了策略选择指南。
2025-08-06 cs.CR cs.LG
Towards Eliminating Hard Label Constraints in Gradient Inversion Attacks
School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
本研究聚焦梯度反转攻击的硬标签约束问题，提出首个可从单输入梯度同时恢复增强软标签与全连接层输入特征的算法，给出分析类标签恢复的必要条件，实验验证其标签恢复准确率及对图像重建的增益。
2024-04-15 cs.CR cs.CV cs.LG
Cascading Gradient Inversion via LT-Code Inspired Peeling in Federated Learning
University of Isfahan（伊斯法罕大学）
本文通过建立梯度反演与纠删码理论的联系，提出LT码启发的剥离攻击，在单轮FedSGD中精确恢复整个批次及标签，大幅超越先前攻击，揭示联邦学习隐私泄露被严重低估。
2026-09-10 cs.AI cs.CR cs.LG
SPIN: Simulated Poisoning and Inversion Network for Federated Learning-Based 6G Vehicular Networks
University of Sindh（信德大学）；Munster Technological University（芒斯特理工大学）；Nearby Computing（Nearby Computing公司）
关于车载网络的应用受益于超5G和6G技术的愿景，例如超密集网络拓扑、低延迟和高数据率。车载网络一直面临着数据隐私保护的问题，这导致了分布式学习技术的出现，如联邦学习。虽然联邦学习在一定程度上解决了数据隐私保护问题，但该技术很容易受到模型反演和模型中毒攻击。我们假设防御机制的设计和攻击是同一枚硬币的两面。设计一种方法来减少漏洞需要攻击是有效的和具有挑战性的现实世界的影响。在这项工作中，我们提出了模拟中毒和反演网络（SPIN），利用优化方法从车辆节点训练的差分模型中重建数据，并在传输到路边单元（RSU）时拦截。然后，我们训练一个生成对抗网络（GAN），以提高数据的生成与每个通过轮和全局更新从RSU，相应地。评价结果表明，所提出的方法的定性和定量的有效性。SPIN发起的攻击可以在公共数据集上降低高达22%的准确性，而只需使用单个攻击者。我们认为，揭示这种攻击的模拟将有助于我们找到一种有效的防御机制。
2022-11-21 cs.CR cs.LG cs.NI
Do Gradient Inversion Attacks Make Federated Learning Unsafe?
NVIDIA（英伟达）
联邦学习（FL）允许人工智能模型的协作训练，而无需共享原始数据。这一功能使其对于医疗保健应用特别感兴趣，因为在这些应用中，患者和数据隐私是最重要的。然而，最近关于从模型梯度反演深度神经网络的工作引起了人们对FL在防止训练数据泄漏方面的安全性的担忧。在这项工作中，我们表明，在文献中提出的这些攻击是不切实际的FL用例中，客户端的培训涉及更新的批量归一化（BN）的统计数据，并提供了一个新的基线攻击，适用于这种情况。此外，我们提出了新的方法来衡量和可视化潜在的数据泄漏FL。我们的工作是一个步骤，建立可重复的方法测量数据泄漏FL，可以帮助确定隐私保护技术，如差分隐私，和模型的准确性之间的最佳权衡基于可量化的指标。代码可在https://nvidia.github.io/NVFlare/research/quantifying-data-leakage上获得。
2023-01-30 cs.CR cs.CV cs.DC
GenFighter: A Generative and Evolutive Textual Attack Removal
Boise State University（博伊西州立大学）；George Mason University（乔治梅森大学）
针对NLP中深度神经网络易受对抗攻击的问题，本文提出GenFighter防御策略，通过分布识别、语义转换与集成技术提升鲁棒性，实验证明其性能优于现有最优防御方法。
2024-04-17 cs.CL cs.LG
Multi-granularity Textual Adversarial Attack with Behavior Cloning
近年来，文本对抗攻击模型由于其在评估自然语言处理模型鲁棒性方面的成功而越来越受到人们的关注。然而，现有的工作有明显的不足之处。(1)它们通常只考虑单个粒度的修改策略（例如词级或句子级），这不足以探索用于生成的整体文本空间;（2）它们需要查询受害者模型数百次才能进行成功的攻击，这在实践中是非常低效的。为了解决这些问题，在本文中，我们提出了MAYA，一个多粒度攻击模型，以有效地生成高质量的对抗性样本，减少对受害者模型的查询。此外，我们提出了一个基于学习的方法来训练一个多粒度的攻击代理通过行为克隆与我们的MAYA算法的专家知识，以进一步减少查询次数。此外，我们还调整代理攻击黑盒模型，只输出标签没有信心分数。我们在两种不同的黑盒攻击设置和三个基准数据集上对BiLSTM、BERT和RoBERTa进行了全面的实验，以评估我们的攻击模型。实验结果表明，与基线模型相比，我们的模型实现了更好的攻击性能，并产生了更流畅和语法对抗性的样本。此外，我们的对抗攻击代理显着减少了在两种攻击设置的查询时间。我们的代码在https://github.com/Yangyi-Chen/MAYA上发布。
2021-09-09 cs.CL cs.CR cs.LG
A Context-Aware Approach for Textual Adversarial Attack through Probability Difference Guided Beam Search
National University of Defense Technology（国防科技大学）
文本对抗攻击暴露了文本分类器的弱点，可以用来提高其鲁棒性。现有的上下文感知攻击方法只考虑了攻击者的黄金标签概率，在搜索攻击路径时采用贪婪搜索，限制了攻击效率。为了解决这些问题，我们提出了PDBS，一个上下文感知的文本对抗攻击模型，使用概率差引导的束搜索。概率差是对所有类标签概率的综合考虑，PDBS用它来指导攻击路径的选择。此外，PDBS使用束搜索来找到成功的攻击路径，从而避免遭受有限的搜索空间。大量的实验和人工评估表明，PDBS在一系列评估指标上优于以前的最佳模型，特别是攻击成功率高达19.5%。消融研究和定性分析进一步证实了PDBS的有效性。
2022-08-17 cs.CL
Word-level Textual Adversarial Attacking as Combinatorial Optimization
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Columbia University（哥伦比亚大学）
进行对抗攻击是为了揭示深层神经网络的脆弱性。文本对抗攻击具有挑战性，因为文本是离散的，一个小的扰动可以给原始输入带来显着的变化。词级攻击是文本攻击方法中的一种，可以看作是一个组合优化问题。然而，现有的字级攻击模型还远远不够完善，主要是因为不合适的搜索空间减少方法和效率低下的优化算法。在本文中，我们提出了一种新的攻击模型，它结合了基于语义的单词替换方法和粒子群优化搜索算法来解决这两个问题分别。我们在三个基准数据集上进行了详尽的实验，通过攻击BiLSTM和BERT来评估我们的攻击模型。实验结果表明，与基线方法相比，我们的模型始终实现了更高的攻击成功率和工艺更高质量的对抗性示例。进一步的实验表明，我们的模型具有更高的可移植性，可以带来更多的鲁棒性增强受害者模型的对抗性训练。本文的所有代码和数据都可以在https://github.com/thunlp/SememePSO-Attack上获得。
2020-12-09 cs.AI cs.CL cs.LG
ALGEN: Few-shot Inversion Attacks on Textual Embeddings using Alignment and Generation
Aalborg University（奥尔堡大学）；Macquarie University（麦考瑞大学）
本文提出少样本文本嵌入逆向攻击 ALGEN，通过一步对齐受害者嵌入与攻击空间并结合生成模型重建文本，仅需极少样本即可跨领域、跨语言有效攻击，且现有防御均难以抵御。
2025-02-18 cs.AI cs.CL cs.CR
SHIELD: Defending Textual Neural Networks against Multiple Black-Box Adversarial Attacks with Stochastic Multi-Expert Patcher
Penn State University（宾夕法尼亚州立大学）；Yonsei University（延世大学）
尽管已经提出了几种方法来保护文本神经网络（NN）模型免受黑盒对抗攻击，但它们通常会防御特定的文本扰动策略和/或需要从头开始重新训练模型。这导致在实践中缺乏推广和冗余计算。特别地，现有技术的Transformer模型（例如，BERT、RoBERTa）需要大量的时间和计算资源。通过借鉴软件工程的思想，为了解决这些局限性，我们提出了一种新的算法，SHIELD，它修改和重新训练的文本NN的最后一层，因此它“补丁”和“变换”的NN到一个随机加权合奏的多专家预测头。考虑到当前大多数黑盒攻击依赖于迭代搜索机制来优化其对抗性扰动，SHIELD通过根据输入自动使用不同加权的预测器集合来混淆攻击者。换句话说，SHIELD打破了攻击的一个基本假设，即受害者NN模型在攻击期间保持不变。通过进行全面的实验，我们证明，所有的CNN，RNN，BERT，和RobERTa的文本神经网络，一旦修补SHIELD，表现出相对提高15%-70%的准确率平均对14种不同的黑盒攻击，超过6个防御基线在3个公共数据集。所有代码都将被发布。
2022-03-16 cs.CL cs.CR cs.LG
Mitigating Paraphrase Attacks on Machine-Text Detectors via Paraphrase Inversion
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对释义攻击会降低机器文本检测器性能的问题，提出将释义文本反转还原为近似原文本的方法，利用少量数据学习模型释义偏差，泛化性良好，结合释义检测器可有效防御攻击，多检测器多领域下AUROC平均提升22%。
2025-03-19 cs.CL cs.LG
P+: Extended Textual Conditioning in Text-to-Image Generation
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
本文提出文本到图像扩散模型的扩展文本条件空间 P+ 及扩展文本反转 XTI，通过逐层提示和 token 表示增强控制、反转精度与个性化及风格混合效果。
2023-07-15 cs.CL cs.CV cs.GR
OpenAttack: An Open-source Textual Adversarial Attack Toolkit
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Stanford University（斯坦福大学）
语篇对抗性攻击近年来受到越来越多的关注。已经提出了各种攻击模型，这些模型非常不同，并且使用不同的编程框架和设置来实现。这些事实阻碍了攻击模型的快速利用和公平比较。在本文中，我们提出了一个开源的文本对抗攻击工具包命名为OpenAttack来解决这些问题。与现有的其他文本对抗攻击工具包相比，OpenAttack在支持所有攻击类型、多语言和并行处理方面具有独特的优势。目前，OpenAttack包括15种典型的攻击模型，涵盖了所有的攻击类型。其高度包容性的模块化设计不仅支持快速利用现有的攻击模型，而且具有很大的灵活性和可扩展性。OpenAttack有着广泛的用途，包括比较和评估攻击模型，测量模型的鲁棒性，帮助开发新的攻击模型，以及对抗性训练。源代码和文档可以在https://github.com/thunlp/OpenAttack上获得。
2021-09-24 cs.AI cs.CL cs.CR
Towards Variable-Length Textual Adversarial Attacks
University of Science and Technology of China（中国科学技术大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Zhejiang University（浙江大学）
对抗攻击已经显示出机器学习模型的脆弱性，然而，由于数据的离散性，对自然语言处理任务进行文本对抗攻击是不平凡的。大多数以前的方法使用原子\textit{replacement}操作进行攻击，这通常会导致固定长度的对抗性示例，因此限制了对决策空间的探索。本文提出了变长文本对抗攻击（VL-Attack），并通过在攻击过程中引入和操作一个特殊的\textit{blank}令牌，将\textit{insertion}、\textit{deletion}和\textit{replacement}三种原子操作整合到一个统一的框架中。通过这种方式，我们的方法能够更全面地找到决策边界周围的对抗性示例，并有效地进行对抗攻击。具体来说，我们的方法在攻击预训练的BERT模型的同时，只编辑$1.3\%$令牌，从而降低了$96\%$对IMDB分类的准确性。此外，使用生成的对抗样本微调受害者模型可以提高模型的鲁棒性，而不会损害性能，特别是对于长度敏感的模型。在非自回归机器翻译任务上，我们的方法在IWSLT 14德英翻译上可以达到$33.18$ BLEU评分，实现了$1.47$在基线模型上的改进。
2021-04-16 cs.CL
Phrase-level Textual Adversarial Attack with Label Preservation
Eindhoven University of Technology（埃因霍温理工大学）；The University of Sydney（悉尼大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
生成高质量的文本对抗性示例对于研究自然语言处理（NLP）模型的缺陷并进一步提高其鲁棒性至关重要。现有的攻击通常是通过词级或句子级的扰动来实现的，这要么限制了扰动空间，要么牺牲了流畅性和文本质量，都影响了攻击效果。在本文中，我们提出了短语级文本对抗攻击（PLAT），通过短语级扰动生成对抗样本。PLAT首先通过句法分析器提取出易受攻击的短语作为攻击目标，然后通过预训练的空白填充模型对其进行扰动。这种灵活的扰动设计大大扩展了搜索空间，以进行更有效的攻击，而不引入太多的修改，同时通过使用周围文本的上下文化生成来保持文本的流畅性和语法性。此外，我们开发了一个标签保存过滤器，利用语言模型的可能性微调每个类，而不是文本相似性，以排除那些扰动，可能会改变原来的类标签为人类。大量的实验和人工评估表明，PLAT具有优越的攻击效果，以及更好的标签一致性比强基线。
2022-05-24 cs.AI cs.CL
ONION: A Simple and Effective Defense Against Textual Backdoor Attacks
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huazhong University of Science and Technology（华中科技大学）；Beihang University（北京航空航天大学）
后门攻击是对深度神经网络（DNN）的一种紧急训练时间威胁。它们可以操纵DNN的输出，并且具有很高的隐蔽性。在自然语言处理领域，已经提出了一些攻击方法，并且在多种流行模型上实现了非常高的攻击成功率。然而，目前关于防范文本后门攻击的研究还很少。在本文中，我们提出了一个简单而有效的文本后门防御命名为ONION，这是基于离群词检测，据我们所知，是第一种方法，可以处理所有的文本后门攻击的情况。实验证明了我们的模型在保护BiLSTM和BERT抵御五种不同的后门攻击方面的有效性。本文的所有代码和数据都可以在https://github.com/thunlp/ONION上获得。
2021-11-03 cs.CL cs.CY
Kallima: A Clean-label Framework for Textual Backdoor Attacks
Peking University（北京大学）；Tsinghua University（清华大学）；RealAI（瑞莱智慧）
尽管深度神经网络（DNN）在各种自然语言处理（NLP）任务中取得了前所未有的进步，但研究表明，深度模型极易受到后门攻击。现有的后门攻击主要是在训练数据集中注入少量的有毒样本，并将标签更改为目标标签。这种贴错标签的样本在人类检查时会引起怀疑，可能会揭示攻击。为了提高文本后门攻击的隐蔽性，我们提出了第一个干净的标签框架Kallima合成模仿风格的后门样本，开发阴险的文本后门攻击。我们用对抗性扰动修改了属于目标类的输入，使模型更加依赖后门触发器。我们的框架与大多数现有的后门触发器兼容。在三个基准数据集上的实验结果证明了该方法的有效性。
2022-06-03 cs.CL cs.CR
An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
Tel-Aviv University（特拉维夫大学）；NVIDIA（英伟达）
文本到图像模型提供了前所未有的自由，通过自然语言指导创作。然而，目前还不清楚如何行使这种自由，以产生特定的独特概念的图像，修改其外观，或组成新的角色和新的场景。换句话说，我们会问：我们如何使用语言引导的模型来把我们的猫变成一幅画，或者根据我们最喜欢的玩具来想象一个新产品？在这里，我们提出了一个简单的方法，允许这种创造性的自由。只使用用户提供的概念的3-5个图像，如对象或样式，我们学习通过冻结的文本到图像模型的嵌入空间中的新“单词”来表示它。这些“话”可以组成自然语言句子，以直观的方式指导个性化创作。值得注意的是，我们发现的证据表明，一个单一的词嵌入是足够的捕捉独特的和不同的概念。我们将我们的方法与广泛的基线进行比较，并证明它可以更忠实地描绘各种应用程序和任务的概念。我们的代码、数据和新词将在以下网址提供：https://textual-inversion.github.io
2022-08-02 cs.CL cs.CV cs.GR
MPAT: Building Robust Deep Neural Networks against Textual Adversarial Attacks
School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）
针对文本对抗防御中鲁棒性与原始任务性能难以兼顾的问题，提出 MPAT 对抗训练方法，通过多级恶意样本生成和新目标函数提升防御效果并保持任务性能。
2024-02-29 cs.CL cs.CR cs.LG
Transferable Embedding Inversion Attack: Uncovering Privacy Risks in Text Embeddings without Model Queries
National Taiwan University（台湾大学）
本研究针对攻击者无法访问原始嵌入模型的现实场景，提出基于代理模型的可迁移嵌入反演攻击，在多模型与临床数据集上验证其性能优于传统方法，揭示文本嵌入的隐私漏洞并呼吁加强安全防护。
2024-06-12 cs.CL cs.CR cs.LG
Controllable Textual Inversion for Personalized Text-to-Image Generation
Zhejiang University（浙江大学）
本文提出可控文本反转（COTI），通过理论指导的损失目标、加权评分机制和主动学习范式，解决了文本反转在个性化文本到图像生成中数据需求高、人工成本大和鲁棒性差的问题，并显著提升了生成质量。
2023-09-24 cs.AI cs.CL cs.CV
Adv-OLM: Generating Textual Adversaries via OLM
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校（IIT Kanpur））
深度学习模型容易受到对抗性示例的影响，这些示例在原始输入中具有不可感知的扰动，从而导致针对这些模型的对抗攻击。对NLP中最先进的Transformers的这些攻击的分析可以帮助提高这些模型对这种对抗性输入的鲁棒性。在本文中，我们提出了先进的OLM，黑盒攻击方法，适应闭塞和语言模型（OLM）的想法，以目前最先进的攻击方法。OLM用于对句子中的单词进行排名，然后使用单词替换策略进行替换。我们的实验表明，我们的方法优于其他攻击方法的几个文本分类任务。
2021-01-21 cs.AI cs.CL cs.LG
Hidden Killer: Invisible Textual Backdoor Attacks with Syntactic Trigger
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beihang University（北京航空航天大学）；Huazhong University of Science and Technology（华中科技大学）
后门攻击是一种针对机器学习模型的潜在安全威胁。在训练中注入后门后，受害者模型将在嵌入有预先设计的触发器的输入上产生对手指定的输出，但在推理期间在正常输入上表现良好。后门攻击作为一种突发性攻击，在自然语言处理（NLP）领域的研究还不够深入。据我们所知，几乎所有现有的文本后门攻击方法都是在正常样本中插入额外的内容作为触发器，这样就可以很容易地检测到嵌入的样本，从而阻止后门攻击。在本文中，我们提出使用句法结构作为触发器在文本后门攻击。我们进行了大量的实验，以证明基于语法标记的攻击方法可以达到相当的攻击性能（几乎100%的成功率）的插入为基础的方法，但具有更高的不可见性和更强的抵抗防御。这些结果也揭示了文本后门攻击的重要隐蔽性和危害性。本文的所有代码和数据都可以在https://github.com/thunlp/HiddenKiller上获得。
2021-06-03 cs.CL cs.CR
Toward Stronger Textual Attack Detectors
Telecom Paris（巴黎电信学院）；Equall；CentraleSupelec（中央理工-高等电力学院）；Universite Paris-Saclay（巴黎萨克雷大学）；digeiz；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；MILA（蒙特利尔学习算法研究所）
本文提出无监督且不可微的文本对抗攻击检测框架LAROUSSE，并构建包含多种攻击方法、数据集和模型的新基准STAKEOUT，实验证明其优于现有方法并揭示了检测率变化因素。
2023-10-21 cs.CL
Large Language Models are Good Attackers: Efficient and Stealthy Textual Backdoor Attacks
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Science and Technology of China（中国科学技术大学）
本文提出利用大型语言模型的高效隐蔽文本后门攻击方法EST-Bad，通过优化模型固有缺陷作为触发器、隐蔽注入触发器和精选样本三大策略，在保持攻击性能的同时显著提升了隐蔽性。
2024-08-21 cs.CL cs.CR
Text Revealer: Private Text Reconstruction via Model Inversion Attacks against Transformers
University of California San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究院有限公司）
文本分类已广泛用于各种自然语言处理应用，如情感分析。当前的应用程序通常使用大型的基于transformer的语言模型来对输入文本进行分类。但是，在发布模型时，有多少私人信息可以被倒置，这方面缺乏系统的研究。在本文中，我们制定了\emph{Text Revealer} -第一个模型反演攻击的文本重建对文本分类与Transformers。我们的攻击忠实地重建包含在训练数据中的私有文本，并访问目标模型。我们利用外部数据集和GPT-2来生成目标领域的流畅文本，然后利用目标模型的反馈优化其隐藏状态。我们广泛的实验表明，我们的攻击是有效的，不同的文本长度的数据集，可以重建私人文本的准确性。
2022-09-21 cs.CL
Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial Attack Framework
Huazhong University of Science and Technology（华中科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对文本离散性导致视觉领域基于优化的对抗攻击方法难以直接应用于NLP的问题，提出统一框架并实例化T-PGD算法，在迁移黑盒攻击下实现更优性能与更流畅的对抗样本。
2023-06-08 cs.CL cs.CR cs.LG
Contextualized Perturbation for Textual Adversarial Attack
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）
对抗性实例暴露了自然语言处理（NLP）模型的脆弱性，可以用来评估和提高其鲁棒性。生成这样的示例的现有技术通常由对上下文不可知的局部启发式规则驱动，经常导致不自然和不合语法的输出。本文提出了一种基于上下文的AdvertisementExample生成模型，该模型通过一个mask-then-infill过程产生流畅和语法输出。该算法建立在一个预先训练的屏蔽语言模型上，并以上下文感知的方式修改输入。我们提出了三个上下文扰动，替换，插入和合并，允许生成不同长度的输出。有了更丰富的可用策略，CNOE能够以更少的编辑更有效地攻击受害者模型。大量的实验和人工评估表明，在攻击成功率，文本相似性，流畅性和语法性方面，CMDE优于基线。
2021-03-15 cs.CL
Against All Odds: Overcoming Typology, Script, and Language Confusion in Multilingual Embedding Inversion Attacks
Aalborg University（奥尔堡大学）
本研究针对多语言LLM的嵌入反演攻击，跨20种语言、8个语系和12种文字进行实验，发现阿拉伯文字、西里尔文字及印度-雅利安语系语言尤为脆弱，并揭示语言混淆瓶颈的可预测模式。
2024-12-16 cs.CL cs.CR
Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
对抗性攻击的目的是用对抗性的例子欺骗深度神经网络。在自然语言处理领域中，已经提出了各种文本对抗攻击模型，其在受害者模型的可访问性方面有所不同。其中，只需要受害者模型输出的攻击模型更适合真实世界的对抗性攻击情况。然而，这些模型为了获得高攻击性能，通常需要多次查询受害者模型，这在实践中既不高效也不可行。为了解决这个问题，我们提出了一个基于强化学习的攻击模型，它可以从攻击历史中学习，更有效地发动攻击。在实验中，我们通过攻击多个任务的基准数据集，包括情感分析，文本分类和自然语言推理的几个国家的最先进的模型来评估我们的模型。实验结果表明，我们的模型始终实现更好的攻击性能和更高的效率比最近提出的基线方法。我们还发现，我们的攻击模型可以带来更多的鲁棒性提高受害者模型的对抗训练。本文的所有代码和数据都将公开。
2020-09-19 cs.AI cs.CL cs.CR
Defense Against Syntactic Textual Backdoor Attacks with Token Substitution
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Penn State University（宾夕法尼亚州立大学）
本文针对句法型文本后门攻击提出一种基于词元替换的在线防御算法，通过保留句法模板或特殊词元、替换语义词并比较预测标签变化来检测触发器，实验证明其可同时防御句法型和特殊词元型后门攻击。
2024-07-04 cs.CL
SemAttack: Natural Textual Attacks via Different Semantic Spaces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
最近的研究表明，预先训练的语言模型（LM）容易受到文本对抗攻击。然而，现有的攻击方法要么遭受低攻击成功率或未能有效地搜索在指数大扰动空间。我们提出了一个高效和有效的框架SemAttack通过构建不同的语义扰动函数来生成自然的对抗文本。特别地，SemAttack优化了约束在通用语义空间上的所生成的扰动，所述通用语义空间包括错别字空间、知识空间（例如，WordNet）、上下文化语义空间（例如，BERT聚类的嵌入空间）或这些空间的组合。因此，生成的对抗性文本在语义上更接近原始输入。大量的实验表明，最先进的（SOTA）大规模LM（例如，DeBERTa-v2）和防御策略（例如，FreeLB）仍然容易受到SemAttack的攻击。我们进一步证明了SemAttack是通用的，并且能够为不同的语言生成自然的对抗文本（例如，英语和汉语），攻击成功率高。人类的评估也证实了我们生成的对抗性文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/AI-secure/SemAttack上公开获取。
2022-06-11 cs.CL
Defending against Insertion-based Textual Backdoor Attacks via Attribution
University of Michigan（密歇根大学）；NVIDIA（英伟达）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Arizona State University（亚利桑那州立大学）
本文提出基于归因的防御流程AttDef，通过识别高归因词元作为潜在触发器并结合外部预训练语言模型检测投毒输入，在BadNL和InSent两种插入式文本后门攻击上取得最优防御效果。
2023-08-07 cs.AI cs.CL cs.CR
LimeAttack: Local Explainable Method for Textual Hard-Label Adversarial Attack
University of Science and Technology of China（中国科学技术大学）；Xidian University（西安电子科技大学）；Ping An Technology（平安科技）；Lazada
针对仅能获取离散预测标签的文本硬标签攻击难题，提出LimeAttack算法，利用局部可解释方法近似词重要性排序并结合beam search寻找最优解，在相同查询预算下实现更优攻击性能，且生成的对抗样本具备高可迁移性并能提升模型鲁棒性。
2024-01-10 cs.CL
Reversible Jump Attack to Textual Classifiers with Modification Reduction
School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
针对NLP模型对抗样本修改幅度与攻击成功率失衡问题，提出RJA和MMR算法，通过随机化机制和采样器生成高效且不可感知的对抗样本，在攻击性能、流畅性和语法正确性上超越现有方法。
2024-03-21 cs.CL cs.CR cs.LG
Claim-Guided Textual Backdoor Attack for Practical Applications
KAIST（韩国科学技术院）
针对现有后门攻击需在模型分发后操作输入的局限性，提出声明引导后门攻击（CGBA），利用固有文本声明作为触发器，通过声明提取、聚类和定向训练诱导模型在特定声明上异常，同时保持干净数据性能，显著提升实际攻击的可行性与隐蔽性。
2024-09-25 cs.AI cs.CL cs.CR
Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks
School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）
针对文本对抗样本威胁，基于对抗样本偏离正常文本流形的特性，提出MLMD方法利用掩码语言模型检测差异，再通过GradMLMD的梯度引导跳过非关键词，在保证性能的同时降低计算开销。
2025-04-08 cs.AI cs.CL cs.LG
Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；McGill University（麦吉尔大学）
最近的研究表明，神经自然语言处理（NLP）模型容易受到后门攻击。注入后门后，模型在良性示例上正常运行，但当后门被激活时，会产生攻击者指定的预测，对现实世界的应用程序构成严重的安全威胁。由于现有的文本后门攻击很少关注后门的不可见性，因此它们很容易被检测和阻止。在这项工作中，我们提出了无形的后门，激活了一个可学习的组合词替换。我们发现，NLP模型可以被注入后门，导致接近100%的攻击成功率，而对现有的防御策略甚至人类检查都是高度不可见的。这些结果对自然语言处理模型的安全性提出了严重的警告，需要进一步的研究来解决。本文的所有数据和代码都发布在https://github.com/thunlp/BkdAtk-LWS上。
2021-06-11 cs.CL cs.CR
Pay Attention to the Robustness of Chinese Minority Language Models! Syllable-level Textual Adversarial Attack on Tibetan Script
Tibet University（西藏大学）；Collaborative Innovation Center for Tibet Informatization by MOE and Tibet Autonomous Region（教育部西藏自治区西藏信息化协同创新中心）
针对藏文等中国少数民族语言模型缺乏对抗鲁棒性研究的问题，提出基于音节余弦距离与评分机制的黑盒攻击 TSAttacker，并在六个微调模型上验证其有效性。
2024-12-04 cs.CL cs.CR
SEP-Attack: A Simple and Effective Paradigm for Transfer-Based Textual Adversarial Attack
Dalian University of Technology（大连理工大学）；Peking University（北京大学）；Macao Polytechnic University（澳门理工学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
提出SEP-Attack，利用行列式点过程生成多样化的代理集成权重，通过新指标评估预测置信度以计算词重要性并生成对抗样本，在多个数据集和API上显著优于现有方法。
2026-05-24 cs.AI cs.CL
BITE: Textual Backdoor Attacks with Iterative Trigger Injection
University of Southern California（南加州大学）；IIT Delhi（印度理工学院德里分校）
本文提出 BITE 后门攻击，通过迭代注入触发词建立目标标签与触发词之间的强相关性，在保持隐蔽性的同时实现高效攻击，并提出基于触发词移除的 DeBITE 防御方法。
2023-05-29 cs.CL
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
The Best Defense is Attack: Repairing Semantics in Textual Adversarial Examples
University of Exeter（埃克塞特大学）
本文提出 Rapid 方法，通过对抗检测器识别虚假标签并利用对抗攻击器修复文本对抗样本中的语义，在四个公开数据集上验证了其有效性。
2024-04-01 cs.CL
Less is More: Understanding Word-level Textual Adversarial Attack via n-gram Frequency Descend
Southern University of Science and Technology（南方科技大学）；Hong Kong University of Science and Technology（香港科技大学）；Agency for Science, Technology and Research（新加坡科技研究局）；Tencent AI Lab（腾讯AI实验室）；OPPO Mobile Telecommunications Corp.（OPPO移动通信公司）
该研究通过分析词级文本对抗攻击的n-gram频率模式，发现约90%的攻击会产生n-gram频率下降的样本，据此提出用该类样本做对抗训练的方法，其提升模型鲁棒性的效果与梯度法相当。
2024-04-15 cs.AI cs.CL cs.CR
Rethinking Textual Adversarial Defense for Pre-trained Language Models
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
虽然预训练的语言模型（PrLM）已经取得了巨大的成功，但最近的研究表明，PrLM容易受到对抗攻击的攻击。通过在不同层次（句子/单词/字符）上生成具有轻微扰动的对抗性示例，对抗攻击可以欺骗PrLM生成不正确的预测，这对PrLM的鲁棒性提出了质疑。然而，我们发现，大多数现有的文本对抗性的例子是不自然的，这可以很容易地区分人类和机器。基于一般的异常检测器，我们提出了一种新的度量（异常度）作为约束，使当前的对抗攻击方法，以产生更自然和不可感知的对抗性的例子。在这个新的约束下，现有攻击的成功率急剧下降，这表明PrLM的鲁棒性并不像他们声称的那样脆弱。此外，我们发现四种类型的随机化可以使大部分文本对抗性示例无效。基于异常检测器和随机化，我们设计了一个通用的防御框架，这是第一个执行文本对抗性防御，而不知道具体的攻击。实验结果表明，我们的通用防御框架实现了与其他特定防御相当甚至更高的攻击后准确性，同时保持了更高的原始准确性。本文的工作揭示了文本对抗攻击的本质，指出（1）对抗攻击的进一步研究应该更多地关注如何克服检测性和抵抗随机性，否则其对抗攻击样本很容易被检测和失效;（2）与不自然的和可感知的对抗性示例相比，正是那些无法检测到的对抗性示例对PrLM构成了真正的风险，并需要对未来的鲁棒性增强策略给予更多关注。
2022-07-21 cs.AI cs.CL
Robust Textual Embedding against Word-level Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）
我们属性的脆弱性自然语言处理模型的事实，类似的输入被转换为不同的表示在嵌入空间中，导致不一致的输出，我们提出了一种新的强大的训练方法，称为快速三重度量学习（FTML）。具体来说，我们认为原始样本应该与其对抗性对应物具有相似的表示，并将其表示与其他样本区分开来，以获得更好的鲁棒性。为此，我们在标准训练中采用三重度量学习，以将单词拉近其正样本（即，同义词）并推开它们的阴性样本（即，非同义词）在嵌入空间中。大量的实验表明，FTML可以显著提高模型对各种高级对抗攻击的鲁棒性，同时保持对原始样本有竞争力的分类精度。此外，我们的方法是有效的，因为它只需要调整嵌入，并在标准训练上引入很少的开销。我们的工作显示了通过鲁棒的词嵌入来提高文本鲁棒性的巨大潜力。
2022-07-27 cs.CL
Sentence Embedding Leaks More Information than You Expect: Generative Embedding Inversion Attack to Recover the Whole Sentence
Hong Kong University of Science and Technology（香港科技大学）
本研究针对大语言模型句子嵌入的信息泄露问题，提出生成式嵌入反转攻击GEIA，通过将嵌入作为初始词元表示训练解码器，在黑盒条件下即可从句子嵌入还原完整句子，性能优于现有方法。
2023-05-04 cs.CL cs.CR
