Groot: Adversarial Testing for Generative Text-to-Image Models with Tree-based Semantic Transformation
Nanyang Technological University（南洋理工大学）；ShanghaiTech University（上海科技大学）
针对文本到图像模型安全性测试中成功率低和效率差的问题，提出首个基于树语义变换的自动化对抗测试框架Groot，结合语义分解与敏感元素淹没策略优化对抗提示，在DALL-E 3和Midjourney等模型上成功率达93.66%。
2024-02-19 cs.AI cs.CL cs.CR
Model Robustness with Text Classification: Semantic-preserving adversarial attacks
Wells Fargo（富国银行）
我们提出了创建对抗攻击的算法，以评估模型在文本分类问题中的鲁棒性。它们可以用来创建白盒攻击和黑盒攻击，同时保留原始文本的语义和语法。这些攻击在白盒设置中导致大量的翻转，并且可以在黑盒设置中使用相同的规则。在黑盒设置中，创建的攻击能够逆转基于Transformer的架构的决策。
2020-08-14 cs.CL cs.LG
Saliency Attention and Semantic Similarity-Driven Adversarial Perturbation
Praxis Business School（普拉西斯商学院）
针对传统文本对抗攻击难以兼顾攻击有效性与语义一致性的问题，提出融合显著性、注意力与语义相似度的三阶段扰动方法SASSP，相比CLARE实现了更高攻击成功率与更低扰动率。
2024-06-18 cs.CL cs.CR cs.LG
Learning Visually-Grounded Semantics from Contrastive Adversarial Samples
Megvii Inc.（旷视科技）
我们研究的问题接地分布表示的文本的视觉域，即视觉语义嵌入（简称VSE）。从对VSE嵌入的有见地的对抗攻击开始，我们展示了当前框架和图像-文本数据集的局限性（例如，MS-COCO）。现实世界语义可能构成的数量与并行数据规模之间的巨大差距，在很大程度上限制了模型建立文本语义与视觉概念之间的联系。我们通过用文本对比对抗样本增强MS-COCO图像描述数据集来缓解这个问题。这些样本是使用语言规则和WordNet知识库合成的。构造过程是语法和语义感知的。这些样本强制模型将学习到的嵌入嵌入到图像中的具体概念中。除了防御已知类型的对抗攻击之外，这种简单但强大的技术还在各种下游任务的基线上带来了显著的改进。我们在https://github.com/ExplorerFreda/VSE-C上发布代码。
2018-06-27 cs.CL cs.CV
Preserving Semantics in Textual Adversarial Attacks
Czech Technical University in Prague（捷克布拉格技术大学）
针对现有文本对抗攻击生成的样本70%因语义失真需丢弃的问题，提出全监督句子嵌入技术SPE，将实际攻击成功率提升1.2-5.1倍，还发布了可适配现有攻击的插件代码。
2023-10-05 cs.AI cs.CL
An Adversarial Multi-Task Learning Method for Chinese Text Correction with Semantic Detection
Jiangnan University（江南大学）
提出一种对抗性多任务学习方法，结合掩码和评分语言模型及蒙特卡洛树搜索策略，有效提升中文文本纠正任务中字符多义性的建模与检测能力及语义合理性。
2023-06-28 cs.AI cs.CL
Beyond Global Scalars: Synergizing Token-Level Statistics and Deep Semantics for Adversarial AIGC Text Detection
Tencent BAC（腾讯BAC）；School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）
针对现有AIGC文本检测方法在对抗场景中的缺陷，提出NeuroStat框架，结合令牌级统计与深度语义，在MOSAIC基准上实现鲁棒性提升，建立对抗性文本检测新基准。
2026-08-31 cs.CL
SemAttack: Natural Textual Attacks via Different Semantic Spaces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
最近的研究表明，预先训练的语言模型（LM）容易受到文本对抗攻击。然而，现有的攻击方法要么遭受低攻击成功率或未能有效地搜索在指数大扰动空间。我们提出了一个高效和有效的框架SemAttack通过构建不同的语义扰动函数来生成自然的对抗文本。特别地，SemAttack优化了约束在通用语义空间上的所生成的扰动，所述通用语义空间包括错别字空间、知识空间（例如，WordNet）、上下文化语义空间（例如，BERT聚类的嵌入空间）或这些空间的组合。因此，生成的对抗性文本在语义上更接近原始输入。大量的实验表明，最先进的（SOTA）大规模LM（例如，DeBERTa-v2）和防御策略（例如，FreeLB）仍然容易受到SemAttack的攻击。我们进一步证明了SemAttack是通用的，并且能够为不同的语言生成自然的对抗文本（例如，英语和汉语），攻击成功率高。人类的评估也证实了我们生成的对抗性文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/AI-secure/SemAttack上公开获取。
2022-06-11 cs.CL
Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models
Florida Atlantic University（佛罗里达大西洋大学）
Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。
2026-04-07 cs.AI cs.CL cs.CV
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
尽管深度神经网络（DNN）在自然语言处理（NLP）等许多领域取得了巨大的成功，但它们也被证明容易受到恶意生成的对抗性示例的攻击。这种固有的漏洞已经威胁到各种现实世界部署的基于DNN的应用程序。为了增强模型的鲁棒性，在英语NLP领域提出了几种对策，并取得了令人满意的效果。然而，由于中文独特的语言属性，将现有的防御扩展到中文领域并非易事。因此，我们提出了AdvGraph，这是一种新的防御方法，通过将对抗性知识纳入输入的语义表示来增强基于中文的NLP模型的鲁棒性。在两个真实世界任务上的广泛实验表明，与以前的工作相比，AdvGraph表现出更好的性能：（i）有效-即使在自适应攻击设置下，它也显着增强了模型的鲁棒性，而不会对合法输入的模型性能产生负面影响;（ii）通用-其关键组件，即，隐含对抗知识的表示是任务不可知的，可以在任何基于中文的NLP模型中重用，而无需重新训练;（iii）高效-它是具有次线性计算复杂性的轻量级防御，可以保证实际场景中所需的效率。
2021-02-23 cs.CL
The Sensitivity of Word Embeddings-based Author Detection Models to Semantic-preserving Adversarial Perturbations
The University of Tennessee（田纳西大学）
作者身份分析是自然语言处理领域的一个重要课题。它允许检测文章，新闻，书籍或消息的最有可能的作者。这种技术有多种用途的任务有关的作者归属，检测剽窃，风格分析，来源的错误信息，本文的重点是探讨的局限性和敏感性，建立的方法对抗性操作的输入。为此，并使用这些既定的技术，我们首先开发了一个实验框架，作者检测和输入扰动。接下来，我们通过实验评估了作者身份检测模型对输入叙述的语义保留对抗性扰动的集合的性能。最后，我们比较和分析了不同的扰动策略，输入和模型配置的效果，以及这些对作者检测模型的影响。
2021-02-23 cs.AI cs.CL
Semantic-Preserving Adversarial Text Attacks
University of Technology Sydney（悉尼科技大学）；China University of Petroleum (East China)（中国石油大学（华东））；University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
深度神经网络（DNN）被认为容易受到对抗性图像的攻击，而它们在文本分类中的鲁棒性却很少被研究。文献中已经提出了几种文本攻击方法，包括字符级、单词级和文本级攻击。然而，它仍然是一个挑战，以尽量减少必要的词的变化，以诱导错误分类，同时确保词汇的正确性，语法的合理性，语义相似性。在本文中，我们提出了一种基于Bigram和Unigram的自适应语义保存优化（BU-SPO）方法来检查深层模型的脆弱性。我们的方法有四个主要优点。首先，我们提出攻击文本文档，不仅在unigram字的水平，但也在bigram水平，更好地保持语义，避免产生无意义的输出。其次，我们提出了一种混合的方法来取代输入的单词与选项之间的同义词候选人和义素候选人，这大大丰富了潜在的替代相比，只使用同义词。第三，设计了一个优化算法，语义保持优化（SPO），确定单词替换的优先级，以降低修改成本。最后，我们进一步改进了SPO与语义过滤器（命名为SPOF），以找到具有最高语义相似度的对抗性示例。我们评估我们的BU-SPO和BU-SPOF对IMDB，AG的新闻，和雅虎的有效性！通过攻击四种流行的DNN模型来回答文本数据集。实验结果表明，与现有方法相比，我们的方法通过改变最少的单词数量来实现最高的攻击成功率和语义率。
2023-03-03 cs.CL stat.ML
Generating Label Cohesive and Well-Formed Adversarial Claims
University of Copenhagen（哥本哈根大学）
对抗攻击揭示了训练模型的重要弱点和缺陷。一种有效的攻击类型是通用对抗触发器，它是单独的n-gram，当附加到受攻击的类的实例时，可以欺骗模型预测目标类。然而，对于诸如事实检查之类的推理任务，这些触发器经常会无意中颠倒它们所插入的实例的含义。此外，这种攻击会产生语义上无意义的输入，因为它们只是将触发器连接到现有样本。在这里，我们研究如何生成针对事实检查系统的对抗攻击，这些事实检查系统保留了地面真值含义并且在语义上是有效的。我们扩展了HotFlip攻击算法用于通用触发器生成，通过联合最小化目标类损失的事实检查模型和蕴涵类损失的辅助自然语言推理模型。然后，我们训练一个条件语言模型来生成语义上有效的语句，其中包括找到的通用触发器。我们发现，所产生的攻击保持的方向性和语义有效性的索赔比以前的工作。
2020-09-17 cs.CL cs.LG
Adversarial Learning of Semantic Relevance in Text to Image Synthesis
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
我们描述了一种新的方法，它改进了生成对抗网络（GANs）的训练，用于从文本输入中合成不同的图像。我们的方法基于GANs的条件版本，并利用鉴别器中的辅助任务扩展了之前的工作。我们生成的图像不限于某些类，并且在语义上匹配文本输入时不会遭受模式坍塌。我们的训练方法的关键是如何形成关于给定图像的类标签的正面和负面训练样本。而不是选择随机的训练样本，我们执行负采样的基础上，从一个积极的例子在类的语义距离。我们使用Oxford-102花数据集评估我们的方法，采用初始分数和多尺度结构相似性指数（MS-SSIM）度量来评估所生成图像的可辨别性和多样性。实验结果表明，在生成的图像更大的多样性，特别是当我们逐渐选择更多的负面训练样本接近一个积极的例子在语义空间。
2019-02-05 cs.CL cs.CV cs.LG
Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks
Imperial College London（帝国理工学院）；Safe Intelligence（安全智能研究院）
本文提出新框架，通过语义等价对抗攻击测试LLMs鲁棒性，发现先进模型易受语义保留扰动影响致忠实度大幅下降，凸显需开发鲁棒接地的LLM架构与训练目标。
2026-08-06 cs.CL cs.LG
