Evaluating Transferability of BERT Models on Uralic Languages
SZTAKI（匈牙利计算机科学与控制研究所）；Eötvös Loránd University（罗兰大学）
基于transformer的语言模型（如BERT）在大量英语基准测试中的表现优于以前的模型，但它们的评估通常仅限于英语或少数资源丰富的语言。在这项工作中，我们评估单语，多语言，并随机初始化的语言模型从BERT家庭的各种乌拉尔语言，包括爱沙尼亚语，芬兰语，匈牙利语，Erzya，Moksha，卡累利阿语，Livvi，科米Permyak，科米Zyrian，北萨米语和斯科尔特萨米语。当单语模型可用时（目前只有et，fi，hu），这些模型在母语上表现得更好，但一般来说，它们比多语言模型或共享相同字符集的基因无关语言模型传递得更差。值得注意的是，即使没有对超参数优化进行特别的努力，高资源模型的直接传输也会产生针对少数民族乌拉尔语言的最先进的POS和NER工具，这些语言有足够的数据进行微调。
2021-11-23 cs.CL
Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability
National Taiwan University（台湾大学）
本文研究了在文本数据上预训练的模型（如BERT）的能力是否可以转移到一般的令牌序列分类应用中。为了验证预训练模型的可移植性，我们在文本分类任务上测试了预训练模型，这些文本分类任务具有标记不匹配的含义，以及真实世界的非文本标记序列分类数据，包括氨基酸，DNA和音乐。我们发现，即使在非文本数据上，在文本上预训练的模型收敛得更快，比随机初始化的模型表现更好，并且只比使用特定任务知识的模型略差。我们还发现，文本和非文本预训练模型的表示具有非平凡的相似性。
2022-04-19 cs.CL cs.LG
Misspelling Correction with Pre-trained Contextual Language Model
Purdue University（普渡大学）
拼写不规则，现在被称为拼写错误，已经发现了几个世纪。作为人类，我们能够根据它们在句子中的位置，感知的发音和上下文来理解大多数拼写错误的单词。与人类不同，计算机系统不具备人脑所具备的方便的自动完成功能。虽然许多程序提供拼写校正功能，但许多系统不考虑上下文。此外，人工智能系统的功能是按照它们被训练的方式来运行的。由于目前许多自然语言处理（NLP）系统都是在语法正确的文本数据上训练的，因此许多系统在对抗性示例时很脆弱，但正确拼写的文本处理对学习至关重要。在本文中，我们研究了如何在上下文中纠正拼写错误，使用预训练的语言模型BERT。我们提出了两个实验，基于BERT和编辑距离算法，排名和选择候选更正。实验结果表明，当适当结合时，BERT和编辑距离的上下文词嵌入能够有效地纠正拼写错误。
2021-01-08 cs.CL
Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
通用和特定领域的BERT模型都被广泛用于自然语言处理（NLP）任务。本文研究了BERT模型在对抗攻击中对命名实体识别（NER）输入数据变化的脆弱性。实验结果表明，BERT模型容易受到实体上下文变化的影响，有20.2%~ 45.0%的实体预测完全错误，另有29.3%~ 53.3%的实体预测部分错误。BERT模型似乎最容易受到实体的本地上下文的变化的影响，并且通常单个变化就足以欺骗模型。从头开始训练的特定于领域的BERT模型（SciBERT）比原始BERT模型或保留BERT词汇的特定于领域的模型（BioBERT）更脆弱。我们还发现，BERT模型是特别容易受到紧急实体。我们的研究结果图表BERT模型NER的弱点，并强调进一步研究发现和减少这些弱点的重要性。
2022-01-31 cs.CL cs.IR
SemAttack: Natural Textual Attacks via Different Semantic Spaces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
最近的研究表明，预先训练的语言模型（LM）容易受到文本对抗攻击。然而，现有的攻击方法要么遭受低攻击成功率或未能有效地搜索在指数大扰动空间。我们提出了一个高效和有效的框架SemAttack通过构建不同的语义扰动函数来生成自然的对抗文本。特别地，SemAttack优化了约束在通用语义空间上的所生成的扰动，所述通用语义空间包括错别字空间、知识空间（例如，WordNet）、上下文化语义空间（例如，BERT聚类的嵌入空间）或这些空间的组合。因此，生成的对抗性文本在语义上更接近原始输入。大量的实验表明，最先进的（SOTA）大规模LM（例如，DeBERTa-v2）和防御策略（例如，FreeLB）仍然容易受到SemAttack的攻击。我们进一步证明了SemAttack是通用的，并且能够为不同的语言生成自然的对抗文本（例如，英语和汉语），攻击成功率高。人类的评估也证实了我们生成的对抗性文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/AI-secure/SemAttack上公开获取。
2022-06-11 cs.CL
How Vulnerable Are Edge LLMs?
China University of Geoscience Beijing（中国地质大学（北京））；Hong Kong University of Science and Technology（香港科学与技术大学）；Hong Kong Polytechnic University（香港理工大学）；Jilin University（吉林大学）；City University of Hong Kong（香港城市大学）；Chinese Academy of Sciences（中国科学院）；City University of Hong Kong (Dongguan)（香港城市大学（东莞））
研究探讨了在边缘设备上部署的量化大语言模型在查询基础上的知识提取风险，提出CLIQ框架提升语义覆盖并减少冗余，实验显示其在BERTScore、BLEU和ROUGE指标上优于原始查询，揭示了量化无法有效防护查询提取的潜在安全风险。
2026-03-25 cs.CL cs.CR cs.LG
FLARE: Fusing Language Models and Collaborative Architectures for Recommender Enhancement
University of Waterloo（滑铁卢大学）；Google Research（谷歌研究院）
本文提出混合序列推荐器Flare，通过Perceiver网络集成语言模型与协同过滤模型，在修正基线并引入更大规模数据集评估的同时，验证了其在推荐性能及支持critiquing反馈方面的优势。
2025-03-05 cs.CL cs.IR
An Empirical Study on the Transferability of Transformer Modules in Parameter-Efficient Fine-Tuning
Sharif University of Technology（谢里夫理工大学）；University of Amsterdam（阿姆斯特丹大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）
参数高效微调方法最近引起了很多关注。这些方法具有相当低的可训练权重数，可以带来可扩展性和计算效率。在本文中，我们寻找最佳的子网络，并研究不同的Transformer模块在将知识从预先训练的模型转移到下游任务中的能力。我们的实证结果表明，BERT中的每个Transformer模块都可以作为获胜的门票：微调每个特定模块，同时保持网络的其余部分冻结，可以导致与完全微调相当的性能。在不同的模块中，LayerNorms在有限的可训练权重下表现出最好的知识转移能力，在某种程度上，在分层分析中只有0.003%的所有参数，它们在各种目标任务上表现出可接受的性能。关于其有效性背后的原因，我们认为，与预训练的BERT中的其他模块相比，其显着的性能可以归因于其高量级的权重。
2023-02-22 cs.CL
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
最近，多语言BERT在跨语言迁移任务上表现得非常好，优于静态非上下文词嵌入。在这项工作中，我们提供了一个深入的实验研究，以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。我们还观察到语言特定的信息在多语言BERT。通过对潜在表征的操作，可以控制多语言BERT的输出语言，实现无监督的令牌翻译。我们进一步表明，基于观察，有一个计算成本低，但有效的方法来提高跨语言能力的多语种BERT。
2020-04-20 cs.CL
Making Pre-trained Language Models Great on Tabular Prediction
The Second Affiliated Hospital Zhejiang University School of Medicine（浙江大学医学院附属第二医院）；Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出TP-BERTa，一种专门为表格预测预训练的语言模型，通过相对幅度标记化和特征内注意力方法，在典型表格数据中性能领先于表格DNN，并与梯度提升决策树模型竞争。
2024-03-12 cs.CL cs.LG
CT-GAT: Cross-Task Generative Adversarial Attack based on Transferability
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对现有基于迁移性的对抗攻击依赖替代模型、成本高且难落地的问题，本文提出跨任务生成式对抗攻击方法CT-GAT，通过多任务对抗样本训练序列生成模型提取通用对抗特征，在10个数据集上以低成本实现更优攻击效果。
2023-11-05 cs.CL
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）；Virginia Tech（弗吉尼亚理工大学）
像BERT这样的大规模语言模型已经在广泛的NLP任务中实现了最先进的性能。然而，最近的研究表明，这种基于BERT的模型在面对文本对抗攻击时是脆弱的。我们的目标是从信息理论的角度来解决这个问题，并提出InfoBERT，一种新的学习框架，用于对预训练的语言模型进行鲁棒的微调。InfoBERT包含两个用于模型训练的基于互信息的正则化器：（i）信息瓶颈正则化器，它抑制输入和特征表示之间的噪声互信息;（ii）鲁棒特征正则化器，它增加局部鲁棒特征和全局特征之间的互信息。我们提供了一种原则性的方法来理论上分析和提高语言模型在标准和对抗训练中的表示学习的鲁棒性。大量的实验表明，InfoBERT在自然语言推理（NLI）和问答（QA）任务的几个对抗数据集上实现了最先进的鲁棒准确性。我们的代码可在https://github.com/AI-secure/InfoBERT上获得。
2021-03-22 cs.AI cs.CL cs.LG
BBAEG: Towards BERT-based Biomedical Adversarial Example Generation for Text Classification
Microsoft Research India（微软研究院印度分院）
医疗保健预测分析有助于医疗决策，诊断预测和药物审查分析。因此，预测精度是一个重要的标准，这也需要鲁棒的预测语言模型。然而，使用深度学习的模型已被证明容易受到不太可能被人类错误分类的无意义扰动输入实例的影响。使用基于规则的同义词和BERT-MLM生成对手的最新努力已经在一般领域中被见证，但不断增加的生物医学文献提出了独特的挑战。我们提出了BBAEG（基于生物医学BERT的对抗性示例生成），生物医学文本分类的黑盒攻击算法，利用生物医学命名实体和BERTLM预测，拼写变化和数字替换的特定领域的同义词替换的优势。通过对两个数据集的自动和人工评估，我们证明了BBAEG与以前的工作相比具有更好的语言流畅性和语义连贯性。
2021-04-05 cs.CL
Retrieval-Augmented Review Generation for Poisoning Recommender Systems
University of New South Wales and CSIRO’s Data61（新南威尔士大学和CSIRO的Data61）
本文提出RAGAN框架，利用多模态基础模型的上下文学习能力，结合演示检索和文本风格迁移，生成高质量虚假用户画像，以提升对黑盒推荐系统投毒攻击的可迁移性与隐蔽性。
2025-11-06 cs.CL cs.CR cs.IR
Don't Patronize Me! An Annotated Dataset with Patronizing and Condescending Language towards Vulnerable Communities
Cardiff University（卡迪夫大学）
在本文中，我们介绍了一个新的注释数据集，旨在支持NLP模型的开发，以识别和分类对弱势群体（例如难民，无家可归者，贫困家庭）有优越感或居高临下的语言。虽然这种语言在一般媒体中的流行长期以来一直被证明具有有害影响，但它与其他类型的有害语言不同，因为它通常是无意识地使用的，并且具有良好的意图。我们还认为，居高临下的语言（PCL）的微妙本质给NLP社区带来了一个有趣的技术挑战。我们对所提出的数据集的分析表明，标准NLP模型很难识别PCL，而BERT等语言模型则能获得最佳结果。
2020-11-16 cs.CL
Distract Large Language Models for Automatic Jailbreak Attack
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）
本文提出一种利用大语言模型注意力分散与过度自信现象的黑盒越狱框架，通过恶意内容隐藏、记忆重构和迭代优化实现自动化红队攻击，并在开源与专有模型上验证其有效性、可扩展性和可迁移性。
2024-09-30 cs.AI cs.CL cs.CR
Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
有针对性的对抗攻击产生的音频样本可以迫使自动语音识别（ASR）系统输出攻击者选择的文本。为了在真实世界的黑盒设置中利用ASR模型，对手可以利用可转移性属性，即为代理ASR生成的对抗样本也可以欺骗不同的远程ASR。然而，最近的工作表明，对大型ASR模型的可移植性是非常困难的。在这项工作中，我们表明，现代ASR架构，特别是那些基于自监督学习，实际上是脆弱的可转移性。我们通过评估最先进的自监督ASR模型，如Wav2Vec2，HuBERT，Data2Vec和WavLM，成功地证明了这一现象。我们表明，低水平的加性噪声达到30 dB的信噪比，我们可以实现高达80%的准确度的目标转移。接下来，我们1）使用消融研究来表明，自监督学习是这种现象的主要原因，2）我们为这种现象提供了一个解释。通过这一点，我们表明，现代ASR架构是唯一容易受到对抗性的安全威胁。
2022-09-29 cs.CL cs.CR cs.LG
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University（复旦大学计算机学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）
深度神经网络容易受到对抗攻击的攻击，其中对输入的小扰动会改变模型预测。在许多情况下，故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中，我们提出了第一个研究，系统地研究了文本分类模型的对抗性示例的可移植性，并探讨了各种因素，包括网络架构，标记化方案，词嵌入和模型容量，如何影响对抗性示例的可移植性。基于这些研究，我们提出了一个遗传算法，以找到一个集成的模型，可以用来诱导对抗性的例子，愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后，我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
最先进的无监督多语言模型（例如，多语言BERT）已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练，从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法将单语模型转移到词汇水平的新语言。更具体地说，我们首先在一种语言上训练基于转换器的掩码语言模型，并通过学习具有相同掩码语言建模目标的新嵌入矩阵，冻结所有其他层的参数，将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而，我们表明，它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集（XQuAD）。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾，并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试，它包括来自SQuAD v1.1的240个段落和1190个问答对，由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
Arabic Synonym BERT-based Adversarial Examples for Text Classification
Clarkson University（克拉克森大学）
本文首次对阿拉伯语文本分类进行词级对抗攻击研究，提出基于BERT的MLM同义词攻击方法，发现微调BERT模型更易受攻击，且对抗训练可恢复至少2%准确率。
2024-02-05 cs.CL
Towards Evaluating the Robustness of Chinese BERT Classifiers
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tencent（腾讯）
大规模语言表示模型（如BERT）的最新进展提高了许多NLP任务的最新性能。与此同时，包括中文BERT在内的字符级中文NLP模型也证明了它们可以优于现有模型。然而，在本文中，我们证明了这种基于BERT的模型在字符级对抗攻击下是脆弱的。提出了一种针对基于BERT分类器的中文字符级攻击方法。从本质上讲，我们在嵌入空间中的字符水平上产生“小”扰动，并指导字符替换过程。大量的实验表明，在中文新闻数据集上的分类准确率从91.8%下降到0%，平均操作不到2个字符的基础上提出的攻击。人类评估也证实了我们生成的中文对抗性示例几乎不会影响人类在这些NLP任务上的表现。
2020-04-07 cs.CL cs.LG
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型（LM）已经普遍地用于包括口语语言理解（SLU）的各种任务中。口语需要仔细理解说话人的交互，对话状态和语音诱导的多模态行为，以生成有意义的会话表示。在这项工作中，我们建议解剖SLU分为三个代表性的属性：会话（不流利，停顿，overtalk），通道（扬声器类型，轮任务）和ASR（插入，删除，替换）。我们探测基于BERT的语言模型（BERT，RoBERTa）训练的口语成绩单，以调查其能力，理解多种属性，在没有任何语音提示。实验结果表明，LM是令人惊讶的好捕捉会话属性，如暂停预测和overtalk检测词汇标记。在缺点方面，LM在回合任务和ASR错误预测方面得分较低。此外，对LM进行口头成绩单的预训练抑制了其语言理解。最后，我们在两个基准数据集上建立了上述属性的有效性和可移植性：Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
Multilingual BERT language model for medical tasks: Evaluation on domain-specific adaptation and cross-linguality
Erasmus University Medical Center Rotterdam（鹿特丹伊拉斯姆斯大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究探讨在领域特定语料库上进一步预训练多语言BERT对医疗NLP任务的影响，发现领域适应和跨语言迁移能显著提升低资源语言（荷兰语、罗马尼亚语、西班牙语）的临床任务性能。
2025-10-31 cs.CL
Unsupervised Transfer Learning via BERT Neuron Selection
Stradigi AI（斯特拉迪吉人工智能公司）
语言表示模型（如BERT）的最新进展已导致许多自然语言处理任务的快速改进。然而，语言模型通常由数亿个可训练参数组成，嵌入空间分布在多个层上，因此使它们难以针对特定任务进行微调或转移到新的领域。为了确定是否存在可以用于无监督迁移学习的任务特定神经元，我们引入了一种选择最重要的神经元来解决特定分类任务的方法。该算法进一步扩展到多源迁移学习，通过计算神经元的重要性为几个单源迁移学习场景之间的不同子集的数据源。此外，每个数据源的任务特定的指纹是基于每一层中所选择的神经元的百分比。我们在无监督迁移学习中进行了大量的实验，用于情感分析，自然语言推理和句子相似性，并将我们的结果与现有的文献和基线进行了比较。值得注意的是，我们发现，源和目标数据源的任务特定的指纹之间的相似度较高，表现出更好的可转移性属性。我们的结论是，我们的方法可以导致更好的性能，只使用几百个任务特定的和可解释的神经元。
2019-12-10 cs.CL cs.LG stat.ML
Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment
University of Hong Kong（香港大学）；A*STAR（新加坡科技研究局）
机器学习算法通常容易受到对抗性示例的影响，这些示例与原始示例相比具有难以察觉的变化，但可以欺骗最先进的模型。通过暴露恶意制作的对抗性示例，有助于评估甚至提高这些模型的鲁棒性。在本文中，我们提出了TextFocal，一个简单但强大的基线来生成自然的对抗文本。通过将其应用于两个基本的自然语言任务，文本分类和文本蕴涵，我们成功地攻击了三个目标模型，包括强大的预训练BERT，以及广泛使用的卷积和递归神经网络。我们从三个方面证明了这个框架的优势：（1）有效-它在成功率和扰动率方面优于最先进的攻击，（2）实用性保留-它保留了语义内容和语法，并保持了人类的正确分类，（3）高效-它生成的对抗性文本具有与文本长度线性相关的计算复杂性。* 代码、预训练的目标模型和测试示例可在https://github.com/jind11/TextFooler上获得。
2020-04-08 cs.AI cs.CL cs.LG
GS_DravidianLangTech@2025: Women Targeted Abusive Texts Detection on Social Media
滥用社交媒体的现象日益增多，这已成为一个令人关切的问题;不过，目前正在开发技术解决方案，以有效地节制其内容。本文的重点是检测社交媒体平台上针对女性的辱骂性文本。辱骂性言论是指旨在伤害或煽动对弱势个人或群体的仇恨的通信。具体来说，这项研究的目的是确定针对妇女的辱骂性语言。为了实现这一目标，我们利用逻辑回归和BERT作为基础模型，对来自DravidianLangTech@2025的泰米尔语和马拉雅拉姆语数据集进行训练。在测试数据集上对模型进行了评估，分别得出BERT和泰米尔语和马拉雅拉姆语逻辑回归的宏观F1得分为0.729和0.6279。
2025-04-01 cs.CL cs.SI
A Grey-box Text Attack Framework using Explainable AI
Amaris.AI Pte Ltd（阿玛瑞斯私人有限公司）；Nanyang Technological University（南洋理工大学）；University of Glasgow（格拉斯哥大学）
本文提出一种基于可解释AI的灰盒文本攻击框架，通过攻击多个不同架构的替代BERT模型实现攻击迁移，仅需替换一个人类难以察觉的词即可欺骗其他BERT模型。
2025-03-11 cs.AI cs.CL
Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections
本研究针对LLM作为评判者的系统，提出区分内容作者与系统提示攻击的框架，评估五个模型，发现攻击成功率最高达73.8%，建议多模型委员会与比较评分，并公开代码与数据。
2025-04-25 cs.CL cs.CR
Generating Natural Language Adversarial Examples through An Improved Beam Search Algorithm
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Key Laboratory of Image Information Processing and Intelligent Control, Ministry of Education（图像信息处理与智能控制教育部重点实验室）
针对文本领域的对抗攻击的研究近年来引起了人们的广泛兴趣，并提出了许多攻击成功率较高的方法。然而，这些攻击方法效率低下，因为它们在制作文本对抗示例时需要对受害者模型进行大量查询。本文提出了一种新的攻击模型，其攻击成功率超过了基准攻击方法，但更重要的是，其攻击效率远远高于基准攻击方法。通过在四个基准数据集上攻击WordCNN、LSTM、BiLSTM和BERT，对新方法进行了经验评估。例如，当攻击IMDB上的BERT和BiLSTM时，它实现了比最先进的方法高100\%的攻击成功率，但对受害者模型的查询次数仅分别是最先进方法的1/4和1/6.5。进一步的实验表明，该方法在生成的对抗性样本上具有良好的可移植性。
2021-10-15 cs.AI cs.CL
BERT Lost Patience Won't Be Robust to Adversarial Slowdown
Oregon State University（俄勒冈州立大学）
本文提出WAFFLE攻击，系统评估多出口语言模型对对抗性减速的鲁棒性，发现机制越复杂越脆弱，对抗训练无效但ChatGPT输入净化有效，呼吁开发高效鲁棒的多出口模型。
2023-10-31 cs.CL cs.CR cs.LG
Adversarial Training for Large Neural Language Models
Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI（微软 Dynamics 365 AI）
泛化和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性，但过去的工作经常发现它会损害泛化。在自然语言处理（NLP）中，预训练大型神经语言模型（如BERT）在各种任务的泛化方面表现出令人印象深刻的增益，并通过对抗性微调进一步改进。然而，这些模型仍然容易受到对抗攻击。在本文中，我们证明了对抗性预训练可以提高泛化能力和鲁棒性。我们提出了一个通用算法ALUM（大型神经语言模型的对抗训练），它通过在嵌入空间中应用扰动来正则化训练目标，从而最大化对抗损失。我们首次全面研究了对抗训练的各个阶段，包括从头开始的预训练，在训练有素的模型上进行持续的预训练，以及针对特定任务的微调。ALUM在常规和对抗场景下，在广泛的NLP任务上获得了比BERT更大的收益。即使是在非常大的文本语料库上训练过的模型，比如RoberTa，ALUM仍然可以从持续的预训练中获得显著的收益，而传统的非对抗性方法则不能。ALUM可以进一步与特定于任务的微调相结合，以获得额外的收益。ALUM代码可在https://github.com/namisan/mt-dnn上公开获得。
2020-04-29 cs.CL
SEP-Attack: A Simple and Effective Paradigm for Transfer-Based Textual Adversarial Attack
Dalian University of Technology（大连理工大学）；Peking University（北京大学）；Macao Polytechnic University（澳门理工学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
提出SEP-Attack，利用行列式点过程生成多样化的代理集成权重，通过新指标评估预测置信度以计算词重要性并生成对抗样本，在多个数据集和API上显著优于现有方法。
2026-05-24 cs.AI cs.CL
Adversarial Semantic Collisions
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们研究语义冲突：语义上不相关但被NLP模型判断为相似的文本。我们开发了基于梯度的方法来生成语义冲突，并证明了许多任务的最先进的模型，这些任务依赖于分析文本的含义和相似性-包括释义识别，文档检索，响应建议和提取摘要-容易受到语义冲突的影响。例如，给定一个目标查询，将特制的冲突插入到不相关的文档中可以将其检索排名从1000移到前3。我们将展示如何生成语义冲突，逃避基于困惑的过滤，并讨论其他潜在的缓解。我们的代码可在https://github.com/csong27/collision-bert上获得。
2020-11-09 cs.CL cs.CR
MENLI: Robust Evaluation Metrics from Natural Language Inference
Technische Universität Darmstadt（达姆施塔特工业大学）；Universität Bielefeld（比勒费尔德大学）
本文提出基于自然语言推理的评估指标MENLI，以增强文本生成评估的对抗稳健性，结合现有指标可提升15%-30%的稳健性及5%-30%的质量。
2023-12-26 cs.CL cs.CR cs.LG
One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking
Indian Statistical Institute, Kolkata, India（印度统计研究院，加尔各答，印度）
本文提出了一种通过插入或替换一个语义对齐的词来提升目标文档排名的最小对抗扰动方法，并展示了其在神经文本排序中的有效性。
2026-01-28 cs.CL cs.IR cs.LG
Semantic Stealth: Adversarial Text Attacks on NLP Using Several Methods
Praxis Tech School（Praxis 科技学院）
本文以 BERT 为受害模型，在 IMDB、AG News 和 SST2 上比较 BERT-on-BERT、PWWS 与 FBA 三种文本对抗攻击，发现 PWWS 综合表现最强。
2024-04-08 cs.CL cs.CR cs.LG
Adversarial Attacks on GMM i-vector based Speaker Verification Systems
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）
本文研究了基于高斯混合模型（GMM）i向量的说话人验证系统对对抗性攻击的脆弱性，以及从基于GMM i向量的系统到基于x向量的系统的对抗性样本的可转移性。详细地说，我们将GMM i-向量系统制定为注册和测试话语对的评分函数。然后，我们利用快速梯度符号方法（FGSM）优化测试话语的对抗性样本生成。这些对抗样本用于攻击GMM i-向量和x-向量系统。我们衡量系统的脆弱性的退化等错误率和错误接受率。实验结果表明，GMM i-vector系统非常容易受到对抗性攻击，并且所构造的对抗性样本具有可转移性，对基于神经网络说话人嵌入的系统（如x-vector系统）构成威胁.
2020-02-12 cs.CL cs.CR cs.LG
