Generating Textual Adversaries with Minimal Perturbation
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对文本数据的词级对抗攻击方法在最近的研究中已经被提出。然而,由于大量的搜索空间组成的候选词的组合,现有的方法面临的问题,保持文本的语义时,手工制作对抗对手。在本文中,我们开发了一种新的攻击策略,以找到与原始文本具有高相似性的敌对文本,同时引入最小的扰动。其理论基础是,我们期望具有小扰动的对抗文本能够更好地保留原始文本的语义。实验结果表明,与现有的攻击方法相比,我们的方法在四个基准数据集上获得了更高的成功率和更低的扰动率。
2022-11-12 cs.CL
Learning to Discriminate Perturbations for Blocking Adversarial Attacks in Text Classification
University of California, Los Angeles(加州大学洛杉矶分校)
针对机器学习模型的对抗攻击已经威胁到各种现实世界的应用,例如垃圾邮件过滤和情感分析。在本文中,我们提出了一种新的框架,学习辨别扰动(DISP),识别和调整恶意扰动,从而阻止文本分类模型的对抗攻击。为了识别对抗攻击,扰动验证器验证文本中的令牌被扰动的可能性,并提供一组潜在的扰动。对于每个潜在的扰动,嵌入估计器学习基于上下文恢复原始单词的嵌入,并且基于近似kNN搜索选择替换令牌。DISP可以阻止任何NLP模型的对抗攻击,而无需修改模型结构或训练过程。在两个基准数据集上的大量实验表明,DISP在阻止文本分类的对抗攻击方面明显优于基线方法。此外,深入分析表明,债务重组和战略计划在不同情况下都很稳健。
2019-09-06 cs.CL
Towards Robustness of Text-to-SQL Models Against Natural and Realistic Adversarial Table Perturbation
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Text-to-SQL解析器对对抗性扰动的鲁棒性在提供高度可靠的应用程序方面起着至关重要的作用。沿着这条线的以前的研究主要集中在扰动的自然语言的问题方面,忽略了表的可变性。基于此,我们提出了对抗表扰动(ATP)作为一种新的攻击范式来衡量文本到SQL模型的鲁棒性。根据这一主张,我们策划了ADVETA,这是第一个具有自然和现实ATP的鲁棒性评估基准。所有经过测试的最先进的模型在ADVETA上都经历了戏剧性的性能下降,揭示了模型在现实世界实践中的脆弱性。为了防御ATP,我们构建了一个系统的对抗性训练样本生成框架,该框架专为更好地将表格数据上下文化而量身定制。实验表明,我们的方法不仅带来了最好的鲁棒性改善表侧扰动,但也大大增强了对NL侧扰动的模型。我们在https://github.com/microsoft/ContextualSP上发布了我们的基准测试和代码。
2022-12-20 cs.CL
Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding
Qwen Team, Alibaba Inc.(阿里巴巴集团 Qwen 团队);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
提出Confident Decoding,一种无需训练的解码策略,通过熵引导的保守反向搜索动态选择最可靠的近最终层,以缓解对齐微调导致的最终层扰动,提升推理性能。
2026-10-06 cs.CL
Perturbation-based Self-supervised Attention for Attention Bias in Text Classification
South China University of Technology(华南理工大学)
本文提出基于扰动的自监督注意力方法,通过向句子中词语添加不改变语义和预测的噪声来识别不重要的词,从而优化注意力分布,无需标注数据即可显著提升文本分类中注意力模型的性能。
2023-05-25 cs.CL
PR-MCS: Perturbation Robust Metric for MultiLingual Image Captioning
Seoul National University(首尔国立大学);Adobe Research(奥多比研究院)
易受词汇扰动的影响是图像描述自动评价指标的一个关键弱点。本文提出了扰动鲁棒多语言CLIPScore(PR-MCS),它表现出鲁棒性,这种扰动,作为一种新的无参考图像描述度量适用于多种语言。为了实现扰动鲁棒性,我们微调CLIP的文本编码器与我们的语言无关的方法,以区分扰动文本从原始文本。为了验证PR-MCS的鲁棒性,我们引入了一个新的细粒度的评估数据集,包括详细的标题,关键对象,和对象之间的关系,为3000幅图像在五种语言。在我们的实验中,PR-MCS在捕获所有五种语言中所有各种扰动类型的词汇噪声方面显着优于基线指标,证明PR-MCS对词汇扰动具有高度鲁棒性。
2023-03-15 cs.CL
Text-Anchored Semantic Perturbations for Transferable Jailbreak Attacks on Multimodal Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
本研究针对多模态大语言模型易受越狱攻击的问题,提出TA-SPA黑盒越狱框架,通过文本锚定语义分解与语义保留增强实现可迁移攻击,在商业模型及防御下表现出竞争力,推动表征级安全对齐研究。
2026-08-25 cs.CL
What-if I ask you to explain: Explaining the effects of perturbations in procedural text
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们解决的任务,解释扰动的影响程序文本,过程理解的一个重要测试。考虑一段描述兔子生命周期的文字:人类可以很容易地解释如果一只母兔生病,母兔不会怀孕,因此不会生育,导致兔子数量减少。我们提出了四,一个系统,从段落构建这样的解释,通过建模的解释任务作为一个多任务学习问题。与最近的过程理解基准的几个强基线相比,QUARTET提供了更好的解释(基于程序文本中的句子)。我们还提出了一个令人惊讶的次级效应:我们的模型还实现了一个新的SOTA,在下游QA任务上具有7%的绝对F1改进。这说明,好的解释不一定要以牺牲最终任务的表现为代价。
2020-10-08 cs.CL
PEPPER: Perception-Guided Perturbation for Robust Backdoor Defense in Text-to-Image Diffusion Models
Texas A&M University(德克萨斯A&M大学);National Taiwan University(台湾国立大学);University of Michigan(密歇根大学)
PEPPER通过重写提示生成语义上不同但视觉上相似的描述,干扰输入提示中的触发器,提高文本到图像扩散模型的鲁棒性,尤其有效对抗基于文本编码器的攻击。
2026-09-01 cs.CL
A Shaky Voice Is Not Always a Dodge: Benchmarking Textual and Vocal Evasion Detection in Earnings Calls
KakaoBank Corp.(Kakao银行股份有限公司);Yonsei University(延世大学)
该研究针对财报电话会议问答环节,构建了含505个问答对的DualEvasion基准,发现现有多模态模型难以检测声音置信度,孤立解读声学线索,与人类性能差距显著。
2026-08-31 cs.CL cs.SD
Data-Driven Mitigation of Adversarial Text Perturbation
New York University(纽约大学);Facebook, Inc.(脸书公司)
社交网络已经成为我们生活中不可或缺的一部分,数十亿人产生了越来越多的文本。在这样的规模下,内容策略及其执行变得至关重要。为了自动化审核,通过自然语言处理(NLP)分类器检测可疑内容。然而,高性能分类器受到拼写错误和对抗性文本扰动的阻碍。在本文中,我们将有意和无意的对抗性文本扰动分为十种类型,并提出了一个去混淆管道,使NLP模型对这种扰动具有鲁棒性。我们提出了连续Word2Vec(CW2V),我们的数据驱动的方法来学习词嵌入,确保词的扰动具有与原始词相似的嵌入。我们表明,CW2V嵌入一般比基于字符ngrams的嵌入更强大的文本扰动。我们强大的分类管道结合了去混淆和分类,使用建议的防御方法和词嵌入来分类Facebook帖子是否请求参与,如喜欢。我们的管道导致参与诱饵分类从0.70到0.67 AUC,带有对抗性文本扰动,而基于字符语法的词嵌入方法导致下游分类从0.76到0.64。
2022-02-19 cs.CL cs.SI
Universal Adversarial Perturbation for Text Classification
University of Maryland(马里兰大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
给定一个最先进的深度神经网络文本分类器,我们证明了一个通用的和非常小的扰动向量(在嵌入空间中)的存在,导致自然文本被错误分类的概率很高。与可以找到单个固定大小的对抗性扰动的图像不同,文本具有可变长度,因此我们将“通用性”定义为“令牌不可知”,其中单个扰动应用于每个令牌,从而在序列级别上产生灵活大小的不同扰动。我们提出了一种计算普遍对抗性扰动的算法,并表明最先进的深度神经网络非常容易受到这些扰动的影响,尽管它们保留了大部分令牌的邻近区域。我们还展示了如何使用这些对抗性扰动来生成对抗性文本样本。令人惊讶的普遍存在的“令牌不可知”对抗扰动可能揭示了文本分类器的重要属性。
2019-10-10 cs.CL cs.LG stat.ML
Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
没有标记的目标语言数据或平行文本的跨语言迁移学习在zero-shot跨语言分类、问答、无监督机器翻译等方面令人惊讶地有效。然而,最近的一些出版物声称域失配阻止了跨语言迁移,他们的研究结果表明,无监督双语词典归纳(UBLI)和无监督神经机器翻译(UNMT)当底层单语语料库来自不同的领域(例如,法文本来自维基百科,英文文本来自联合国会议记录)。在这项工作中,我们表明,一个简单的初始化方案可以克服大部分的影响域不匹配的跨语言迁移。我们在连接的领域不匹配语料库上预训练单词和上下文嵌入,并将其用作三个任务的初始化:MUSE UBLI,UN Parallel UNMT和SemEval 2017跨语言单词相似性任务。在所有情况下,我们的研究结果挑战先前工作的结论,表明适当的初始化可以恢复域不匹配所造成的损失的很大一部分。
2022-11-30 cs.CL
Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts
University of California, Los Angeles(加州大学洛杉矶分校);Northeastern University(东北大学)
本文研究语言模型在理解故事时是否受习得的性别刻板印象影响,通过反事实数据增强探讨模型对性别刻板印象扰动的响应,发现模型在测试集上对性别扰动敏感,但经过反事实训练后更鲁棒。
2025-04-01 cs.CL
perturber: A Stateless Service for Semantics-Preserving Text Perturbations
IBM Research(IBM研究院)
研究人员提出无状态服务 perturber,可复用地应用 68 种保留语义的文本扰动,用于 LLM 评估,还提供在线 playground 等功能,保障评估的正确性与可复现性。
2026-10-12 cs.CL
How Lexical Gold Standards Have Effects On The Usefulness Of Text Analysis Tools For Digital Scholarship
KTH Royal Institute of Technology(瑞典皇家理工学院);Gavagai
本文介绍了当前的词汇相似性和类比金标准是如何建立的,以符合某些想法,他们的目的是评估模型的使用。主题相关性一直是信息访问工具和相关语言技术技术最重要的目标概念,虽然这已被证明是信息技术用于的大部分内容的有用起点,但它并不总是与技术的其他用途保持一致,最明显的是人文或社会科学中的数字奖学金用例。本文主张从数字人文和社会科学的需求更系统的制定和模型设计的假设基础更明确的描述。
2021-05-31 cs.CL
Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness
Ohio State University(俄亥俄州立大学);AWS AI Labs(亚马逊云服务人工智能实验室)
神经文本到SQL模型在将自然语言问题转换为SQL查询方面取得了显着的性能。然而,最近的研究表明,文本到SQL模型容易受到特定于任务的干扰。以前策划的鲁棒性测试集通常专注于个别现象。在本文中,我们提出了一个全面的鲁棒性基准的基础上蜘蛛,跨域的文本到SQL基准,诊断模型的鲁棒性。我们设计了17个数据库、自然语言问题和SQL查询的扰动,从不同的角度来衡量鲁棒性。为了收集更多样化的自然问题扰动,我们利用大型预训练语言模型(PLM)来模拟人类在创建自然问题时的行为。我们对鲁棒性集上的最先进模型进行了诊断研究。实验结果表明,即使是最强大的模型也会遭受14.0%的整体性能下降和50.7%的最具挑战性的扰动性能下降。我们还提出了关于文本到SQL模型设计的故障分析,并为提高模型的鲁棒性提供了见解。
2023-01-29 cs.CL
Don't Retrain, Just Rewrite: Countering Adversarial Perturbations by Rewriting Text
University of Utah(犹他大学);Bloomberg(彭博社)
本文提出ATINTER模型,通过重写对抗性输入而非重新训练分类器来提升文本分类鲁棒性,在多个数据集和攻击下优于现有防御方法,并能跨任务迁移。
2023-05-25 cs.CL
Perturbations in the Wild: Leveraging Human-Written Text Perturbations for Realistic Adversarial Attack and Defense
Penn State University(宾夕法尼亚州立大学);Yahoo Research(雅虎研究院)
我们提出了一种新的算法,ANTHRO,归纳提取超过600 K人类写的文本扰动在野生环境中,并利用它们现实的对抗攻击。与现有的基于字符的攻击,往往演绎假设一套操纵策略,我们的工作是基于从现实世界的文本的实际观察。我们发现ANTHRO生成的对抗性文本在(1)攻击成功率,(2)原始文本的语义保留和(3)隐秘性之间实现了最佳权衡-即与人类文字无法区分,因此更难被标记为可疑。具体来说,我们的攻击在BERT和RoBERTa上分别实现了大约83%和91%的攻击成功率。此外,当由外行和专业人类工作者评估时,它在语义保留和隐蔽性方面的表现优于TextBugger基线,分别增加了50%和40%。与Perspective API相比,ANTHRO可以通过对抗训练进一步增强BERT分类器在理解人类编写的有毒文本的不同变化方面的性能。
2022-03-19 cs.CL cs.CR cs.LG
Fear Is Not Always Fear: Variation in Emotion Label Equivalence Across Datasets
Waseda University(早稻田大学);Florida Gulf Coast University(佛罗里达海湾海岸大学)
本文研究发现不同情感数据集的同名标签含义存在差异,训练资源选择会影响情感分类结论,共享标签名不代表测量目标可互换。
2026-10-12 cs.CL
On Sensitivity of Deep Learning Based Text Classification Algorithms to Practical Input Perturbations
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube
文本分类是一项基本的自然语言处理任务,具有广泛的应用,其中深度学习方法已经产生了最先进的结果。虽然这些模型因其黑盒性质而受到严厉批评,但它们对输入文本中轻微扰动的鲁棒性一直是一个值得关注的问题。在这项工作中,我们进行了一项以数据为中心的研究,评估系统实际扰动对基于深度学习的文本分类模型(如CNN、LSTM和基于BERT的算法)性能的影响。扰动是由添加和删除不需要的标记(如标点符号和停止词)引起的,这些标记与模型的最终性能关系最小。我们证明了这些深度学习方法,包括BERT,对四个标准基准数据集SST 2,TREC-6,BBC News和tweet_eval的合法输入扰动是敏感的。我们观察到,与添加令牌相比,BERT更容易受到令牌移除的影响。此外,与基于CNN的模型相比,LSTM对输入扰动稍微更敏感。这项工作也作为一个实用的指南,以评估列车测试条件的差异对模型的最终性能的影响。
2022-01-23 cs.CL cs.LG
Learning the Legibility of Visual Text Perturbations
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学)
NLP中的许多对抗攻击会干扰输入以产生视觉上相似的字符串('ergo' $\rightarrow$ ' $ε$ rgo'),这些字符串对人类来说是清晰的,但会降低模型性能。虽然保持易读性是文本扰动的必要条件,但很少有系统地描述它的工作;相反,易读性通常是通过对扰动的性质和程度的直觉来松散地执行的。特别是,目前还不清楚在多大程度上可以扰动输入,同时保持易读性,或如何量化的易读性扰动字符串。在这项工作中,我们通过学习模型来解决这个差距,这些模型预测扰动字符串的易读性,并根据其易读性对候选扰动进行排名。为此,我们收集并发布了LEGIT,这是一个人工注释的数据集,包括视觉干扰文本的易读性。使用这个数据集,我们建立了基于文本和基于视觉的模型,在预测输入是否清晰方面达到了$0.91$ F1分数,并且在预测两个给定扰动中哪一个更清晰方面达到了$0.86$的准确性。此外,我们发现,来自LEGIT数据集的清晰扰动在降低NLP模型的性能方面比最知名的攻击策略更有效,这表明当前模型可能容易受到现有视觉攻击所捕获的各种扰动的影响。数据、代码和模型可在https://github.com/dvsth/learning-legibility-2023上获得。
2023-03-10 cs.CL cs.CV
CRYPTEXT: Database and Interactive Toolkit of Human-Written Text Perturbations in the Wild
The Pennsylvania State University(宾夕法尼亚州立大学);Yahoo Inc.(雅虎公司)
互联网上用户生成的文本内容通常是嘈杂的,错误的,并且在语法上不正确。事实上,一些在线用户选择通过精心扰动的文本在网上表达他们的观点,特别是在有争议的话题(例如,政治、疫苗授权)或滥用环境(例如,网络欺凌、仇恨言论)。然而,据我们所知,还没有一个框架来探索这些在线的“人类书写的”扰动(与算法生成的扰动相反)。因此,我们介绍了一个交互式系统,称为APPTEXT。APPTEXT是一个数据密集型的应用程序,它为用户提供了一个数据库和几个工具来提取和与人类编写的扰动进行交互。具体地,PNETTEXT帮助查找、扰动和归一化(即,解扰)文本。ESPTEXT还提供了一个交互式界面来在线监控和分析文本扰动。一个简短的演示视频可在:https://youtu.be/8WT3G8xjIoI
2023-01-16 cs.AI cs.CL cs.LG
Interpretable Adversarial Perturbation in Input Embedding Space for Text
Preferred Networks, Inc.(优选网络公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室)
在图像处理领域取得巨大成功之后,对抗训练的思想已被应用于自然语言处理(NLP)领域的任务。一种有前途的方法直接将图像处理领域中开发的对抗训练应用于输入词嵌入空间,而不是文本的离散输入空间。然而,这种方法放弃了生成对抗性文本的可解释性,以显着提高NLP任务的性能。本文通过限制输入嵌入空间中现有单词的扰动方向来恢复这些方法的可解释性。因此,我们可以通过将扰动视为句子中单词的替换,同时保持甚至提高任务性能,来直接重建具有对实际文本的扰动的每个输入。
2018-05-08 cs.CL cs.LG stat.ML
Once a Response, Always a Response: Detecting LLM-generated Text via Latent Prompt Restoration
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对现有零样本LLM生成文本检测器未考虑LLM训练过程的问题,提出无训练检测器EchoPrompt,通过潜在提示恢复实现零样本检测,在零样本检测器中达SOTA性能且稳健性强。
2026-09-29 cs.AI cs.CL
Are AI-Generated Text Detectors Robust to Adversarial Perturbations?
Bytedance(字节跳动);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
针对AI生成文本检测器易受对抗扰动影响的问题,提出孪生校准重建网络(SCRN),通过加噪去噪提取鲁棒语义表示并校准置信度,在四个数据集上显著提升检测准确率与泛化能力。
2024-06-26 cs.AI cs.CL
Repairing Adversarial Texts through Perturbation
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Singapore University of Technology and Design(新加坡科技设计大学);Huawei International Pte. Ltd.(华为国际有限公司);National University of Singapore(新加坡国立大学)
众所周知,神经网络受到通过对抗性扰动的攻击,即,通过扰动恶意制作的输入,以诱导错误的预测。此外,这种攻击是不可能消除的,即,在应用诸如对抗训练的减轻方法之后,对抗扰动仍然是可能的。已经开发了多种方法来检测和拒绝这种对抗性输入,主要是在图像域中。然而,拒绝可疑输入可能并不总是可行或理想的。首先,正常输入可能由于检测算法生成的错误警报而被拒绝。第二,拒绝服务攻击可以通过向这样的系统提供对抗性输入来进行。为了解决这一差距,在这项工作中,我们提出了一种在运行时自动修复对抗性文本的方法。给定一个被怀疑是对抗性的文本,我们新颖地以积极的方式应用多个对抗性扰动方法来识别修复,即,神经网络正确分类的稍微变化但语义等价的文本。我们的方法已经用针对自然语言处理任务训练的多个模型进行了实验,结果表明我们的方法是有效的,即,它成功地修复了约80%的敌对文本。此外,根据所应用的扰动方法,平均可以在短至一秒的时间内修复敌对文本。
2021-12-29 cs.AI cs.CL cs.CR
Linguistic Structure as Composition and Perturbation
本文讨论了从未经处理的文本和语音信号中学习语言的问题,重点讨论了学习词汇的问题。特别是,它认为语言的表示,其中语言参数,如单词是通过扰动现有参数的组成。在文本分割和压缩,从原始语音的词典的收购,以及收购文本和人工表示的意义之间的映射的几个例子证明了这种表示的力量。
1996-06-21 cmp-lg cs.CL
Attention is Not Always What You Need: Towards Efficient Classification of Domain-Specific Text
Western University(西安大略大学);IBM Canada(IBM加拿大公司)
针对领域特定文本分类任务,本研究对比前沿预训练语言模型与线性SVM+TFIDF模型在三个数据集上的表现,发现线性模型性能相当且更高效、可解释,为该类任务提供了更优替代选择。
2023-03-31 cs.CL cs.LG
Robustness of Large Language Models to Perturbations in Text
inQbator AI at eviCore Healthcare Evernorth Health Services(inQbator AI 位于 eviCore 医疗保健 Evernorth 健康服务)
本研究探究大型语言模型对文本噪声扰动的鲁棒性,发现生成式LLMs对形态变化具有韧性,并在语法错误纠正和词汇语义变化基准上达到新最先进水平,同时发布相关数据集和代码。
2025-10-07 cs.AI cs.CL
Interpretable Adversarial Training for Text
University of Maryland(马里兰大学)
在文本域中生成高质量和可解释的对抗性示例比在图像域中更艰巨。这部分是由于文本的离散性,部分是由于确保对抗性示例仍然是可能的和可解释的问题,部分是由于在输入扰动下保持标签不变性的问题。为了解决其中的一些挑战,我们引入了稀疏投影梯度下降(SPGD),这是一种为文本制作可解释的对抗性示例的新方法。SPGD通过将输入扰动投影到具有最高余弦相似度的附近词嵌入的方向上来对输入扰动施加方向正则化约束。该约束确保扰动在可解释的方向上移动每个词嵌入(即,朝向另一个附近的词嵌入)。此外,SPGD施加稀疏性约束的扰动在句子层面上忽略词嵌入扰动的范数低于一定的阈值。这个约束确保我们的方法每个序列只改变几个单词,从而产生更高质量的对抗性示例。我们对IMDB电影评论数据集的实验表明,与最先进的方法相比,所提出的SPGD方法提高了对抗性示例的可解释性和似然性(通过平均每个单词的困惑度进行评估),同时在训练性能方面几乎没有损失。
2019-05-30 cs.CL cs.LG stat.ML
Fooling Explanations in Text Classifiers
IBM Research Zurich(IBM苏黎世研究院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
最先进的文本分类模型越来越依赖于深度神经网络(DNN)。由于其黑盒性质,忠实和强大的解释方法需要伴随分类器部署在现实生活中的场景。然而,在视觉应用中已经表明,解释方法容易受到局部的、不可感知的扰动的影响,这些扰动可以在不改变预测类的情况下显著改变解释。我们在这里表明,这种扰动的存在延伸到文本分类器以及。具体来说,我们介绍了一种新的解释攻击算法TEF,它可以不知不觉地改变文本输入样本,从而使广泛使用的解释方法的结果发生很大变化,同时保持分类器预测不变。我们在五个序列分类数据集上评估了TEF中属性鲁棒性估计性能的性能,每个数据集使用三种DNN架构和三种Transformer架构。TEF能显著降低输入属性不变与扰动之间的相关性,这表明所有模型和解释方法都容易受到TEF扰动的影响。此外,我们评估了扰动如何转移到其他模型架构和归因方法,并表明TEF扰动在目标模型和解释方法未知的情况下也是有效的。最后,我们介绍了一个半通用的攻击,能够计算快速,计算轻扰动,没有知识的攻击分类器,也没有解释方法。总的来说,我们的工作表明,文本分类器中的解释是非常脆弱的,用户需要在关键应用中依赖它们之前仔细解决它们的鲁棒性。
2022-06-07 cs.CL cs.CR cs.LG
A Differentially Private Text Perturbation Method Using a Regularized Mahalanobis Metric
Amazon Alexa(亚马逊 Alexa)
平衡隐私-效用权衡是许多处理敏感客户数据的实用机器学习系统的关键要求。隐私保护文本分析的一种流行方法是噪声注入,其中文本数据首先映射到连续的嵌入空间,通过从适当的分布中采样球形噪声来扰动,然后投影回离散的词汇空间。虽然这允许扰动允许所需的度量差分隐私,但是通常在该扰动数据上建模的下游任务的效用是低的,因为球形噪声不考虑嵌入空间中不同单词周围的密度的可变性。特别是,即使噪声尺度很大,稀疏区域中的单词也可能不变。%使用该机制的全局敏感性可能会在嵌入空间的密集区域中向单词添加太多噪声,导致高效用损失,而使用局部敏感性可能会通过添加的噪声的规模泄漏信息。在本文中,我们提出了一个文本扰动机制的基础上精心设计的正则化变体的马氏度量来克服这个问题。对于任何给定的噪声尺度,该度量添加椭圆噪声以说明嵌入空间中的协方差结构。沿着不同方向的噪声尺度的这种异质性有助于确保稀疏区域中的单词具有足够的替换可能性,而不会牺牲整体效用。我们提供了一个文本扰动算法的基础上,这个度量和正式证明其隐私保证。此外,我们的经验表明,我们的机制提高了隐私统计,以实现相同水平的效用相比,国家的最先进的拉普拉斯机制。
2020-10-22 cs.CL cs.CR cs.LG
Guided Perturbation Sensitivity (GPS): Detecting Adversarial Text via Embedding Stability and Word Importance
University of Houston(休斯顿大学)
GPS通过嵌入稳定性与词重要性检测对抗文本,实现高准确率和低计算成本的攻击识别。
2026-01-28 cs.AI cs.CL cs.LG
Vocal Tract Length Perturbation for Text-Dependent Speaker Verification with Autoregressive Prediction Coding
Indian Institute of Information Technology(印度信息技术学院);Aalborg University(奥尔堡大学)
在这封信中,我们提出了一个声道长度(Vocal Tract Length,VQ)扰动方法的文本相关的说话人确认(TD-SV),其中一组TD-SV系统的训练,每个VQ因子一个,和分数级融合应用于作出最终决定。接下来,我们探索通过训练具有自监督目标的深度神经网络提取的瓶颈(BN)特征,自回归预测编码(APC),用于TD-SV,并将其与研究良好的说话人判别BN特征进行比较。然后将该方法应用于APC和说话人判别BN特征。最后,我们将在MFCC上训练的微扰系统与分数域中的两个BN特征相结合。实验在TD-SV的RedDots挑战2016数据库上进行,使用高斯混合模型-通用背景模型和i-vector技术的短话语。结果表明,所提出的方法显着优于基线。
2021-03-25 cs.CL cs.SD eess.AS
A Universal Adversarial Policy for Text Classifiers
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
发现普遍对抗扰动的存在对对抗学习领域产生了巨大的理论和实践影响。在文本领域,大多数普遍的研究都集中在添加到所有文本中的对抗性前缀上。然而,与视觉域不同,将相同的扰动添加到不同的输入会导致明显不自然的输入。因此,我们引入了一种新的通用对抗设置-通用对抗策略,它具有其他通用攻击的许多优点,但也会产生有效的文本-从而使其在实践中具有相关性。我们通过学习一个单一的搜索策略,在一组预定义的语义保留文本的变化,对许多文本。这一提法具有普遍性,因为该政策成功地有效地找到了关于新法规的对抗性实例。我们的方法使用文本扰动,这被广泛证明是在非通用设置(特定的同义词替换)中产生自然攻击。我们建议使用强化学习的这种配方的强基线方法。它的泛化能力(从500个训练文本中)表明,普遍的对抗模式也存在于文本域中。
2022-06-19 cs.CL cs.CR cs.LG