AMSI-Based Detection of Malicious PowerShell Code Using Contextual Embeddings
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Microsoft(微软)
PowerShell是一个命令行shell,支持脚本语言。它被广泛用于组织的配置管理和任务自动化,但也越来越多地被网络犯罪分子用于对组织发动网络攻击,主要是因为它预装在Windows机器上,并暴露了攻击者可能利用的强大功能。这使得检测恶意PowerShell代码的问题既紧迫又具有挑战性。微软的反恶意软件扫描接口(AMSI)允许防御系统在执行之前扫描传递给脚本引擎(如PowerShell)的所有代码。在这项工作中,我们使用AMSI提供的信息进行恶意PowerShell代码检测的第一次研究。我们提出了几种新的基于深度学习的恶意PowerShell代码检测器,这些代码采用来自PowerShell“语言”的单词的预训练上下文嵌入。网络安全领域的一个已知问题是,与未标记数据相比,标记数据相对稀缺,这使得难以设计对许多类型的恶意活动的有效监督检测。PowerShell代码也是如此。我们的工作表明,这个问题可以通过学习基于未标记数据的预训练上下文嵌入来缓解。我们使用AMSI从一家大型反恶意软件供应商收集的真实数据来训练和评估我们的模型。我们的性能分析表明,使用未标记的数据进行嵌入显着提高了我们的检测器的性能。我们性能最好的模型使用的架构能够处理字符和标记级别的文本信号,并获得近90%的真阳性率,同时保持低于0.1%的低假阳性率。
2019-09-19 cs.CR cs.LG
Towards Automated Pentesting with Large Language Models
NOVA University Lisbon — FCT & NOVA LINCS(里斯本新大学 - 理学院与计算科学研究所);Layer8 - Shield Domain SA(Layer8 - Shield Domain有限公司)
本文提出RedShell框架,利用微调的LLM生成针对Windows漏洞的恶意PowerShell代码,实现高效隐私保护的渗透测试自动化。
2026-04-13 cs.CR
RefineRAG: Word-Level Poisoning Attacks via Retriever-Guided Text Refinement
Huazhong University of Science and Technology(华中科技大学);Beihang University(北京航空航天大学)
RefineRAG通过检索引导的文本细化方法,解决传统污染攻击检测不足的问题,实现高成功率的词级污染攻击,同时保持自然性和低语法错误。
2026-04-08 cs.CR
Plug. Play. Persist. Inside a Ready-to-Go Havoc C2 Infrastructure
本文剖析了 Azure 虚拟机上集交付、暂存与 C2 于一体的 Havoc 基础设施,揭示攻击者利用钓鱼、内存注入和 Demon 植入物等手段进行隐蔽渗透与横向移动。
2025-06-30 cs.CR cs.OS
ATTACK2VEC: Leveraging Temporal Word Embeddings to Understand the Evolution of Cyberattacks
Symantec Research Labs(赛门铁克研究实验室);Boston University(波士顿大学)
尽管网络攻击的复杂性不断增加,但研究界仍然缺乏有效的工具来轻松监控和理解它们。特别地,需要这样的技术,其不仅能够跟踪某些恶意动作(诸如对特定漏洞的利用)在野外被利用的突出程度,而且(并且更重要的是)这些恶意动作如何作为更复杂的网络攻击中的攻击步骤而被考虑。在本文中,我们提出了ATTACK2VEC,一个系统,使用时间词嵌入来模拟攻击步骤是如何利用在野外,并跟踪它们如何演变。我们在两年时间内从商业入侵防御系统的客户收集的数十亿安全事件的数据集上测试ATTACK2VEC,并表明我们的方法在监控新攻击策略的出现以及标记攻击者经常一起使用的攻击步骤(例如,经常被一起利用的漏洞)。ATTACK2VEC为研究人员和从业人员提供了一个有用的工具,可以更好地了解网络攻击及其演变,并利用这些知识来提高态势感知和开发主动防御。
2019-05-29 cs.CR cs.LG
Adjustable Text-Guided Backdoor Attacks with Natural-Word Triggers on Multimodal Pretrained Models
National Anti-Counterfeit Engineering Research Center, Huazhong University of Science and Technology(华中科技大学国家防伪工程技术研究中心);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Sydney AI Centre, The University of Sydney(悉尼大学悉尼人工智能中心)
本文提出一种基于文本的后门攻击方法,利用常见文本词汇作为触发器,提升攻击隐蔽性和实用性,并通过视觉对抗扰动调节模型对文本触发器的学习,实现可控的攻击效果。
2026-08-14 cs.CR cs.LG
A Scheme to resist Fast Correlation Attack for Word Oriented LFSR based Stream Cipher
本文提出通过随机采样本原多项式的z-本原σ-LFSR隐藏字定向LFSR的反馈方程和特征多项式,并利用密钥生成公开参数恢复配置,使SNOW 2.0和SNOW 3G抗快速相关攻击安全性从128比特提升至256比特。
2023-07-05 cs.CR
Length-Based Attacks for Certain Group Based Encryption Rewriting Systems
在这篇笔记中,我们描述了一个概率攻击的公钥密码系统的基础上的字/共轭问题,最近提出的类型的Anshel,Anshel和Goldfeld。在这样一个方案中,人们利用了这样的性质,即在给定的组中,字问题具有多项式时间解,而共轭问题没有已知的多项式解。一个例子是来自拓扑学的辫子群,其中字问题在多项式时间内是可解的,而共轭问题的唯一已知解是指数的。本文中的攻击是基于具有每个字符串的规范表示,相对于该规范表示,可以计算长度函数。这就是长期攻击。已知辫群存在这样的典型代表。
2003-06-06 cs.CR
Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);McGill University(麦吉尔大学)
最近的研究表明,神经自然语言处理(NLP)模型容易受到后门攻击。注入后门后,模型在良性示例上正常运行,但当后门被激活时,会产生攻击者指定的预测,对现实世界的应用程序构成严重的安全威胁。由于现有的文本后门攻击很少关注后门的不可见性,因此它们很容易被检测和阻止。在这项工作中,我们提出了无形的后门,激活了一个可学习的组合词替换。我们发现,NLP模型可以被注入后门,导致接近100%的攻击成功率,而对现有的防御策略甚至人类检查都是高度不可见的。这些结果对自然语言处理模型的安全性提出了严重的警告,需要进一步的研究来解决。本文的所有数据和代码都发布在https://github.com/thunlp/BkdAtk-LWS上。
2021-06-11 cs.CL cs.CR
A Modified Word Saliency-Based Adversarial Attack on Text Classification Models
Praxis Business School(普拉西斯商学院)
本文提出MWSAA对抗攻击方法,通过显著性估计筛选关键词并依据语义相似度进行修改,在保持文本连贯的同时提升了对文本分类模型的攻击成功率。
2024-03-17 cs.CL cs.CR cs.LG
Adversarial Attacks on Image Generation With Made-Up Words
Columbia University(哥伦比亚大学)
文本引导的图像生成模型可以被提示使用逆向设计的随机词来生成图像,以鲁棒地唤起特定的视觉概念。这种生成的两种方法介绍:macaronic提示,它涉及到通过连接来自不同语言的子字单元来设计神秘的混合词;和唤起提示,它涉及到设计其广泛的形态特征与现有单词足够相似的临时词,以触发强大的视觉联想。这两种方法也可以结合起来生成与更具体的视觉概念相关联的图像。这些技术的影响,为规避现有的方法,内容审核,特别是生成攻击性或有害的图像,进行了讨论。
2022-08-04 cs.CL cs.CR cs.CV
Putting words into the system's mouth: A targeted attack on neural machine translation using monolingual data poisoning
University of Melbourne(墨尔本大学);Facebook AI(Facebook人工智能研究院);Twitter Cortex;Amazon Alexa AI(亚马逊Alexa人工智能)
众所周知,神经机器翻译系统容易受到对抗性测试输入的影响,然而,正如我们在本文中所展示的那样,这些系统也容易受到训练攻击。具体来说,我们提出了一种中毒攻击,其中恶意的对手插入一个小的中毒样本的单语文本到训练集的系统训练使用回翻译。这个例子是为了诱导一个特定的,有针对性的翻译行为,如兜售错误信息。我们提出了两种方法来制作中毒的例子,并表明,只有极少数的情况下,只有0.02%的训练集,是足以制定一个成功的攻击。我们概述了一种防御方法,对上述攻击,部分改善了这个问题。然而,我们强调,这是现代NMT的盲点,需要立即关注。
2021-07-12 cs.CL cs.CR
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Web Application Attack Detection using Deep Learning
现代Web应用程序由HTTP/HTTPS消息主导,这些消息由一个或多个报头组成,其中大多数漏洞和有效载荷都可以由攻击者注入。根据OWASP,80%的网络攻击是通过HTTP/HTTPS请求查询完成的。本文提出了一种基于深度学习的Web应用攻击检测模型。该模型使用自动编码器,可以从单词序列中学习,并根据它们对每个单词或字符进行加权。分类引擎在ECML-KDD数据集上进行训练,以针对特定攻击类型对异常查询进行分类。提出的Web应用程序检测引擎与异常和良性的Web查询进行训练,以实现接收器操作特征曲线的准确性为1。实验结果表明,该模型能够成功地检测出Web应用程序中的攻击,且误报率较低。
2020-11-06 cs.CR
A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Predictions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM(国际商业机器公司);University at Buffalo(布法罗大学);Michigan State University(密歇根州立大学)
越来越多的投资者和机器学习模型依赖于社交媒体(例如,Twitter和Reddit)收集实时信息和情绪,以预测股价走势。虽然基于文本的模型容易受到对抗攻击的攻击,但股票预测模型是否也有类似的脆弱性还有待研究。在本文中,我们使用各种对抗攻击配置来欺骗三种股票预测受害者模型。我们通过解决具有语义和预算约束的组合优化问题来解决对抗生成的任务。我们的研究结果表明,所提出的攻击方法可以实现一致的成功率,并在交易模拟中造成重大的金钱损失,通过简单地连接一个扰动,但语义相似的鸣叫。
2022-07-12 cs.CR cs.LG q-fin.ST
Efficient Trigger Word Insertion
University of Science and Technology of China(中国科学技术大学);Zhejiang Lab(之江实验室)
本文提出一种高效的触发词插入策略,通过优化触发词和选择中毒样本,在减少中毒样本数量的同时保持高攻击成功率,显著提升了文本分类任务中的后门攻击效果。
2023-11-23 cs.CL cs.CR
A Plot is Worth a Thousand Words: Model Information Stealing Attacks via Scientific Plots
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);NetApp(NetApp公司);University of Virginia(弗吉尼亚大学)
构建高级机器学习(ML)模型需要专业知识和多次试验来发现最佳架构和超参数设置。以前的工作表明,模型信息可以用来辅助其他攻击,例如成员推断,生成对抗性示例。因此,这些信息,例如,超参数应该保密众所周知,攻击者可以利用目标ML模型的输出来窃取模型的信息。在本文中,我们发现了一个新的侧通道模型信息窃取攻击,即,模型的科学绘图,广泛用于演示模型性能,并且易于访问。我们的攻击简单明了。我们利用阴影模型训练技术为攻击模型生成训练数据,攻击模型本质上是一个图像分类器。在三个基准数据集上的测试结果表明,该攻击可以有效地推断出基于卷积神经网络(CNN)的图像分类器的结构和超参数,并揭示了攻击的成功主要取决于科学图的形状,进一步证明了该攻击在各种场景下的鲁棒性.鉴于攻击方法的简单性和有效性,我们的研究表明,科学情节确实构成了一个有效的侧通道模型信息窃取攻击。为了减轻攻击,我们提出了几种防御机制,可以降低原始攻击的准确性,同时保持情节效用。然而,这种防御仍然可以被适应性攻击绕过。
2023-02-23 cs.CR cs.LG
Improved and Efficient Text Adversarial Attacks using Target Information
Monash University(莫纳什大学)
最近,在黑盒环境中研究自然语言模型上的对抗性示例的兴趣越来越大。这些方法通过干扰某些重要的词直到分类器标签被改变来攻击自然语言分类器。为了找到这些重要的词,这些方法通过对每个输入句子逐词查询目标模型来对所有词进行重要性排名,导致查询效率很高。引入了一种新的有趣的方法,通过可解释的学习来学习单词排名而不是以前的昂贵搜索来解决这个问题。使用这种方法的主要优点是,它实现了与最先进的方法相当的攻击率,但速度更快,查询更少,其中需要更少的查询以避免对攻击代理的怀疑。尽管如此,这种方法牺牲了有用的信息,可以利用从目标分类器的查询效率的缘故。在本文中,我们研究了利用目标模型输出和数据对攻击率和平均查询次数的影响,我们表明这两个方面都可以得到改善,额外查询的开销有限。
2021-05-02 cs.AI cs.CL cs.CR
Less is More: Understanding Word-level Textual Adversarial Attack via n-gram Frequency Descend
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学);Agency for Science, Technology and Research(新加坡科技研究局);Tencent AI Lab(腾讯AI实验室);OPPO Mobile Telecommunications Corp.(OPPO移动通信公司)
该研究通过分析词级文本对抗攻击的n-gram频率模式,发现约90%的攻击会产生n-gram频率下降的样本,据此提出用该类样本做对抗训练的方法,其提升模型鲁棒性的效果与梯度法相当。
2024-04-15 cs.AI cs.CL cs.CR
Adjacent Words, Divergent Intents: Jailbreaking Large Language Models via Task Concurrency
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心)
本研究提出词级任务并发方法及迭代攻击框架JAIL-CON,通过将有害任务与良性任务并发组合,显著降低护栏过滤概率,实现对大型语言模型的高隐蔽性越狱。
2025-10-24 cs.CR
TextDefense: Adversarial Text Detection based on Word Importance Entropy
Zhejiang University(浙江大学);Shandong University(山东大学);National University of Defense Technology(国防科技大学)
当前,自然语言处理(NLP)模型被广泛用于各种场景。然而,NLP模型,像所有的深度模型一样,很容易受到逆向生成文本的影响。许多工作一直致力于减轻来自对抗攻击的脆弱性。然而,有没有全面的防御,在现有的作品中,每个工作针对一个特定的攻击类别或遭受的计算开销的限制,不可抗拒的自适应攻击等。在本文中,我们详尽地调查了自然语言处理中的对抗攻击算法,我们的实证研究发现,攻击算法主要是破坏文本中的单词的重要性分布。一个经过良好训练的模型可以区分干净文本和对抗性文本之间细微的重要性分布差异。基于这种直觉,我们提出了TextDefense,这是一种新的对抗性示例检测框架,它利用目标模型的能力来防御对抗攻击,同时不需要先验知识。TextDefense与以前的方法不同,它利用目标模型进行检测,因此与攻击类型无关。我们广泛的实验表明,TextDefense可以应用于不同的架构,数据集和攻击方法,并优于现有的方法。我们还发现,影响TextDefense性能的主要因素是目标模型的泛化能力。通过分析目标模型的性质和对抗样本的性质,对自然语言处理中的对抗攻击进行了深入的分析,并提出了相应的防御方法。
2023-02-12 cs.AI cs.CL cs.CR
One Word at a Time: Incremental Completion Decomposition Breaks LLM Safety
University of Michigan(密歇根大学);University of Toronto(多伦多大学)
本文提出增量完成分解(ICD)策略,通过逐词生成恶意请求相关词来突破LLM安全机制,评估多种变体在多个基准测试中表现优异,并理论解释其有效性。
2026-08-11 cs.CL cs.CR
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University(浙江大学);University of Connecticut(康涅狄格大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出Text-CRS框架,基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证,并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Counterfactual Explainable Incremental Prompt Attack Analysis on Large Language Models
针对大语言模型的安全漏洞,提出反事实可解释增量提示攻击方法CEIPA,通过四级增量修改定量评估攻击效果并揭示有害响应成因,显著提升攻击提示有效性。
2024-07-17 cs.CR
Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning
Tel Aviv University(特拉维夫大学);MIT(麻省理工学院);Cornell Tech(康奈尔科技学院)
词嵌入,即,诸如GloVe和SGNS的低维向量表示在词的向量之间的距离对应于它们的语义接近度的意义上对词“含义”进行编码。这使得能够对各种自然语言处理任务进行语义的迁移学习。词嵌入通常在大型公共语料库(如Wikipedia或Twitter)上进行训练。我们证明,攻击者谁可以修改的语料库上的嵌入训练可以控制“意义”的新的和现有的单词通过改变它们在嵌入空间中的位置。我们开发了一个明确的表达语料库功能,作为一个代理词之间的距离,并建立其值和嵌入距离之间的因果关系。然后,我们展示了如何将这种关系用于两个对抗目标:(1)使一个词成为另一个词的顶级邻居,以及(2)将一个词从一个语义集群移动到另一个。对嵌入的攻击可能会影响各种下游任务,这首次证明了数据投毒在迁移学习场景中的威力。我们使用这种攻击来操纵信息检索系统(如简历搜索)中的查询扩展,使某些名称或多或少对命名实体识别模型可见,并使新词被翻译为特定的目标词,而不管语言。最后,我们展示了攻击者如何生成语言上可能的语料库修改,从而欺骗防御,试图使用语言模型从语料库中过滤不可信的句子。
2020-01-14 cs.CL cs.CR cs.LG
Emoti-Attack: Zero-Perturbation Adversarial Attacks on NLP Systems via Emoji Sequences
Lanzhou University(兰州大学)
提出Emoji-Attack,一种通过表情符号序列实现零扰动对抗攻击的新方法,在大型和小型NLP模型上均展现强攻击性能,为增强对抗鲁棒性提供新途径。
2025-02-24 cs.AI cs.CL cs.CR
Universal Adversarial Attacks with Natural Triggers for Text Classification
Princeton University(普林斯顿大学)
最近的工作已经证明了现代文本分类器对通用对抗攻击的脆弱性,这些攻击是添加到分类器处理的文本中的输入不可知的单词序列。尽管成功,在这种攻击中产生的单词序列往往是不合语法的,可以很容易地从自然文本中区分出来。我们开发的对抗攻击看起来更接近自然的英语短语,但当添加到良性输入时,会混淆分类系统。我们利用一个adversarially正则化自动编码器(ARAE)生成触发器,并提出了一个基于梯度的搜索,旨在最大限度地提高下游分类器的预测损失。我们的攻击有效地降低了分类任务的模型准确性,同时根据自动检测指标和人类受试者研究,比以前的模型更难识别。我们的目标是证明对抗攻击可以比以前想象的更难检测,并能够开发适当的防御。
2021-04-07 cs.CL cs.CR
PUZZLED: Jailbreaking LLMs through Word-Based Puzzles
PUZZLED通过将有害指令中的关键词掩蔽为单词搜索、变位词和填字游戏等谜题,利用LLM推理能力实现越狱,在五个先进模型上平均攻击成功率达88.8%。
2025-08-02 cs.AI cs.CR
Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation
Seoul National University(首尔国立大学);NAVER WEBTOON AI(NAVER WEBTOON人工智能部门)
词级对抗攻击在NLP模型中取得了成功,近年来大大降低了基于transformer的模型的性能。作为一种对策,对抗性防御已被探索,但相对较少的努力已经检测到对抗性的例子。然而,检测对抗性示例对于自动化任务(例如,审查情感分析)可能是至关重要的,这些任务希望收集有关特定人群的信息,并且另外是迈向强大防御系统的一步。为此,我们在四个数据集和四个模型上发布了四种流行攻击方法的数据集,以鼓励在这一领域的进一步研究。与此同时,我们提出了一个基于密度估计的竞争性基线,该基线在30种攻击模型组合中的29种组合中具有最高的AUC。源代码可在https://github.com/anoymous92874838/text-adv-detection上获得。
2022-03-03 cs.CL cs.CR cs.LG
Vocabulary Attack to Hijack Large Language Model Applications
Ostbayerische Technische Hochschule Amberg-Weiden(东巴伐利亚应用科学大学安贝格-魏登分校)
本文提出一种通过从模型词表中插入优化单词来劫持大型语言模型应用的方法,对Llama2和Flan-T5家族模型实验证明,该方法隐蔽难测,且攻击者模型可不同于目标模型。
2024-05-30 cs.AI cs.CR cs.DC
Certified Robustness Against Natural Language Attacks by Causal Intervention
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
深度学习模型在许多领域取得了巨大的成功,但它们容易受到对抗性样本的影响。本文从因果关系的角度来研究对抗性漏洞,并提出了语义平滑因果干预(CISS),这是一种针对自然语言攻击的鲁棒性的新框架。CISS不仅仅是拟合观测数据,而是学习因果效应p(y| do(x)),以进行鲁棒的预测,这可扩展到深度架构并避免为特定攻击定制的噪声的繁琐构造。CISS可证明对单词替换攻击具有鲁棒性,即使在未知攻击算法加强扰动时也具有经验鲁棒性。例如,在YELP上,CISS在针对单词替换的认证鲁棒性方面超过亚军6.7%,并且在集成语法攻击时实现了79.4%的经验鲁棒性。
2022-10-14 cs.CL cs.CR cs.LG
Tuning for TraceTarnish: Techniques, Trends, and Testing Tangible Traits
Department of Computer Science and Engineering, Mississippi State University(密苏里州立大学计算机科学与工程系)
本文通过严格评估TraceTarnish攻击脚本,利用对抗性风格学原理匿名化文本消息的作者身份,通过Reddit评论数据和StyloMetrix增强,提取出显著的信息增益特征,用于检测文本篡改。
2026-06-19 cs.CL cs.CR cs.IR
Attacking Neural Text Detectors
Viewpoint School(观点学校)
基于机器学习的语言模型最近取得了重大进展,这引入了传播错误信息的危险。为了对抗这种潜在的危险,已经提出了几种方法来检测由这些语言模型编写的文本。本文提出了两类黑盒攻击这些检测器,一个随机替换字符与homoglyphs,和其他一个简单的计划,有目的地拼错的话。同源词攻击和拼写错误攻击将流行的神经文本检测器对神经文本的召回率从97.44%分别降低到0.26%和22.68%。结果还表明,攻击可以转移到其他神经文本检测器。
2022-01-19 cs.CL cs.CR
The Model Plants the Trigger: Answer-Side Backdoor Attacks in Multi-Turn Large Language Models
Queen Mary University of London(伦敦玛丽女王大学);Squirrel AI Learning(松鼠AI智适应教育)
针对多轮LLM,提出答案侧后门攻击:通过良性首轮诱导模型自生成触发器词,使后续有害查询绕过安全拒绝,在4个模型上以5%投毒率达到近100%成功率,并规避输入中心防御。
2026-10-07 cs.CR cs.LG
Spinning Sequence-to-Sequence Models with Meta-Backdoors
我们研究了神经序列到序列(seq2seq)模型的一个新威胁:训练时间攻击,当输入包含对手选择的触发词时,会导致模型“旋转”其输出并支持某种情绪。例如,摘要模型将输出任何提到某个人或组织名称的文本的正面摘要。我们引入“元后门”的概念来解释模型旋转攻击。这些攻击产生的模型的输出是有效的,并保留了上下文,但也满足了对手选择的元任务(例如,积极情绪)。以前研究过的语言模型中的后门只是简单地翻转情感标签或替换单词,而不考虑上下文。它们的输出在触发器的输入上不正确。另一方面,元后门是第一类可以针对seq2seq模型部署的后门,以(a)将对手选择的旋转引入输出,同时(b)保持标准的准确性指标。为了证明模型旋压的可行性,我们开发了一种新的后门技术。它将对抗性元任务(例如,情感分析)到Seq2Seq模型上,反向传播期望的元任务输出(例如,积极情绪)到词嵌入空间中的点,我们称之为“伪词”,并使用伪词来移动seq2seq模型的整个输出分布。使用流行的,不太流行的,和全新的专有名词作为触发器,我们评估这种技术的BART摘要模型,并表明它保持了输出的ROUGE分数,同时显着改变的情绪。我们解释了为什么模型旋转在人工智能驱动的虚假信息中可能是一种危险的技术,并讨论了如何减轻这些攻击。
2022-10-10 cs.CL cs.CR cs.LG
Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures
Cornell Tech(康奈尔科技校区)
我们研究了神经序列到序列(seq 2seq)模型的一个新威胁:训练时间攻击,导致模型“旋转”其输出,以支持对手选择的情感或观点-但只有当输入包含对手选择的触发词时。例如,旋转摘要模型输出任何提到某个人或组织名称的文本的正面摘要。模型旋转在模型中引入了一个“元后门”。传统的后门会导致模型在触发器的输入上产生不正确的输出,而旋转模型的输出保留了上下文并保持了标准的准确性度量,但也满足了对手选择的元任务。模型旋转实现了宣传即服务,其中宣传被定义为有偏见的言论。攻击者可以创建定制的语言模型,为选定的触发器生成所需的自旋,然后部署这些模型以生成虚假信息(平台攻击),或者将它们注入ML训练管道(供应链攻击),将恶意功能转移到受害者训练的下游模型。为了证明模型旋压的可行性,我们开发了一种新的后门技术。它将对抗性元任务堆叠到seq 2seq模型上,将所需的元任务输出反向传播到我们称为“伪词”的词嵌入空间中的点,并使用伪词来移动seq 2seq模型的整个输出分布。我们评估这种攻击语言生成,摘要和翻译模型与不同的触发器和元任务,如情绪,毒性和蕴涵。自旋模型在很大程度上保持其准确性指标(ROUGE和BLEU),同时改变其输出以满足对手的元任务。我们还表明,在供应链攻击的情况下,自旋功能转移到下游模型。
2022-04-08 cs.CL cs.CR cs.LG
Exploiting Load/Store Leakage of Sparse Vectors for Key Recovery in HQC
LIX, Inria, CNRS, École Polytechnique, Institut Polytechnique de Paris(巴黎理工学院);eShard
研究针对HQC密钥恢复的侧信道攻击,利用其稀疏秘密向量操作中的加载/存储泄漏,通过分析Cortex-M4汇编识别泄漏面,构建零字鉴别器简化解码问题,分析解码复杂度并经实验验证,还讨论了消除攻击利用的稀疏性的对策。
2026-07-22 cs.CR math.NT
Evolve the Method, Not the Prompts: Evolutionary Synthesis of Jailbreak Attacks on LLMs
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
本文提出 EvoSynth 框架,通过在代码空间中进行搜索,而非仅在提示空间中优化,从而提高对大语言模型的 jailbreak 攻击成功率和多样性。
2026-05-18 cs.CL cs.CR
A Comprehensive Analysis of Adversarial Attacks against Spam Filters
cs.hacettepe.edu.tr(哈科特佩大学计算机科学系)
本文在真实数据集上系统评估了六种深度学习垃圾邮件过滤模型在词、字符、句子和AI生成段落级对抗攻击下的脆弱性,并提出垃圾邮件权重与注意力权重等新型评分函数以增强攻击效果。
2025-05-04 cs.CR cs.LG
Differential Privacy and Natural Language Processing to Generate Contextually Similar Decoy Messages in Honey Encryption Scheme
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
蜂蜜加密是一种使用低最小熵密钥加密消息的方法,例如弱密码,OTP,PIN,信用卡号。当用任意数量的错误密钥解密时,产生的密文会产生看似可信但被称为“蜂蜜消息”的伪明文。但是目前用于产生诱饵明文的技术并不完全模拟人类语言。一个胡言乱语的、随机组合的单词不足以欺骗攻击者;无论攻击者是否知道真正来源的一些信息,这都是不可接受的和令人信服的。在本文中,我专注于明文,这是一些非数字的信息消息。为了欺骗攻击者相信诱饵消息实际上可以来自某个来源,我们需要捕获语言的经验和上下文属性。也就是说,真实信息和虚假信息之间不应该有语言上的差异,而不会揭示真实信息的结构。我采用自然语言处理和广义差分隐私来解决这个问题。我主要关注机器学习方法,如关键字提取,上下文分类,词袋,词嵌入,用于文本处理的Transformers,以模拟文本文档的隐私。然后用e-差分隐私证明了该方法的安全性。
2020-10-29 cs.CR cs.LG
Saliency Attention and Semantic Similarity-Driven Adversarial Perturbation
Praxis Business School(普拉西斯商学院)
针对传统文本对抗攻击难以兼顾攻击有效性与语义一致性的问题,提出融合显著性、注意力与语义相似度的三阶段扰动方法SASSP,相比CLARE实现了更高攻击成功率与更低扰动率。
2024-06-18 cs.CL cs.CR cs.LG
Greedy Attack and Gumbel Attack: Generating Adversarial Examples for Discrete Data
University of California, Davis(加利福尼亚大学戴维斯分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
我们提出了一个概率框架,研究对抗攻击的离散数据。基于这个框架,我们得到了一个扰动为基础的方法,贪婪攻击,和一个可扩展的学习为基础的方法,Gumbel攻击,说明了各种权衡的攻击设计。我们使用定量指标和人类评估来证明这些方法对各种最先进的文本分类模型的有效性,包括基于单词的CNN,基于字符的CNN和LSTM。作为我们的结果的例子,我们表明,基于字符的卷积网络的准确性下降到随机选择的水平,通过贪婪攻击只修改五个字符。
2018-05-31 cs.AI cs.CL cs.CR
Cross-Entropy Attacks to Language Models via Rare Event Simulation
University of Technology Sydney(悉尼科技大学);Shandong University(山东大学)
本文提出基于交叉熵优化的文本对抗攻击方法CEA,通过稀有事件模拟解决黑盒攻击中的优化与语义保持问题,在文档分类和翻译任务上验证了其攻击性能、不可感知性和句子质量的优越性。
2025-01-21 cs.CL cs.CR cs.LG
Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks
Boston University(波士顿大学)
针对视觉-语言模型(LVLM)易受排版攻击却研究不足的问题,提出两种自生成攻击策略,通过模型自身生成误导性文本显著降低其分类性能,为LVLM的安全应用提供实验与方法参考。
2025-02-13 cs.CR cs.CV cs.LG
InjecGuard: Benchmarking and Mitigating Over-defense in Prompt Injection Guardrail Models
Washington University in St. Louis(圣路易斯华盛顿大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对提示注入防护模型的过度防御问题,提出InjecGuard,通过新训练策略MOF降低触发词偏差,在NotInject等基准上超越现有最佳模型30.8%。
2025-03-30 cs.AI cs.CL cs.CR
Recovering Private Text in Federated Learning of Language Models
Princeton University(普林斯顿大学)
联邦学习允许分布式用户协作训练模型,同时保持每个用户的数据私有。最近,越来越多的工作表明,窃听攻击者可以有效地从联邦学习期间传输的梯度中恢复图像数据。然而,在恢复文本数据方面进展甚微。在本文中,我们提出了一种新的攻击方法FILM的语言模型(LM)的联邦学习。我们首次展示了从多达128句的大批量文本中恢复文本的可行性。与优化以匹配梯度的图像恢复方法不同,我们采取了一种独特的方法,首先从梯度中识别一组单词,然后基于束搜索和基于先验的重新排序策略直接重建句子。我们对几个大规模数据集进行了FILM攻击,并表明它可以成功地重建单个句子,对于大批量甚至多个句子,如果迭代应用的话,具有很高的保真度。我们评估三种防御方法:梯度修剪,DPSGD,和一个简单的方法来冻结词嵌入,我们提出的。我们表明,梯度修剪和DPSGD导致效用显着下降。然而,如果我们在不更新词嵌入的情况下对私有文本的公共预训练LM进行微调,它可以以最小的数据效用损失有效地防御攻击。总之,我们希望我们的研究结果可以鼓励社区重新思考LM培训及其未来标准实践的隐私问题。
2022-10-18 cs.CL cs.CR cs.LG