Erased but Not Forgotten: How Backdoors Compromise Concept Erasure
本文揭示了一种名为擦除规避后门(EEB)的漏洞,攻击者将后门触发器绑定到待擦除概念上,使得该恶意链接在后续擦除后仍然存在,从而绕过多种概念擦除方法。
2026-10-06 cs.AI cs.CR cs.LG
Hiding Behind Backdoors: Self-Obfuscation Against Generative Models
University of Oxford(牛津大学)
在最近的研究中,从扰动到架构组件,已经证明了危害物理世界中的机器学习管道的攻击向量。在这项工作的基础上,我们说明了自混淆攻击:攻击者针对系统中的预处理模型,并毒化生成模型的训练集,以在推理过程中混淆特定的类。我们的贡献是描述,实现和评估一个广义的攻击,在机器学习社区内的架构鲁棒性的挑战,希望提高认识。
2022-01-24 cs.CR cs.LG
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology(华中科技大学)
与数据中心的服务器相比,联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近,先进的模型压缩方法,如彩票假设,已经在联邦学习上实现,以减少模型大小和通信成本。然而,后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型,并将参数上传到中心,在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段,带有后门的模型将具有特定触发器的样本分类为一个目标类别,而清洁样本的推理精度略有下降。在这项工作中,我们的经验表明,彩票模型同样容易受到后门攻击的原始密集模型,和后门攻击可以影响提取的门票的结构。基于票据之间的相似性,我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
Your Agent Can Defend Itself against Backdoor Attacks
Stony Brook University(石溪大学);Penn State University(宾夕法尼亚州立大学)
针对 LLM 智能体训练与微调中的后门攻击,提出 ReAgent 两级一致性检测框架,利用执行与规划层面的指令-思考-行动校验显著降低攻击成功率。
2025-06-11 cs.AI cs.CR cs.LG
Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks
University of Chicago(芝加哥大学)
最近的工作提出了对深度神经网络(DNN)进行后门攻击的概念,其中错误行为隐藏在“正常”模型中,仅由非常特定的输入触发。然而,在实践中,这些攻击难以执行,并且受到通过迁移学习共享模型的高度约束。对手有一个很小的窗口,在此期间,他们必须在部署学生模型之前对其进行破坏。在本文中,我们描述了一个更强大的变种后门攻击,潜在的后门,其中隐藏的规则可以嵌入到一个单一的“教师”模型,并自动继承所有的“学生”模型通过迁移学习过程。我们表明,潜在的后门可以在各种应用环境中非常有效,并通过对交通标志识别,实验室志愿者的虹膜识别和公众人物(政治家)的面部识别的现实世界的攻击验证其实用性。最后,我们评估了4种潜在的防御措施,发现只有一种可以有效地破坏潜在的后门,但可能会导致分类准确性的代价。
2019-05-24 cs.CR cs.LG
Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models
TU Darmstadt(图宾根大学)
本文研究了统一自回归模型中的后门漏洞问题,提出了一种名为Token by Token Backdoor Attack (ToBAC)的攻击方法,展示了如何通过数据和模型污染策略在多模态生成中引发有害行为。
2026-10-09 cs.AI cs.CR
Privacy Backdoors: Stealing Data with Corrupted Pretrained Models
ETH Zurich(苏黎世联邦理工学院)
本文揭示了一种通过篡改预训练模型权重植入隐私后门的新型供应链攻击,可重建微调数据并攻破差分隐私保护,警示不可信模型的不安全性。
2024-03-30 cs.CR cs.LG
Anti-Backdoor Coreset Selection via Cumulative Entropy
研究针对神经网络后门的训练阶段防御,将其转化为核心集选择问题,提出用累积熵作选择标准,在各 epoch 去除所选样本,构建良性核心集训练无后门模型,有效减轻后门攻击且对自然性能影响小。
2026-07-29 cs.CR cs.LG
How to Backdoor Diffusion Models?
National Tsing Hua University(国立清华大学);The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本文首次研究扩散模型的后门攻击鲁棒性,提出BadDiffusion攻击框架,可通过训练篡改或微调预训练模型植入后门,验证了其高可用性与目标特异性,并探索了风险缓解对策。
2023-06-09 cs.CR cs.CV cs.LG
Securing Multi-turn Conversational Language Models From Distributed Backdoor Triggers
UC Davis(加州大学戴维斯分校);Harvard(哈佛大学)
本文揭示多轮LLM可被分布在不同话语中的组合触发器激活,并提出随响应长度线性扩展的衰减对比解码,将ASR降至0.35%。
2024-10-28 cs.AI cs.CL cs.CR
Securing Federated Learning against Backdoor Threats with Foundation Model Integration
Renmin University of China(中国人民大学);The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
针对联邦学习集成基础模型引入的新型后门攻击,提出无数据防御策略,通过约束模型聚合时隐藏特征空间的异常激活,有效抵御经典与新型后门攻击,性能优于现有方法。
2025-05-27 cs.CR cs.LG
Imperceptible Backdoor Attack: From Input Space to Feature Representation
Fudan University(复旦大学)
后门攻击是对深度神经网络(DNN)的快速出现的威胁。在后门攻击场景中,攻击者通常通过操纵训练数据集或训练过程将后门植入目标模型。然后,受损的模型对于良性输入表现正常,但当预定义的触发器出现时会出错。在本文中,我们分析了现有的攻击方法的缺点,并提出了一种新的不可感知的后门攻击。我们将触发模式视为一种特殊的噪声,服从多项式分布。一个基于U-网的网络被用来生成每个良性输入的多项式分布的具体参数。这种精心设计的触发器确保了我们的方法对人类和统计检测都是不可见的。除了触发器的设计,我们还考虑了我们的方法对模型诊断为基础的防御的鲁棒性。我们强制标记有触发器的恶意输入的特征表示与良性输入纠缠在一起。我们通过广泛的数据集和网络展示了针对多种最先进防御的有效性和鲁棒性。我们的触发器仅修改良性图像的小于1\%的像素,而修改幅度为1。我们的源代码可以在https://github.com/Ekko-zn/IJCAI2022-Backdoor上找到。
2022-05-06 cs.CR cs.LG
CUBA: Controlled Untargeted Backdoor Attack against Deep Neural Networks
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(计算机科学与技术学院,南京航空航天大学)
提出受控非定向后门攻击CUBA,结合非定向灵活性与定向意图,通过对数几率归一化使模型将后门图像分类到受限随机类别,从而规避现有防御,实验验证其有效性。
2025-06-20 cs.AI cs.CR
Backdoor Attacks on Discrete Graph Diffusion Models
Illinois Institute of Technology(伊利诺伊理工大学);University of Connecticut(康涅狄格大学)
本文首次研究离散图扩散模型的后门攻击,设计了一种能同时保持正常生成质量与后门有效、隐蔽、持久且满足置换不变性的攻击方法,并通过实验与理论验证其性质。
2026-10-20 cs.CR cs.LG
Self-Purification Mitigates Backdoors in Multimodal Diffusion Language Models
National University of Singapore(新加坡国立大学)
DiSP通过在推理过程中选择性屏蔽视觉标记,有效去除多模态扩散语言模型中的后门,无需额外模型或干净数据。
2026-02-24 cs.CR cs.LG
Diff-Cleanse: Identifying and Mitigating Backdoor Attacks in Diffusion Models
Beihang University(北京航空航天大学)
针对扩散模型的后门攻击威胁,提出两阶段防御框架Diff-Cleanse,通过触发器反演检测后门并利用结构剪枝消除后门,实现近100%检测准确率且几乎不损害模型良性性能。
2024-08-22 cs.CR cs.LG
BadMerging: Backdoor Attacks Against Model Merging
University of California, Los Angeles(加州大学洛杉矶分校);Meta;CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
本文提出首个针对模型合并的后门攻击 BadMerging,通过两阶段攻击机制和基于特征插值的损失函数,仅需一个带后门模型即可破坏整个合并模型,并能同时攻击任务内与任务外任务,现有防御无法有效抵御。
2024-09-02 cs.CR cs.LG
Mitigating Backdoor Attacks in Federated Learning
Pennsylvania State University(宾夕法尼亚州立大学);North Carolina State University(北卡罗来纳州立大学)
恶意客户端可以在训练阶段使用恶意数据(包括后门样本)攻击联邦学习系统。受损的全局模型将在为任务设计的验证数据集上表现良好,但具有后门模式的一小部分数据可能会触发模型做出错误的预测。在服务器端训练的聚合阶段,试图隐藏攻击的攻击者和试图检测攻击的防御者之间一直存在军备竞赛。在这项工作中,我们提出了一种新的和有效的方法来减轻后门攻击后的训练阶段。具体而言,我们设计了一种联邦剪枝方法来删除网络中的冗余神经元,然后调整模型的极端权重值。我们在分布式Fashion-MNIST上进行的实验表明,我们的方法可以将平均攻击成功率从99.7%降低到1.9%,在验证数据集上的测试准确性损失为5.5%。为了尽量减少剪枝对测试准确率的影响,我们可以在剪枝后进行微调,攻击成功率下降到6.4%,测试准确率仅损失1.7%。在CIFAR-10上进行的分布式后门攻击下的进一步实验也显示了有希望的结果,平均攻击成功率下降了70%以上,验证数据集上的测试准确性损失不到2%。
2021-01-14 cs.CR cs.LG
Backdoor Attacks in the Supply Chain of Masked Image Modeling
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);NetApp(NetApp(耐特普))
掩码图像建模(MIM)彻底改变了图像预训练的自监督学习(SSL)。与以前占主导地位的自我监督方法相比,即,对比学习,MIM通过掩蔽和重建输入图像的随机块来达到最先进的性能。然而,这种新颖的生成方法的相关安全和隐私风险尚未被探索。本文首次从后门攻击的角度对MIM进行安全风险量化。与以往的工作不同,我们是第一个在模型供应链的每个阶段系统地对SSL进行威胁建模,即,预培训、发布和下游阶段。我们的评估表明,MIM构建的模型容易受到现有的后门攻击在发布和下游阶段,并受到我们提出的方法在预训练阶段。例如,在CIFAR10上,攻击成功率在下游阶段、发布阶段和预训练阶段分别达到99.62%、96.48%和98.89%。在预训练阶段,我们还初步研究了影响后门攻击成功的因素,发现触发次数和触发模式对后门攻击的成功起关键作用,而触发位置的影响很小。最后,我们的实证研究的三个检测级别的防御机制上的模型供应链的阶段表明,不同的防御适合不同阶段的后门攻击。然而,在发布阶段的后门攻击不能被所有三种检测级方法检测到,呼吁在未来的研究更有效的防御。
2022-10-04 cs.CR cs.LG
BoBa: Boosting Backdoor Detection through Data Distribution Inference in Federated Learning
University of South Florida(南佛罗里达大学);University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校);Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);University of Kentucky(肯塔基大学)
本文提出BoBa机制,通过数据分布聚类和投票检测提升联邦学习中后门攻击检测的鲁棒性,有效降低攻击成功率至0.001以下。
2026-04-09 cs.CR cs.LG
Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks
University of Cagliari(卡利亚里大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Pluribus One;CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
后门攻击会误导机器学习模型,在测试时出现特定触发时输出攻击者指定的类。这些攻击需要毒化训练数据以损害学习算法,例如,通过将包含触发器的中毒样本与所需的类别标签一起注入训练集中。尽管关于后门攻击和防御的研究越来越多,但影响后门攻击成功的潜在因素及其对学习算法的影响尚未得到很好的理解。在这项工作中,我们的目标是揭示这个问题,揭示后门攻击诱导一个更平滑的决策功能周围的触发样本-一种现象,我们称之为\textit{backdoor smoothing}。为了量化后门平滑,我们定义了一个度量,该度量评估与输入样本周围的分类器的预测相关联的不确定性。我们的实验表明,当触发器被添加到输入样本时,平滑度会增加,并且这种现象在更成功的攻击中更加明显。我们还提供了初步证据,证明后门触发器不是唯一的平滑诱导模式,但我们的方法也可以检测到其他人工模式,为理解当前防御的局限性和设计新的防御铺平了道路。
2021-11-02 cs.CR cs.LG stat.ML
Demystifying Poisoning Backdoor Attacks from a Statistical Perspective
University of Minnesota(明尼苏达大学);Cisco Research(思科研究院)
本文从统计视角建立包含常量触发器的后门攻击在干净和后门测试数据上性能的严格上下界,揭示了攻击成功的决定因素、最有效攻击方向及人类不可察觉触发器成功的条件,适用于判别式与生成式模型。
2023-10-18 cs.AI cs.CR cs.LG
BADTV: Unveiling Backdoor Threats in Third-Party Task Vectors
National Yang Ming Chiao Tung University(国立阳明交通大学);University of California, Berkeley(加州大学伯克利分校);RIKEN(理化学研究所);National Chengchi University(国立成功大学);CISPA Helmholtz Center for Information Security(CISPA 河岸信息安全中心);Institute of Science Tokyo(东京科学研究所)
研究大规模预训练模型中任务向量易受后门攻击问题,提出BadTV攻击方法,通过创建非对称复合后门,在多种操作下保持有效,实验表明其成功率高,现有防御失效,凸显保障任务向量安全需有力对策。
2026-07-21 cs.CR cs.LG
Recover Triggered States: Protect Model Against Backdoor Attack in Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出RTS方法,通过构建替代网络近似动力学模型并将环境从触发状态恢复至干净状态,有效防御单智能体强化学习中的后门攻击,且累计奖励仅下降1.41%。
2023-04-10 cs.AI cs.CR cs.LG
CleanGen: Mitigating Backdoor Attacks for Generation Tasks in Large Language Models
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
本文提出CLEANGEN,一种轻量级推理时解码策略,通过识别并替换后门LLM中概率异常的可疑令牌,有效降低五种SOTA后门攻击的成功率,同时保持模型对良性查询的有用性。
2025-03-27 cs.AI cs.CR
UIBDiffusion: Universal Imperceptible Backdoor Attack for Diffusion Models
Columbia University(哥伦比亚大学);National University of Singapore(新加坡国立大学);Tufts University(塔夫茨大学);Clemson University(克莱姆森大学)
提出UIBDiffusion,利用通用对抗扰动生成不可感知的通用后门触发器,实现高攻击成功率、良好生成质量并规避先进防御,适用于各类扩散模型。
2025-02-28 cs.CR cs.LG
Mind the Intention: Task-Aware Backdoor Attacks for Forecast-Driven Distribution Network Operations
National Key Laboratory for High Energy Pulsed Power, Xi’an Jiaotong University(西安交通大学高能量脉冲功率全国重点实验室);School of Data Science, Fudan University(复旦大学数据科学学院)
提出GridTroj框架,通过协调意图规划器和后门实现器,在时间序列预测模型中植入后门,以破坏配电网优化运行为目标,实验证明其有效性。
2026-06-23 cs.CR cs.SY eess.SY
Multi-Target Federated Backdoor Attack Based on Feature Aggregation
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院)
提出基于特征聚合的联邦后门攻击方法,通过维度对齐、像素边界划定和特征交互提升攻击成功率,实现77.39%零样本攻击并绕过防御。
2025-02-23 cs.CR cs.CV
Not In My Git Yard: Catching Backdoors at Commit and Release Time
Université Paris-Saclay(巴黎萨克雷大学);CEA, List(法国原子能和替代能源委员会,列表实验室)
本研究提出自动化方法Lily,将后门检测集成到CI管道与发布审查工作流,结合代码变更分析与模糊测试,可高准确率检测代码级后门,抵御对抗性尝试,阻止现实世界后门事件。
2026-07-30 cs.CR cs.SE
Mitigating the Backdoor Effect for Multi-Task Model Merging via Safety-Aware Subspace
Zhejiang University(浙江大学);Whuhan University(武汉大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对多任务模型合并中的后门攻击,提出防御感知合并(DAM)方法,通过双重掩码优化安全感知子空间,在降低攻击成功率的同时保持高准确率。
2025-02-27 cs.CR cs.LG
On the Robustness of Graph Reduction Against GNN Backdoor
Rensselaer Polytechnic Institute(伦斯勒理工学院);Ulsan National Institute of Science and Technology(蔚山国家科学技术研究院);The University of Hong Kong(香港大学)
该研究针对图约简技术与GNN后门攻击的相互作用不明确的问题,分析了12种图约简方法在3种GNN架构下抵御3种后门攻击的鲁棒性,发现不同方法效果差异大,部分会加剧攻击,强调需在图约简中纳入鲁棒性考量以保障GNN安全。
2024-07-09 cs.CR cs.LG
Compromising Embodied Agents with Contextual Backdoor Attacks
Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);Zhongguancun Laboratory(中关村实验室);Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);A*STAR(新加坡科技研究局)
本文提出 \method{} 情境后门攻击,仅通过投毒少量上下文示范,即可让黑盒 LLM 生成由文本与视觉触发器激活的缺陷程序,并在机器人与自动驾驶任务中验证其威胁。
2024-08-06 cs.AI cs.CR cs.LG
Your Privacy My Cloak: Backdoor Attacks on Differentially Private Federated Learning
针对差分隐私联邦学习,提出RING攻击,利用差分隐私的掩蔽效应绕过防御,在中等隐私预算下平均攻击成功率90.3%。
2026-10-06 cs.CR cs.LG
Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions
University of Louisville(路易斯维尔大学);University of North Texas(德克萨斯大学)
研究针对大型语言模型代码补全易受后门攻击的问题,提出CodeTracer取证框架,它仅靠微调语料库和错误补全事件,提取行为指纹,经推理将不安全逻辑归因于特定后门数据,评估显示其有高准确性、低误识率和强鲁棒性。
2026-07-10 cs.AI cs.CR cs.IR
SoK: On the Survivability of Backdoor Attacks on Unconstrained Face Recognition Systems
Thales Cyber \& Digital, Inria/Université de Rennes La Ciotat \& Rennes, France;Inria/CNRS/IRISA/Université de Rennes Rennes, France
本研究首次系统分析了后门攻击对完整人脸识别系统的影响,揭示攻击者仅需一个被后门攻击的模型即可破坏整个系统,并提出了应对措施。
2026-01-20 cs.AI cs.CR cs.CV
The Power of Backdoor Absorption in Community Training
Université Paris-Saclay, CEA LIST(巴黎萨克雷大学,CEA LIST)
研究在分散训练中后门攻击问题,通过量化最小审计开销,将注入-吸收动态形式化为离散时间马尔可夫链,证明结合自然吸收等策略可使对手成功概率降为零,实证显示能有效抑制后门且效用无退化,为安全关键型AI提供高效防御。
2026-07-09 cs.CR cs.LG
CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学)
该研究提出CLIP引导后门防御(CGD),用CLIP分离干净与中毒输入,重训练模型中和后门,在4个数据集11种攻击上ASR降至1%以下,CA降幅仅0.3%,适配性与鲁棒性优异。
2026-07-31 cs.CR cs.LG cs.MM
Breaking the Stealth-Potency Trade-off in Clean-Image Backdoors with Generative Trigger Optimization
该研究提出生成式干净图像后门框架GCB,利用条件InfoGAN优化触发器,仅需极小投毒示例即可实现攻击,CA下降不到1%,适配多类数据集、架构与任务,且能抵御多数后门防御。
2026-07-30 cs.CR cs.CV cs.LG
One-shot Neural Backdoor Erasing via Adversarial Weight Masking
Renmin University of China(中国人民大学);Pennsylvania State University(宾夕法尼亚州立大学)
最近的研究表明,尽管在许多现实世界的应用中实现了高准确性,但深度神经网络(DNN)可以被后门:通过将触发数据样本注入训练数据集中,对手可以误导训练模型将任何测试数据分类为目标类,只要触发模式存在。为了消除这种后门威胁,已经提出了各种方法。特别是,一系列研究旨在净化潜在的受损模型。然而,这种工作的一个主要限制是需要访问足够的原始训练数据:当可用的训练数据有限时,净化性能要差得多。在这项工作中,我们提出了对抗性权重掩蔽(AWM),这是一种即使在一次性设置中也能够擦除神经后门的新方法。我们的方法背后的关键思想是将其公式化为最小-最大优化问题:首先,逆向恢复触发模式,然后(软)屏蔽对恢复模式敏感的网络权重。对几个基准数据集的综合评估表明,AWM可以在各种可用的训练数据集大小上大大提高其他最先进的方法的净化效果。
2022-11-02 cs.AI cs.CR cs.LG
Invisible Threats: Backdoor Attack in OCR Systems
University of Padua(帕多瓦大学);Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
提出针对 OCR 系统的后门攻击,通过注入不可读字符使提取文本对人眼正确但对 NLP 应用无效,实验显示约 90% 恶意样本攻击成功且不影响其余性能。
2023-10-12 cs.CR cs.CV cs.LG
Uncovering, Explaining, and Mitigating the Superficial Safety of Backdoor Defense
Hong Kong University of Science and Technology(香港科技大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文揭示了当前后门净化方法仅实现表面安全性,易被少量样本重新激活后门,并提出基于查询的重新激活攻击(QRA)及路径感知最小化防御(PAM),显著提升净化后鲁棒性。
2024-10-16 cs.AI cs.CR cs.LG
Evil from Within: Machine Learning Backdoors through Hardware Trojans
Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所);Max Planck Institute for Security and Privacy (MPI-SP)(马克斯·普朗克安全与隐私研究所)
本文提出一种完全驻留在机器学习硬件加速器中的后门攻击,通过植入可配置的硬件木马并仅替换极少量模型参数,在不篡改软件和模型本身的情况下绕过现有防御,揭示了机器学习硬件供应链中的新威胁。
2025-02-03 cs.CR cs.LG
CatBack: Universal Backdoor Attacks on Tabular Data via Categorical Encoding
Radboud University;Delft University of Technology;University of Zagreb \& Radboud University
本文提出 CatBack,一种通过将类别值转换为浮点表示并生成基于梯度的通用扰动,对表格数据实施通用后门攻击的方法,在多个数据集和模型上取得最高 100% 攻击成功率,并能绕过多种先进防御机制。
2025-11-08 cs.CR cs.LG
Context is the Key: Backdoor Attacks for In-Context Learning with Vision Transformers
Radboud University(拉德堡德大学);Ikerlan Research Centre(伊克尔兰研究中心);University College London(伦敦大学学院)
本文利用 ViT 的上下文内学习能力,通过数据投毒提出任务特定与可泛化至未知任务的动态后门攻击,并证明提示和微调难以有效移除后门。
2024-09-06 cs.AI cs.CR
FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning
Purdue University(普渡大学);IBM Research(IBM研究院);Rutgers University(罗格斯大学)
联邦学习(FL)是一种分布式学习范式,它使不同的各方能够一起训练模型,以实现高质量和强大的隐私保护。在这种情况下,单个参与者可能会受到危害,并通过毒化数据(或梯度)来执行后门攻击。现有的工作健壮的聚合和认证的FL鲁棒性不研究如何硬化良性客户端可以影响全局模型(和恶意客户端)。在这项工作中,我们从理论上分析了交叉熵损失,攻击成功率和清洁精度之间的联系。此外,我们提出了一个触发逆向工程为基础的防御,并表明我们的方法可以实现鲁棒性的改善与保证(即,降低攻击成功率)而不影响良性准确性。我们在不同的数据集和攻击设置中进行了全面的实验。我们的研究结果对8个竞争SOTA防御方法显示,我们的方法在单发和连续FL后门攻击的经验优势。代码可在https://github.com/KaiyuanZh/FLIP上获得。
2023-02-27 cs.AI cs.CR cs.LG
BadLLM-TG: A Backdoor Defender powered by LLM Trigger Generator
本文提出BadLLM-TG,利用大语言模型的知识,通过提示驱动强化学习生成触发器,用于缓解后门攻击,实验表明其在减少攻击成功率方面表现优异。
2026-03-16 cs.AI cs.CR
Phantom: General Backdoor Attacks on Retrieval Augmented Language Generation
Northeastern University(东北大学);OpenAI
本研究针对检索增强生成(RAG)系统的安全风险,提出名为Phantom的两阶段通用后门攻击框架,通过注入带触发机制的恶意投毒文档诱导大语言模型输出违规内容,已在多款开源、闭源大模型及NVIDIA商用RAG系统上验证有效。
2025-10-01 cs.CL cs.CR cs.LG
Backdoor in the Loop: Compromising Agentic Search via Malicious Retrievers
Shenzhen MSU-BIT University(深圳北理莫斯科大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本研究揭示智能体RAG中检索器后门可利用反馈循环操纵证据与搜索,并通过注入-移除循环伪装净化,暴露弱防御被反用的系统性漏洞。
2026-09-30 cs.AI cs.CR cs.IR
Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks
Rowan University(罗文大学)
众所周知,人工神经网络在不断地从任务序列中学习时容易发生灾难性遗忘。已经提出了各种连续(或“增量”)学习方法来避免灾难性遗忘,但是它们通常是对手不可知的,即,他们不考虑恶意攻击的可能性。在这项工作中,我们探讨弹性权重合并(EWC),一个流行的持续学习算法,以避免灾难性遗忘的脆弱性。我们表明,智能对手可以绕过EWC的防御,而是通过在训练过程中向模型引入少量错误信息来引起逐渐和故意的遗忘。我们证明了这样一个对手的能力,通过注入“后门”攻击样本的MNIST数据集的置换和分裂基准变量的模型的控制。重要的是,一旦模型学习了对手的错误信息,对手就可以控制任何任务的遗忘量。同样,恶意行为者可以通过将精心设计的后门样本插入到该任务的测试实例的任何部分来创建关于该任务的“虚假记忆”。也许最具破坏性的是,我们发现这种漏洞非常严重;即使是单个任务的训练数据的1%,也可以通过添加后门样本来轻松损害神经网络内存。
2020-02-17 cs.AI cs.CR cs.LG
Mitigating Backdoor Attacks using Activation-Guided Model Editing
National Institute of Informatics(信息学国立研究所);Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国理工学院);The University of Tokyo(东京大学)
本文提出一种利用域等效未见数据的模型激活引导权重编辑的后门缓解方法,以低计算开销和少量样本实现最先进性能,并通过修复步骤保持模型效用。
2024-09-30 cs.CR cs.CV
How to Backdoor Consistency Models?
University of Texas as Dallas(德克萨斯大学达拉斯分校)
本文首次研究一致性模型的后门攻击风险,提出适配其训练机制的投毒框架,并以随机噪声为隐蔽触发器,在保持FID效用的同时实现高特异性后门生成。
2025-02-16 cs.CR cs.CV cs.LG
TERD: A Unified Framework for Safeguarding Diffusion Models Against Backdoors
Peking University(北京大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
本文提出TERD统一后门防御框架,通过逆向触发器恢复、噪声空间输入检测及KL散度模型检测,在多分辨率数据集上实现100% TPR和TNR。
2024-09-09 cs.AI cs.CR cs.LG
EmoBack: Backdoor Attacks Against Speaker Identification Using Emotional Prosody
本文首次提出EmoBack后门攻击,利用说话人情感韵律作为动态隐蔽触发器攻击说话人识别DNN,并通过剪枝等防御实验表明可将攻击成功率降低最多40%。
2024-09-17 cs.CR
Provable Robustness of (Graph) Neural Networks Against Data Poisoning and Backdoor Attacks
Technical University of Munich(慕尼黑技术大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));School of Computation, Information and Technology(计算、信息与技术学院)
本文首次针对节点特征投毒和后门攻击,基于神经正切核与混合整数线性规划提出一种白盒认证框架,为图神经网络及更广泛的神经网络提供了可证明的鲁棒性保证。
2025-07-15 cs.CR cs.LG