VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
针对纵向联邦学习(VFL)特有的后门攻击漏洞,提出首个VFL专用防御方法VFLIP,在推理阶段通过逐参与者异常检测识别恶意嵌入并重构净化,有效提升防御鲁棒性。
2024-08-29 cs.LG
Backdoor attacks and defenses in feature-partitioned collaborative learning
Webank(微众银行)
由于协作学习中存在多方参与,恶意方可能会通过后门攻击操纵学习过程以达到自己的目的。然而,现有的工作大多只考虑联邦学习的情况下,数据划分的样本。特征划分学习是另一个重要的场景,因为在许多现实世界的应用程序中,特征通常分布在不同的各方。当攻击者没有标签并且防御者无法访问其他参与者的数据和模型参数时,这种情况下的攻击和防御尤其具有挑战性。在本文中,我们表明,即使没有访问标签的各方也可以成功地注入后门攻击,在主任务和后门任务上都实现了高精度。接下来,我们将介绍几种防御技术,证明这些技术的组合可以成功地阻止后门,而不会影响主任务的准确性。据我们所知,这是第一个系统的研究,以应对后门攻击的特征划分的协同学习框架。
2020-07-07 cs.LG stat.ML
TrojanDam: Detection-Free Backdoor Defense in Federated Learning through Proactive Model Robustification utilizing OOD Data
Southeast University(东南大学);HKUST(GZ)(香港科技大学(广州));Nanyang Technological University(南洋理工大学)
提出TrojanDam,一种联邦学习后门防御机制,通过利用OOD数据主动激活模型冗余神经元以抵消后门更新,无需检测,实验证明优于现有SOTA方法。
2025-04-22 cs.CR cs.LG
Concealing Backdoor Model Updates in Federated Learning by Trigger-Optimized Data Poisoning
Duke University(杜克大学)
针对联邦学习后门更新易被防御检测的问题,提出DPOT触发器优化数据投毒攻击,仅靠数据投毒即可隐藏恶意更新并突破现有防御。
2024-09-09 cs.AI cs.CR cs.LG
Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection
University of California, San Diego(加州大学圣地亚哥分校)
联邦学习(FL)的目标是通过聚合在边缘设备上独立更新的模型参数来训练一个全局模型,而无需访问用户的私有数据。然而,FL容易受到后门攻击,其中一小部分恶意代理通过将污染的模型更新上传到服务器来在全局模型中注入有针对性的误分类行为。在这项工作中,我们提出了DiffFense,一个自动化的防御框架,以保护FL系统从后门攻击,利用差分测试和两步MAD离群值检测,而不需要任何以前的知识的攻击场景或直接存取本地模型参数。我们的经验表明,我们的检测方法可以防止各种数量的潜在攻击者,同时始终实现全局模型的收敛,与联邦平均(FedAvg)下训练的模型相当。我们进一步证实了我们的方法对以前的防御技术,如多克鲁姆和坐标明智的中位数聚合的有效性和普遍性。我们的检测方法将全局模型的平均后门准确率降低到4%以下,并实现了零的误报率。
2022-02-21 cs.CR cs.LG
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器学习模型容易受到数据中毒攻击,其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中,攻击者可以修改训练集,但不能修改测试输入,而在后门攻击中,攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书(即,一个辩护的证据)。我们提出了BagFlip,一个模型无关的认证方法,可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击,并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
FedBAP: Backdoor Defense via Benign Adversarial Perturbation in Federated Learning
School of Cyber Science and Engineering, Wuhan University(武汉大学计算机科学与工程学院);Department of Computer and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机与人工智能学院);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院)
针对联邦学习中的后门攻击,提出FedBAP框架,通过生成与触发器匹配的良性对抗扰动并自适应调整强度,减少模型对触发器的依赖,显著降低攻击成功率。
2025-07-26 cs.CR cs.LG
Backdoor Defense with Machine Unlearning
State Key Laboratory of Integrated Services Networks (ISN)(综合业务网理论及关键技术国家重点实验室);Shaanxi Key Laboratory of Network and System Security, Xidian University(西安电子科技大学陕西省网络与系统安全重点实验室);School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);Ant Group(蚂蚁集团);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
后门注入攻击是神经网络面临的一种新的安全威胁,然而针对这种攻击的有效防御方法仍然有限。在本文中,我们提出了BAERASE,一种新的方法,可以删除后门注入到受害者模型通过机器遗忘。具体来说,BAERASE主要通过两个关键步骤实现后门防御。首先,进行触发模式恢复,以提取被受害者模型感染的触发模式。这里,触发模式恢复问题等价于从受害者模型中提取未知噪声分布的问题,这可以很容易地通过基于熵最大化的生成模型来解决。随后,BAERASE利用这些恢复的触发模式来逆转后门注入过程,并诱导受害者模型通过新设计的基于梯度上升的机器遗忘方法来擦除受污染的记忆。与以往的机器遗忘方法相比,该方法摆脱了对训练数据完全访问的依赖,并且比现有的微调或修剪方法具有更高的后门擦除效率.实验结果表明,BAERASE在4个基准数据集上对3种最新的后门攻击的攻击成功率平均降低99%.
2022-01-24 cs.CR cs.LG
Learning to Backdoor Federated Learning
Tulane University(杜兰大学);Penn State University(宾夕法尼亚州立大学)
本文提出一种基于强化学习的通用联邦学习后门攻击框架,通过模拟器训练非短视攻击策略,在自适应和灵活性上超越现有启发式攻击,并能有效对抗最先进防御。
2023-05-28 cs.CR cs.DC cs.LG
Fedward: Flexible Federated Backdoor Defense Framework with Non-IID Data
Fuzhou University(福州大学);Deakin University(迪肯大学)
针对联邦后门攻击,提出灵活防御框架Fedward,通过AmGrad和AutoOPTICS应对各类攻击,并利用自适应裁剪维持Non-IID场景性能,在多个数据集上显著降低攻击成功率。
2023-07-01 cs.CR cs.LG
Hammer and Anvil: Toward a Theory of Backdoors in Federated Learning
University of Waterloo(滑铁卢大学)
本文提出'锤与砧'理论框架,通过分析后门更新偏离程度δ,分类两种防御类型,证明单一类型或非原则性组合防御存在漏洞,而结合两种类型防御能有效抵御适应性攻击。
2026-05-08 cs.CR cs.LG
Backdoor Federated Learning by Poisoning Backdoor-Critical Layers
Stony Brook University(石溪大学);University of Delaware(特拉华大学);South China University of Technology(华南理工大学);Louisiana State University(路易斯安那州立大学)
该研究针对联邦学习的后门攻击风险,发现了主导模型脆弱性的后门关键(BC)层,提出从攻击者视角识别BC层并设计自适应平衡攻击效果与隐蔽性的后门攻击方法,实验证明仅10%恶意客户端即可突破7种当前最优防御,性能优于现有最新方法。
2024-04-15 cs.CR cs.CV cs.LG
FedDefender: Backdoor Attack Defense in Federated Learning
Virginia Tech(弗吉尼亚理工大学);University of Minnesota(明尼苏达大学)
本文提出FedDefender,通过差分测试检测联邦学习中客户端的神经元激活指纹,从而识别并防御后门攻击,在MNIST和FashionMNIST上可将攻击成功率降至10%且不影响全局模型性能。
2024-02-23 cs.AI cs.CR cs.CV
FL-PLAS: Federated Learning with Partial Layer Aggregation for Backdoor Defense Against High-Ratio Malicious Clients
Beijing Electronic Science and Technology Institute(北京电子科学技术研究所);University of Louisiana at Lafayette(路易斯安那大学拉弗雷特分校)
针对高比例恶意客户端后门攻击,本文提出FL-PLAS,仅聚合特征提取器并保留本地分类器,在90%恶意用户下无需辅助数据集即可保持高主任务准确率和低后门准确率。
2025-05-17 cs.CR cs.LG
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park(马里兰大学帕克分校);University of Siegen(锡根大学)
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁,最近对行业专业人士进行的一项调查显示,私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败,要么它们显着降低性能。然而,我们发现强大的数据增强,如mixup和CutMix,可以显着减少中毒和后门攻击的威胁,而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性,我们比较基线,包括流行的差分私有SGD(DP-SGD)防御。在后门的背景下,CutMix大大减轻了攻击,同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
FilterFL: Knowledge Filtering-based Data-Free Backdoor Defense for Federated Learning
East China Normal University, Shanghai, China(华东师范大学);Singapore Management University, Singapore(新加坡管理学院);Nanyang Technological University, Singapore(南洋理工大学);National University of Singapore, Singapore(国立新加坡大学)
针对联邦学习中的后门攻击,提出基于知识过滤的无数据防御方法,利用触发学习更快且影响更大的特性生成并过滤触发图像,消除恶意模型,在IID和非IID下优于七种先进方法,即使80%客户端恶意也能防御。
2025-09-09 cs.CR cs.LG
BackDFL: A Unified Benchmark For Backdoor Attacks and Defenses In Decentralized Federated Learning
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(萨莫瓦尔实验室、南巴黎电信学院、巴黎综合理工学院);PIRAT, INRIA Rennes(皮拉特实验室、法国国家信息与自动化研究所雷恩分部)
BackDFL是评估去中心化联邦学习(DFL)在自适应后门攻击下安全性的统一基准,实验表明现有鲁棒方法在15%恶意参与率下即失效,且性能随通信拓扑变化大。
2026-08-25 cs.CR cs.DC cs.LG
SafeSplit: A Novel Defense Against Client-Side Backdoor Attacks in Split Learning (Full Version)
Technical University of Darmstadt(达姆施塔特工业大学)
SafeSplit是针对分割学习中客户端后门攻击的首个防御方法,通过循环反向分析和双重检测(频域静态分析与旋转距离动态度量)识别并过滤恶意客户端,在保持模型效用的同时有效缓解后门攻击。
2025-02-24 cs.CR cs.DC cs.LG
Provable Defense against Backdoor Policies in Reinforcement Learning
UW-Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学);MPI-SWS(马克斯·普朗克软件系统研究所)
在子空间触发假设下,提出了一种可证明的强化学习后门策略防御机制。后门策略是一种安全威胁,其中对手发布了看似行为良好的策略,实际上允许隐藏触发器。在部署过程中,对手可以以特定的方式修改观察到的状态,以触发意外的动作并伤害代理。我们假设代理没有资源来重新训练一个好的策略。相反,我们的防御机制通过将观察到的状态投影到“安全子空间”来净化后门策略,该安全子空间是从与干净(非触发)环境的少量交互中估计的。我们的净化策略实现$ε$近似最优的触发器的存在下,提供的清洁的交互的数量是$O\left(\frac{D}{(1-γ)^4 ε^2}\right)$,其中$γ$是折扣因子和$D$是状态空间的维度。从经验上讲,我们表明,我们的消毒防御在两个雅达利游戏环境中表现良好。
2022-11-18 cs.AI cs.LG
Defending Deep Regression Models against Backdoor Attacks
Delft University of Technology(代尔夫特理工大学);The Pennsylvania State University(宾夕法尼亚州立大学)
针对深度回归模型的后门攻击,提出首个防御方法DRMGuard,利用输出空间和特征空间特性进行逆向工程,在多个任务和数据集上显著优于现有防御。
2024-11-07 cs.AI cs.LG
On Evaluating Neural Network Backdoor Defenses
New York University(纽约大学)
深度神经网络(DNN)在各个领域都表现出卓越的性能,包括审查和安全性。然而,最近的研究表明,DNN容易受到后门攻击。过去提出了几种防御措施来保护DNN免受这种后门攻击。在这项工作中,我们进行了批判性的分析,并确定在这些现有的防御常见的陷阱,准备一个全面的数据库的后门攻击,进行并排评估现有的防御对这个数据库。最后,我们制定了一些通用的指导方针,以帮助研究人员在未来开发更强大的防御系统,并避免过去的常见错误。
2020-10-23 cs.LG
From Shortcuts to Triggers: Backdoor Defense with Denoised PoE
UC Davis(加利福尼亚大学戴维斯分校);USC(南加利福尼亚大学);UW-Madison(威斯康星大学麦迪逊分校)
针对触发器多样的语言模型后门攻击,提出端到端集成防御框架 DPoE,通过浅层模型捕获后门捷径、主模型规避捷径并加入去噪机制,在 SST-2 上显著提升多类及混合触发器防御效果。
2024-04-02 cs.AI cs.CL cs.CR
Backdoor Defense via Deconfounded Representation Learning
University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络(DNN)最近被证明容易受到后门攻击的攻击,攻击者通过向训练数据集中注入一些有毒的示例,在DNN模型中嵌入隐藏的后门。虽然已经做出了大量的努力来检测和删除带有后门的DNN中的后门,但仍然不清楚是否可以从中毒的数据集直接获得无后门的干净模型。本文首先构建了一个因果图来模拟中毒数据的生成过程,发现后门攻击是混淆者,它在输入图像和目标标签之间带来了虚假的关联,使得模型预测的可靠性降低。受因果理解的启发,我们提出了基于因果性的后门防御(CBD),以学习去基础表示进行可靠的分类。具体来说,一个后门模型被故意训练来捕捉混杂效应。另一个干净的模型致力于通过最小化来自后门模型的混杂表示的互信息并采用逐样本重新加权方案来捕获期望的因果效应。在多个基准数据集上对6种最先进的攻击进行了大量实验,验证了我们提出的防御方法在减少后门威胁的同时,在预测良性样本时保持了较高的准确性。进一步的分析表明,CBD也可以抵抗潜在的自适应攻击。代码可在\url{https://github.com/zaixizhang/CBD}上获得。
2023-03-13 cs.AI cs.CR cs.LG
Backdoor Vectors: a Task Arithmetic View on Backdoor Attacks and Defenses
Warsaw University of Technology(华沙技术大学);NASK National Research Institute(国家研究机构NASK);IDEAS NCBR;IDEAS Research Institute(IDEAS研究所);Computer Vision Center, Universitat Autonoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
本研究从任务算术视角提出后门向量框架,通过稀疏后门向量增强攻击,并设计注入后门向量减法实现无假设的通用防御,提升模型合并安全性。
2025-10-09 cs.AI cs.CR cs.LG
BeniFul: Backdoor Defense via Middle Feature Analysis for Deep Neural Networks
Xidian University(西安电子科技大学)
本文提出基于DNN中间特征分析的后门防御方法BeniFul,利用变分自编码器重构距离和特征距离损失实现灰盒后门输入检测与白盒后门消除,在CIFAR-10和Tiny ImageNet上验证了其卓越防御能力。
2024-10-15 cs.CR cs.LG
FedLSG: LLM-Enhanced Semantic Calibration for Federated Graph Backdoor Defense
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Institute of AI for Industries(人工智能产业研究院);Chinese Academy of Sciences(中国科学院)
针对联邦图神经网络易受后门攻击问题,提出FedLSG框架,将大语言模型集成防御,通过图与行为到文本的转换及轻量级师生架构,在不损图完整性时显著提升对后门攻击的抵抗力。
2026-07-23 cs.AI cs.CR cs.LG
TimeGuard: Channel-wise Pool Training for Backdoor Defense in Time Series Forecasting
College of Computing(计算学院);Data Science, Nanyang Technological University, Singapore(数据科学,新加坡南洋理工大学)
针对时间序列预测中后门攻击防御难题,提出基于通道式池化训练的TimeGuard方法,通过时间感知池初始化与距离正则化损失选择缓解信号稀释与损失退化,显著提升鲁棒性。
2026-05-25 cs.AI cs.CR cs.LG
Trojan Horse Training for Breaking Defenses against Backdoor Attacks in Deep Learning
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
使用深度神经网络的机器学习(ML)模型容易受到后门攻击。这种攻击涉及对手插入(隐藏的)触发器。因此,包含触发器的任何输入将导致神经网络将输入错误分类为(单个)目标类,而正确分类没有触发器的其他输入。包含后门的ML模型被称为特洛伊木马模型。当只有模型的输出可用时,后门可能会在安全关键的网络和网络物理系统中产生严重后果。防御机制已经开发并说明,在单目标后门攻击的情况下,能够区分特洛伊模型和非特洛伊模型的输出,准确率> 96%。理解防御机制的局限性需要构建机制失败的例子。当前的单目标后门攻击需要每个目标类一个触发器。我们介绍了一种新的,更一般的攻击,将使一个单一的触发器,导致错误分类到一个以上的目标类。这种错误分类将取决于输入所属的真实(实际)类。我们将这类攻击称为多目标后门攻击。我们证明了可以训练具有单目标或多目标触发器的特洛伊木马模型,以便降低试图区分来自特洛伊木马和非特洛伊木马模型的输出的防御机制的准确性。我们的方法使用非木马模型作为老师的木马模型,解决了木马模型和防御机制之间的最小-最大优化问题。经验评估表明,我们的训练过程将最先进的防御机制的准确性从> 96%降低到0%。
2022-03-25 cs.AI cs.CR cs.LG
BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection
Princeton University(普林斯顿大学);Zhejiang University(浙江大学)
本研究提出新型后门防御方法BaDExpert,通过逆向工程微调后门模型提取仅识别后门输入的后门专家模型,结合辅助模型集成策略,可有效缓解17种主流后门攻击且对干净样本效用影响极小,已在多数据集和模型架构上验证有效。
2023-10-05 cs.AI cs.CR cs.CV
Prototype Guided Backdoor Defense
IIIT Hyderabad(印度信息技术学院海得拉巴分校);Amazon Research(亚马逊研究院)
提出原型引导的后门防御(PGBD),利用激活几何空间位移的净化损失,可扩展防御多种触发器,包括语义触发器,并在名人面部图像新型攻击上首次实现防御。
2025-03-26 cs.AI cs.CV cs.LG
MADE: Graph Backdoor Defense with Masked Unlearning
Peking University(北京大学);CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全研究中心CISPA)
针对GNN后门攻击防御不足的问题,本文提出MADE方法,通过对抗性掩码生成机制选择性保留干净子图并消除触发器影响,在多个图分类任务上显著降低攻击成功率并保持高准确率。
2024-12-31 cs.AI cs.CR cs.LG
Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats
本文提出一种基于机器遗忘的令牌级部分遗忘方法 UBT,通过少量可疑样本快速消除多模态对比学习中的后门效应,在 CLIP 上实现最低攻击成功率并保持较高干净准确率。
2024-09-29 cs.AI cs.CR cs.CV
Proactive Adversarial Defense: Harnessing Prompt Tuning in Vision-Language Models to Detect Unseen Backdoored Images
University of West Florida(西佛罗里达大学);Florida Institute For Human and Machine Cognition (IHMC)(佛罗里达人机认知研究所);Center for Cybersecurity, University of West Florida(西佛罗里达大学网络安全中心)
本文提出利用视觉-语言模型的提示微调训练可学习文本提示,在训练和推理阶段直接检测未见过的后门图像,并在两个数据集上取得86%的平均检测准确率。
2025-04-07 cs.AI cs.CR cs.CV
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland(萨尔大学)
后门攻击旨在将隐藏的后门嵌入到深度神经网络(DNN)中,使得被攻击的模型在良性样本上表现良好,而如果隐藏的后门被攻击者定义的触发器激活,则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下,例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击,已经有很多研究和不同的防御方法,其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中,我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
REFINE: Inversion-Free Backdoor Defense via Model Reprogramming
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院);Nanyang Technological University(南洋理工大学);IBM Research(IBM研究院)
针对后门攻击,提出基于模型重编程的无反转防御方法REFINE,通过输入变换与输出重映射结合监督对比损失,在保持模型效用同时增强防御能力。
2025-02-22 cs.AI cs.CR cs.CV
Contributor-Aware Defenses Against Adversarial Backdoor Attacks
众所周知,用于图像分类的深度神经网络容易受到对抗攻击的攻击。最近引起关注的一种攻击是对抗性后门攻击,它已经证明了对特定示例执行有针对性的错误分类的能力。特别是,后门攻击试图迫使模型学习后门触发模式和虚假标签之间的虚假关系。为了应对这种威胁,已经提出了许多防御措施;然而,对后门攻击的防御集中在后门模式检测上,这可能对新颖或意外类型的后门模式设计不可靠。我们引入了一种新的重新语境化的对抗性设置,其中对手的存在隐含地承认存在多个数据库贡献者。然后,在贡献者意识的温和假设下,可以利用这些知识通过破坏虚假标签关联来防御后门攻击。我们提出了一个贡献者感知的通用防御框架,用于在存在多个潜在对抗性数据源的情况下进行学习,该框架利用半监督集合和从人群中学习来过滤对抗性触发器产生的错误标签。重要的是,这种防御策略对后门模式设计是不可知的,因为它的功能不需要-甚至不尝试-在训练或推理期间执行对手识别或后门模式检测。我们的实证研究表明,所提出的框架对敌对的后门攻击从多个同时的对手的鲁棒性。
2022-05-28 cs.AI cs.CR cs.CV
Model-Contrastive Learning for Backdoor Defense
East China Normal University(华东师范大学)
由于人工智能(AI)技术的普及,我们正在目睹越来越多的后门注入攻击,这些攻击旨在恶意威胁深度神经网络(DNN),导致错误分类。虽然存在各种可以有效清除DNN后门的防御方法,但它们都受到高攻击成功率(ASR)和不可忽视的良性准确性(BA)损失的严重影响。受观察到的后门DNN往往会在其特征空间中形成一个新的集群中毒数据的启发,在本文中,我们提出了一种新的两阶段后门防御方法,名为MCLDef,基于模型-对比学习(MCL)。在第一阶段,我们的方法进行触发反转触发合成的基础上,其中所得到的触发器可以用来生成中毒的数据。在第二阶段,在MCL和我们定义的正负对的指导下,MCLDef可以通过将有毒数据的特征表示拉向其干净数据的特征表示来净化后门模型。由于中毒数据的收缩聚类,消除了端到端监督学习形成的后门。综合实验结果表明,只有5%的干净数据,MCLDef显着优于最先进的防御方法,高达95.79%的减少ASR,而在大多数情况下,BA降解可以控制在小于2%。我们的代码可在https://github.com/WeCanShow/MCL上获得。
2022-05-17 cs.LG
NT-ML: Backdoor Defense via Non-target Label Training and Mutual Learning
Mathematics and Computer Science, Free University Berlin(数学与计算机科学系,柏林自由大学)
提出NT-ML防御方法,通过非目标标签训练和师生互学习,利用少量干净样本有效抵御多种后门攻击,性能优于现有防御。
2025-08-07 cs.LG
PolicyGuard: Towards Test-time and Step-level Adversary (Backdoor) Defense for Reinforcement Learning Agent
Computer Science, University of Maryland College Park, USA(计算机科学,马里兰大学学院市)
提出PolicyGuard,一种基于高斯过程后验方差的测试时步级后门防御方法,通过自适应伪轨迹计算单步不确定性,在七种RL游戏中达到平均AUROC 0.856和0.859。
2026-06-23 cs.AI cs.CR cs.LG
Uncovering, Explaining, and Mitigating the Superficial Safety of Backdoor Defense
Hong Kong University of Science and Technology(香港科技大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文揭示了当前后门净化方法仅实现表面安全性,易被少量样本重新激活后门,并提出基于查询的重新激活攻击(QRA)及路径感知最小化防御(PAM),显著提升净化后鲁棒性。
2024-10-16 cs.AI cs.CR cs.LG
TrojanZoo: Towards Unified, Holistic, and Practical Evaluation of Neural Backdoors
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学);Hong Kong Polytechnic University(香港理工大学)
神经后门是深度学习系统安全性的一个主要威胁。密集的研究产生了过多的后门攻击/防御,导致不断的军备竞赛。然而,由于缺乏评估基准,许多关键问题仍然没有得到充分探讨:(i)不同攻击/防御的优势和局限性是什么?(ii)什么是最佳操作方法?及(iii)如何进一步改善现有的攻击/防御措施?为了弥合这一差距,我们设计并实现了TROJANZOO,这是第一个以统一,整体和实用的方式评估神经后门攻击/防御的开源平台。到目前为止,专注于计算机视觉领域,它包含了8种代表性攻击,14种最先进的防御,6种攻击性能指标,10种防御效用指标,以及用于深入分析攻击-防御交互的丰富工具。利用TROJANZOO,我们对现有的攻击/防御进行了系统的研究,揭示了它们复杂的设计谱:两者都表现出多个需求之间的复杂权衡(例如,攻击的有效性、规避性和可转移性)。我们进一步探索改进现有的攻击/防御,导致一些有趣的发现:(i)一个像素的触发器往往足够;(ii)从头开始训练往往优于扰动良性模型来制作特洛伊木马模型;(iii)优化触发器和特洛伊木马模型联合大大提高了攻击的有效性和规避性;(iv)个体防御往往可以通过自适应攻击来规避;以及(v)利用模型可解释性显著提高了防御鲁棒性。我们设想TROJANZOO将作为一个有价值的平台,以促进未来对神经后门的研究。
2022-10-21 cs.LG
Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection
New York University(纽约大学)
本文提出了一种新的防御神经网络后门攻击的恶意训练,在攻击者选择的触发器的存在下,预测错误。我们的防御是基于这样的直觉:后门网络的特征提取层嵌入了新的特征来检测触发器的存在,而后续的分类层在检测到触发器时学会了错误预测。因此,为了检测后门,所提出的防御使用两个在干净的验证数据上训练的协同异常检测器:第一个是检查异常特征的新颖性检测器,而第二个通过与在验证数据上训练的单独分类器进行比较来检测从特征到输出的异常映射。该方法在广泛的后门网络(具有多种触发器)上进行了评估,这些网络成功地避开了最先进的防御。此外,我们评估我们的方法的鲁棒性不可察觉的扰动,大规模数据集上的可扩展性,和有效性下域转移。本文还表明,防御可以进一步提高使用数据增强。
2020-11-04 cs.LG
Progressive Poisoned Data Isolation for Training-time Backdoor Defense
University of Macau(澳门大学)
针对训练时后门防御,提出渐进式隔离中毒数据(PIPD)方法,通过逐步隔离提高准确性并降低误报,实验显示在CIFAR-10上TPR达99.95%,FPR仅0.06%,优于现有方法。
2023-12-20 cs.AI cs.CR cs.LG
Reconstructive Neuron Pruning for Backdoor Defense
Xidian University(西安电子科技大学);Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Copenhagen(哥本哈根大学);Sony AI(索尼人工智能);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对DNN后门防御中难以定位并移除后门神经元的问题,本文提出RNP,通过神经元级反学习与滤波器级恢复的非对称重构流程暴露并剪枝后门神经元,达到最先进防御效果,并可增强多类后门防御任务。
2023-12-08 cs.CR cs.LG
Gradient Norm-based Fine-Tuning for Backdoor Defense in Automatic Speech Recognition
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));South China University of Technology(华南理工大学)
针对音频领域后门防御空白及视觉方法适配效果有限的问题,提出基于梯度范数的微调(GN-FT)方法,利用后门神经元梯度值较高的特性引入正则化削弱后门神经元,是首个有效的音频领域后门防御策略。
2025-02-03 cs.LG cs.SD eess.AS
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 PECAN,通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证,实现高效确定性后门防御,并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG
Defense against Backdoor Attacks via Identifying and Purifying Bad Neurons
Fuzhou University(福州大学);East China Normal University(华东师范大学)
神经网络的不透明性导致它们容易受到后门攻击的攻击,在这种攻击中,被感染神经元的隐藏注意力被触发,以覆盖对攻击者选择的神经元的正常预测。在本文中,我们提出了一种新的后门防御方法来标记和净化后门神经网络中的感染神经元。具体来说,我们首先定义了一个新的度量标准,称为良性显着性。通过结合一阶梯度来保留神经元之间的连接,良性显著性可以比后门防御中常用的度量更准确地识别受感染的神经元。然后,提出了一种新的自适应正则化(AR)机制,通过微调来帮助纯化这些已识别的感染神经元。由于AR能够适应不同大小的参数,因此在神经元纯化中,AR可以提供比常见的正则化机制更快和更稳定的收敛。大量的实验结果表明,我们的方法可以删除后门在神经网络的性能下降微不足道。
2022-08-13 cs.CR cs.CV cs.LG
CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学)
该研究提出CLIP引导后门防御(CGD),用CLIP分离干净与中毒输入,重训练模型中和后门,在4个数据集11种攻击上ASR降至1%以下,CA降幅仅0.3%,适配性与鲁棒性优异。
2026-07-31 cs.CR cs.LG cs.MM
Quantization Blindspots: How Model Compression Breaks Backdoor Defenses
University of Washington(华盛顿大学)
本研究发现量化过程显著降低后门防御的检测率,揭示了现有防御在实际部署中面临的关键挑战。
2025-12-06 cs.CR cs.LG
Defense-as-a-Service: Black-box Shielding against Backdoored Graph Models
提出GraphProt,一种与模型无关的黑盒防御框架,通过基于聚类的触发器消除和鲁棒子图集成,利用子图信息减轻后门效应,显著降低后门攻击成功率并保持模型准确率。
2025-07-14 cs.AI cs.CR cs.LG
TextGuard: Provable Defense against Backdoor Attacks on Text Classification
UIUC(伊利诺伊大学厄巴纳-香槟分校);Penn State(宾夕法尼亚州立大学);UC Berkeley(加州大学伯克利分校);Purdue University(普渡大学)
本文提出首个针对文本分类后门攻击的可证明防御方法 TextGuard,通过将训练句子拆分为子句子构建不含触发器的子训练集并集成基分类器,理论上保证预测不受触发器影响,实验证明其优于现有防御。
2023-11-25 cs.CR cs.LG
Low-Loss Subspace Compression for Clean Gains against Multi-Agent Backdoor Attacks
University of Oxford(牛津大学)
最近对多智能体后门攻击的研究证明了逆火效应,这是一种对后门攻击的自然防御,其中后门输入是随机分类的。这产生了低精度w.r.t.的副作用。干净的标签,这促使本文的工作建设的多代理后门防御,最大限度地提高准确性w.r.t.清洁标签,尽量减少有毒标签。基于代理动力学和低损失子空间构造,我们贡献了三种防御措施,提高了多代理后门的鲁棒性。
2022-09-20 cs.CR cs.LG cs.MA
Backdoor Defense through Self-Supervised and Generative Learning
本文提出利用自监督表示空间中的各类别生成式模型检测并清洗中毒数据,从而在保持良性准确率的同时显著降低后门攻击成功率。
2024-09-02 cs.CR cs.LG
Circumventing Backdoor Defenses That Are Based on Latent Separability
Princeton University(普林斯顿大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
最近的研究表明,深度学习容易受到后门中毒攻击。攻击者可以在模型中嵌入隐藏的后门,通过修改少量训练数据来操纵模型的预测,而无需控制训练过程。目前,在各种各样的后门中毒攻击中已经广泛观察到了一个有形的签名--在中毒数据集上训练的模型倾向于学习有毒样本和干净样本的可分离的潜在表示。这种潜在分离是如此普遍,以至于一系列后门防御直接将其作为默认假设(称为潜在分离性假设),基于此通过潜在空间中的聚类分析来识别有毒样本。一个有趣的问题随之而来:潜在的分离是不可避免的后门中毒攻击?这个问题对于理解潜在可分性的假设是否为防御后门中毒攻击提供了可靠的基础至关重要。在本文中,我们设计了自适应后门中毒攻击,提出反例反对这一假设。我们的方法包括两个关键组成部分:(1)一组正确标记到其语义类(而不是目标类)的有毒样本,可以规范后门学习;(2)非对称触发器种植策略,有助于提高攻击成功率(ASR)以及多样化有毒样本的潜在表示。在基准数据集上的大量实验验证了我们的自适应攻击绕过现有的基于潜在分离的后门防御的有效性。此外,我们的攻击仍然保持了很高的攻击成功率,可以忽略不计的干净的准确性下降。我们的研究呼吁防御设计者在利用潜在分离作为防御假设时要谨慎。
2023-03-04 cs.CR cs.CV cs.LG