Programmable Neural Network Trojan for Pre-Trained Feature Extractor
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
神经网络木马攻击是一种新兴的重要攻击模式，能够对部署有神经网络模型的系统造成广泛的破坏。已有的研究在特定领域的小数据集上探索了外包训练攻击场景和迁移学习攻击场景，目标类数量有限。针对外包训练攻击和迁移学习攻击，本文提出了一种更强大的木马攻击方法，该方法在攻击能力、通用性和隐蔽性方面均优于现有研究。首先，攻击是可编程的，恶意误分类目标是不固定的，即使在受害者部署之后也可以按需生成。其次，我们的木马攻击并不局限于一个小的领域，一个木马模型的大规模数据集可以影响不同领域的应用程序，重用其一般功能。第三，我们的木马设计是很难被发现或消除，即使受害者微调整个模型。
2019-01-23 cs.CR cs.CV cs.NE
A Survey of Trojan Attacks and Defenses to Deep Neural Networks
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文综述深度神经网络木马攻击与防御研究，梳理概念演进，对比分析各类攻防策略，评估真实场景攻击可行性，指出问题紧迫性并给出技术优化建议。
2024-08-15 cs.CR cs.CV
An Adaptive Black-box Defense against Trojan Attacks (TrojDef)
New Jersey Institute of Technology（新泽西理工学院）；Jordan University of Science & Technology（约旦科技大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
特洛伊木马后门是一种针对神经网络（NN）分类器的中毒攻击，其中对手试图利用（高度期望的）模型重用属性，通过中毒的训练过程将特洛伊木马植入后门漏洞的模型参数中。大多数针对木马攻击的防御措施都假设白盒设置，其中防御者可以访问NN的内部状态，也可以通过它运行反向传播。在这项工作中，我们提出了一个更实用的黑盒防御，称为TrojDef，它只能运行NN的前向传递。TrojDef尝试识别和过滤特洛伊输入（即，当输入被随机噪声反复扰动时，通过监视预测置信度的变化，来检测用特洛伊触发器增强的输入）。我们推导出一个函数的基础上的预测输出，这是所谓的预测置信界，以决定是否输入的例子是木马或没有。直觉是，特洛伊输入更稳定，因为错误分类仅取决于触发器，而良性输入在由于分类特征的扰动而增加噪声时会受到影响。通过数学分析，我们表明，如果攻击者是完美的注入后门，木马感染模型将被训练学习适当的预测置信区间，这是用来区分木马和良性输入下的任意扰动。然而，由于攻击者在注入后门方面可能并不完美，因此我们引入了一种非线性变换来预测置信区间，以提高实际设置中的检测精度。广泛的实证评估表明，TrojDef的性能明显优于最先进的防御，并且在不同的设置下非常稳定，即使分类器架构，训练过程或超参数发生变化。
2022-09-05 cs.CR cs.CV
CLEANN: Accelerated Trojan Shield for Embedded Neural Networks
UC San Diego（加州大学圣迭戈分校）
我们提出了CLEANN，第一个端到端的框架，使嵌入式深度神经网络（DNN）应用程序的木马在线缓解。特洛伊木马攻击的工作原理是在训练时在DNN中注入后门;在推理过程中，特洛伊木马可以通过特定的后门触发器激活。CLEANN与之前的工作的区别在于其轻量级方法，该方法可以恢复特洛伊样本的地面实况类，而无需标记数据，模型再训练或对触发器或攻击的先验假设。我们利用字典学习和稀疏近似来表征良性数据的统计行为并识别特洛伊木马触发器。CLEANN是基于算法/硬件协同设计而设计的，并配备了专用硬件，以实现在资源受限的嵌入式平台上的高效实时执行。CLEANN对最先进的神经特洛伊木马攻击的概念验证评估在视觉基准测试中证明了其在攻击弹性和执行开销方面的竞争优势。
2020-09-04 cs.AR cs.CR cs.CV
A Survey of Neural Trojan Attacks and Defenses in Deep Learning
人工智能（AI）在很大程度上依赖于深度学习--这种技术在AI的实际应用中越来越受欢迎，即使在安全关键和高风险领域也是如此。然而，最近发现深度学习可以通过在其中嵌入木马来操纵。不幸的是，规避深度学习计算要求的实用解决方案，例如将模型训练或数据注释外包给第三方，进一步增加了模型对木马攻击的敏感性。由于该主题在深度学习中的关键重要性，最近的文献在这个方向上做出了许多贡献。我们对为深度学习设计特洛伊木马攻击的技术进行了全面的回顾，并探讨了它们的防御措施。我们的信息调查系统地组织了最近的文献，并讨论了方法的关键概念，同时假设读者对该领域的知识最少。它为更广泛的社区提供了一个可理解的门户，以了解神经特洛伊木马的最新发展。
2022-02-15 cs.AI cs.CR cs.CV
Towards Effective and Robust Neural Trojan Defenses via Input Filtering
Applied Artificial Intelligence Institute (A2I2), Deakin University（迪肯大学应用人工智能研究所（A2I2））；University of Wollongong（伍伦贡大学）
木马对深层神经网络的攻击既危险又诡异。在过去的几年中，特洛伊木马攻击已经从只使用单个输入不可知触发器并仅针对一个类发展到使用多个输入特定触发器并针对多个类。然而，特洛伊木马防御并没有跟上这一发展。大多数防御方法仍然对木马触发器和目标类的假设不足，因此，可以很容易地绕过现代木马攻击。为了解决这个问题，我们提出了两种新的“过滤”防御称为变分输入过滤（VIF）和对抗输入过滤（AIF），分别利用有损数据压缩和对抗学习，有效地净化潜在的特洛伊木马触发器在运行时间的输入，而无需假设的触发器/目标类的数量或触发器的输入依赖属性。此外，我们引入了一种新的防御机制，称为“过滤然后对比”（FtC），这有助于避免“过滤”导致的干净数据的分类准确性下降，并将其与VIF/AIF相结合，以获得这种新的防御。广泛的实验结果和消融研究表明，我们提出的防御显着优于著名的基线防御在减轻五个先进的木马攻击，包括最近的两个国家的最先进的，同时是相当强大的少量训练数据和大规范触发。
2023-02-14 cs.AI cs.CR cs.CV
Rethinking the Reverse-engineering of Trojan Triggers
Rutgers University（罗格斯大学）
深度神经网络易受木马（或后门）攻击。逆向工程方法可以重建触发器，从而识别受影响的模型。现有的逆向工程方法仅考虑输入空间约束，例如，输入空间中的触发器大小。实际上，它们假设触发器是输入空间中的静态模式，并且无法检测具有特征空间触发器（例如图像样式转换）的模型。我们观察到，输入空间和特征空间木马与特征空间超平面。基于这一观察，我们设计了一种新的逆向工程方法，利用特征空间约束的逆向工程木马触发器。对四个数据集和七种不同攻击的结果表明，我们的解决方案有效地防御输入空间和特征空间木马。它在木马模型检测和缓解任务方面优于最先进的逆向工程方法和其他类型的防御。平均而言，我们的方法的检测精度为93%。对于木马缓解，我们的方法可以减少ASR（攻击成功率），只有0.26%的BA（良性准确性）保持几乎不变。我们的代码可以在https://github.com/RU-System-Software-and-Security/FeatureRE上找到。
2022-10-27 cs.AI cs.CR cs.CV
CatchBackdoor: Backdoor Detection via Critical Trojan Neural Path Fuzzing
School of Information Sciences, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校信息科学学院）；College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；Institute of Cyberspace Security, Zhejiang University of Technology（浙江工业大学网络空间安全研究院）
针对现有后门检测对触发器大小敏感且依赖良性样本的问题，提出CatchBackdoor方法，通过差分模糊测试从良性路径逼近木马路径并逆向触发器，在多个数据集和模型上显著提升隐蔽攻击检测性能。
2024-07-17 cs.AI cs.CR cs.CV
Defense Against Multi-target Trojan Attacks
Applied Artificial Intelligence Institute (A2I2), Deakin University（迪肯大学应用人工智能研究所（A2I2））；University of Wollongong（伍伦贡大学）
对基于深度学习的模型的对抗攻击对当前的AI基础设施构成了重大威胁。其中，木马攻击是最难防御的。在本文中，我们首先介绍Badnet攻击的一种变体，它将特洛伊木马后门引入多个目标类，并允许将触发器放置在图像中的任何位置。前者使其更强大，后者使其非常容易在物理空间中进行攻击。最先进的特洛伊木马检测方法在这种威胁模型下会失败。为了防御这种攻击，我们首先引入了一种触发器逆向工程机制，该机制使用多个图像来恢复各种潜在的触发器。然后，我们提出了一个检测机制，通过测量这种恢复的触发器的可转移性。木马触发器将具有非常高的可转移性，即它们使其他图像也进入同一类。我们研究了我们的攻击方法的许多实际优势，然后使用各种图像数据集演示检测性能。实验结果表明，我们的方法优于国家的最先进的检测性能。
2022-07-08 cs.CV
Odyssey: Creation, Analysis and Detection of Trojan Models
University of Central Florida（中佛罗里达大学）；University of Western Australia（西澳大学）
随着深度神经网络（DNN）模型的成功，这些模型的完整性受到了威胁。最近的威胁是特洛伊木马攻击，攻击者通过将触发器插入到一些训练样本中来干扰训练管道，并训练模型仅对包含触发器的样本进行恶意操作。由于触发器的知识对于攻击者来说是秘密的，因此特洛伊木马网络的检测具有挑战性。现有的特洛伊木马检测器对触发器和攻击的类型做出了很强的假设。我们提出了一个检测器，这是基于分析的内在DNN属性，这是由于特洛伊木马程序的影响。为了进行全面的分析，我们开发了Odysseus，这是迄今为止最多样化的数据集，拥有超过3，000个干净和特洛伊木马模型。Odysseus涵盖了大范围的攻击;通过利用触发器设计和源到目标类映射的多功能性生成。我们的分析结果表明，木马攻击影响分类器的边缘和形状的决策边界周围的清洁数据的流形。利用这两个因素，我们提出了一个有效的木马检测器，操作没有任何知识的攻击和显着优于现有的方法。通过一组全面的实验，我们证明了跨模型架构，看不见的触发器和正则化模型的检测器的功效。
2020-12-08 cs.CV
Hardly Perceptible Trojan Attack against Neural Networks with Bit Flips
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
由于深度神经网络（DNN）在各种应用中的广泛应用，其安全性越来越受到人们的关注。最近，已部署的DNN已被证明容易受到特洛伊木马攻击，特洛伊木马攻击通过位翻转来操纵模型参数，以注入隐藏的行为并通过特定的触发模式激活它。然而，所有现有的特洛伊木马攻击都采用明显的基于补丁的触发器（例如，正方形图案），使它们能够被人类感知并且容易被机器发现。本文提出了一种新的攻击方法，即难以察觉的木马攻击（HPT）。HPT通过利用加性噪声和逐像素流场分别调整原始图像的像素值和位置来制作难以察觉的木马图像。为了实现卓越的攻击性能，我们建议联合优化位翻转，加性噪声和流场。由于DNN的权重位是二进制的，因此这个问题很难解决。我们用等价替换的方法处理二元约束，并给出了一个有效的优化算法。在CIFAR-10、SVHN和ImageNet数据集上进行的大量实验表明，所提出的HPT可以生成几乎不可感知的木马图像，同时与最先进的方法相比，实现了相当或更好的攻击性能。该代码可从以下网址获取：https://github.com/jiawangbai/HPT。
2022-07-27 cs.CV
Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）；Tokyo Institute of Technology（东京工业大学）
提出一种实例级多模态木马攻击方法，通过双模态对抗学习在预训练模型中破坏特定神经元，建立恶意关联，高效适应微调模型，实验证明其高效、隐蔽且难以被传统防御缓解。
2024-03-17 cs.AI cs.CV
SSL-Cleanse: Trojan Detection and Mitigation in Self-Supervised Learning
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Samsung Research America（三星美国研究院）；University of Central Florida（中佛罗里达大学）
针对自监督学习编码器中的木马攻击，提出SSL-Cleanse方法，在未知下游任务和无标签数据下检测并缓解后门，在ImageNet-100上达到82.2%检测成功率，缓解后攻击成功率降至0.3%。
2024-07-16 cs.CR cs.CV cs.LG
Event Trojan: Asynchronous Event-based Backdoor Attacks
Hong Kong Baptist University（香港浸会大学）；City University of Hong Kong（香港城市大学）
针对异步事件数据后门攻击研究不足的问题，提出包含不可变与可变两类触发器的Event Trojan框架，通过自适应机制和新型损失函数提升攻击性与隐蔽性，实验验证了有效性，呼吁关注相关安全威胁。
2024-07-14 cs.CR cs.CV
TrojFlow: Flow Models are Natural Targets for Trojan Attacks
University of Science and Technology of China（中国科学技术大学）
本文提出TrojFlow攻击方法，利用FMs拟合任意分布的特性，通过简化训练与采样设置对生成模型实施Trojan攻击，实验证明其能高效攻破模型并突破现有防御机制。
2024-12-21 cs.AI cs.CV
An Experimental Study of Trojan Vulnerabilities in UAV Autonomous Landing
Department of Electrical and Computer Engineering at North Carolina A&T State University（北卡罗来纳A&T州立大学电气与计算机工程系）；University of Alabama（阿拉巴马大学）；Department of Electrical and Computer Engineering, Windsor University（温莎大学电气与计算机工程系）
本研究通过实验揭示了无人机自主降落系统中木马攻击的漏洞，展示了攻击对模型准确性的严重影响，并提出了评估框架以识别受感染模型。
2025-10-23 cs.AI cs.CR cs.CV
VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models
本文提出VL-Trojan多模态指令后门攻击，通过隔离聚类学习图像触发器和迭代字符级文本触发器生成，在自回归视觉语言模型上实现高效黑盒攻击，ASR超越基线62.52%，并具备跨模型规模和少样本场景的鲁棒性。
2024-02-21 cs.CV
DeBUGCN -- Detecting Backdoors in CNNs Using Graph Convolutional Networks
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
针对深度神经网络易受后门攻击的问题，提出基于图卷积网络的后门检测方法DeBUGCN，通过将DNN权重构建为图层并用GCN二分类，在多数据集上验证其鲁棒性、模型无关性及更优的速度与准确率。
2025-02-25 cs.CV cs.LG
FreqDoor: A Hidden Trojan in the Frequency Domain for Backdoor Attacks on Vision-Language Models
提出FreqDoor，一种在频率域植入不可见触发器的训练时后门攻击，通过混合幅度谱并保留相位，在多个VLM上实现高攻击成功率。
2026-09-09 cs.CV
Detecting Trojaned DNNs Using Counterfactual Attributions
SRI International（SRI国际）
我们的目标是在DNN中检测木马或后门的问题。这些模型在典型输入下表现正常，但对带有特洛伊木马触发器的输入产生特定的错误预测。我们的方法是基于一个新的观察，触发行为取决于一些鬼神经元激活触发模式，并表现出异常较高的相对归因于错误的决定时，激活。此外，这些触发神经元也对目标类的正常输入起作用。因此，我们使用反事实属性从干净的输入中定位这些幽灵神经元，然后逐渐激发它们来观察模型准确性的变化。我们通过使用深度集编码器将这些信息用于特洛伊木马检测，该编码器可以实现模型类数量，架构等的不变性。我们的方法在TrinityAI工具中实现，该工具利用了深度学习中可信度，弹性和可解释性挑战之间的协同作用。我们在模型架构、触发器等具有高度多样性的基准测试上评估了我们的方法。我们显示出与最先进的方法相比的一致收益（+10%），这些方法依赖于DNN对特定对抗攻击的敏感性，而这反过来又需要对特洛伊木马攻击的性质进行强有力的假设。
2020-12-03 cs.AI cs.CV cs.IT
MISA: Online Defense of Trojaned Models using Misattributions
Boston University（波士顿大学）；SRI International（斯坦福国际研究院）
最近的研究表明，神经网络很容易受到特洛伊木马攻击，其中网络被训练成以特定和潜在恶意的方式对输入中特制的触发模式做出响应。本文提出了MISA，一种新的在线方法来检测木马触发器的神经网络在推理时间。我们的方法是基于一个新的概念称为misattributations，它捕捉了木马激活的特征空间中的异常表现。给定输入图像和相应的输出预测，我们的算法首先计算模型在不同特征上的属性。然后对这些属性进行统计分析，以确定是否存在特洛伊木马触发器。在一组基准测试中，我们证明了我们的方法可以有效地检测各种触发模式的特洛伊木马触发器，包括最近几个没有已知防御的触发模式。我们的方法实现了96%的AUC检测图像，其中包括一个木马触发器没有任何假设的触发模式。
2021-09-23 cs.CR cs.CV stat.ML
Pre-trained Trojan Attacks for Visual Recognition
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Sun Yat-Sen University（中山大学）；The University of Sydney（悉尼大学）
本文提出预训练特洛伊攻击，通过风格化触发器和无上下文训练流程，将后门嵌入预训练视觉模型，实现对检测、分割等下游任务的有效攻击，并验证了在大型模型和自动驾驶3D检测中的实用性。
2023-12-23 cs.CV
Mind the Trojan Horse: Image Prompt Adapter Enabling Scalable and Deceptive Jailbreaking
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；Nanyang Technological University（南洋理工大学）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）
本文揭示配备 IP-Adapter 的文本到图像扩散模型存在“劫持攻击”越狱风险，攻击者可通过难以察觉的对抗样本劫持大量用户，并探索结合对抗训练模型以改进防御。
2025-04-08 cs.AI cs.CR cs.CV
Trigger Hunting with a Topological Prior for Trojan Detection
Stony Brook University（石溪大学）；SRI International（斯坦福国际研究院）
尽管深度神经网络（DNN）取得了成功和流行，但在面临后门攻击时，它仍然很脆弱。这阻碍了它们的广泛采用，特别是在关键任务应用中。本文解决了木马检测的问题，即识别木马模型-用有毒数据训练的模型。一种流行的方法是逆向工程，即，通过操纵模型的预测，在干净的图像上恢复触发器。逆向工程方法的一个主要挑战是触发器的巨大搜索空间。为此，我们提出了创新的先验，如多样性和拓扑简单性，不仅增加了找到合适的触发器的机会，但也提高了质量的发现触发器。此外，通过鼓励一组不同的触发候选者，我们的方法可以有效地执行未知的目标标签的情况下。我们证明，这些先验知识可以显着提高恢复的触发器的质量，从而大大提高特洛伊木马检测的准确性，这在合成和公开的TrojAI基准测试中都得到了验证。
2022-04-02 cs.CG cs.CV
Targeted Attack Improves Protection against Unauthorized Diffusion Customization
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
本文提出利用定向攻击替代无目标攻击来增强对未经授权扩散模型定制的防护，实验证明其在毒化模型和降低图像质量上效果显著，并首次揭示了扩散模型对定向攻击的脆弱性。
2025-11-01 cs.AI cs.CV
