Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
特洛伊木马攻击通过毒害深度神经网络（DNN）来威胁它们，使其在大多数样本上表现正常，但对附加有特定触发器的输入产生操纵结果。几个作品试图检测给定的DNN是否在训练期间注入了特定的触发器。在平行的研究中，彩票假设揭示了稀疏子网络的存在，这些子网络在独立训练后能够达到与密集网络一样的竞争性能。将这两点联系起来，我们从全新的稀疏性角度研究特洛伊DNN检测问题，即使没有干净的训练数据可用。我们的关键观察是，特洛伊特征对网络修剪比良性特征更稳定。利用这一点，我们提出了一种新的木马网络检测制度：首先定位一个“中奖的木马彩票”，保留几乎完整的木马信息，但只有机会级的性能上干净的输入，然后恢复嵌入在这个已经隔离的子网络触发。在各种数据集上进行了广泛的实验，即，CIFAR-10、CIFAR-100和ImageNet，具有不同的网络架构，即，VGG-16、ResNet-18、ResNet-20 s和DenseNet-100证明了我们的建议的有效性。代码可在https://github.com/VITA-Group/Backdoor-LTH上获得。
2022-05-24 cs.CR cs.LG
Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
当训练数据被恶意篡改时，获得的深度神经网络（DNN）的预测可以被称为特洛伊木马攻击（或中毒后门攻击）的对手操纵。DNN对特洛伊木马攻击缺乏鲁棒性可能会严重损害下游应用中的现实机器学习（ML）系统，因此对其可信度造成广泛关注。在本文中，我们研究了数据稀缺制度下的特洛伊木马网络（TrojanNet）检测问题，其中检测器只访问经过训练的DNN的权重。我们首先提出了一个数据有限的特洛伊木马检测器（TND），当只有少数数据样本可用于特洛伊木马检测。我们发现，一个有效的数据有限的TND可以建立通过探索特洛伊木马攻击和预测规避对抗攻击，包括每样本攻击以及所有样本的通用攻击之间的联系。此外，我们提出了一个无数据的TND，它可以检测一个特洛伊木马，而无需访问任何数据样本。我们表明，这样的TND可以通过利用隐藏的神经元，即使在随机噪声输入表现出特洛伊木马的行为的内部响应。通过在不同的模型架构和数据集（包括CIFAR-10，GTSRB和ImageNet）下进行广泛的实验，评估了我们建议的有效性。
2020-07-31 cs.CR cs.LG stat.ML
Game of Trojans: Adaptive Adversaries Against Output-based Trojaned-Model Detectors
University of Washington（华盛顿大学）；University of Illinois（伊利诺伊大学）；Western Washington University（西华盛顿大学）
提出一种知晓SOTA检测器的自适应对抗方法，利用DNN参数高维性重新训练木马模型，通过迭代博弈建模并配合贪心算法选择样本，在保持高准确率的同时有效规避多种主流木马模型检测。
2024-02-12 cs.CR cs.LG
ConFoc: Content-Focus Protection Against Trojan Attacks on Neural Networks
Purdue University（普渡大学）
深度神经网络（DNN）已成功应用于计算机视觉。然而，它们在图像相关应用程序中的广泛采用受到了特洛伊木马攻击的威胁。这些攻击在训练时使用带有标记或触发器的样本插入一些错误行为，这些行为在推理或测试时被利用。在这项工作中，我们分析了DNN在训练时学习的特征的组成。我们发现，它们，包括那些相关的插入触发器，包含内容（语义信息）和风格（纹理信息），这是作为一个整体识别的DNN在测试时。然后，我们提出了一种新的防御技术，对木马攻击，其中DNN被教导忽视的风格的输入，并专注于其内容只减轻触发器的影响在分类。该方法的通用适用性的交通标志和人脸识别应用程序的背景下证明。他们每个人都暴露在不同的攻击与各种触发器。结果表明，该方法在所有测试攻击中将攻击成功率显着降低到< 1%，同时在处理良性和敌对数据时保持并提高了模型的初始准确性。
2020-07-01 cs.CR cs.CV cs.LG
DeBUGCN -- Detecting Backdoors in CNNs Using Graph Convolutional Networks
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
针对深度神经网络易受后门攻击的问题，提出基于图卷积网络的后门检测方法DeBUGCN，通过将DNN权重构建为图层并用GCN二分类，在多数据集上验证其鲁棒性、模型无关性及更优的速度与准确率。
2025-02-25 cs.CV cs.LG
On Trojan Signatures in Large Language Models of Code
University of Houston（休斯顿大学）
本文针对代码大语言模型，研究基于权重的木马签名检测技术，发现该方法无法推广到代码大模型，仅靠权重检测其木马存在较大难度。
2024-03-07 cs.CR cs.LG cs.SE
CLEANN: Accelerated Trojan Shield for Embedded Neural Networks
UC San Diego（加州大学圣迭戈分校）
我们提出了CLEANN，第一个端到端的框架，使嵌入式深度神经网络（DNN）应用程序的木马在线缓解。特洛伊木马攻击的工作原理是在训练时在DNN中注入后门;在推理过程中，特洛伊木马可以通过特定的后门触发器激活。CLEANN与之前的工作的区别在于其轻量级方法，该方法可以恢复特洛伊样本的地面实况类，而无需标记数据，模型再训练或对触发器或攻击的先验假设。我们利用字典学习和稀疏近似来表征良性数据的统计行为并识别特洛伊木马触发器。CLEANN是基于算法/硬件协同设计而设计的，并配备了专用硬件，以实现在资源受限的嵌入式平台上的高效实时执行。CLEANN对最先进的神经特洛伊木马攻击的概念验证评估在视觉基准测试中证明了其在攻击弹性和执行开销方面的竞争优势。
2020-09-04 cs.AR cs.CR cs.CV
TAD: Trigger Approximation based Black-box Trojan Detection for AI
随着机器学习（ML）的兴起，大量的智能应用被开发出来。深度神经网络（DNN）在医疗诊断和自动驾驶等各个领域都表现出了前所未有的性能。虽然DNN广泛应用于安全敏感领域，但它们被认为容易受到由隐形触发器控制和激活的神经特洛伊木马（NT）攻击。我们称这种脆弱的模型为对抗性人工智能（AI）。在本文中，我们的目标是设计一个强大的木马检测方案，检查预训练的AI模型是否在部署之前被木马感染。现有的工作忽略了触发分布的内在属性，并试图使用简单的几何学来重建触发模式，即，将给定模型刺激到错误输出。因此，它们的检测时间和有效性受到限制。我们利用像素触发器通常具有空间依赖性的观察结果，并提出了一种基于触发器近似的特洛伊木马检测框架，该框架可以在输入空间中快速和可扩展地搜索触发器。此外，恶意软件还可以检测嵌入在特征空间中的特洛伊木马，其中某些过滤器转换用于激活特洛伊木马。我们进行了大量的实验，以研究在各种数据集和ML模型上的性能。实证结果显示，木马在公共TrojAI数据集1上的ROC-AUC得分为0：91，每个模型的平均检测时间为7：1分钟。
2021-04-20 cs.AI cs.CR cs.LG
An Adaptive Black-box Backdoor Detection Method for Deep Neural Networks
UC San Diego（加州大学圣地亚哥分校）；San Diego State University（圣地亚哥州立大学）
随着机器学习（ML）的兴起，大量的智能应用被开发出来。深度神经网络（DNN）在医疗诊断和自动驾驶等各个领域都表现出了前所未有的性能。虽然DNN广泛应用于安全敏感领域，但它们被认为容易受到由隐形触发器控制和激活的神经特洛伊木马（NT）攻击。在本文中，我们的目标是设计一个强大的和自适应的木马检测方案，检查是否一个预先训练的模型已被木马部署之前。现有的工作忽略了触发分布的内在属性，并试图使用简单的几何学来重建触发模式，即，将给定模型刺激到错误输出。因此，它们的检测时间和有效性受到限制。我们利用像素触发器通常具有空间依赖性的观察结果，并提出了第一个基于触发器近似的黑盒木马检测框架，该框架能够在输入空间中快速且可扩展地搜索触发器。此外，我们的方法还可以检测嵌入在特征空间中的木马，其中某些过滤器转换用于激活木马。我们进行了大量的实验，以研究我们的方法在各种数据集和ML模型上的性能。实证结果表明，我们的方法在公共TrojAI数据集上实现了0.93的ROC-AUC得分。我们的代码可以在https://github.com/xinqiaozhang/adatrojan上找到
2022-04-08 cs.CR cs.LG
TRIGS: Trojan Identification from Gradient-based Signatures
USC Information Sciences Institute（南加州大学信息科学研究所）；Clemson University（克莱姆森大学）
针对预训练模型易遭木马攻击的安全问题，提出基于梯度签名的木马检测方法TRIGS，在多个数据集上实现了超越基线的最优性能，且对干净样本需求少、适配未知模型架构。
2024-12-11 cs.CR cs.CV cs.LG
Vulnerabilities of Deep Learning-Driven Semantic Communications to Backdoor (Trojan) Attacks
Virginia Tech（弗吉尼亚理工大学）；University of Maryland（马里兰大学）；The Ohio State University（俄亥俄州立大学）
本文重点介绍了深度学习驱动的语义通信对后门（特洛伊木马）攻击的脆弱性。语义通信的目的是在将信息从发送者传递到接收者的同时传达期望的含义。由作为自动编码器的一部分的两个深度神经网络（DNN）表示的编码器-解码器对被训练以通过在有限数量的信道使用上传输小尺寸的潜在特征来在接收器处重构诸如图像的信号。同时，接收器处的语义任务分类器的另一个DNN与自动编码器联合训练，以检查传达给接收器的含义。DNN的复杂决策空间使得语义通信容易受到对抗性操纵的影响。在后门（特洛伊木马）攻击中，攻击者将触发器添加到一小部分训练样本中，并将标签更改为目标标签。当考虑图像的传输时，触发器可以被添加到图像或等同地添加到对应的发送或接收的信号。在测试时间，对手通过提供中毒样本作为语义通信的编码器（或解码器）的输入来激活这些触发器。后门攻击可以有效地将针对中毒输入样本传递的语义信息改变为目标含义。随着语义通信的性能随着信噪比和信道使用次数的提高而提高，后门攻击的成功率也会提高。此外，增加训练数据中的特洛伊木马比率使攻击更成功。与此同时，这种攻击对未中毒输入样本的影响仍然有限。总体而言，本文表明，后门攻击构成了严重的威胁，语义通信，并提出了新的设计准则，以保持传输的信息的含义存在的后门攻击。
2022-12-21 cs.CR cs.IT cs.LG
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
后门（特洛伊木马）攻击是针对深度神经网络（DNN）的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时，被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净（无攻击）的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小而干净的数据集，但无法访问DNN的（可能中毒的）训练集。然而，这些防御既不能在触发后门映射的行为中抓住罪犯，也不能在测试时减轻后门攻击。在本文中，我们提出了一个“飞行中”防御后门攻击的图像分类，1）检测使用后门触发器在测试时，和2）推断类的起源（源类）检测到的触发器的例子。我们的防御的有效性进行了实验证明，对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
Invisible Backdoor Attacks on Deep Neural Networks via Steganography and Regularization
Shanghai Jiao Tong University（上海交通大学）；The University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
深度神经网络（DNN）已被证明容易受到后门攻击的攻击，其中隐藏的特征（模式）被训练成一个正常的模型，它只被一些特定的输入（称为触发器）激活，欺骗模型产生意想不到的行为。在本文中，我们为后门攻击创建了隐蔽和分散的触发器，这些触发器可以欺骗DNN模型和人类检查。我们通过两种最先进的嵌入触发器的方法来应用我们的隐形后门进行后门攻击。Badnets的第一种方法通过隐写术将触发器嵌入DNN。木马攻击的第二种方法使用两种类型的附加正则化项来生成具有不规则形状和大小的触发器。我们使用攻击成功率和功能来衡量我们的攻击性能。我们介绍了两个新的定义，人类感知的不可见性;一个是概念化的感知对抗相似性得分（PASS），另一个是学习感知图像补丁相似性（LPIPS）。我们表明，通过测量对手的攻击成功率，普通用户的功能和管理员的不可见性得分，我们提出的隐形后门在各种DNN模型以及四个数据集MNIST，CIFAR-10，CIFAR-100和GTSRB中可以相当有效。最后，我们认为，建议的无形后门攻击可以有效地挫败国家的最先进的木马后门检测方法，如神经清洗和TABOR。
2020-08-31 cs.CR cs.CV cs.LG
HASHTAG: Hash Signatures for Online Detection of Fault-Injection Attacks on Deep Neural Networks
UC San Diego（加州大学圣地亚哥分校）
我们提出了HASHTAG，这是第一个能够高精度检测深度神经网络（DNN）故障注入攻击的框架，具有可证明的检测性能界限。故障注入攻击的最新文献显示，位翻转导致DNN精度严重下降。在这种情况下，攻击者在DNN执行期间通过篡改程序的DRAM存储器来更改一些权重位。为了检测运行时位翻转，HASHTAG在部署之前从良性DNN中提取唯一签名。该签名稍后用于验证DNN的完整性，并在运行中验证推理输出。我们提出了一种新的灵敏度分析方案，可以准确识别最容易受到故障注入攻击的DNN层。然后，通过使用低冲突哈希函数对脆弱层中的底层权重进行编码来构建DNN签名。当部署DNN时，在推理期间从目标层提取新的哈希，并与地面真实签名进行比较。HASHTAG采用了一种轻量级的方法，可确保在嵌入式平台上进行低开销和实时的故障检测。对各种DNN进行的最先进的位翻转攻击的广泛评估证明了HASHTAG在攻击检测和执行开销方面的竞争优势。
2021-11-02 cs.AI cs.CR cs.LG
TrojanPuzzle: Covertly Poisoning Code-Suggestion Models
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Microsoft Corporation（微软公司）；University of Virginia（弗吉尼亚大学）
本文提出 COVERT 与 TROJANPUZZLE 两种代码模型数据投毒攻击，通过文档字符串及拆分有效载荷绕过静态分析与数据集清洗，并在两种规模模型上验证其威胁。
2024-01-24 cs.CR cs.LG
HaS-Nets: A Heal and Select Mechanism to Defend DNNs Against Backdoor Attacks for Data Collection Scenarios
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；UNSW（新南威尔士大学）
我们已经目睹了后门攻击与深度神经网络（DNN）上相应防御策略之间的持续军备竞赛。大多数最先进的防御依赖于“输入”或“潜在DNN表示”的统计净化来捕获特洛伊木马行为。在本文中，我们首先挑战的鲁棒性，最近报道的防御引入一种新的变种有针对性的后门攻击，称为“低信心后门攻击“。我们还提出了一种新的防御技术，称为“HaS-Nets”。“低置信度后门攻击“利用分配给中毒训练样本的置信度标签，通过提供低值来隐藏它们的存在，无论是在训练还是推理过程中。我们评估了四种最先进的防御方法，即，STRIP、Ventient-Shaping、Februus和ULP防御，分别达到99%、63.73%、91.2%和80%的攻击成功率。接下来，我们提出了“HaS-Nets”来抵抗训练过程中网络中的后门插入，使用合理小的愈合数据集，大约占完整训练数据的2%到15%，在每次迭代时愈合网络。我们针对不同的数据集（Fashion-MNIST，CIFAR-10，Consumer Complaint和Urban Sound）和网络架构（MLP，2D-CNN，1D-CNN）进行了评估。我们的实验表明，“HaS-Nets”可以将ASR从90%以上降低到15%以下，与数据集，攻击配置和网络架构无关。
2020-12-14 cs.CR cs.LG
Long-Term and Short-Term Transistor Aging in Deep Neural Networks: Impact and Mitigation
Dept. of Electrical and Computer Engineering, New York University (NYU) Tandon School of Engineering（纽约大学电气与计算机工程系（Tandon工程学院））；School of Computation, Information and Technology, Technical University of Munich (TUM)（慕尼黑技术大学计算、信息与技术学院）
本文研究了长期和短期晶体管老化对深度神经网络推理精度的影响，并提出了一种老化感知重训练方法来缓解性能下降。
2026-06-02 cs.CR cs.LG
TESDA: Transform Enabled Statistical Detection of Attacks in Deep Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）现在是图像分类等计算机视觉任务的实际选择。然而，它们的复杂性和“黑盒”性质往往使部署它们的系统容易受到一系列安全威胁。因此，成功地识别这种威胁，特别是在安全关键的现实世界应用中，是至关重要的，但仍然是一个非常开放的问题。我们提出了TESDA，这是一种低开销，灵活，统计接地的方法，通过利用它们在DNN中间层特征分布中引起的差异来进行攻击的在线检测。与大多数先前的工作不同，我们既不需要专用硬件来实时运行，也不需要木马触发器来检测行为的差异。我们根据经验建立了我们的方法在多个架构，数据集和不同攻击中的实用性和实用性，始终实现了95%以上的检测覆盖率，操作计数开销低至1- 2%。
2021-10-16 cs.CR cs.LG
Backdoor Mitigation by Correcting the Distribution of Neural Activations
The Pennsylvania State University（宾夕法尼亚州立大学）；Anomalee Inc.（Anomalee公司）
本文发现后门攻击会改变内部层激活分布，并提出利用逆向工程触发器校正该分布的训练后缓解方法，无需调整 DNN 参数即可提升防御与检测效果。
2023-08-18 cs.CR cs.LG
One-pixel Signature: Characterizing CNN Models for Backdoor Detection
University of California San Diego（加州大学圣迭戈分校）
我们通过提出一种称为单像素签名的新表示来解决卷积神经网络（CNN）后门检测问题。我们的任务是检测/分类CNN模型是否被恶意插入未知的特洛伊木马触发器。这里，每个CNN模型都与一个签名相关联，该签名是通过逐像素生成对抗值而创建的，该对抗值是类预测的最大变化的结果。单像素签名与CNN架构的设计选择以及它们是如何训练的无关。它可以有效地计算黑盒CNN模型，而无需访问网络参数。我们提出的单像素签名证明了比现有的后门CNN检测/分类的竞争方法有实质性的改进（绝对检测准确率约为30%）。单像素签名是一种通用表示，可用于表征CNN模型，而不是后门检测。
2020-08-18 cs.CR cs.CV cs.LG
HAMLOCK: HArdware-Model LOgically Combined attacK
HAMLOCK是一种新型攻击，通过在硬件-软件边界分布攻击逻辑，利用硬件 Trojan 操纵输出 logits 实现隐秘的模型后门攻击，无需修改模型权重，且能绕过现有防御措施。
2026-03-16 cs.CR cs.LG
When Explainability Meets Adversarial Learning: Detecting Adversarial Examples using SHAP Signatures
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
最先进的深度神经网络（DNN）在解决许多复杂的现实问题方面非常有效。然而，这些模型很容易受到对抗性扰动攻击，尽管在这一领域有大量的研究，但直到今天，对手仍然在对抗性示例生成方法与检测和预防方法的猫和老鼠游戏中占据上风。在这项研究中，我们提出了一种新的检测方法，该方法使用为DNN分类器的内部层计算的Shapley加法运算（SHAP）值来区分正常和敌对输入。我们通过在流行的CIFAR-10和MNIST数据集上构建一个广泛的对抗性示例数据集来评估我们的方法，并训练一个基于神经网络的检测器来区分正常和对抗性输入。我们评估了我们的检测器对不同的最先进的攻击产生的对抗性的例子，并证明了它的高检测精度和强大的泛化能力，以对抗性的输入产生不同的攻击方法。
2019-09-08 cs.AI cs.CR cs.LG
Graph Backdoor
Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
深度神经网络（DNN）的一个有趣特性是它们固有的后门攻击脆弱性-特洛伊木马模型以高度可预测的方式响应嵌入式输入，同时正常运行。尽管先前针对连续数据的DNN的工作过多（例如，图像），用于离散结构数据的图神经网络（GNN）的脆弱性（例如，图）在很大程度上是未开发的，鉴于它们在安全敏感领域中的使用越来越多，这是非常令人担忧的。为了弥合这一差距，我们提出了GTA，第一个对GNN的后门攻击。与以前的工作相比，GTA在重要方面有所不同：面向图-它将触发器定义为特定的子图，包括拓扑结构和描述性特征，为对手提供了很大的设计范围;输入量身定制-它动态地使触发器适应各个图，从而优化攻击效果和规避能力;下游模型不可知的--它可以在不了解下游模型或微调策略的情况下容易地启动;以及攻击可扩展的--它可以被实例化用于两个转换（例如，节点分类）和归纳（例如，图分类）任务，对一系列安全关键应用构成严重威胁。通过使用基准数据集和最先进的模型进行广泛的评估，我们证明了GTA的有效性。我们进一步提供分析的理由，其有效性和讨论潜在的对策，指出几个有前途的研究方向。
2021-08-10 cs.CR cs.LG stat.ML
Training with More Confidence: Mitigating Injected and Natural Backdoors During Training
Rutgers University（罗格斯大学）
后门或木马攻击是对深度神经网络（DNN）的严重威胁。研究人员发现，在良性数据和设置上训练的DNN也可以学习后门行为，这被称为自然后门。现有的反后门学习工作是基于弱观察，即后门和良性行为可以在训练过程中区分。具有缓慢中毒的自适应攻击可以绕过这种防御。此外，这些方法不能保护自然后门。我们发现了后门相关神经元和良性神经元之间的根本区别：后门相关神经元形成一个超平面，作为所有受影响标签的输入域的分类表面。通过进一步分析训练过程和模型架构，我们发现分段线性函数导致了这个超平面表面。在本文中，我们设计了一种新的训练方法，迫使训练避免生成这样的超平面，从而去除注入的后门。我们在五个数据集上针对五种最先进的攻击进行了广泛的实验，并且进行了良性训练，结果表明我们的方法可以超越现有的最先进的防御方法。平均而言，使用NONE训练的模型的ASR（攻击成功率）在标准中毒后门攻击下比未防御的模型低54.83倍，在自然后门攻击下低1.75倍。我们的代码可在https://github.com/RU-System-Software-and-Security/NONE上获得。
2022-10-27 cs.AI cs.CR cs.LG
A Statistical Defense Approach for Detecting Adversarial Examples
Aptiv Services Deutschland GmbH（安波福德国服务有限公司）；University of Wuppertal (BUW)（伍珀塔尔大学（BUW））
对抗性示例是恶意修改的输入，用于欺骗深度神经网络（DNN）。这些输入的发现对基于DNN的解决方案的扩展提出了一个主要问题。许多研究人员已经为这个主题做出了贡献，提供了尖端攻击技术和各种防御策略。在这项工作中，我们专注于开发一个能够通过利用训练集的统计信息来检测对抗样本的系统。我们的检测器计算测试输入的几个失真的副本，然后收集分类器的预测向量，以建立一个有意义的检测任务的签名。然后，将签名投影到类特定的统计向量上以推断输入的性质。原始输入的分类输出用于选择类统计向量。我们表明，我们的方法可靠地检测恶意输入，在各种设置中优于最先进的方法，同时与其他防御解决方案互补。
2019-08-26 cs.CV cs.LG
Training set cleansing of backdoor poisoning by self-supervised representation learning
Meta；Pennsylvania State University（宾夕法尼亚州立大学）
后门或特洛伊木马攻击是针对深度神经网络（DNN）分类器的一种重要类型的数据投毒攻击，其中训练数据集被少量样本中毒，每个样本都具有后门模式（通常是不可感知或无害的模式）并且被错误标记为攻击者的目标类别。当在后门中毒的数据集上训练时，DNN在大多数良性测试样本上表现正常，但当测试样本包含后门模式时（即，包含后门触发器）。在这里，我们专注于图像分类任务，并表明监督训练可以建立后门模式和相关的目标类之间的关联比正常功能和真正的类的起源。相比之下，自监督表示学习忽略了样本的标签，并根据图像的语义内容学习特征嵌入。因此，我们建议使用无监督的表示学习来避免强调后门中毒的训练样本，并为同一类的样本学习类似的特征嵌入。利用自监督表示学习发现的特征嵌入，提出了一种结合样本过滤和重新标记的数据清洗方法。在CIFAR-10基准数据集上的实验表明，该方法在抵御后门攻击方面达到了最先进的性能。
2023-03-14 cs.CR cs.CV cs.LG
From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；Technical University of Munich（慕尼黑技术大学）；Helmholtz Munich（海德堡-慕尼黑研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Noah’s Ark Lab, Paris（诺亚实验室，巴黎）；Aalto University, Finland, Dept. of Electrical Engineering and Automation（阿莱克大学，芬兰，电气工程与自动化系）；Nomagic（Nomagic公司）；Aalto University, Finland, Department of Computer Science（阿莱克大学，芬兰，计算机科学系）；University of Manchester, UK, Department of Computer Science（曼彻斯特大学，英国，计算机科学系）
本文提出基于仿射最优传输的DNN非线性签名，首次从理论上可靠地近似度量深度神经网络非线性，并通过大量实验验证其在理解各类架构（尤其是计算机视觉模型）内部机制方面的实用价值。
2025-04-06 cs.AI cs.LG stat.ML
[Extended version] Rethinking Deep Neural Network Ownership Verification: Embedding Passports to Defeat Ambiguity Attacks
WeBank（微众银行）；University of Malaya（马来亚大学）
随着大量的时间、资源和人力（团队）努力投入到探索和开发成功的深度神经网络（DNN）中，迫切需要保护这些发明免受非法复制、重新分发或滥用，而不尊重合法所有者的知识产权。根据这方面的最新进展，我们研究了一些基于水印的DNN所有权验证方法，面对歧义攻击，其目的是通过伪造伪造水印来质疑所有权验证。结果表明，模糊攻击对现有的DNN水印方法构成严重威胁。作为对上述漏洞的补救，本文提出了新的基于护照的DNN所有权验证方案，该方案对网络修改具有鲁棒性，并且能够抵御歧义攻击。嵌入数字护照的要点是设计和训练DNN模型，使得原始任务的DNN推理性能将由于伪造护照而显著恶化。换句话说，真正的护照不仅通过寻找预定义的签名来验证，而且还通过不屈的DNN模型推理性能来重申。大量的实验结果证明了所提出的基于护照的DNN所有权验证方案的有效性。代码和模型可在https://github.com/kamwoh/DeepIPR上获得
2019-11-02 cs.CR cs.CV cs.LG
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting（Calculation Consulting公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
随机矩阵理论（RMT）应用于分析深度神经网络（DNN）的权重矩阵，包括生产质量、预训练模型（例如AlexNet和Inception）以及从头开始训练的较小模型，例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明，DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度（ESD）显示了传统正则化统计模型的特征，即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果，最值得注意的是其扩展到重尾矩阵的普遍性类，我们开发了一种理论来识别5+1训练阶段，对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化，因为存在将信号与噪声分离的“大小尺度”。然而，对于最先进的DNN，我们发现了一种新的重尾自正则化形式，类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性，这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象，我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明，在其他条件相同的情况下，具有较大批量的DNN优化会导致隐式正则化模型不太好，并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
Backdoor Attacks on Transformers for Tabular Data: An Empirical Study
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；Ikerlan Technology Research Centre（Ikerlan技术研究中心）；University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb大学电子工程与计算学院）；University of Bergen（卑尔根大学）
本文实证研究了表格数据Transformer的后门攻击，提出隐蔽且高效的in-bounds attack触发器构造方法，发现此类攻击成功率高且准确率损失极小，并指出需开发表格数据专属防御对策。
2025-09-17 cs.CR cs.LG
PINNet: a deep neural network with pathway prior knowledge for Alzheimer's disease
Gwangju Institute of Science and Technology（光州科学技术院）
本研究提出融合通路先验知识的可解释深度神经网络PINNet，用于阿尔茨海默病预测与转录组特征分析，性能优于或接近无通路DNN，还能识别更多AD相关关键基因与通路。
2022-11-27 cs.AI cs.LG q-bio.QM
Deep Neural Network Feature Designs for RF Data-Driven Wireless Device Classification
Oregon State University（俄勒冈州立大学）
大多数使用射频（RF）数据进行基于深度学习的无线设备分类的先前工作都应用了现成的深度神经网络（DNN）模型，这些模型主要用于视觉和语言等领域。然而，无线RF数据具有独特的特征，使其与其他领域区分开来。例如，RF数据包含由底层硬件和协议配置规定的混合时间和频率特征。此外，无线RF通信信号由于重复的模式（PHY导频、帧前缀等）而表现出循环平稳性。这些信号本身包含的信息。在本文中，我们首先解释并展示了目前提出用于无线设备分类的现有DNN特征设计方法的不适用性和局限性。然后，我们提出了新的特征设计方法，利用RF通信信号的不同结构和发射机硬件损伤引起的频谱发射，定制适合使用RF信号数据对无线设备进行分类的DNN模型。我们提出的DNN特征设计在可扩展性、准确性、签名抗克隆和对环境扰动的不敏感性方面大大提高了分类鲁棒性。最后，我们提出了其他功能设计策略，有很大的潜力，提供进一步的性能改进的DNN为基础的无线设备分类，并讨论了开放的研究挑战，这些建议的策略。
2021-03-02 cs.LG cs.NI eess.SP
Traditional and Heavy-Tailed Self Regularization in Neural Network Models
Calculation Consulting（计算咨询公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
随机矩阵理论（RMT）被应用于分析深度神经网络（DNN）的权重矩阵，包括生产质量、预训练模型（如AlexNet和Inception）以及从头开始训练的较小模型（如LeNet 5和微型AlexNet）。经验和理论结果清楚地表明，DNN层矩阵的经验谱密度（ESD）显示了传统正则化统计模型的特征，即使在没有外源指定传统形式的正则化（如Dropout或Weight Norm约束）的情况下。最近的结果在RMT的基础上，最值得注意的是它的扩展到普适性类的重尾矩阵，我们开发了一个理论来识别\emph{5+1 Phases of Training}，对应于越来越多的\emph{Implicit Self-Regularization}。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化，因为存在将信号与噪声分离的“大小尺度”。然而，对于最先进的DNN，我们发现了一种新形式的\emph{Heavy-Tailed Self-Regularization}，类似于无序系统的统计物理学中的自组织。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象，我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。
2019-01-24 cs.LG stat.ML
Motion Classification using Kinematically Sifted ACGAN-Synthesized Radar Micro-Doppler Signatures
Siemens Corporate Technology（西门子企业技术部）；Center for Advanced Communications, Villanova University（维拉诺瓦大学高级通信中心）；University of Alabama（阿拉巴马大学）
深度神经网络（DNN）最近在需要对雷达回波进行分类的应用中受到了广泛关注，包括用于安全、智能家居、辅助生活和生物医学的基于雷达的人类活动识别。然而，由于雷达数据收集所需的高人力成本和资源，获取足够大的训练数据集仍然是一项艰巨的任务。在本文中，提出了一种扩展的对抗学习方法，用于生成适应不同环境的合成雷达微多普勒特征。使用视觉解释，分析运动学一致性，数据多样性，潜在空间的维度和显着性图的合成数据进行评估。一个基于主成分分析（PCA）的运动筛选算法，以确保合成签名是一致的物理上可能的人体运动。合成数据集用于训练19层深度卷积神经网络（DCNN），以对从与提供给对抗网络的数据集的环境不同的环境中获取的微多普勒特征进行分类。在包含多个方位角（0 °，30度，和45 °以及60 °），由于运动学筛选的结果，具有9%的改进。
2020-01-19 cs.LG eess.SP stat.ML
RADAR: Run-time Adversarial Weight Attack Detection and Accuracy Recovery
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）
对神经网络权重的对抗攻击，例如渐进式位翻转攻击（PBFA），可以通过翻转非常少量的位来导致准确性的灾难性下降。此外，PBFA可以在运行时间对存储在DRAM主存储器中的权重进行。在这项工作中，我们提出了雷达，一个运行时间对抗性的重量攻击检测和准确性恢复计划，以保护DNN权重对PBFA。我们将散布在层中的权重组织成组，并对权重采用基于校验和的算法来为每组导出2位签名。在运行时间，计算2位签名并与安全存储的黄金签名进行比较，以检测组中的位翻转攻击。在成功检测之后，我们将组中的所有权重归零，以减轻恶意位翻转造成的准确性下降。所提出的方案是嵌入在推理计算阶段。对于ResNet-18 ImageNet模型，我们的方法平均可以检测到10个比特翻转中的9.6个。对于该模型，所提出的精度恢复方案可以将精度从10位翻转引起的低于1%恢复到69%以上。所提出的方法具有极低的时间和存储开销。在gem 5上的系统级仿真表明，RADAR仅增加了<1%的推理时间，使该方案非常适合于运行时间攻击检测和缓解。
2021-01-20 cs.CR cs.LG
Scalable Attribution of Adversarial Attacks via Multi-Task Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
深度神经网络（DNN）在推理阶段很容易被对抗攻击愚弄，攻击者会在原始示例中添加不可感知的扰动，即，敌对的例子。许多工作集中在对抗性检测和对抗性训练，以抵御对抗攻击。然而，很少有作品探讨对抗性示例背后的工具链，这可以帮助防御者抓住攻击发起者的线索，他们的目标，并提供针对相应攻击的最有效的防御算法。有了这样的差距，有必要开发能够识别用来生成对抗性示例的工具链的技术，这被称为对抗性归因问题（AAP）。在本文中，AAP被定义为三个签名的识别，即，{ \em攻击算法}、{ \em受害者模型}和{ \em超参数}。现有的工作将AAP转化为单一的标签分类任务，忽略了这些特征之间的关系。前者随着签名数目的增加会遇到组合爆炸问题。后者要求我们不能将AAP简单地视为单个任务问题。我们首先进行一些实验来验证对抗性示例的可归因性。此外，我们提出了一个多任务学习框架，名为多任务对抗性归因（MTAA），同时识别三个签名。MTAA包含扰动提取模块、仅对抗性提取模块和分类回归模块。该算法考虑了攻击算法与相应超参数之间的关系，利用不确定性加权损失来调整三个识别任务的权重。在MNIST和ImageNet上的实验结果表明了该框架的可行性和可扩展性，以及处理虚警的有效性。
2023-02-25 cs.AI cs.CR cs.LG
Gotta Catch 'Em All: Using Honeypots to Catch Adversarial Attacks on Neural Networks
University of Chicago（芝加哥大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
深度神经网络（DNN）是一种易受对抗攻击攻击的网络。许多努力要么试图修补训练模型中的弱点，要么试图使计算利用它们的对抗性示例变得困难或昂贵。在我们的工作中，我们探索了一种新的“蜜罐”方法来保护DNN模型。我们故意在分类流形中注入陷阱门，蜜罐弱点，吸引攻击者搜索对抗性的例子。攻击者的优化算法倾向于陷阱门，导致他们在特征空间中产生类似于陷阱门的攻击。然后，我们的防御通过将输入的神经元激活签名与陷阱门的神经元激活签名进行比较来识别攻击。在本文中，我们介绍了陷门，并描述了一个陷门启用防御的实现。首先，我们分析证明，陷门形状的计算对抗攻击，使攻击输入将具有功能表示非常相似的陷门。其次，我们通过实验证明，陷阱保护模型可以高精度地检测到由最先进的攻击（PGD，基于优化的CW，弹性网络，BPDA）生成的对抗性示例，对正常分类的影响可以忽略不计。这些结果概括了分类领域，包括图像，面部和交通标志识别。我们还提出了显着的结果测量陷阱的鲁棒性对定制的自适应攻击（对策）。
2020-09-28 cs.CR cs.LG stat.ML
