Robust Adversarial Attacks Against DNN-Based Wireless Communication Systems
深度神经网络（DNN）由于其有前途的性能而在无线通信系统中变得流行。然而，与其他基于DNN的应用程序类似，它们容易受到对抗性示例的影响。在这项工作中，我们提出了一个输入不可知的，不可检测的，和强大的对抗攻击对基于DNN的无线通信系统在白盒和黑盒的情况下。我们设计了量身定制的通用对抗扰动（UAP）来执行攻击。我们还使用生成对抗网络（GAN）来为我们的攻击实施不可检测性约束。此外，我们调查我们的攻击对抗对策的鲁棒性。我们表明，在通信方部署的防御机制的存在下，我们的攻击比现有的针对基于DNN的无线系统的攻击表现得更好。特别是，结果表明，即使采用经过深思熟虑的防御措施，基于DNN的无线通信也容易受到对抗攻击的攻击。
2021-02-01 cs.CR
A Mask-Based Adversarial Defense Scheme
Jinan University（暨南大学）
对抗攻击通过对输入的细微扰动进行干预，阻碍了深度神经网络（DNN）的功能和准确性。在这项工作中，我们提出了一种新的基于掩码的对抗性防御方案（MAD），用于DNN，以减轻对抗攻击的负面影响。准确地说，我们的方法通过随机掩蔽一部分潜在的对抗图像来提高DNN的鲁棒性，因此，DNN的%分类结果输出对微小的输入扰动变得更加宽容。与现有的对抗性防御技术相比，我们的方法不需要任何额外的去噪结构，也不需要对DNN的设计进行任何更改。我们已经测试了这种方法对各种数据集的DNN模型的集合，实验结果证实，该方法可以有效地提高防御能力的DNN对所有测试的对抗攻击方法。在某些情况下，与给定对抗性输入的原始模型相比，使用MAD训练的DNN模型的分类准确率提高了20%至90%。
2022-04-21 cs.AI cs.CR cs.LG
Prediction Poisoning: Towards Defenses Against DNN Model Stealing Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Saarland Informatics Campus, Germany（德国萨尔州信息学园区）
高性能深度神经网络（DNN）越来越多地部署在许多现实世界的应用中，例如，云预测API。通过黑盒访问（即，输入，预测）威胁到这种应用程序的商业模式，这种应用程序需要大量的时间、金钱和精力来开发。现有的防御措施对窃取攻击起着被动的作用，例如通过截断预测信息。我们发现这种被动防御对DNN窃取攻击无效。在本文中，我们提出了第一个防御，积极干扰预测，针对中毒的训练目标的攻击者。我们发现我们的防御在各种具有挑战性的数据集和DNN模型窃取攻击中有效，并且优于现有的防御。我们的防御是第一个可以抵御数万个查询的高度准确的模型窃取攻击，将攻击者的出错率放大到$\times$的85倍，对良性用户的实用程序的影响最小。
2020-03-03 cs.CR cs.CV cs.LG
DNNShield: Dynamic Randomized Model Sparsification, A Defense Against Adversarial Machine Learning
The Ohio State University（俄亥俄州立大学）
已知DNN容易受到所谓的对抗攻击的攻击，这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。最近的工作提出了近似计算作为防御机制对机器学习攻击。我们表明，这些方法，虽然成功的一系列输入，是不够的，以解决更强大的，高信心的对抗攻击。为了解决这个问题，我们提出了DNNSHIELD，这是一种硬件加速的防御方法，可以根据对抗性输入的置信度来调整响应的强度。我们的方法依赖于DNN模型的动态和随机稀疏化，以有效地实现推理近似，并对近似误差进行细粒度控制。DNNSHIELD使用稀疏推理的输出分布特征与密集参考相比来检测对抗性输入。当应用于VGG 16时，我们显示出86%的对抗检测率，当应用于ResNet 50时，我们显示出88%的对抗检测率，这超过了最先进方法的检测率，并且开销要低得多。我们展示了一个软件/硬件加速的FPGA原型，它降低了DNNSHIELD相对于纯软件CPU和GPU实现的性能影响。
2022-07-31 cs.AR cs.CR cs.LG
Power-Based Attacks on Spatial DNN Accelerators
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着基于DNN的应用的激增，DNN模型的机密性是一个重要的商业目标。空间加速器，并行化矩阵/向量运算，用于提高DNN计算的能量效率。最近，模型窃取攻击简单的加速器，无论是一个单一的处理元件或运行一个二进制化的网络，被证明使用的方法，从差分功率分析（DPA）攻击密码设备。本文研究了现实的空间加速器的脆弱性，使用一般的，8位，数字表示。我们研究了两种具有权重平稳的脉动阵列结构：（1）用于点积运算的3 $\times$ 1阵列，和（2）用于矩阵向量乘法的3 $\times$ 3阵列。两者都在SAKURA-G FPGA板上实现。我们表明，这两种架构最终是脆弱的。传统的DPA在1D阵列上完全成功，需要20K功率测量。然而，即使使用460K迹线，2D阵列也表现出更高的安全性。我们表明，这是因为2D阵列本质上需要多个MAC同时依赖于相同的输入。然而，我们发现，一种新的基于模板的DPA与多个剖析阶段是能够完全打破二维阵列，只有40K的痕迹。空间DNN加速器需要研究相应的对策。
2021-08-28 cs.CR cs.LG
BeniFul: Backdoor Defense via Middle Feature Analysis for Deep Neural Networks
Xidian University（西安电子科技大学）
本文提出基于DNN中间特征分析的后门防御方法BeniFul，利用变分自编码器重构距离和特征距离损失实现灰盒后门输入检测与白盒后门消除，在CIFAR-10和Tiny ImageNet上验证了其卓越防御能力。
2024-10-15 cs.CR cs.LG
2-in-1 Accelerator: Enabling Random Precision Switch for Winning Both Adversarial Robustness and Efficiency
Rice University（莱斯大学）
本文提出算法与硬件协同设计的 2-in-1 Accelerator，通过 RPS 随机量化防御和精度可扩展架构，在多种攻击下同时提升 DNN 加速器鲁棒性与效率。
2025-01-04 cs.AR cs.CR cs.LG
EagleEye: Attack-Agnostic Defense against Adversarial Inputs (Technical Report)
Lehigh University（理海大学）
深度神经网络（DNN）天生容易受到对抗性输入的影响：这种恶意制作的样本会触发DNN行为不端，从而对DNN驱动的系统造成不利后果。缓解敌对性投入的根本挑战来自其适应性和可变性。现有的解决方案试图提高DNN对特定攻击的弹性;然而，这种静态防御通常可以通过自适应工程输入或新的攻击变体来规避。在这里，我们介绍了一个用于DNN系统的攻击不可知对抗篡改分析引擎。我们的设计利用了许多攻击背后的{ \em最小原则}：为了最大限度地提高攻击的规避性，对手通常会寻求最小可能的失真来将真实输入转换为对抗性输入。我们表明，这种做法需要在输入空间中的对抗性输入的独特的分布特性。通过以原则性的方式利用这些属性，QualleEye可以有效地区分对抗性输入，甚至发现它们正确的分类输出。通过使用一系列基准数据集和DNN模型进行广泛的实证评估，我们验证了QuilleEye的有效性。我们进一步调查对手的可能的对策，这意味着一个困难的困境，她：逃避的检测，过度的失真是必要的，从而显着减少攻击的逃避其他检测机制。
2018-08-01 cs.CR cs.LG
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Tübingen（图宾根大学）
深度神经网络（DNN）加速器近年来受到了相当大的关注，因为与主流硬件相比，它具有节能的潜力。DNN加速器的低电压操作允许进一步降低能量消耗，然而，在存储量化权重的存储器中引起比特级故障。此外，DNN加速器容易受到电压控制器或单个比特的对抗攻击。在本文中，我们证明了鲁棒定点量化，权重裁剪以及随机比特错误训练（RandBET）或对抗性比特错误训练（AdvBET）的组合显着提高了量化DNN权重中对随机或对抗性比特错误的鲁棒性。这不仅为低电压操作和低精度量化带来了高节能，而且还提高了DNN加速器的安全性。与相关工作相比，我们的方法概括了整个工作电压和加速器，不需要硬件的变化。此外，我们提出了一种新的对抗性比特错误攻击，并能够获得针对有针对性和无针对性的比特级攻击的鲁棒性。在不损失超过0.8%/2%的测试精度的情况下，我们可以在CIFAR 10上减少20%/30%的8/4位量化能耗。允许多达320个对抗性比特错误，我们将测试错误从90%以上（机会水平）降低到26.22%。
2022-06-07 cs.AR cs.CR cs.CV
TBNet: A Neural Architectural Defense Framework Facilitating DNN Model Protection in Trusted Execution Environments
Northeastern University（东北大学）；University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
针对 TEE 保护边缘 DNN 时安全性与性能难以兼顾的问题，本文提出 TBNet 框架，通过双分支替代模型协同利用 REE 计算资源与隔离 TEE，实现低开销高效模型保护。
2024-05-07 cs.AI cs.CR cs.LG
Feature Distillation: DNN-Oriented JPEG Compression Against Adversarial Examples
Flordia International University（佛罗里达国际大学）；Northeastern University（东北大学）
基于图像压缩的方法来防御对抗性的例子攻击，威胁到深度神经网络（DNN）的安全使用，最近已经研究。然而，现有的工作主要依赖于直接调整压缩率等参数，盲目地减少图像特征，从而在应用防御方法后，缺乏对防御效率（即污染图像的准确性）和良性图像的分类准确性的保证。为了克服这些限制，我们提出了一个基于JPEG的防御性压缩框架，即“特征蒸馏”，以有效地纠正对抗性的例子，而不会影响良性数据的分类准确性。我们的框架使用两步方法显着提升了防御效率和边际精度降低：首先，我们通过在JPEG压缩或解压缩的频域中开发防御性量化来最大化恶意输入扰动的恶意特征过滤，由半解析方法指导;其次，我们通过面向DNN的量化细化过程来抑制良性特征的失真以恢复分类精度。我们的实验结果表明，提出的“特征蒸馏”可以显着超过最新的输入转换为基础的缓解，如绗缝和电视最小化在三个方面，包括防御效率（提高分类精度从$\sim20\%$到$\sim90\%$对抗的例子），防御后的良性图像的准确性（$\le1\%$准确性下降），和处理时间每幅图像（$\sim259\times$加速）。此外，我们的解决方案也可以提供最好的防御效率（$\sim60\%$准确性）对最近的适应性攻击与最小的准确性降低（$\sim1\%$）良性图像相比，其他基于输入变换的防御方法。
2019-04-16 cs.CR cs.CV
Bit Error Robustness for Energy-Efficient DNN Accelerators
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心）；University of Tübingen（蒂宾根大学）
深度神经网络（DNN）加速器在过去几年中受到了相当大的关注，因为与主流硬件相比节省了能源。DNN加速器的低电压操作允许进一步显著降低能量消耗，然而，在存储量化的DNN权重的存储器中引起比特级故障。在本文中，我们证明了鲁棒定点量化，权重裁剪和随机比特错误训练（RandBET）的组合显着提高了（量化）DNN权重中对随机比特错误的鲁棒性。这导致了低电压操作以及低精度量化的高能量节省。我们的方法概括了整个工作电压和加速器，从剖析SRAM阵列的位错误证明。我们还讨论了为什么单独的权重裁剪已经是一种非常有效的方法来实现对比特错误的鲁棒性。此外，我们还特别讨论了准确性、鲁棒性和精度方面的权衡：与正常训练的8位DNN相比，在准确性不损失1%的情况下，我们可以将CIFAR-10的能耗降低20%。更高的节能，例如，30%，即使对于4位DNN，也可能以2.5%的精度为代价。
2021-04-09 cs.AR cs.CR cs.CV
HaS-Nets: A Heal and Select Mechanism to Defend DNNs Against Backdoor Attacks for Data Collection Scenarios
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；UNSW（新南威尔士大学）
我们已经目睹了后门攻击与深度神经网络（DNN）上相应防御策略之间的持续军备竞赛。大多数最先进的防御依赖于“输入”或“潜在DNN表示”的统计净化来捕获特洛伊木马行为。在本文中，我们首先挑战的鲁棒性，最近报道的防御引入一种新的变种有针对性的后门攻击，称为“低信心后门攻击“。我们还提出了一种新的防御技术，称为“HaS-Nets”。“低置信度后门攻击“利用分配给中毒训练样本的置信度标签，通过提供低值来隐藏它们的存在，无论是在训练还是推理过程中。我们评估了四种最先进的防御方法，即，STRIP、Ventient-Shaping、Februus和ULP防御，分别达到99%、63.73%、91.2%和80%的攻击成功率。接下来，我们提出了“HaS-Nets”来抵抗训练过程中网络中的后门插入，使用合理小的愈合数据集，大约占完整训练数据的2%到15%，在每次迭代时愈合网络。我们针对不同的数据集（Fashion-MNIST，CIFAR-10，Consumer Complaint和Urban Sound）和网络架构（MLP，2D-CNN，1D-CNN）进行了评估。我们的实验表明，“HaS-Nets”可以将ASR从90%以上降低到15%以下，与数据集，攻击配置和网络架构无关。
2020-12-14 cs.CR cs.LG
SwarmSense-DNN: A Trustworthy and Decentralized Neural Framework for Proactive Anomaly Defense in Consumer IoT
Universiti Malaya（马来亚大学）；Expedia Group（爱彼迎集团）；King Faisal University（费萨尔国王大学）；Northeastern University（东北大学）；Northern Border University（北部边境大学）；Benazir Bhutto Shaheed University Lyari（贝娜齐尔·布托沙希德莱阿里大学）
提出SwarmSense-DNN，一种结合群体智能与深度神经网络的去中心化框架，通过分层联邦学习与图注意力机制实现分布式IoT环境中的协同异常检测，在五个基准数据集上达到95.44%平均检测精度并降低67%通信开销。
2026-06-11 cs.CR cs.NI
On Configurable Defense against Adversarial Example Attacks
The Chinese University of Hong Kong（香港中文大学）
基于深度神经网络（DNN）的机器学习系统已在许多应用中获得主流采用。然而，最近，DNN被证明容易受到对抗性示例攻击，并且对输入进行轻微扰动。现有的针对此类攻击的防御机制试图提高系统的整体鲁棒性，但它们不能区分不同的目标攻击，即使相应的影响可能会有很大的不同。为了解决这个问题，我们提出了一种新的可配置的防御机制，在这项工作中，我们能够灵活地调整系统的鲁棒性对不同的有针对性的攻击，以满足应用程序的要求。这是通过使用攻击敏感矩阵来细化DNN损失函数以表示不同目标攻击的影响来实现的。在CIFAR-10和GTSRB数据集上的实验结果证明了该方法的有效性。
2018-12-06 cs.CR cs.LG
Learning Defense Transformers for Counterattacking Adversarial Examples
South China University of Technology（华南理工大学）；ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
深度神经网络（DNN）容易受到具有小扰动的对抗性示例的影响。因此，对抗性防御已经成为通过防御对抗性示例来提高DNN鲁棒性的重要手段。现有的防御方法集中在一些特定类型的对抗性示例上，在现实世界的应用中可能无法很好地防御。在实践中，我们可能会面临许多类型的攻击，其中实际应用中的对抗性示例的确切类型甚至可能是未知的。本文基于对抗样本更容易出现在分类边界附近的观点，从一个新的角度研究对抗样本，即是否可以通过将其拉回到原始的干净分布来防御对抗样本。我们从理论上和经验上验证了防御仿射变换的存在，恢复对抗性的例子。在此基础上，我们学习了一个防御Transformer，通过参数化仿射变换和利用DNN的边界信息来反击对抗性示例。在玩具和真实世界数据集上的大量实验证明了我们的防御Transformer的有效性和通用性。
2021-03-13 cs.CR cs.LG
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
后门（特洛伊木马）攻击是针对深度神经网络（DNN）的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时，被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净（无攻击）的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小而干净的数据集，但无法访问DNN的（可能中毒的）训练集。然而，这些防御既不能在触发后门映射的行为中抓住罪犯，也不能在测试时减轻后门攻击。在本文中，我们提出了一个“飞行中”防御后门攻击的图像分类，1）检测使用后门触发器在测试时，和2）推断类的起源（源类）检测到的触发器的例子。我们的防御的有效性进行了实验证明，对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
Privacy Inference Attacks and Defenses in Cloud-based Deep Neural Network: A Survey
Xidian University（西安电子科技大学）；State Key Laboratory of Cryptology（密码学国家重点实验室）；James Cook University（詹姆斯·库克大学）；State Key Laboratory of Integrated Service Networks (ISN)（综合业务网理论及关键技术国家重点实验室）；Swinburne University of Technology（斯威本科技大学）；College of Science and Engineering（科学与工程学院）；School of Software and Electrical Engineering（软件与电气工程学院）
深度神经网络（DNN）是最强大的机器学习算法之一，越来越多地被用来克服有效探索和分析海量数据的瓶颈，以推动先进的科学发展。云计算提供商将基于云的DNN作为开箱即用的服务提供，这并不奇怪。虽然基于云的DNN有一些好处，但云中两个或多个实体之间的交互机制不可避免地引发了新的隐私风险。这项调查提出了基于云的神经网络服务中出现的隐私攻击和防御的最新发现。我们系统地、彻底地审查了基于云的DNN服务管道中的隐私攻击和防御，即，数据处理、训练和预测。特别是，从最近发表的文献中提取了一种新的理论，称为基于云的ML隐私游戏，以深入了解最先进的研究。最后，提出了挑战和未来的工作，以帮助研究人员继续推动隐私攻击者和捍卫者之间的竞争。
2021-05-13 cs.AI cs.CR
Reformulation is All You Need: Addressing Malicious Text Features in DNNs
Zhejiang University（浙江大学）；Guizhou Medical University（贵州医科大学）
针对DNN在NLP任务中易受对抗性和后门攻击的问题，提出基于重构模块的统一自适应防御框架，处理恶意文本特征并保持语义，实验证明优于现有基线。
2025-09-25 cs.CL cs.CR cs.LG
On the Limitation of MagNet Defense against $L_1$-based Adversarial Examples
Yuan Ze University（元智大学）；National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
近年来，防御对自然样本的对抗性扰动以构建由深度神经网络（DNN）训练的鲁棒机器学习模型已成为深度学习和安全结合的新兴研究领域。特别是，由对手检测器和数据重组器组成的MagNet是迄今为止黑箱遗忘攻击设置中最强大的防御之一，攻击者的目标是从不设防的DNN模型中制作可转移的对抗性示例，以绕过部署在同一DNN模型上的未知防御模块。在这种设置下，MagNet可以成功防御DNN中的各种攻击，包括基于$L_2$失真度量的Carlini和Wagner攻击生成的高置信度对抗性示例。然而，在本文中，在相同的攻击设置下，我们证明了基于$L_1$失真度量的对抗性示例可以轻松绕过MagNet，并误导MNIST和CIFAR-10上的目标DNN图像分类器。我们还解释了为什么所考虑的方法可以产生具有优越攻击性能的对抗性示例，并对MagNet的变体进行了广泛的实验，以验证其对基于$L_1$失真的攻击缺乏鲁棒性。值得注意的是，我们的研究结果大大削弱了MagNet上有效威胁模型的假设，该模型需要在攻击DNN时了解部署的防御技术（即，灰盒攻击设置）。
2018-05-09 cs.CR cs.CV cs.LG
Internal Wasserstein Distance for Adversarial Attack and Defense
Shenzhen Youjia Innov Tech Co., Ltd（深圳佑驾创新科技有限公司）；South China University of Technology（华南理工大学）；Hong Kong University of Science and Technology（香港科技大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，这些攻击会触发DNN的错误分类，但人类感知可能无法察觉。对抗性防御是提高DNN鲁棒性的重要途径。现有的攻击方法通常依赖于$\ell_p$距离等度量来构造对抗样本。然而，这些度量由于其有限的扰动而不足以进行对抗攻击。在本文中，我们提出了一个新的内部Wasserstein距离（IWD）来捕获两个样本的语义相似性，因此它有助于获得更大的扰动比目前使用的度量，如$\ell_p$距离。然后，我们应用内部Wasserstein距离来执行对抗攻击和防御。特别是，我们开发了一种新的攻击方法，依靠IWD来计算图像及其对抗性示例之间的相似性。通过这种方式，我们可以生成多样化和语义相似的对抗性示例，这些示例更难以通过现有的防御方法进行防御。此外，我们设计了一种新的防御方法，依靠IWD来学习鲁棒的模型来对抗未知的对抗性示例。我们提供了全面的理论和经验证据来支持我们的方法。
2023-02-21 cs.CR cs.LG
LDL: A Defense for Label-Based Membership Inference Attacks
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
用于在医疗保健和金融等应用中训练深度神经网络（DNN）模型的数据通常包含敏感信息。DNN模型可能会遭受过拟合。过度拟合模型已被证明容易受到基于查询的攻击，如成员推断攻击（MIA）。MIA旨在确定样本是否属于用于训练分类器的数据集（成员）或非成员。最近，一类新的标签为基础的MIA（LAB MIA）的建议，其中对手只需要有知识的预测标签的样本。开发针对对手的防御，在无法重新训练的DNN模型上执行LAB MIA仍然是一个悬而未决的问题。我们提出低密度脂蛋白，一个重量轻的防御实验室米娅。LDL的工作原理是在查询样本周围构建一个高维球体，使得模型决策对于球体内样本的（噪声）变体保持不变。这个标签不变性的范围产生了歧义，并防止查询对手正确地确定样本是成员还是非成员。我们分析的成功率的对手进行LAB MIA时，部署LDL的特征，并表明，该配方与实验观察是一致的。我们在七个数据集上评估LDL- CIFAR-10，CIFAR-100，GTSRB，Face，Purchase，Location和Texas -具有不同大小的训练数据。所有这些数据集都已被SOTA LAB MIA使用。我们的实验表明，LDL降低了对手在每种情况下进行LAB MIA的成功率。我们根据经验比较了LDL与需要重新训练DNN模型的LAB MIA的防御，并表明LDL表现良好，尽管不需要重新训练DNN。
2022-12-16 cs.CR cs.LG
NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation
Northeastern University（东北大学）；UC Riverside（加州大学河滨分校）
本文提出 NNSplitter，利用自动化权重混淆和可信执行环境将 DNN 拆分为混淆模型与模型秘密，以极少权重修改实现主动 IP 保护并抵御微调等攻击。
2023-08-16 cs.CR cs.LG
Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；United States Army Research Laboratory（美国陆军研究实验室）
深度学习算法已被证明在许多经典的机器学习问题上表现非常出色。然而，最近的研究表明，深度学习与其他机器学习技术一样，容易受到对抗性样本的影响：精心设计的输入迫使深度神经网络（DNN）提供对抗性选择的输出。这种攻击可能会严重破坏DNN支持的系统的安全性，有时会造成毁灭性的后果。例如，自动驾驶汽车可能会被撞毁，非法或非法内容可能会绕过内容过滤器，或者生物识别认证系统可能会被操纵以允许不正确的访问。在这项工作中，我们引入了一种称为防御蒸馏的防御机制，以降低DNN上对抗样本的有效性。我们分析研究了在训练DNN时使用防御蒸馏所授予的泛化性和鲁棒性。我们还实证研究了我们的防御机制在对抗环境中放置的两个DNN上的有效性。研究表明，防御性蒸馏可以将DNN上的样本创建效率从95%降低到0.5%以下。这种巨大的收益可以解释为，蒸馏导致对抗性样本创建中使用的梯度减少了10^30倍。我们还发现，在我们测试的一个DNN上，蒸馏将需要修改以创建对抗样本的平均最小特征数量增加了约800%。
2016-03-14 cs.CR cs.LG cs.NE
Survey of Attacks and Defenses on Edge-Deployed Neural Networks
Adaptive and Secure Computing Systems (ASCS) Laboratory（自适应与安全计算系统（ASCS）实验室）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络（DNN）的工作负载正在从数据中心快速转移到边缘设备上，这是出于延迟、隐私或能源方面的原因。虽然数据中心网络可以使用传统的网络安全措施进行保护，但边缘神经网络带来了许多新的安全挑战。与经典的物联网应用不同，边缘神经网络通常是计算和内存密集型的，其执行与数据无关，并且对噪声和故障具有鲁棒性。神经网络模型的开发可能非常昂贵，并且可能会泄露有关它们所训练的私有数据的信息，需要在分发时特别小心。网络的隐藏状态和输出也可以用于重构用户输入，这可能会侵犯用户的隐私。此外，神经网络容易受到对抗攻击的攻击，这可能导致错误分类并破坏输出的完整性。这些属性在保护边缘部署的DNN时增加了挑战，需要新的考虑因素，威胁模型，优先级和方法来安全和私密地将DNN部署到边缘。在这项工作中，我们涵盖了对部署在边缘设备中的神经网络的攻击和防御，并提供了针对边缘DNN的攻击和防御的分类。
2019-11-27 cs.CR cs.LG stat.ML
Thales: Formulating and Estimating Architectural Vulnerability Factors for DNN Accelerators
University of Rochester（罗切斯特大学）；PerceptIn；Arm Research（Arm研究院）
本文提出Thales方法，通过准确捕获瞬态故障下DNN变量的故障概率并利用蒙特卡洛积分加速估计弹性准确率（RA），揭示了瞬态故障导致的准确率下降远超现有工具估计，并可与网络架构搜索框架集成以设计更具弹性的DNN。
2024-01-07 cs.AR cs.CR cs.LG
Backdoor Defense via Decoupling the Training Process
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
最近的研究表明，深度神经网络（DNN）容易受到后门攻击的攻击，攻击者通过毒害一些训练样本在DNN模型中嵌入隐藏的后门。受攻击的模型在良性样本上表现正常，而当后门被激活时，其预测将被恶意更改。我们发现中毒样本倾向于在被攻击的DNN模型的特征空间中聚集在一起，这主要是由于端到端的监督训练范式。受此启发，我们提出了一种新的后门防御方法，将原始的端到端训练过程解耦为三个阶段。具体来说，我们首先通过\emph{self-supervised learning}学习DNN模型的主干，该模型基于没有标签的训练样本。学习的主干将具有相同地面实况标签的样本映射到特征空间中的相似位置。然后，我们冻结学习的骨干的参数，并通过使用所有（标记的）训练样本的标准训练来训练剩余的全连接层。最后，为了进一步减轻第二阶段中毒样本的副作用，我们去除了基于学习模型确定的一些“低可信度”样本的标签，并对整个模型进行\emph{semi-supervised fine-tuning}。在多个基准数据集和DNN模型上进行的大量实验验证了所提出的防御方法在减少后门威胁方面是有效的，同时在预测良性样本时保持了较高的准确性。我们的代码可在\url{https://github.com/SCLBD/DBD}获得。
2022-02-05 cs.CR cs.CV cs.LG
NATTACK: Learning the Distributions of Adversarial Examples for an Improved Black-Box Attack on Deep Neural Networks
University of Central Florida（中佛罗里达大学）；Hong Kong University of Science and Technology（香港科技大学）；Google（谷歌）
强大的对抗攻击方法对于理解如何构建强大的深度神经网络（DNN）和彻底测试防御技术至关重要。在本文中，我们提出了一个黑盒对抗攻击算法，可以击败香草DNN和最近开发的各种防御技术产生的。我们的算法不是为目标DNN的良性输入搜索“最佳”对抗性示例，而是在以输入为中心的小区域上找到概率密度分布，因此从该分布中提取的样本可能是对抗性示例，而无需访问DNN的内部层或权重。我们的方法是通用的，因为它可以成功地攻击不同的神经网络由一个单一的算法。它也是强大的;通过对2个vanilla DNN和13个防御DNN的测试，对于大多数测试用例，它的性能优于最先进的黑盒或白盒攻击方法。此外，我们的研究结果表明，对抗性训练仍然是最好的防御技术之一，并且对抗性示例在防御DNN之间的可转移性不如在普通DNN之间的可转移性。
2019-12-09 cs.CR cs.CV cs.LG
Adversarial Defense Through Network Profiling Based Path Extraction
Shanghai Jiao Tong University（上海交通大学）；University of Rochester（罗切斯特大学）
最近，研究人员开始根据语义或功能分解深度神经网络模型。最近的工作已经表明了分解功能块在防御对抗攻击方面的有效性，这些攻击向输入图像添加了小的输入扰动以欺骗DNN模型。本文提出了一种基于剖析的方法，将DNN模型分解为不同的功能块，从而得到有效的路径，作为探索DNN内部组织的一种新方法。具体地说，每个图像的有效路径可以聚合到类级有效路径，通过它我们观察到，敌对图像激活不同于正常图像的有效路径。我们提出了一种有效的基于路径相似性的方法来检测具有可解释模型的对抗图像，该方法比最先进的技术具有更好的准确性和更广泛的适用性。
2019-05-09 cs.CR cs.CV cs.LG
