LSP Framework: A Compensatory Model for Defeating Trigger Reverse Engineering via Label Smoothing Poisoning
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；National Computer network Emergency Response technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
提出LSP框架，通过标签平滑投毒操纵后门样本分类置信度，以击败触发器逆向工程防御，实验证明其有效性与兼容性。
2024-04-19 cs.CR cs.CV cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Evaluating Adversarial Attacks on ImageNet: A Reality Check on Misclassification Classes
Ghent University（根特大学）；University of Cagliari（卡利亚里大学）；University of Liège（列日大学）
虽然ImageNet最初是作为计算机视觉领域性能基准测试的数据集提出的，但它也使各种其他研究工作成为可能。对抗性机器学习就是这样一种研究成果，它使用欺骗性输入来愚弄模型，使其做出错误的预测。为了评估对抗性机器学习领域的攻击和防御，ImageNet仍然是最常用的数据集之一。然而，一个有待研究的主题是对抗性示例被错误分类的类别的性质。在本文中，我们对这些错误分类类进行了详细的分析，利用ImageNet类层次结构，并测量了上述类型的类在对抗性示例的未扰动起源中的相对位置。我们发现，实现模型到模型对抗性可转移性的对抗性示例中的$71\%$被错误地分类到针对底层源图像预测的前5类中的一个。我们还发现，一个大的子集，无针对性的错误分类，事实上，错误分类到语义相似的类。基于这些发现，我们讨论了在评估非目标对抗成功时考虑ImageNet类层次结构的必要性。此外，我们主张未来的研究工作，将分类信息。
2021-11-22 cs.CR cs.CV cs.LG
The LogBarrier adversarial attack: making effective use of decision boundary information
McGill University（麦吉尔大学）；AIFaster Consulting Inc（艾法斯特咨询公司）
针对图像分类的对抗攻击是对图像的小扰动，其被设计成引起模型的错误分类。对抗攻击形式上对应于一个优化问题：找到一个最小范数图像扰动，约束导致误分类。已经开发了一些有效的攻击。然而，迄今为止，没有基于梯度的攻击使用优化文献中的最佳实践来解决这个约束最小化问题。我们设计了一个新的无针对性的攻击，基于这些最佳实践，使用已建立的对数屏障方法。平均而言，我们的攻击距离类似于或优于基准数据集（MNIST，CIFAR 10，ImageNet-1 K）上的所有最先进的攻击。此外，我们的方法在最具挑战性的图像上表现得更好，这些图像通常需要更大的扰动来进行误分类。我们采用LogBarrier攻击几个adversarially防御模型，并表明它adversarially扰动所有图像比其他攻击更有效：所需的距离扰动所有图像是显着小于与其他国家的最先进的攻击LogBarrier攻击。
2019-03-25 cs.CR cs.LG stat.ML
Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots
Rice University（莱斯大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Zhejiang University（浙江大学）；Samsung Electronics America（三星电子美国）
本文提出在预训练语言模型中集成蜜罐模块以专门吸收后门信息，并通过惩罚该模块的信息获取来抑制微调过程中的后门形成，实验显示攻击成功率比现有最优方法降低10%至40%。
2023-10-28 cs.AI cs.CL cs.LG
Randomized Smoothing under Attack: How Good is it in Pratice?
Univ. Rennes, Inria, CNRS IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心雷恩计算机科学与随机系统研究所）
随机平滑是一个最近和著名的解决方案，以证明任何分类器的鲁棒性。虽然它确实提供了一个理论上的鲁棒性对对抗攻击，目前的分类器的维数必须强加蒙特卡罗方法，其在实践中的应用。本文质疑随机平滑作为防御的有效性，对最先进的黑盒攻击。这是一个新颖的观点，因为以前的研究工作认为认证是毫无疑问的保证。我们首先正式强调理论认证和分类器攻击实践之间的不匹配。然后，我们执行攻击随机平滑作为防御。我们的主要观察结果是，在RS的设置中有一个主要的不匹配，以获得高认证的鲁棒性，或者在击败黑盒攻击的同时保持分类器的准确性。
2022-04-28 cs.AI cs.CR cs.LG
Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications
DEI（迪埃学院）；ARCES（自动控制与电子工程系）；University of Bologna（博洛尼亚大学）；CEMSE（计算与建模工程中心）；KAUST（科威特大学）；Italy（意大利）；Saudi Arabia（沙特阿拉伯）
本文提出MACS框架，通过分析中间激活生成分类图，用于统一检测分布外样本、对抗攻击和分布内误分类，实验表明其性能优于现有方法。
2025-12-22 cs.AI cs.LG
Deep Latent Defence
Imperial College London（帝国理工学院）；Airbus（空中客车公司）
深度学习方法在从计算机视觉到自然语言处理的一系列任务中表现出了最先进的性能。然而，众所周知的是，这样的系统容易受到攻击者的攻击，这些攻击者精心制作输入以引起错误分类。攻击者为了引起这种错误分类而需要引入的扰动水平可以非常小，并且通常是不可感知的。这是一个重大的安全问题，特别是在错误分类可能对人类造成伤害的情况下。因此，我们提出了Deep Latent Defense，这是一种旨在将对抗训练与检测系统相结合的架构。深度潜伏防御的核心是一个经过对抗训练的神经网络。一系列编码器在数据通过网络时获取数据的中间层表示，并将其投影到一个潜在空间，我们使用该空间通过$k$ -nn分类器检测对抗样本。我们目前的结果使用灰盒和白盒攻击者，以及自适应$L_{\infty}$有界攻击，这是专门为尝试和逃避我们的防御。我们发现，即使在我们研究过的最强攻击者模型下，我们的防御也能够提供显着的防御优势。
2020-09-27 cs.LG stat.ML
Exposing Vulnerabilities in Explanation for Time Series Classifiers via Dual-Target Attacks
University of Science and Technology of China（中国科学技术大学）
提出TSEF双目标攻击方法，通过联合操纵分类器和解释器输出，实现目标性误分类同时保持解释与参考一致，揭示解释稳定性不能作为决策鲁棒性的可靠指标。
2026-05-30 cs.LG
Ares: A System-Oriented Wargame Framework for Adversarial ML
Stony Brook University（石溪大学）；IBM Research（IBM研究院）
自从近十年前发现针对机器学习模型的对抗攻击以来，对抗机器学习的研究已经迅速演变成防御者和对手之间的永恒战争，防御者寻求提高ML模型对对抗攻击的鲁棒性，而对手则寻求开发能够削弱或击败这些防御的更好攻击。然而，这个领域几乎没有得到ML从业者的认可，他们既不公开担心这些攻击会影响他们在现实世界中的系统，也不愿意牺牲模型的准确性来追求对这些攻击的鲁棒性。在本文中，我们激励了Ares的设计和实现，Ares是对抗性ML的评估框架，允许研究人员在现实的战争游戏环境中探索攻击和防御。Ares将攻击者和防御者之间的冲突框定为具有相反目标的强化学习环境中的两个代理。这允许引入系统级评估指标，如故障时间和复杂策略的评估，如移动目标防御。我们提供了我们的初步探索的结果，涉及一个白盒攻击者对adversarially训练的后卫。
2022-10-24 cs.AI cs.CR cs.LG
Breaking BERT: Gradient Attack on Twitter Sentiment Analysis for Targeted Misclassification
School of Computer Science Engineering and Information Systems, Vellore Institute of Technology（韦洛尔理工学院计算机科学工程与信息系统学院）；Center for AI Research (CAIR), University of Agder(UiA)（阿格德大学人工智能研究中心）；College of Computer Science and Information Technology, IAU（IAU计算机科学与信息技术学院）
本文针对Twitter情感分析中BERT模型的固有漏洞，提出一种基于梯度和白盒方法的对抗攻击框架，通过迭代替换高影响力单词生成隐蔽的对抗文本以实现目标错误分类。
2025-04-02 cs.CL cs.LG
StyleAT: Defending Face Recognition Against Semantic Attacks
Tel Aviv University（特拉维夫大学）；HPI / University of Potsdam（哈索·普拉特纳研究院 / 波茨坦大学）；National Taiwan University（国立台湾大学）
针对人脸识别模型易受语义攻击的弱点，提出基于StyleGAN潜在空间的快速攻击BoundStyle及其对抗训练方案StyleAT，在提升鲁棒性的同时显著降低计算成本。
2026-09-22 cs.AI cs.CR cs.CV
Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University（纽约大学）
深度神经网络（DNN）在广泛的分类任务中提供出色的性能，但其训练需要大量的计算资源，并且通常外包给第三方。最近的研究表明，外包训练引入了一种风险，即恶意训练者将返回一个后门DNN，该DNN在大多数输入上表现正常，但在存在只有攻击者才知道的触发器时，会导致有针对性的错误分类或降低网络的准确性。在本文中，我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作，并使用它们来调查两个有前途的防御，修剪和微调。我们表明，两者本身都不足以抵御复杂的攻击者。然后，我们评估了精细修剪，修剪和微调的组合，并表明它成功地削弱甚至消除了后门，即，在某些情况下，将攻击成功率降低到0%，对于干净（非触发）输入，准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
Simple Black-Box Adversarial Perturbations for Deep Networks
Samsung Research America（三星美国研究院）
深度神经网络是功能强大且流行的学习模型，可在许多计算机视觉、语音和语言处理任务上实现最先进的模式识别性能。然而，这些网络也被证明容易受到精心设计的对抗性扰动的影响，这些扰动会导致输入的错误分类。对抗性示例使对手能够破坏预期的系统行为，从而导致不希望的后果，并且当这些系统部署在现实世界中时可能会造成安全风险。在这项工作中，我们专注于深度卷积神经网络，并证明即使没有目标网络的任何内部知识，对手也可以轻松地制作对抗性示例。我们的攻击将网络视为一个预言机（黑盒），并且只假设网络的输出可以在探测的输入上观察到。我们的第一次攻击是基于一个简单的想法，增加扰动随机选择的单个像素或一小部分。然后，我们提高了这种攻击的有效性，通过仔细构造一个小的像素集扰动使用贪婪的本地搜索的想法。我们提出的攻击也自然扩展到更强的错误分类概念。我们广泛的实验结果表明，即使是这些基本攻击也可以揭示深度神经网络的漏洞。我们提出的方案的简单性和有效性意味着它们可以作为设计鲁棒网络的试金石。
2016-12-19 cs.CR cs.LG stat.ML
Trojan Horse Training for Breaking Defenses against Backdoor Attacks in Deep Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
使用深度神经网络的机器学习（ML）模型容易受到后门攻击。这种攻击涉及对手插入（隐藏的）触发器。因此，包含触发器的任何输入将导致神经网络将输入错误分类为（单个）目标类，而正确分类没有触发器的其他输入。包含后门的ML模型被称为特洛伊木马模型。当只有模型的输出可用时，后门可能会在安全关键的网络和网络物理系统中产生严重后果。防御机制已经开发并说明，在单目标后门攻击的情况下，能够区分特洛伊模型和非特洛伊模型的输出，准确率> 96%。理解防御机制的局限性需要构建机制失败的例子。当前的单目标后门攻击需要每个目标类一个触发器。我们介绍了一种新的，更一般的攻击，将使一个单一的触发器，导致错误分类到一个以上的目标类。这种错误分类将取决于输入所属的真实（实际）类。我们将这类攻击称为多目标后门攻击。我们证明了可以训练具有单目标或多目标触发器的特洛伊木马模型，以便降低试图区分来自特洛伊木马和非特洛伊木马模型的输出的防御机制的准确性。我们的方法使用非木马模型作为老师的木马模型，解决了木马模型和防御机制之间的最小-最大优化问题。经验评估表明，我们的训练过程将最先进的防御机制的准确性从> 96%降低到0%。
2022-03-25 cs.AI cs.CR cs.LG
BERT Lost Patience Won't Be Robust to Adversarial Slowdown
Oregon State University（俄勒冈州立大学）
本文提出WAFFLE攻击，系统评估多出口语言模型对对抗性减速的鲁棒性，发现机制越复杂越脆弱，对抗训练无效但ChatGPT输入净化有效，呼吁开发高效鲁棒的多出口模型。
2023-10-31 cs.CL cs.CR cs.LG
Scalable Attack on Graph Data by Injecting Vicious Nodes
Xi’an Jiaotong University（西安交通大学）；University of Virginia（弗吉尼亚大学）；Western Michigan University（西密歇根大学）
最近的研究表明，图卷积网络（GCN）很容易受到精心设计的攻击，这些攻击旨在通过不明显的扰动对图上的特定节点造成错误分类。然而，绝大多数现有的作品不能处理大规模的图形，因为他们的高时间复杂度。此外，现有的工作主要集中在操纵图上的现有节点，而在实践中，攻击者通常没有权限修改现有节点的信息。在本文中，我们开发了一个更具可扩展性的框架，称为近似快速梯度符号法（AFGSM），它考虑了一个更实际的攻击场景，对手只能注入新的恶性节点的图形，而没有控制权的原始图形。在方法上，我们提供了一个近似策略来线性化我们攻击的模型，然后以较低的时间成本推导出近似的封闭解。为了与现有的操纵原始图的攻击方法进行公平的比较，我们通过注入恶意节点来使它们适应新的攻击场景。实验结果表明，该攻击方法可以显著降低GCN的分类精度，并且在不影响攻击性能的前提下，比现有方法速度更快.
2020-04-22 cs.CR cs.LG
Defending Against Backdoor Attacks by Layer-wise Feature Analysis
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；Tsinghua University（清华大学）
训练深度神经网络（DNN）通常需要大量的训练数据和计算资源。负担不起的用户可能更愿意将培训外包给第三方或求助于公开的预训练模型。不幸的是，这样做有利于新的训练时间攻击（即，后门攻击）。这种攻击的目的是诱导包含对手指定的触发模式的输入样本的错误分类。在本文中，我们首先进行了逐层的有毒和良性样本的目标类的特征分析。我们发现，良性和中毒样本之间的特征差异往往在关键层最大，这并不总是在现有的防御中通常使用的，即完全连接层之前的层。我们还演示了如何根据良性样本的行为来定位这个关键层。然后，我们提出了一个简单而有效的方法来过滤有毒的样本，通过分析可疑和良性样本之间的特征差异在关键层。我们在两个基准数据集上进行了大量的实验，证实了我们的防御的有效性。
2023-02-24 cs.CR cs.LG
Constrained Gradient Descent: A Powerful and Principled Evasion Attack Against Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；Tel Aviv University（特拉维夫大学）
我们提出了针对深度神经网络的新的、更有效的有针对性的白盒攻击。我们的攻击更好地与攻击者的目标保持一致：（1）欺骗模型，使目标类的概率高于任何其他类，同时（2）保持在被攻击输入的$ε$距离内。首先，我们展示了一个损失函数，显式编码（1），并表明自动PGD发现更多的攻击。其次，我们提出了一种新的攻击方法，约束梯度下降（CGD），使用我们的损失函数的改进，捕捉（1）和（2）。CGD寻求以原则性的方式满足两个攻击者目标-错误分类和有界$\ell_{p}$ -范数-作为优化的一部分，而不是经由自组织后处理技术（例如，投影或剪切）。我们发现CGD在CIFAR 10（0.9- 4.2%）和ImageNet（8.6- 13.6%）上比最先进的攻击更成功，同时消耗更少的时间（11.4- 18.8%）。统计测试证实，我们的攻击优于其他领先的防御不同的数据集和值的$ε$。
2022-06-21 cs.CR cs.CV cs.LG
Subpopulation Data Poisoning Attacks
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
机器学习系统部署在关键环境中，但它们可能会以意想不到的方式失败，影响其预测的准确性。针对机器学习的中毒攻击会导致对机器学习算法使用的数据进行对抗性修改，以在部署时选择性地改变其输出。在这项工作中，我们介绍了一种新的数据投毒攻击称为\emph{subpopulation attack}，这是特别相关的数据集是大而多样的。我们设计了一个子群体攻击的模块化框架，用不同的构建块实例化它，并表明攻击对各种数据集和机器学习模型是有效的。我们进一步优化攻击在连续域中使用影响函数和梯度优化方法。与现有的后门中毒攻击相比，子群攻击具有在推理时在自然分布的数据点中诱导错误分类的优点，使得攻击非常隐蔽。我们还表明，我们的攻击策略可以用来改善现有的有针对性的攻击。我们证明，在某些假设下，亚群攻击是不可能防御的，并以经验证明了现有防御措施对我们的攻击的局限性，突出了保护机器学习免受这种威胁的困难。
2021-05-12 cs.CR cs.LG stat.ML
Tailoring Adversarial Attacks on Deep Neural Networks for Targeted Class Manipulation Using DeepFool Algorithm
School of Data and Sciences, BRAC University（BRAC大学数据科学学院）；University of Delaware（特拉华大学）；School of Law and Government, Dublin City University（都柏林城市大学法律与政府学院）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
针对DeepFool算法在目标类别操控场景的不足，提出增强型目标DeepFool（ET DeepFool）算法，支持指定错误分类目标并纳入可配置最小置信度分数，在维持图像完整性和最小化扰动方面更优，还揭示了不同模型的鲁棒性差异。
2025-04-14 cs.AI cs.CV cs.LG
Jacobian Ensembles Improve Robustness Trade-offs to Adversarial Attacks
Imperial College London（帝国理工学院）；DataSpartan
深度神经网络已经成为我们软件基础设施的一个组成部分，并被部署在许多广泛使用的安全关键应用程序中。然而，它们集成到许多系统中也带来了以通用对抗性扰动（UAP）形式的测试时间攻击的脆弱性。UAP是一类扰动，当应用于任何输入时会导致模型误分类。虽然有一个正在进行的努力，以保护模型免受这些对抗攻击，它往往是难以调和的权衡模型的准确性和鲁棒性的对抗攻击。雅可比正则化已被证明可以提高模型对UAP的鲁棒性，而模型集成已被广泛采用，以提高预测性能和模型鲁棒性。在这项工作中，我们提出了一种新的方法，雅可比集成-雅可比正则化和模型集成的组合，以显着提高对不稳定性，同时保持或提高模型的准确性。我们的研究结果表明，雅可比集成实现了以前看不到的准确性和鲁棒性水平，大大提高了以前的方法，往往倾向于只对准确性或鲁棒性倾斜。
2022-04-19 cs.CR cs.CV cs.LG
Attacking Object Detector Using A Universal Targeted Label-Switch Patch
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
过去几年，人们广泛研究了针对基于深度学习的对象检测器（OD）的对抗攻击。这些攻击通过在目标对象上或帧内的任何地方放置包含对抗模式的补丁，导致模型做出错误的预测。然而，没有先前的研究提出了一个错误分类攻击OD，其中补丁被应用在目标对象上。在这项研究中，我们提出了一种新的，通用的，有针对性的，标签切换攻击对国家的最先进的对象检测器，YOLO。在我们的攻击中，我们使用（i）定制的投影函数来使对抗补丁能够放置在图像中的多个目标对象上（例如，汽车），其中的每一个可以位于距摄像机不同的距离处或者相对于摄像机具有不同的视角，以及（ii）能够改变被攻击对象的标签的唯一损失函数。建议的通用补丁，这是在数字域中训练，是可转移到物理域。我们使用不同类型的对象检测器，不同摄像机捕获的不同视频流和各种目标类别进行了广泛的评估，并评估了物理域中对抗补丁的不同配置。
2022-11-16 cs.CR cs.CV cs.LG
Target Training Does Adversarial Training Without Adversarial Samples
Aalto University（阿尔托大学）
神经网络分类器很容易受到对抗性样本错误分类的影响，对此，当前最好的防御方法是使用对抗性样本训练分类器。然而，基于对抗性攻击核心的最小化，对抗性样本对于引导攻击收敛不是最佳的。最小化扰动项可以通过用重复的原始样本替换训练中的对抗样本而朝向$0$最小化，所述重复的原始样本仅针对训练被不同地标记。仅使用原始样本，目标训练消除了生成对抗样本的需要，以针对最小化扰动的所有攻击进行训练。在低容量分类器和不使用对抗样本的情况下，目标训练超过了默认的CIFAR10准确度（$84.3$ %）和当前最佳防御准确度（低于$25$ %），其中针对CW-L $_2$（$κ=0$）攻击的$84.8$为$84.8$ %，针对DeepFool攻击的$86.6$为$86.6$ %。使用对抗性样本对抗未最小化扰动的攻击，目标训练在CIFAR10中超过当前最佳防御（$69.1$ %），其中$76.4$ %对抗CW-L $_2$（$κ=40$）。
2021-02-09 cs.LG
Mitigation of Adversarial Examples in RF Deep Classifiers Utilizing AutoEncoder Pre-training
Perspecta Labs Inc.
图像机器学习中的对抗性示例被广泛宣传和探索。由轻微扰动的输入引起的错误分类的示例是丰富的并且是众所周知的（例如，一张熊猫的照片被不知不觉地扰乱，以欺骗分类器将其错误地标记为熊猫）。对射频（RF）信号深度学习（DL）的类似攻击及其缓解策略在已发表的工作中几乎没有涉及。然而，具有最小波形扰动的RF对抗性示例（AdEx）可能导致严重的、有针对性的误分类结果，特别是针对频谱感测/调查应用（例如，BPSK被误认为8-PSK）。我们对深度学习AdEx和拟议防御机制的研究是以RF为中心的，并结合了物理世界，空中（OTA）效应。我们在这里提出的防御机制的基础上预训练的目标分类器使用自动编码器。我们的研究结果验证了这种方法是一种可行的缓解方法，可以颠覆针对基于深度学习的通信和雷达传感系统的对抗性攻击。
2019-02-16 cs.LG eess.SP stat.ML
Perceptual-based deep-learning denoiser as a defense against adversarial attacks on ASR systems
Signal Analysis and Interpretation Laboratory (SAIL)（信号分析与解释实验室）；University of Southern California（南加州大学）
在本文中，我们研究语音去噪作为对抗攻击的防御自动语音识别（ASR）系统。对抗性攻击试图通过向原始语音信号添加小的扰动来强制错误分类。我们建议通过采用基于神经网络的去噪器作为ASR管道中的预处理器来抵消这一点。去噪器独立于下游ASR模型，因此可以快速部署在现有系统中。我们发现，使用感知动机损失函数训练降噪器可以提高对抗鲁棒性，而不会影响良性样本的ASR性能。我们的防御评估（作为DARPA GARD计划的一部分）在一系列攻击强度和语音样本的“凯南斯维尔”攻击策略。在20 dB信噪比（SNR）攻击强度下，观察到的平均改善约7.7%的字错误率（WER）在不设防的模型。
2021-07-12 cs.LG eess.AS eess.SP
Shallow-Deep Networks: Understanding and Mitigating Network Overthinking
University of Maryland（马里兰大学）
我们描述了深度神经网络（DNN）的一个普遍弱点-过度思考-当DNN在其最后一层之前可以达到正确的预测时，就会发生这种情况。过度思考是计算上的浪费，而且当最后一层正确的预测变成错误分类时，它也可能是破坏性的。理解过度思考需要研究每个预测在DNN的前向传递过程中如何演变，这通常是不透明的。对于预测透明度，我们提出了浅深网络（SDN），这是对现有DNN的通用修改，引入了内部分类器。我们将SDN应用于四个现代架构，在三个图像分类任务上进行训练，以表征过度思考问题。我们表明，SDNs可以通过基于信心的早期退出来减轻过度思考的浪费效应，这将平均推理成本降低了50%以上，并保持了准确性。我们还发现，破坏性的影响发生在自然输入的错误分类的50%，它可以诱导，相反，最近的后门攻击。为了减轻这种影响，我们提出了一个新的混淆度量来量化可能导致错误分类的内部分歧。
2019-05-09 cs.CV cs.LG stat.ML
Adversarial Attack and Defense in Deep Ranking
Xi’an Jiaotong University（西安交通大学）；Alibaba Group（阿里巴巴集团）；ABB Corporate Research Center（ABB企业研究中心）；Wormpex AI Research（Wormpex人工智能研究院）
深度神经网络分类器容易受到对抗攻击的攻击，其中不可感知的扰动可能导致错误分类。然而，基于DNN的图像排名系统的脆弱性仍然没有得到充分的探索。在本文中，我们提出了两种针对深度排名系统的攻击，即，候选攻击和查询攻击，可以通过对抗性扰动来提高或降低所选候选人的排名。具体地说，期望的排名顺序表示为一组不等式，然后一个三元组的目标函数的设计，以获得最佳的扰动。相反，提出了一种抗崩溃三元组防御来提高排名模型对所有提出的攻击的鲁棒性，其中模型学习防止正样本和负样本被对抗攻击拉得彼此靠近。为了全面衡量我们的防御排名模型的经验对抗鲁棒性，我们提出了一个经验鲁棒性分数，其中涉及一组对排名模型的代表性攻击。我们的对抗性排名攻击和防御在MNIST、Fashion-MNIST、CUB 200 -2011、CARS 196和斯坦福在线产品数据集上进行了评估。实验结果表明，一个典型的深度排名系统可以有效地损害我们的攻击。尽管如此，我们的防御可以显着提高排名系统的鲁棒性，同时减轻各种攻击。
2021-06-07 cs.CV cs.LG
Investigating Resistance of Deep Learning-based IDS against Adversaries using min-max Optimization
随着针对机器学习模型的对抗攻击的增长，在设计基于深度神经网络的入侵检测系统（IDS）时出现了一些关于潜在漏洞的担忧。本文研究了基于深度学习的入侵检测系统对对抗攻击的抵御能力。我们应用最小-最大（或鞍点）的方法来训练入侵检测系统对NSW-NB 15数据集上的对抗攻击样本。我们有最大的方法来生成对抗样本，实现最大的损失和攻击深度神经网络。另一方面，我们利用现有的min方法[2] [9]作为防御策略来优化入侵检测系统，以最大限度地减少对抗训练期间合并的对抗样本的损失。我们研究和测量的有效性的对抗攻击的方法，以及对抗训练的模型对这种攻击的抵抗力。我们发现，在二进制域中设计的对抗攻击方法可以用于连续域，并表现出不同的错误分类水平。最后，我们表明，基于主成分分析（PCA）的特征约简可以提高入侵检测系统（IDS）使用深度神经网络（DNN）的鲁棒性。
2019-10-30 cs.LG stat.ML
