Defending against Adversarial Images using Basis Functions Transformations
Yale University（耶鲁大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Duke University（杜克大学）
我们研究了各种方法的有效性，这些方法通过基于图像的基函数表示的操作来防御对深度网络的对抗性攻击。具体来说，我们的实验与低通滤波，PCA，JPEG压缩，低分辨率小波近似，和软阈值。我们评估这些防御技术使用三种类型的流行攻击在黑盒，灰盒和白盒设置。我们的研究结果表明，JPEG压缩往往优于其他测试的防御，在大多数的设置考虑，除了软阈值，在特定情况下表现良好，并产生一个更温和的降低准确性良性的例子。此外，我们还从数学上推导出一种新的白盒攻击，其中对抗性扰动仅由与基函数的预定子集相对应的项组成，其中“低频攻击”是一种特殊情况。
2018-04-16 cs.LG stat.ML
Defending Against Adversarial Attacks by Suppressing the Largest Eigenvalue of Fisher Information Matrix
East China Normal University（华东师范大学）；Shanghai University（上海大学）；Wenzhou University（温州大学）
我们提出了一种通过抑制Fisher信息矩阵的最大特征值来防御对抗攻击的方案。我们的出发点是对对抗性例子的基本原理的一种解释。基于良性样本与其敌对样本之间的差异由欧几里德范数度量，而它们在网络最后一层（softmax）的分类概率密度之间的差异可以由Kullback-Leibler（KL）散度度量的思想，该解释表明输出差异是输入差异的二次形式。如果这个二次型的特征值（a.k.a.当输入差异很小时，输出差异也会变大，这解释了对抗现象。这使得对抗性防御可能通过控制的特征值。我们的解决方案是在原始网络的损失函数中增加一个表示迹的项，因为最大特征值由迹限制。在典型的深度神经网络（如LeNet、VGG和ResNet）上，使用MNIST、CIFAR-10和德国交通标志识别基准（GTSRB）数据集，通过各种常见的攻击方法对我们的防御方案进行了实验验证。通过引入新的损失函数和再训练，新网络在保持原网络分类精度的同时，降低了生成对抗样本的欺骗率，具有有效的鲁棒防御能力。
2019-09-13 cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Stochastic Combinatorial Ensembles for Defending Against Adversarial Examples
University of Toronto（多伦多大学）
许多深度学习算法很容易被简单的对抗性例子所欺骗。为了解决现有防御的局限性，我们设计了一个概率框架，可以从单个模型中生成指数级大的模型集合，只需线性成本。该框架利用神经网络深度和随机性来决定是否在层之间插入噪声去除算子，例如VAE。我们的经验表明，模型梯度的重要作用，当涉及到确定可转移性的对抗性的例子，并利用这一结果来证明，它是可能的训练模型有限的对抗攻击可转移性。此外，我们提出了一种基于度量学习的检测方法，以检测那些没有希望被恶意工程噪声清除的对抗性示例。
2018-09-08 cs.CR cs.LG stat.ML
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
深度学习图像分类容易受到对抗攻击的攻击，即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像，使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明，我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University（杜克大学）
随着机器学习（ML）变得越来越强大且易于访问，攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中，攻击者可以访问个人、软件或系统的某些数据（称为公共数据）;并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功，是因为私有数据与公共数据在统计上相关，而ML分类器可以捕获这种统计相关性。在本章中，我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是，攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此，我们可以将ML的漏洞转化为对推理攻击的防御。例如，ML分类器很容易受到对抗性示例的影响，这些示例会向正常示例添加精心制作的噪音，以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击，我们可以在公共数据中添加精心制作的噪音，将它们变成对抗性的例子，这样攻击者的分类器就会对私有数据做出错误的预测。然而，现有的构建对抗性示例的方法是不够的，因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中，我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
A Computationally Efficient Method for Defending Adversarial Deep Learning Attacks
Purdue University（普渡大学）
近年来，对深度学习算法的依赖显著增长。然而，这些模型非常容易受到对抗攻击的攻击，这些攻击会在测试数据中引入视觉上无法感知的扰动，从而导致错误分类。文献已经提出了几种方法来对抗这种对抗攻击，但每种方法要么在高扰动值下失败，要么需要过多的计算能力，或者两者兼而有之。这封信提出了一种计算效率高的方法，通过同时去噪和压缩数据来防御快速梯度符号（FGS）对抗攻击。具体来说，我们提出的防御依赖于训练一个完全连接的多层去噪自动编码器（DAE），并使用其编码器作为对对抗攻击的防御。我们的研究结果表明，使用这种降维方案不仅在减轻FGS攻击在多个威胁模型中的影响方面非常有效，而且与针对相同攻击提供类似鲁棒性的防御策略相比，它还提供了2.43倍的加速。
2019-06-13 cs.CR cs.CV cs.LG
MadNet: Using a MAD Optimization for Defending Against Adversarial Attacks
Technion – Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）；Technion（以色列理工学院）
本文关注的是深度模型对对抗攻击的防御。受证书防御方法的启发，我们提出了一种最大对抗失真（MAD）优化方法来增强深度网络的鲁棒性。MAD抓住了增加嵌入空间中类簇的可分性，同时降低网络对小失真的敏感性的想法。给定一个用于分类问题的深度神经网络（DNN），MAD优化的应用导致MadNet，这是原始网络的一个版本，现在配备了对抗性防御机制。MAD优化直观、有效且可扩展，由此产生的MadNet可以提高原始精度。我们提出了一项广泛的实证研究，证明与最先进的方法相比，MadNet提高了对抗鲁棒性性能。
2020-06-12 cs.CR cs.CV cs.LG
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
分类器，如深度神经网络，已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性，但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中，我们证明了对抗性训练在防止通用扰动方面更有效，其中相同的扰动需要在许多输入上欺骗分类器。此外，我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡，并提出了一种对抗性训练的扩展，可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果，以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见，并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Defending Against Physically Realizable Attacks on Image Classification
Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Computer Science and Engineering（计算机科学与工程系）
我们研究了防御用于图像分类的深度神经网络方法免受物理可实现攻击的问题。首先，我们证明了学习鲁棒模型的两种最具可扩展性和有效性的方法，即PGD攻击和随机平滑的对抗训练，对三种最受欢迎的物理攻击表现出非常有限的有效性。接下来，我们提出了一个新的抽象对抗模型，矩形遮挡攻击，其中对手在图像中放置一个小的敌对制作的矩形，并开发了两种方法来有效地计算产生的对抗示例。最后，我们证明了使用我们的新攻击的对抗性训练产生的图像分类模型对我们研究的物理可实现的攻击具有很高的鲁棒性，为此类攻击提供了第一个有效的通用防御。
2020-02-14 cs.AI cs.CV cs.LG
Defending Against Adversarial Examples with K-Nearest Neighbor
鲁棒性是机器学习模型越来越重要的属性，因为它们变得越来越普遍。我们提出了一种防御对抗性的例子的基础上的k-最近邻（kNN）的中间激活的神经网络。我们的计划超过了国家的最先进的防御MNIST和CIFAR-10对l2扰动的显着保证金。使用我们的模型，在CIFAR-10上，欺骗我们的MNIST模型所需的平均扰动范数为3.07和2.30。此外，我们提出了一个简单的可验证的下限的l2范数的对抗扰动使用我们的计划，1-NN的更具体的版本表示学习Lipschitz网络。我们的模型提供了一个非平凡的平均下界的扰动范数，可比其他计划MNIST具有类似的清洁精度。
2020-03-18 cs.AI cs.CR cs.LG
Defending against Adversarial Attack towards Deep Neural Networks via Collaborative Multi-task Training
Swinburne University of Technology（斯威本科技大学）
众所周知，深度神经网络（DNN）容易受到包含人类无法感知的扰动的对抗性样本的攻击。近年来，人们提出了一系列的防御方法，包括主动防御和被动防御。然而，大多数方法只能处理特定的攻击。例如，主动防御方法对灰盒或白盒攻击无效，而被动防御方法则受到低失真对抗性示例或转移对抗性示例的挑战。这成为一个关键的问题，因为防御者通常没有攻击的类型作为先验知识。此外，现有的双管齐下的防御（例如，MagNet），它利用了主动和被动的方法，已被报告为转移攻击下打破。针对这一问题，提出了一种基于协同多任务训练的防御框架，旨在为不同类型的攻击提供防御。提出的防御首先将训练标签编码为标签对，并利用编码标签对监督的对抗性训练来对抗黑盒攻击。防御方还构建了一个检测器来识别和拒绝绕过黑盒防御的高置信度对抗性示例。此外，所提出的协作架构可以防止对手在防御策略暴露时找到有效的对抗性示例。在实验中，我们评估了对$MNIST$和$CIFAR10$数据集的四种最先进攻击的防御。实验结果表明，该方法在黑盒对抗样本上达到了$96.3\%$的分类准确率，在高置信度对抗样本中检测到了$98.7\%$.对于$CIFAR10$数据集，它仅降低了$2.1\%$对良性样本分类的模型准确性。
2020-07-24 cs.CR cs.LG
Defending Non-Bayesian Learning against Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
本文讨论了多智能体网络上的非贝叶斯学习问题，其中智能体反复收集关于世界未知状态的部分信息观测，并尝试协作学习真实状态。我们专注于对抗代理对基于共识的非贝叶斯学习性能的影响，其中非故障代理将局部学习更新与共识原语相结合。特别是，我们考虑的情况下，一个未知的子集的代理遭受拜占庭故障-代理遭受拜占庭故障的行为任意。提出了两种不同的学习规则。
2016-06-28 cs.DC cs.LG
Defending Adversarial Attacks by Correcting logits
Shanghai Jiao Tong University（上海交通大学）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
生成和消除对抗性样本一直是深度学习领域一个有趣的话题。虽然之前的研究证实，对抗攻击通常很脆弱，并且可以通过图像级处理进行防御，但尚不清楚此类攻击如何干扰高级特征。我们从一个新的角度来研究这个问题，这个角度纯粹依赖于logits，softmax之前的类得分，来检测和防御对抗攻击。我们的防御者是一个双层网络，在一组干净和扰动的logits上训练，目标是恢复原始预测。在广泛的对抗攻击，我们的简单的方法显示出有希望的结果，在防御中具有相对较高的准确性，防御者可以转移到攻击者具有类似的属性。更重要的是，我们的防御者可以在图像数据不可用的情况下工作，并且具有很高的可解释性，特别是在语义层面。
2019-06-26 cs.CR cs.CV cs.LG
Defending Adversarial Attacks via Semantic Feature Manipulation
CSIRO（联邦科学与工业研究组织）；Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）
机器学习模型已经证明了对对抗攻击的脆弱性，更具体地说，是对对抗示例的错误分类。在本文中，我们提出了一个一次性的和攻击不可知的特征操作（FM）-防御，以可解释和有效的方式检测和净化对抗性示例。直觉是，正常图像的分类结果通常抵抗不显著的固有特征变化，例如，不同粗细的手写数字。相反，对抗性的例子对这种变化很敏感，因为扰动缺乏可转移性。为了能够操纵的功能，组合变分自编码器被应用于学习解开的潜在代码，揭示语义特征。通过改变和重构潜码得到的变形对分类变化的抵抗力用于检测可疑输入。此外，通过考虑类共享和类唯一特征，对combo-VAE进行了增强，以净化具有良好质量的对抗性示例。我们经验证明了检测的有效性和净化实例的质量。我们在三个数据集上的实验表明，FM-Defense可以检测到由不同的最先进的对抗攻击产生的几乎$100\%$的对抗示例。它实现了超过$99\%$的整体净化精度的可疑的情况下，关闭正常的例子的歧管。
2020-04-22 cs.CR cs.LG stat.ML
An Adversarial Attack Defending System for Securing In-Vehicle Networks
University of South Florida（南佛罗里达大学）
在现代汽车中，有70多个电子控制单元（ECU）。对于车载网络，ECU通过遵循标准通信协议（例如控制器局域网（CAN））相互通信。但是，攻击者可以通过WLAN或蓝牙轻松访问车载网络，从而危及ECU。虽然有各种各样的深度学习（DL）方法被建议用于保护车载网络，但最近对对抗性示例的研究表明，攻击者可以很容易地欺骗DL模型。在这项研究中，我们进一步探索了车载网络中的对抗性示例。我们首先发现并实现了两个对抗攻击模型，它们对车载网络中使用的基于长短期记忆（LSTM）的检测模型有害。然后，我们提出了一个对抗攻击防御系统（AADS），用于保护车载网络。具体而言，我们专注于车载网络中与制动相关的ECU。我们的实验结果表明，对手可以很容易地攻击基于LSTM的检测模型的成功率超过98%，所提出的AADS实现了超过99%的准确率检测对抗攻击。
2020-08-29 cs.CR cs.LG
DiffDefense: Defending against Adversarial Attacks via Diffusion Models
University of Florence（佛罗伦萨大学）
本文提出DiffDefense，利用Diffusion Models在无需修改分类器的前提下防御对抗攻击，克服了扩散模型逆向过程慢的缺陷，在保持干净准确率、速度和即插即用兼容性的同时实现了鲁棒防御。
2023-09-07 cs.CR cs.CV cs.LG
Beneficial Perturbations Network for Defending Adversarial Examples
University of Southern California（南加州大学）
深度神经网络可能被对抗攻击愚弄：将精心计算的小对抗扰动添加到干净的输入中可能会导致最先进的机器学习模型的错误分类。其原因是神经网络无法适应由对抗性扰动引起的输入数据的分布漂移。在这里，我们提出了一种新的解决方案-有益扰动网络（BPN）-通过固定分布漂移来防御对抗攻击。在训练过程中，BPN通过添加新的网络外偏置单元来生成和利用有益的扰动（与众所周知的对抗性扰动有点相反）。偏置单元影响网络的参数空间，以抢占和中和输入数据样本上的未来对抗性扰动。为了实现这一点，BPN在训练过程中通过回收已经计算的训练梯度，以非常小的成本创建反向对抗攻击。反向攻击被偏置单元捕获，而偏置反过来又可以有效地防御未来的对抗性示例。反向攻击是一种捷径，即，它们会影响网络的参数，而不需要实例化可以帮助训练的对抗性示例。我们提供了全面的经验证据，表明1）BPN对对抗性示例具有鲁棒性，并且与经典的对抗性训练相比，具有更高的运行内存和计算效率。2)与只在干净样本上训练相比，BPN可以以可忽略的额外计算和参数成本来防御对抗性样本; 3）BPN对干净样本的准确性的损害比经典对抗性训练小得多; 4）BPN可以提高网络的泛化能力5）仅使用快速梯度符号攻击训练的BPN可以泛化以防御PGD攻击。
2021-09-13 cs.CR cs.LG stat.ML
Defending against adversarial attacks on medical imaging AI system, classification or detection?
Wayne State University（韦恩州立大学）
疾病分类和分割等医学成像AI系统越来越多地受到基于计算机视觉的AI系统的启发和改造。尽管已经开发了一系列对抗性训练和/或基于损失函数的防御技术，并证明其在计算机视觉中是有效的，但由于以下独特的挑战，在医学图像上防御对抗攻击在很大程度上仍然是一个未知的领域：1）医学图像中的标签稀缺性显著限制了AI系统的对抗性泛化能力; 2）医学图像中的前、背景具有极大的相似性和优势性，这使得学习不同疾病类别之间的区分特征成为困难的样本;和3）与聚焦的器官目标相反，添加到整个医学图像中的精心制作的对抗性噪声可以使干净和对抗性的样本更具辨别力不同疾病类别之间的差异。在本文中，我们提出了一种新的基于半监督对抗训练（SSAT）和无监督对抗检测（UAD）的强大医学成像AI框架，然后设计了一种新的评估系统对抗风险的措施。我们使用基准OCT成像数据集，系统地展示了我们强大的医学成像AI系统在各种现实世界对抗攻击环境下与现有对抗性防御技术相比的优势。
2020-06-24 cs.CV cs.LG eess.IV
Defending Against Adversarial Machine Learning
分析了一个对抗攻击的系统和一个防御攻击的作者归属系统。防御系统免受对抗性机器学习器的攻击可以通过在系统模型之间随机切换，通过检测和响应正常输入分布的变化，或通过使用其他方法来完成。对抗性机器学习用于识别用于将系统输入映射到输出的系统。三种类型的机器学习器用于被攻击的模型。用于对被攻击的系统建模的机器学习器是径向基函数支持向量机、线性支持向量机和前馈神经网络。使用准确度作为适应度度量来进化特征掩模。系统通过识别与正常输入的概率分布不匹配的输入来防御对抗性机器学习攻击。系统还通过在用于将系统输入映射到输出的特征掩码之间随机切换来防御对抗攻击。
2019-11-26 cs.AI cs.CR cs.LG
Defending Against Multiple and Unforeseen Adversarial Videos
Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络的对抗鲁棒性已经得到了积极的研究。然而，大多数现有的防御方法仅限于特定类型的对抗性扰动。具体而言，它们通常无法同时抵抗多种攻击类型，即，它们缺乏多扰动鲁棒性。此外，与图像识别问题相比，视频识别模型的对抗鲁棒性相对未被探索。虽然有几项研究提出了如何生成对抗性视频，但文献中只有少数关于防御策略的方法。在本文中，我们提出了针对视频识别的多种类型对抗视频的第一种防御策略之一。所提出的方法，称为MultiBN，使用多个独立的批量归一化（BN）层与基于学习的BN选择模块对多个对抗性视频类型进行对抗性训练。对于多BN结构，每个BN分支负责学习单个扰动类型的分布，从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。BN选择模块检测输入视频的攻击类型并将其发送到相应的BN分支，使MultiBN完全自动化并允许端到端训练。与目前的对抗训练方法相比，所提出的MultiBN对不同甚至不可预见的对抗视频类型（从LP有界攻击到物理可实现攻击）具有更强的多扰动鲁棒性。这适用于不同的数据集和目标模型。此外，我们进行了广泛的分析，研究多BN结构的性能。
2021-12-14 cs.CV cs.LG stat.ML
Defending Adversarial Examples by Negative Correlation Ensemble
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）
DNN中的安全问题，如对抗性示例，引起了人们的广泛关注。对抗性示例是指通过引入精心设计的扰动，能够诱导DNN返回完全预测的示例。显然，对抗性样本给深度学习的发展带来了极大的安全隐患。近年来，针对对抗性实例提出了一些防御方法，但在我们看来，这些方法的性能仍然有限。在本文中，我们提出了一种新的集成防御方法命名为负相关增强（NCEn），它通过引入负相关的集成中的每个成员的梯度方向和梯度幅度，同时减少了对抗性示例之间的可转移性，从而实现了令人信服的结果。实验结果表明，NCEn能有效地提高集成的抗攻击鲁棒性。
2022-06-11 cs.AI cs.CR cs.LG
Defending Jailbreak Prompts via In-Context Adversarial Game
University of Notre Dame（圣母大学）；INRIA（法国国家信息与自动化研究所）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对大语言模型易受越狱攻击的安全问题，提出无需微调的上下文内对抗博弈（ICAG）方法，通过攻防智能体迭代优化动态增强防御，可显著降低多场景越狱成功率且具备跨模型迁移性。
2025-02-21 cs.CR cs.LG
Robust and Efficient Interference Neural Networks for Defending Against Adversarial Attacks in ImageNet
Hubei Polytechnic University（湖北理工学院）
针对ImageNet上对抗训练防御对抗攻击计算成本高、对高强度攻击效果不佳的问题，提出用额外背景图和标签构建干扰神经网络，结合预训练ResNet-152高效训练，以更少算力实现更优PGD攻击防御效果。
2023-09-03 cs.CV cs.LG
Evaluating Defensive Distillation For Defending Text Processing Neural Networks Against Adversarial Examples
对抗性样本是人工修改的输入样本，会导致错误分类，但人类无法检测到。这些对抗性示例对于图像和文本分类等许多任务来说都是一个挑战，特别是研究表明，许多对抗性示例可以在不同的分类器之间转移。在这项工作中，我们评估了一种流行的防御策略的性能对抗性的例子，称为防御蒸馏，它可以成功地硬化神经网络对抗性的例子在图像域。然而，我们没有将防御性蒸馏应用于图像分类网络，而是首次研究了它在文本分类任务上的性能，并评估了它对对抗性文本示例的可移植性的影响。我们的研究结果表明，防御蒸馏只对文本分类神经网络的影响很小，既不帮助提高其对对抗性的例子，也不阻止神经网络之间的对抗性的例子的可移植性。
2019-08-21 cs.CL cs.CR cs.LG
Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders
University of Florida, Gainesville, Florida, USA（佛罗里达大学，盖恩斯维尔，佛罗里达州，美国）
本文提出一种无需对抗训练的防御框架，利用量子自编码器净化对抗样本，提升预测准确性，对抗攻击下性能提升达68%。
2026-04-30 cs.LG quant-ph
Attacking and Defending Machine Learning Applications of Public Cloud
Baidu X-Lab（百度X实验室）
对抗攻击打破了传统安全防御的界限。针对对抗攻击和云服务的特点，我们提出了面向机器学习应用的安全开发框架，例如，SDL for ML。SDL for ML通过减少ML即服务中漏洞的数量和严重性，同时降低开发成本，帮助开发人员构建更安全的软件。
2020-07-27 cs.CR cs.LG
PatchZero: Defending against Adversarial Patch Attacks by Detecting and Zeroing the Patch
对抗补丁攻击通过在局部区域内注入对抗像素来误导神经网络。补丁攻击可以在各种任务中非常有效，并且可以通过附着（例如贴纸）到现实世界的对象来物理实现。尽管攻击模式的多样性，对抗补丁往往是高度纹理化的，并且在外观上与自然图像不同。我们利用这一特性，并提出PatchZero，这是一种针对白盒对抗补丁的通用防御管道，无需重新训练下游分类器或检测器。具体来说，我们的防御检测在像素级的对手和“零”的补丁区域重新绘制的平均像素值。我们进一步设计了一个两阶段的对抗训练方案，以抵御更强的自适应攻击。PatchZero在图像分类（ImageNet，REISC 45），目标检测（PASCAL VOC）和视频分类（UCF 101）任务上实现了SOTA防御性能，而良性性能几乎没有下降。此外，PatchZero可以转移到不同的补丁形状和攻击类型。
2022-09-05 cs.CR cs.CV cs.LG
Defending against adversarial attacks by randomized diversification
University of Geneva（日内瓦大学）
机器学习系统对对抗攻击的脆弱性质疑它们在许多应用中的使用。在本文中，我们提出了一个随机多样化的防御策略。我们介绍了一个多通道的架构，在灰盒的情况下，假设架构的分类器和训练数据集是已知的攻击者。攻击者不仅可以访问秘密密钥和测试时系统的内部状态。防御者在多个通道中处理输入。每个通道基于在训练和测试阶段之间共享的秘密密钥在特殊变换域中引入其自己的随机化。这种基于变换的随机化与共享密钥为防御者保留了密钥定义的子空间中的梯度，但它防止了梯度反向传播和为攻击者创建各种旁路系统。多通道随机化的另一个好处是聚合融合了所有通道的软输出，从而提高了最终分数的可靠性。秘密密钥的共享为防御者创造了信息优势。实验评估表明，所提出的方法的鲁棒性增加了一些已知的国家的最先进的攻击。
2019-04-01 cs.CR cs.LG stat.ML
Defending Against Image Corruptions Through Adversarial Augmentations
DeepMind
现代神经网络在图像分类方面表现出色，但它们仍然容易受到模糊、斑点噪声或雾等常见图像损坏的影响。最近专注于这个问题的方法，如AugMix和DeepAugment，引入了对图像损坏分布进行预期操作的防御。与此相反，$\ell_p$ -范数有界扰动的文献侧重于对最坏情况下的腐败的防御。在这项工作中，我们调和这两种方法，提出AdversarialAugment，一种技术，优化图像到图像模型的参数，以生成adversarially损坏的增强图像。我们从理论上激励我们的方法，并给出其理想化版本以及DeepAugment的一致性的充分条件。我们的分类器改进了CIFAR-10-C上预期进行的常见图像损坏基准测试的最新技术，并提高了CIFAR-10和ImageNet上针对$\ell_p$范数有界扰动的最坏情况性能。
2021-12-16 cs.CV cs.LG
Divided We Fall: Defending Against Adversarial Attacks via Soft-Gated Fractional Mixture-of-Experts with Randomized Adversarial Training
Trustworthy and Secure AI (TSAI) Lab, Faculty of Computer Science, University of New Brunswick（新不伦瑞克大学计算机科学学院可信与安全人工智能实验室）
本文提出基于混合专家架构的对抗训练模块，通过多个专家提升模型对白盒攻击的鲁棒性，优于现有MoE防御方法，推理成本较低。
2026-03-26 cs.LG
Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
Yale University（耶鲁大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学学院）
针对预训练医学 VLM 受上游对抗噪声影响的问题，本文通过多模态对抗攻击构建噪声数据集并分析噪声强度效应，提出轻量级 RAN 微调框架以防御攻击并纠正噪声影响。
2025-01-07 cs.CV cs.LG
BUZz: BUffer Zones for defending adversarial examples in image classification
IBM Research（IBM研究院）；Iowa State University（爱荷华州立大学）；University of Connecticut（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学研究院）
我们针对图像分类问题提出了一种新的防御方法，以抵御所有现有的基于梯度的深度神经网络对抗对抗攻击。我们的防御是基于深度神经网络和简单图像变换的组合。虽然在实现上很简单，但这种防御产生了一种独特的安全属性，我们称之为缓冲区。我们认为，我们的防御缓冲区的基础上提供了显着的改进，最先进的防御。即使对手可以访问{ \em整个}原始训练数据集和对防御的无限查询访问，我们也能够实现这种改进。我们通过使用Fashion-MNIST和CIFAR-10的实验验证了我们的说法：我们证明了$<11\%$攻击的成功率-明显低于其他知名的最先进的防御提供的-只有一个$11-18\%$在干净的准确性下降的代价。通过使用一个新的直观的度量，我们解释了为什么这种权衡提供了一个显着的改进，比以前的工作。
2020-06-16 cs.CR cs.LG eess.IV
Defending Against Adversarial Iris Examples Using Wavelet Decomposition
West Virginia University（西弗吉尼亚大学）
深度神经网络在生物识别应用中表现出令人印象深刻的性能。然而，当面对精心制作的输入样本（称为对抗性样本）时，它们的性能面临很大风险。在本文中，我们提出了三种防御策略来检测敌对虹膜的例子。这些防御策略基于输入示例的小波域去噪，方法是调查每个小波子带并去除受对手影响最大的子带。第一种防御策略通过操纵输入样本小波域表示的中高频分量来重构输入样本的多个去噪版本，并对大多数去噪样本的分类结果进行决策。第二个和第三个提出的防御策略的目的是去噪每个小波域子带，并确定最有可能受到对手使用的重建误差计算每个子带的子带。我们测试了几种攻击情况下提出的防御策略的性能，并将结果与五种最先进的防御策略进行比较。
2019-08-08 cs.CV cs.LG eess.IV
Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending Against Adversarial Attacks
Continental-NTU Corporate Lab（大陆-南洋理工大学联合实验室）；Nanyang Technological University（南洋理工大学）；Singapore University of Social Sciences（新跃社科大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，其中恶意的人类无法感知的扰动被包含在深度网络的输入中，以欺骗它做出错误的分类。最近的研究表明，与普通DNN相比，神经常微分方程（ODE）本质上对对抗攻击更具鲁棒性。在这项工作中，我们提出了一个稳定的神经常微分方程与李雅普诺夫稳定平衡点防御对抗攻击（SODEF）。通过确保用作SODEF的一部分的ODE解的平衡点是Lyapunov稳定的，具有小扰动的输入的ODE解收敛到与未扰动输入相同的解。我们提供的理论结果，让深入了解的稳定性SODEF以及正则化选择，以确保其稳定性。我们的分析表明，我们提出的正则化迫使提取的特征点是在附近的Lyapunov稳定的平衡点的常微分方程。SODEF与许多防御方法兼容，可以应用于任何神经网络的最终回归层，以增强其对对抗攻击的稳定性。
2021-10-25 cs.CR cs.CV cs.LG
Defending against Adversarial Malware Attacks on ML-based Android Malware Detection Systems
Zhejiang University（浙江大学）；University College London（伦敦大学学院）
本文提出ADD框架，一种插件式防御方案，用于增强基于机器学习的Android恶意软件检测系统对问题空间对抗性攻击的鲁棒性，实验证明其有效且能提升现实防病毒软件的防御能力。
2025-01-23 cs.AI cs.CR cs.LG
Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
众所周知，使用深度强化学习（DRL）训练的神经网络策略容易受到对抗攻击的影响。在本文中，我们认为攻击表现为外部环境管理的观测空间的扰动。这些攻击已被证明会显著降低政策绩效。我们把注意力集中在训练有素的确定性和随机神经网络政策的背景下，连续控制基准受到四个研究充分的观察空间对抗攻击。为了抵御这些攻击，我们提出了一种新的防御策略，使用检测和去噪模式。与以前在对抗场景中采样数据的对抗训练方法不同，我们的解决方案不需要在受到攻击的环境中采样数据，从而大大降低了训练过程中的风险。详细的实验结果表明，我们的技术与最先进的对抗训练方法相当。
2022-06-14 cs.LG cs.RO cs.SY
Attacking and Defending Deep Reinforcement Learning Policies
最近的研究表明，深度强化学习（DRL）策略容易受到对抗攻击的攻击，这引起了人们对DRL在安全关键系统中应用的担忧。本文从鲁棒优化的角度出发，采用原则性的方法研究了DRL策略对对抗攻击的鲁棒性。在鲁棒优化的框架下，通过最小化策略的期望收益给出最优的对抗攻击，相应地，通过提高策略的最坏情况性能来实现良好的防御机制。考虑到攻击者通常无法访问训练环境，我们提出了一种贪婪攻击算法，该算法试图在不与环境交互的情况下最小化策略的预期收益，以及一种防御算法，该算法以最大-最小形式进行对抗性训练。在Atari游戏环境下的实验表明，与现有攻击算法相比，该攻击算法更有效，策略回报率更低;与现有防御算法相比，该防御算法对一系列对抗攻击（包括本文提出的攻击算法）具有更强的鲁棒性。
2022-05-16 cs.CR cs.LG
Structure-Preserving Progressive Low-rank Image Completion for Defending Adversarial Attacks
University of Missouri（密苏里大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
深度神经网络通过分析局部图像细节并沿着推理层总结其信息来识别对象，以得出最终决策。正因为如此，他们容易受到对抗攻击。输入图像中的小的复杂噪声可以沿着网络推理路径积累，并在网络输出处产生错误的决策。另一方面，人眼基于其全局结构和语义线索而不是局部图像纹理来识别对象。正因为如此，人眼仍然可以清楚地识别图像中的对象，这些对象已被对抗攻击严重损坏。这导致了一种非常有趣的方法来保护深度神经网络免受对抗攻击。在这项工作中，我们提出了一种结构保持渐进式低秩图像完成（SPLIC）方法，从输入图像中删除不需要的纹理细节，并将深度神经网络的偏见转向全局对象结构和语义线索。我们将问题转化为一个低秩矩阵完备化问题，逐步平滑秩函数，以避免在优化过程中出现局部极小值。我们的实验结果表明，该方法能够成功地去除不重要的局部图像细节，同时保留重要的全局对象结构。在黑盒、灰盒和白盒攻击中，我们的方法优于现有的防御方法（高达12.6%），并显着提高了网络的对抗鲁棒性。
2021-03-04 cs.AI cs.CV cs.LG
Mockingbird: Defending Against Deep-Learning-Based Website Fingerprinting Attacks with Adversarial Traces
Anomali Inc.（Anomali公司）；Global Cybersecurity Institute, Rochester Institute of Technology（罗切斯特理工学院全球网络安全研究所）
网站指纹（WF）是一种流量分析攻击，使本地被动窃听者能够推断受害者的活动，即使流量受到VPN或Tor等匿名系统的保护。利用深度学习分类器，WF攻击者可以在Tor流量上获得超过98%的准确率。在本文中，我们探索了一种新的防御方法Mockingbird，它基于对抗性示例的思想，这些示例已被证明会破坏其他领域的机器学习分类器。由于攻击者得到设计和训练他的攻击分类器的基础上的防御，我们首先证明，在一个简单的技术生成对抗性的例子为基础的痕迹无法防止攻击者使用对抗性训练的强大的分类。然后，我们提出了Mockingbird，一种用于生成轨迹的技术，通过在可行轨迹的空间中随机移动而不是遵循更可预测的梯度来抵抗对抗性训练。该技术将对抗训练强化的最先进攻击的准确性从98%降低到42-58%，同时仅产生58%的带宽开销。攻击准确性通常低于最先进的防御，并且在考虑Top-2准确性时要低得多，同时产生较低的带宽开销。
2020-10-28 cs.CR cs.LG
DataFreeShield: Defending Adversarial Attacks without Training Data
Seoul National University（首尔大学）；NVIDIA（英伟达）；IBM（国际商业机器公司（IBM））；KAIST（韩国科学技术院）
针对训练数据隐私受限下无法实现对抗鲁棒性的问题，提出DataFreeShield方法，通过生成替代数据集并基于其开展对抗训练，是首个完全无数据的对抗鲁棒性解决方案，性能优于基线。
2024-06-21 cs.CR cs.CV cs.LG
Defending Against Unforeseen Failure Modes with Latent Adversarial Training
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
针对AI系统存在未预见有害故障模式、现有对抗训练难以防御未知攻击的问题，提出利用潜在对抗训练（LAT），基于网络潜在表示在无触发样本下清除后门、防御未知攻击，在多任务中相较AT同时提升鲁棒性与干净数据性能。
2025-07-29 cs.AI cs.CR cs.LG
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
PuriDefense: Randomized Local Implicit Adversarial Purification for Defending Black-box Query-based Attacks
City University of Hong Kong, Hong Kong（香港城市大学）；Southeast University, China（东南大学）
针对黑盒查询式攻击威胁，提出高效防御机制PuriDefense，通过轻量级净化模型集合执行随机分块净化，在低推理成本下重建图像流形并引入随机性减缓攻击收敛，显著提升了模型鲁棒性。
2025-06-26 cs.AI cs.CR cs.CV
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
An Eye for an Eye: Defending against Gradient-based Attacks with Gradients
Illinois Institute of Technology（伊利诺伊理工学院）；Rochester Institute of Technology（罗切斯特理工学院）
深度学习模型已被证明容易受到对抗攻击的攻击。特别是，基于梯度的攻击最近表现出很高的成功率。梯度测量每个图像像素如何影响模型输出，其中包含用于生成恶意扰动的关键信息。在本文中，我们表明，梯度也可以作为一个强大的武器来抵御对抗攻击。通过使用梯度图和对抗图像作为输入，我们提出了一个双流恢复网络（TRN）来恢复对抗图像。为了对两个输入流的扰动图像进行最优恢复，提出了一种梯度图估计机制来估计对抗图像的梯度，并在TRN中设计了一个融合块来探索和融合两个输入流中的信息。一旦经过训练，我们的TRN可以防御各种攻击方法，而不会显着降低良性输入的性能。此外，我们的方法是通用的，可扩展的，很难绕过。在CIFAR10，SVHN和Fashion MNIST上的实验结果表明，我们的方法优于最先进的防御方法。
2022-02-02 cs.CR cs.CV cs.LG
Adversarial Robustness Toolbox v1.0.0
IBM Research（IBM研究院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学校）
对抗鲁棒性测试（ART）是一个Python库，支持开发人员和研究人员保护机器学习模型（深度神经网络，梯度提升决策树，支持向量机，随机森林，逻辑回归，高斯过程，决策树，Scikit-learn Pipelines等）。对抗对抗性威胁，并有助于使AI系统更加安全和值得信赖。机器学习模型容易受到对抗性示例的影响，这些示例是输入（图像，文本，表格数据等）。故意修改以通过机器学习模型产生期望的响应。ART提供了构建和部署防御的工具，并使用对抗攻击对其进行测试。防御机器学习模型涉及通过预处理输入、使用对抗样本增强训练数据以及利用运行时检测方法来标记可能已被对手修改的任何输入等方法来认证和验证模型鲁棒性和模型强化。ART中实现的攻击允许针对机器学习模型创建对抗攻击，这是使用最先进的威胁模型测试防御所需的。支持的机器学习库包括TensorFlow（v1和v2）、Keras、PyTorch、MXNet、Scikit-learn、XGBoost、LightGBM、CatBoost和GPy。ART的源代码在https://github.com/IBM/adversarial-robustness-toolbox上以MIT许可证发布。该版本包括代码示例、带教程的笔记本和文档（http：adversarial-robustness-toolbox.readthedocs.io）。
2019-11-15 cs.LG stat.ML
CoG: a Two-View Co-training Framework for Defending Adversarial Attacks on Graph
National University of Defense Technology（国防科技大学）
图神经网络在图形数据分析中表现出显著的性能。然而，GNN模型的鲁棒性仍然是一个挑战。因此，它们不够可靠，无法部署在关键应用程序中。最近的研究表明，GNN很容易被对抗性扰动所欺骗，特别是结构扰动。这种脆弱性归因于过度依赖结构信息来进行预测。为了实现更好的鲁棒性，期望构建具有更全面特征的GNN的预测。在大多数情况下，图数据具有两种信息视图，即结构信息和特征信息。在本文中，我们提出了CoG，这是一个简单而有效的协同训练框架，可以将这两种视图结合起来，以达到鲁棒性的目的。CoG从特征视图和结构视图独立地训练子模型，并允许它们通过将其最自信的未标记数据添加到训练集中来从彼此中提取知识。这两个视图的正交性使子模型多样化，从而增强了它们的集成的鲁棒性。我们在三个流行的数据集上评估了我们的框架，结果表明CoG显着提高了图模型对对抗攻击的鲁棒性，而不会牺牲它们在干净数据上的性能。我们还表明，CoG仍然实现了良好的鲁棒性时，节点特征和图结构的扰动。
2021-09-12 cs.CR cs.LG
Finite Gaussian Neurons: Defending against adversarial attacks by making neural networks say "I don't know"
The City University of New York（纽约城市大学）
本研究提出新型有限高斯神经元（FGN）架构，可低成本转换现有模型，在保留真实数据性能的同时降低对抗样本下的预测置信度，还通过多组对比实验验证了其抗攻击能力与局限性。
2023-06-13 cs.CR cs.LG
Benchmarking and Analyzing Robust Point Cloud Recognition: Bag of Tricks for Defending Adversarial Examples
New Jersey Institute of Technology（新泽西理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；HUST（华中科技大学）；Rutgers University（罗格斯大学）；Lehigh University（理海大学）
本文建立点云对抗鲁棒性基准，系统评估并组合现有防御技巧，提出混合训练增强方法，构建的防御框架在多种攻击下达到83.45%的平均准确率。
2023-08-10 cs.CR cs.CV cs.LG
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology（伊朗谢里夫理工大学）
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法，提出随机对数缩放（RLS）防御可降低攻击成功率，还引入新型自适应攻击，证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
Defending Against Adversarial Attacks in Transmission- and Distribution-level PMU Data
Washington State University（华盛顿州立大学）；Oregon State University（俄勒冈州立大学）；Portland State University（波特兰州立大学）
相量测量单元（PMU）提供高保真数据，提高电网运行的态势感知能力。PMU数据流通知广域状态估计，监视区域控制误差，并促进实时事件检测。随着PMU数据变得越来越可用和越来越可靠，这些设备在控制系统中被发现具有新的作用，例如补救措施方案和预警检测系统。与其他网络物理系统一样，维护数据完整性和安全性对电力系统运营商提出了重大挑战。在本文中，我们提出了一个全面的分析多种机器学习技术来检测恶意数据注入PMU数据流。本研究中使用的两个数据集来自两个PMU网络：一个是跨越美国太平洋西北部三个机构的大学间研究级配电网络，另一个是来自Bonneville电力管理局的公用事业输电网络。我们使用TensorFlow（一种用于机器学习的开源软件库）实现检测算法，结果表明，它有可能分配训练工作量并实现更高的性能，同时保持检测欺骗数据的有效性。
2020-08-20 cs.LG eess.SP
Defending against Adversarial Audio via Diffusion Model
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
近年来，深度学习模型已广泛用于商业声学系统中。然而，对抗性音频示例可能会导致这些声学系统的异常行为，同时人类很难感知。已经提出了各种方法，例如基于变换的防御和对抗训练，以保护声学系统免受对抗攻击，但是它们对自适应攻击的效果较差。此外，由于音频数据的独特属性，直接从图像域应用方法可能导致次优结果。在本文中，我们提出了一个基于对抗净化的防御管道，AudioPure，通过现成的扩散模型声学系统。利用扩散模型强大的生成能力，AudioPure首先在对抗音频中添加少量噪声，然后运行反向采样步骤来净化噪声音频并恢复干净的音频。AudioPure是一种即插即用的方法，可以直接应用于任何预训练的分类器，而无需任何微调或重新训练。我们在语音命令识别任务上进行了广泛的实验，以评估AudioPure的鲁棒性。我们的方法是有效的对抗不同的对抗攻击（例如$\mathcal{L}_2$或$\mathcal{L}_\infty$ -norm）。该方法在强自适应白盒和黑盒攻击下的性能优于现有的方法，这些攻击由$\mathcal{L}_2$或$\mathcal{L}_\infty$ -范数约束（鲁棒准确率高达+20\%）。此外，我们还评估了证明的鲁棒性的扰动有界的$\mathcal{L}_2$ -范数通过随机平滑。我们的管道实现了比基线更高的认证精度。
2023-03-02 cs.CR cs.LG cs.SD
Defending SVMs against Poisoning Attacks: the Hardness and DBSCAN Approach
University of Science and Technology of China（中国科学技术大学）
对抗性机器学习近年来吸引了大量的关注。在投毒攻击中，攻击者可以向训练数据中注入少量特制样本，使决策边界严重偏离，从而导致意外的误分类。由于支持向量机（SVM）的重要性和广泛的应用，我们考虑防止中毒攻击的SVM在本文中。我们研究了两种常用的防御策略：设计鲁棒的SVM算法和数据净化。虽然以前已经提出了一些鲁棒的SVM算法，但它们中的大多数要么缺乏对抗弹性，要么依赖于对数据分布或攻击者行为的强假设。此外，对它们的复杂性的研究还相当有限。据我们所知，我们是第一个证明，即使是最简单的硬边缘单类SVM与离群值问题是NP完全的，并没有完全PTAS，除非P $=$ NP（这意味着它是很难实现一个甚至近似算法）。对于数据净化防御，我们将其与数据的内在维度联系起来;特别是，我们提供了一个采样定理，用于解释DBSCAN（作为一种基于密度的离群值去除方法）防御中毒攻击的有效性。在我们的实证实验中，我们比较了包括DBSCAN和鲁棒SVM方法在内的几种防御方法，并研究了固有维数和数据密度对其性能的影响。
2021-02-20 cs.CG cs.CR cs.LG
