Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
深度学习图像分类容易受到对抗攻击的攻击，即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像，使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明，我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
Defending against adversarial attacks on medical imaging AI system, classification or detection?
Wayne State University（韦恩州立大学）
疾病分类和分割等医学成像AI系统越来越多地受到基于计算机视觉的AI系统的启发和改造。尽管已经开发了一系列对抗性训练和/或基于损失函数的防御技术，并证明其在计算机视觉中是有效的，但由于以下独特的挑战，在医学图像上防御对抗攻击在很大程度上仍然是一个未知的领域：1）医学图像中的标签稀缺性显著限制了AI系统的对抗性泛化能力; 2）医学图像中的前、背景具有极大的相似性和优势性，这使得学习不同疾病类别之间的区分特征成为困难的样本;和3）与聚焦的器官目标相反，添加到整个医学图像中的精心制作的对抗性噪声可以使干净和对抗性的样本更具辨别力不同疾病类别之间的差异。在本文中，我们提出了一种新的基于半监督对抗训练（SSAT）和无监督对抗检测（UAD）的强大医学成像AI框架，然后设计了一种新的评估系统对抗风险的措施。我们使用基准OCT成像数据集，系统地展示了我们强大的医学成像AI系统在各种现实世界对抗攻击环境下与现有对抗性防御技术相比的优势。
2020-06-24 cs.CV cs.LG eess.IV
Defending Against Adversarial Machine Learning
分析了一个对抗攻击的系统和一个防御攻击的作者归属系统。防御系统免受对抗性机器学习器的攻击可以通过在系统模型之间随机切换，通过检测和响应正常输入分布的变化，或通过使用其他方法来完成。对抗性机器学习用于识别用于将系统输入映射到输出的系统。三种类型的机器学习器用于被攻击的模型。用于对被攻击的系统建模的机器学习器是径向基函数支持向量机、线性支持向量机和前馈神经网络。使用准确度作为适应度度量来进化特征掩模。系统通过识别与正常输入的概率分布不匹配的输入来防御对抗性机器学习攻击。系统还通过在用于将系统输入映射到输出的特征掩码之间随机切换来防御对抗攻击。
2019-11-26 cs.AI cs.CR cs.LG
A Computationally Efficient Method for Defending Adversarial Deep Learning Attacks
Purdue University（普渡大学）
近年来，对深度学习算法的依赖显著增长。然而，这些模型非常容易受到对抗攻击的攻击，这些攻击会在测试数据中引入视觉上无法感知的扰动，从而导致错误分类。文献已经提出了几种方法来对抗这种对抗攻击，但每种方法要么在高扰动值下失败，要么需要过多的计算能力，或者两者兼而有之。这封信提出了一种计算效率高的方法，通过同时去噪和压缩数据来防御快速梯度符号（FGS）对抗攻击。具体来说，我们提出的防御依赖于训练一个完全连接的多层去噪自动编码器（DAE），并使用其编码器作为对对抗攻击的防御。我们的研究结果表明，使用这种降维方案不仅在减轻FGS攻击在多个威胁模型中的影响方面非常有效，而且与针对相同攻击提供类似鲁棒性的防御策略相比，它还提供了2.43倍的加速。
2019-06-13 cs.CR cs.CV cs.LG
Defending Adversarial Examples by Negative Correlation Ensemble
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）
DNN中的安全问题，如对抗性示例，引起了人们的广泛关注。对抗性示例是指通过引入精心设计的扰动，能够诱导DNN返回完全预测的示例。显然，对抗性样本给深度学习的发展带来了极大的安全隐患。近年来，针对对抗性实例提出了一些防御方法，但在我们看来，这些方法的性能仍然有限。在本文中，我们提出了一种新的集成防御方法命名为负相关增强（NCEn），它通过引入负相关的集成中的每个成员的梯度方向和梯度幅度，同时减少了对抗性示例之间的可转移性，从而实现了令人信服的结果。实验结果表明，NCEn能有效地提高集成的抗攻击鲁棒性。
2022-06-11 cs.AI cs.CR cs.LG
MadNet: Using a MAD Optimization for Defending Against Adversarial Attacks
Technion – Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）；Technion（以色列理工学院）
本文关注的是深度模型对对抗攻击的防御。受证书防御方法的启发，我们提出了一种最大对抗失真（MAD）优化方法来增强深度网络的鲁棒性。MAD抓住了增加嵌入空间中类簇的可分性，同时降低网络对小失真的敏感性的想法。给定一个用于分类问题的深度神经网络（DNN），MAD优化的应用导致MadNet，这是原始网络的一个版本，现在配备了对抗性防御机制。MAD优化直观、有效且可扩展，由此产生的MadNet可以提高原始精度。我们提出了一项广泛的实证研究，证明与最先进的方法相比，MadNet提高了对抗鲁棒性性能。
2020-06-12 cs.CR cs.CV cs.LG
Defending Jailbreak Prompts via In-Context Adversarial Game
University of Notre Dame（圣母大学）；INRIA（法国国家信息与自动化研究所）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对大语言模型易受越狱攻击的安全问题，提出无需微调的上下文内对抗博弈（ICAG）方法，通过攻防智能体迭代优化动态增强防御，可显著降低多场景越狱成功率且具备跨模型迁移性。
2025-02-21 cs.CR cs.LG
Defending Against Physically Realizable Attacks on Image Classification
Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Computer Science and Engineering（计算机科学与工程系）
我们研究了防御用于图像分类的深度神经网络方法免受物理可实现攻击的问题。首先，我们证明了学习鲁棒模型的两种最具可扩展性和有效性的方法，即PGD攻击和随机平滑的对抗训练，对三种最受欢迎的物理攻击表现出非常有限的有效性。接下来，我们提出了一个新的抽象对抗模型，矩形遮挡攻击，其中对手在图像中放置一个小的敌对制作的矩形，并开发了两种方法来有效地计算产生的对抗示例。最后，我们证明了使用我们的新攻击的对抗性训练产生的图像分类模型对我们研究的物理可实现的攻击具有很高的鲁棒性，为此类攻击提供了第一个有效的通用防御。
2020-02-14 cs.AI cs.CV cs.LG
Robust and Efficient Interference Neural Networks for Defending Against Adversarial Attacks in ImageNet
Hubei Polytechnic University（湖北理工学院）
针对ImageNet上对抗训练防御对抗攻击计算成本高、对高强度攻击效果不佳的问题，提出用额外背景图和标签构建干扰神经网络，结合预训练ResNet-152高效训练，以更少算力实现更优PGD攻击防御效果。
2023-09-03 cs.CV cs.LG
Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders
University of Florida, Gainesville, Florida, USA（佛罗里达大学，盖恩斯维尔，佛罗里达州，美国）
本文提出一种无需对抗训练的防御框架，利用量子自编码器净化对抗样本，提升预测准确性，对抗攻击下性能提升达68%。
2026-04-30 cs.LG quant-ph
Attacking and Defending Machine Learning Applications of Public Cloud
Baidu X-Lab（百度X实验室）
对抗攻击打破了传统安全防御的界限。针对对抗攻击和云服务的特点，我们提出了面向机器学习应用的安全开发框架，例如，SDL for ML。SDL for ML通过减少ML即服务中漏洞的数量和严重性，同时降低开发成本，帮助开发人员构建更安全的软件。
2020-07-27 cs.CR cs.LG
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
分类器，如深度神经网络，已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性，但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中，我们证明了对抗性训练在防止通用扰动方面更有效，其中相同的扰动需要在许多输入上欺骗分类器。此外，我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡，并提出了一种对抗性训练的扩展，可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果，以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见，并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
PatchZero: Defending against Adversarial Patch Attacks by Detecting and Zeroing the Patch
对抗补丁攻击通过在局部区域内注入对抗像素来误导神经网络。补丁攻击可以在各种任务中非常有效，并且可以通过附着（例如贴纸）到现实世界的对象来物理实现。尽管攻击模式的多样性，对抗补丁往往是高度纹理化的，并且在外观上与自然图像不同。我们利用这一特性，并提出PatchZero，这是一种针对白盒对抗补丁的通用防御管道，无需重新训练下游分类器或检测器。具体来说，我们的防御检测在像素级的对手和“零”的补丁区域重新绘制的平均像素值。我们进一步设计了一个两阶段的对抗训练方案，以抵御更强的自适应攻击。PatchZero在图像分类（ImageNet，REISC 45），目标检测（PASCAL VOC）和视频分类（UCF 101）任务上实现了SOTA防御性能，而良性性能几乎没有下降。此外，PatchZero可以转移到不同的补丁形状和攻击类型。
2022-09-05 cs.CR cs.CV cs.LG
Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
Yale University（耶鲁大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学学院）
针对预训练医学 VLM 受上游对抗噪声影响的问题，本文通过多模态对抗攻击构建噪声数据集并分析噪声强度效应，提出轻量级 RAN 微调框架以防御攻击并纠正噪声影响。
2025-01-07 cs.CV cs.LG
Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending Against Adversarial Attacks
Continental-NTU Corporate Lab（大陆-南洋理工大学联合实验室）；Nanyang Technological University（南洋理工大学）；Singapore University of Social Sciences（新跃社科大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，其中恶意的人类无法感知的扰动被包含在深度网络的输入中，以欺骗它做出错误的分类。最近的研究表明，与普通DNN相比，神经常微分方程（ODE）本质上对对抗攻击更具鲁棒性。在这项工作中，我们提出了一个稳定的神经常微分方程与李雅普诺夫稳定平衡点防御对抗攻击（SODEF）。通过确保用作SODEF的一部分的ODE解的平衡点是Lyapunov稳定的，具有小扰动的输入的ODE解收敛到与未扰动输入相同的解。我们提供的理论结果，让深入了解的稳定性SODEF以及正则化选择，以确保其稳定性。我们的分析表明，我们提出的正则化迫使提取的特征点是在附近的Lyapunov稳定的平衡点的常微分方程。SODEF与许多防御方法兼容，可以应用于任何神经网络的最终回归层，以增强其对对抗攻击的稳定性。
2021-10-25 cs.CR cs.CV cs.LG
Defending against Adversarial Images using Basis Functions Transformations
Yale University（耶鲁大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Duke University（杜克大学）
我们研究了各种方法的有效性，这些方法通过基于图像的基函数表示的操作来防御对深度网络的对抗性攻击。具体来说，我们的实验与低通滤波，PCA，JPEG压缩，低分辨率小波近似，和软阈值。我们评估这些防御技术使用三种类型的流行攻击在黑盒，灰盒和白盒设置。我们的研究结果表明，JPEG压缩往往优于其他测试的防御，在大多数的设置考虑，除了软阈值，在特定情况下表现良好，并产生一个更温和的降低准确性良性的例子。此外，我们还从数学上推导出一种新的白盒攻击，其中对抗性扰动仅由与基函数的预定子集相对应的项组成，其中“低频攻击”是一种特殊情况。
2018-04-16 cs.LG stat.ML
Defending Adversarial Attacks by Correcting logits
Shanghai Jiao Tong University（上海交通大学）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
生成和消除对抗性样本一直是深度学习领域一个有趣的话题。虽然之前的研究证实，对抗攻击通常很脆弱，并且可以通过图像级处理进行防御，但尚不清楚此类攻击如何干扰高级特征。我们从一个新的角度来研究这个问题，这个角度纯粹依赖于logits，softmax之前的类得分，来检测和防御对抗攻击。我们的防御者是一个双层网络，在一组干净和扰动的logits上训练，目标是恢复原始预测。在广泛的对抗攻击，我们的简单的方法显示出有希望的结果，在防御中具有相对较高的准确性，防御者可以转移到攻击者具有类似的属性。更重要的是，我们的防御者可以在图像数据不可用的情况下工作，并且具有很高的可解释性，特别是在语义层面。
2019-06-26 cs.CR cs.CV cs.LG
Defending Against Adversarial Attacks by Suppressing the Largest Eigenvalue of Fisher Information Matrix
East China Normal University（华东师范大学）；Shanghai University（上海大学）；Wenzhou University（温州大学）
我们提出了一种通过抑制Fisher信息矩阵的最大特征值来防御对抗攻击的方案。我们的出发点是对对抗性例子的基本原理的一种解释。基于良性样本与其敌对样本之间的差异由欧几里德范数度量，而它们在网络最后一层（softmax）的分类概率密度之间的差异可以由Kullback-Leibler（KL）散度度量的思想，该解释表明输出差异是输入差异的二次形式。如果这个二次型的特征值（a.k.a.当输入差异很小时，输出差异也会变大，这解释了对抗现象。这使得对抗性防御可能通过控制的特征值。我们的解决方案是在原始网络的损失函数中增加一个表示迹的项，因为最大特征值由迹限制。在典型的深度神经网络（如LeNet、VGG和ResNet）上，使用MNIST、CIFAR-10和德国交通标志识别基准（GTSRB）数据集，通过各种常见的攻击方法对我们的防御方案进行了实验验证。通过引入新的损失函数和再训练，新网络在保持原网络分类精度的同时，降低了生成对抗样本的欺骗率，具有有效的鲁棒防御能力。
2019-09-13 cs.LG stat.ML
Defending against Adversarial Malware Attacks on ML-based Android Malware Detection Systems
Zhejiang University（浙江大学）；University College London（伦敦大学学院）
本文提出ADD框架，一种插件式防御方案，用于增强基于机器学习的Android恶意软件检测系统对问题空间对抗性攻击的鲁棒性，实验证明其有效且能提升现实防病毒软件的防御能力。
2025-01-23 cs.AI cs.CR cs.LG
Structure-Preserving Progressive Low-rank Image Completion for Defending Adversarial Attacks
University of Missouri（密苏里大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
深度神经网络通过分析局部图像细节并沿着推理层总结其信息来识别对象，以得出最终决策。正因为如此，他们容易受到对抗攻击。输入图像中的小的复杂噪声可以沿着网络推理路径积累，并在网络输出处产生错误的决策。另一方面，人眼基于其全局结构和语义线索而不是局部图像纹理来识别对象。正因为如此，人眼仍然可以清楚地识别图像中的对象，这些对象已被对抗攻击严重损坏。这导致了一种非常有趣的方法来保护深度神经网络免受对抗攻击。在这项工作中，我们提出了一种结构保持渐进式低秩图像完成（SPLIC）方法，从输入图像中删除不需要的纹理细节，并将深度神经网络的偏见转向全局对象结构和语义线索。我们将问题转化为一个低秩矩阵完备化问题，逐步平滑秩函数，以避免在优化过程中出现局部极小值。我们的实验结果表明，该方法能够成功地去除不重要的局部图像细节，同时保留重要的全局对象结构。在黑盒、灰盒和白盒攻击中，我们的方法优于现有的防御方法（高达12.6%），并显着提高了网络的对抗鲁棒性。
2021-03-04 cs.AI cs.CV cs.LG
Mockingbird: Defending Against Deep-Learning-Based Website Fingerprinting Attacks with Adversarial Traces
Anomali Inc.（Anomali公司）；Global Cybersecurity Institute, Rochester Institute of Technology（罗切斯特理工学院全球网络安全研究所）
网站指纹（WF）是一种流量分析攻击，使本地被动窃听者能够推断受害者的活动，即使流量受到VPN或Tor等匿名系统的保护。利用深度学习分类器，WF攻击者可以在Tor流量上获得超过98%的准确率。在本文中，我们探索了一种新的防御方法Mockingbird，它基于对抗性示例的思想，这些示例已被证明会破坏其他领域的机器学习分类器。由于攻击者得到设计和训练他的攻击分类器的基础上的防御，我们首先证明，在一个简单的技术生成对抗性的例子为基础的痕迹无法防止攻击者使用对抗性训练的强大的分类。然后，我们提出了Mockingbird，一种用于生成轨迹的技术，通过在可行轨迹的空间中随机移动而不是遵循更可预测的梯度来抵抗对抗性训练。该技术将对抗训练强化的最先进攻击的准确性从98%降低到42-58%，同时仅产生58%的带宽开销。攻击准确性通常低于最先进的防御，并且在考虑Top-2准确性时要低得多，同时产生较低的带宽开销。
2020-10-28 cs.CR cs.LG
DataFreeShield: Defending Adversarial Attacks without Training Data
Seoul National University（首尔大学）；NVIDIA（英伟达）；IBM（国际商业机器公司（IBM））；KAIST（韩国科学技术院）
针对训练数据隐私受限下无法实现对抗鲁棒性的问题，提出DataFreeShield方法，通过生成替代数据集并基于其开展对抗训练，是首个完全无数据的对抗鲁棒性解决方案，性能优于基线。
2024-06-21 cs.CR cs.CV cs.LG
Defending Adversarial Attacks via Semantic Feature Manipulation
CSIRO（联邦科学与工业研究组织）；Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）
机器学习模型已经证明了对对抗攻击的脆弱性，更具体地说，是对对抗示例的错误分类。在本文中，我们提出了一个一次性的和攻击不可知的特征操作（FM）-防御，以可解释和有效的方式检测和净化对抗性示例。直觉是，正常图像的分类结果通常抵抗不显著的固有特征变化，例如，不同粗细的手写数字。相反，对抗性的例子对这种变化很敏感，因为扰动缺乏可转移性。为了能够操纵的功能，组合变分自编码器被应用于学习解开的潜在代码，揭示语义特征。通过改变和重构潜码得到的变形对分类变化的抵抗力用于检测可疑输入。此外，通过考虑类共享和类唯一特征，对combo-VAE进行了增强，以净化具有良好质量的对抗性示例。我们经验证明了检测的有效性和净化实例的质量。我们在三个数据集上的实验表明，FM-Defense可以检测到由不同的最先进的对抗攻击产生的几乎$100\%$的对抗示例。它实现了超过$99\%$的整体净化精度的可疑的情况下，关闭正常的例子的歧管。
2020-04-22 cs.CR cs.LG stat.ML
Defending Against Unforeseen Failure Modes with Latent Adversarial Training
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
针对AI系统存在未预见有害故障模式、现有对抗训练难以防御未知攻击的问题，提出利用潜在对抗训练（LAT），基于网络潜在表示在无触发样本下清除后门、防御未知攻击，在多任务中相较AT同时提升鲁棒性与干净数据性能。
2025-07-29 cs.AI cs.CR cs.LG
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
PuriDefense: Randomized Local Implicit Adversarial Purification for Defending Black-box Query-based Attacks
City University of Hong Kong, Hong Kong（香港城市大学）；Southeast University, China（东南大学）
针对黑盒查询式攻击威胁，提出高效防御机制PuriDefense，通过轻量级净化模型集合执行随机分块净化，在低推理成本下重建图像流形并引入随机性减缓攻击收敛，显著提升了模型鲁棒性。
2025-06-26 cs.AI cs.CR cs.CV
Beneficial Perturbations Network for Defending Adversarial Examples
University of Southern California（南加州大学）
深度神经网络可能被对抗攻击愚弄：将精心计算的小对抗扰动添加到干净的输入中可能会导致最先进的机器学习模型的错误分类。其原因是神经网络无法适应由对抗性扰动引起的输入数据的分布漂移。在这里，我们提出了一种新的解决方案-有益扰动网络（BPN）-通过固定分布漂移来防御对抗攻击。在训练过程中，BPN通过添加新的网络外偏置单元来生成和利用有益的扰动（与众所周知的对抗性扰动有点相反）。偏置单元影响网络的参数空间，以抢占和中和输入数据样本上的未来对抗性扰动。为了实现这一点，BPN在训练过程中通过回收已经计算的训练梯度，以非常小的成本创建反向对抗攻击。反向攻击被偏置单元捕获，而偏置反过来又可以有效地防御未来的对抗性示例。反向攻击是一种捷径，即，它们会影响网络的参数，而不需要实例化可以帮助训练的对抗性示例。我们提供了全面的经验证据，表明1）BPN对对抗性示例具有鲁棒性，并且与经典的对抗性训练相比，具有更高的运行内存和计算效率。2)与只在干净样本上训练相比，BPN可以以可忽略的额外计算和参数成本来防御对抗性样本; 3）BPN对干净样本的准确性的损害比经典对抗性训练小得多; 4）BPN可以提高网络的泛化能力5）仅使用快速梯度符号攻击训练的BPN可以泛化以防御PGD攻击。
2021-09-13 cs.CR cs.LG stat.ML
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
Defending Against Multiple and Unforeseen Adversarial Videos
Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络的对抗鲁棒性已经得到了积极的研究。然而，大多数现有的防御方法仅限于特定类型的对抗性扰动。具体而言，它们通常无法同时抵抗多种攻击类型，即，它们缺乏多扰动鲁棒性。此外，与图像识别问题相比，视频识别模型的对抗鲁棒性相对未被探索。虽然有几项研究提出了如何生成对抗性视频，但文献中只有少数关于防御策略的方法。在本文中，我们提出了针对视频识别的多种类型对抗视频的第一种防御策略之一。所提出的方法，称为MultiBN，使用多个独立的批量归一化（BN）层与基于学习的BN选择模块对多个对抗性视频类型进行对抗性训练。对于多BN结构，每个BN分支负责学习单个扰动类型的分布，从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。BN选择模块检测输入视频的攻击类型并将其发送到相应的BN分支，使MultiBN完全自动化并允许端到端训练。与目前的对抗训练方法相比，所提出的MultiBN对不同甚至不可预见的对抗视频类型（从LP有界攻击到物理可实现攻击）具有更强的多扰动鲁棒性。这适用于不同的数据集和目标模型。此外，我们进行了广泛的分析，研究多BN结构的性能。
2021-12-14 cs.CV cs.LG stat.ML
BUZz: BUffer Zones for defending adversarial examples in image classification
IBM Research（IBM研究院）；Iowa State University（爱荷华州立大学）；University of Connecticut（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学研究院）
我们针对图像分类问题提出了一种新的防御方法，以抵御所有现有的基于梯度的深度神经网络对抗对抗攻击。我们的防御是基于深度神经网络和简单图像变换的组合。虽然在实现上很简单，但这种防御产生了一种独特的安全属性，我们称之为缓冲区。我们认为，我们的防御缓冲区的基础上提供了显着的改进，最先进的防御。即使对手可以访问{ \em整个}原始训练数据集和对防御的无限查询访问，我们也能够实现这种改进。我们通过使用Fashion-MNIST和CIFAR-10的实验验证了我们的说法：我们证明了$<11\%$攻击的成功率-明显低于其他知名的最先进的防御提供的-只有一个$11-18\%$在干净的准确性下降的代价。通过使用一个新的直观的度量，我们解释了为什么这种权衡提供了一个显着的改进，比以前的工作。
2020-06-16 cs.CR cs.LG eess.IV
An Eye for an Eye: Defending against Gradient-based Attacks with Gradients
Illinois Institute of Technology（伊利诺伊理工学院）；Rochester Institute of Technology（罗切斯特理工学院）
深度学习模型已被证明容易受到对抗攻击的攻击。特别是，基于梯度的攻击最近表现出很高的成功率。梯度测量每个图像像素如何影响模型输出，其中包含用于生成恶意扰动的关键信息。在本文中，我们表明，梯度也可以作为一个强大的武器来抵御对抗攻击。通过使用梯度图和对抗图像作为输入，我们提出了一个双流恢复网络（TRN）来恢复对抗图像。为了对两个输入流的扰动图像进行最优恢复，提出了一种梯度图估计机制来估计对抗图像的梯度，并在TRN中设计了一个融合块来探索和融合两个输入流中的信息。一旦经过训练，我们的TRN可以防御各种攻击方法，而不会显着降低良性输入的性能。此外，我们的方法是通用的，可扩展的，很难绕过。在CIFAR10，SVHN和Fashion MNIST上的实验结果表明，我们的方法优于最先进的防御方法。
2022-02-02 cs.CR cs.CV cs.LG
CoG: a Two-View Co-training Framework for Defending Adversarial Attacks on Graph
National University of Defense Technology（国防科技大学）
图神经网络在图形数据分析中表现出显著的性能。然而，GNN模型的鲁棒性仍然是一个挑战。因此，它们不够可靠，无法部署在关键应用程序中。最近的研究表明，GNN很容易被对抗性扰动所欺骗，特别是结构扰动。这种脆弱性归因于过度依赖结构信息来进行预测。为了实现更好的鲁棒性，期望构建具有更全面特征的GNN的预测。在大多数情况下，图数据具有两种信息视图，即结构信息和特征信息。在本文中，我们提出了CoG，这是一个简单而有效的协同训练框架，可以将这两种视图结合起来，以达到鲁棒性的目的。CoG从特征视图和结构视图独立地训练子模型，并允许它们通过将其最自信的未标记数据添加到训练集中来从彼此中提取知识。这两个视图的正交性使子模型多样化，从而增强了它们的集成的鲁棒性。我们在三个流行的数据集上评估了我们的框架，结果表明CoG显着提高了图模型对对抗攻击的鲁棒性，而不会牺牲它们在干净数据上的性能。我们还表明，CoG仍然实现了良好的鲁棒性时，节点特征和图结构的扰动。
2021-09-12 cs.CR cs.LG
Finite Gaussian Neurons: Defending against adversarial attacks by making neural networks say "I don't know"
The City University of New York（纽约城市大学）
本研究提出新型有限高斯神经元（FGN）架构，可低成本转换现有模型，在保留真实数据性能的同时降低对抗样本下的预测置信度，还通过多组对比实验验证了其抗攻击能力与局限性。
2023-06-13 cs.CR cs.LG
Benchmarking and Analyzing Robust Point Cloud Recognition: Bag of Tricks for Defending Adversarial Examples
New Jersey Institute of Technology（新泽西理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；HUST（华中科技大学）；Rutgers University（罗格斯大学）；Lehigh University（理海大学）
本文建立点云对抗鲁棒性基准，系统评估并组合现有防御技巧，提出混合训练增强方法，构建的防御框架在多种攻击下达到83.45%的平均准确率。
2023-08-10 cs.CR cs.CV cs.LG
Defending against adversarial attacks by randomized diversification
University of Geneva（日内瓦大学）
机器学习系统对对抗攻击的脆弱性质疑它们在许多应用中的使用。在本文中，我们提出了一个随机多样化的防御策略。我们介绍了一个多通道的架构，在灰盒的情况下，假设架构的分类器和训练数据集是已知的攻击者。攻击者不仅可以访问秘密密钥和测试时系统的内部状态。防御者在多个通道中处理输入。每个通道基于在训练和测试阶段之间共享的秘密密钥在特殊变换域中引入其自己的随机化。这种基于变换的随机化与共享密钥为防御者保留了密钥定义的子空间中的梯度，但它防止了梯度反向传播和为攻击者创建各种旁路系统。多通道随机化的另一个好处是聚合融合了所有通道的软输出，从而提高了最终分数的可靠性。秘密密钥的共享为防御者创造了信息优势。实验评估表明，所提出的方法的鲁棒性增加了一些已知的国家的最先进的攻击。
2019-04-01 cs.CR cs.LG stat.ML
Defending Against Adversarial Attacks in Transmission- and Distribution-level PMU Data
Washington State University（华盛顿州立大学）；Oregon State University（俄勒冈州立大学）；Portland State University（波特兰州立大学）
相量测量单元（PMU）提供高保真数据，提高电网运行的态势感知能力。PMU数据流通知广域状态估计，监视区域控制误差，并促进实时事件检测。随着PMU数据变得越来越可用和越来越可靠，这些设备在控制系统中被发现具有新的作用，例如补救措施方案和预警检测系统。与其他网络物理系统一样，维护数据完整性和安全性对电力系统运营商提出了重大挑战。在本文中，我们提出了一个全面的分析多种机器学习技术来检测恶意数据注入PMU数据流。本研究中使用的两个数据集来自两个PMU网络：一个是跨越美国太平洋西北部三个机构的大学间研究级配电网络，另一个是来自Bonneville电力管理局的公用事业输电网络。我们使用TensorFlow（一种用于机器学习的开源软件库）实现检测算法，结果表明，它有可能分配训练工作量并实现更高的性能，同时保持检测欺骗数据的有效性。
2020-08-20 cs.LG eess.SP
SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Aggregation
Independent Researcher（独立研究者）
本文提出SmoothGuard防御框架，通过随机高斯噪声注入和基于嵌入的聚类聚合，有效提升多模态大语言模型对对抗性攻击的鲁棒性，同时保持模型实用性。
2025-10-29 cs.CR cs.LG
AnchorRep: Defending LLMs Against Cross-Model Adversarial Transfer via Representation Repulsion
AnchorRep通过轻量级LoRA适配器排斥有害提示的表示，防御跨模型对抗性迁移，将攻击成功率降至≤1.1%，并引入良性乱码率评估退化输出。
2026-11-06 cs.AI cs.LG
SHIELD: Defending Textual Neural Networks against Multiple Black-Box Adversarial Attacks with Stochastic Multi-Expert Patcher
Penn State University（宾夕法尼亚州立大学）；Yonsei University（延世大学）
尽管已经提出了几种方法来保护文本神经网络（NN）模型免受黑盒对抗攻击，但它们通常会防御特定的文本扰动策略和/或需要从头开始重新训练模型。这导致在实践中缺乏推广和冗余计算。特别地，现有技术的Transformer模型（例如，BERT、RoBERTa）需要大量的时间和计算资源。通过借鉴软件工程的思想，为了解决这些局限性，我们提出了一种新的算法，SHIELD，它修改和重新训练的文本NN的最后一层，因此它“补丁”和“变换”的NN到一个随机加权合奏的多专家预测头。考虑到当前大多数黑盒攻击依赖于迭代搜索机制来优化其对抗性扰动，SHIELD通过根据输入自动使用不同加权的预测器集合来混淆攻击者。换句话说，SHIELD打破了攻击的一个基本假设，即受害者NN模型在攻击期间保持不变。通过进行全面的实验，我们证明，所有的CNN，RNN，BERT，和RobERTa的文本神经网络，一旦修补SHIELD，表现出相对提高15%-70%的准确率平均对14种不同的黑盒攻击，超过6个防御基线在3个公共数据集。所有代码都将被发布。
2022-03-16 cs.CL cs.CR cs.LG
Defending against substitute model black box adversarial attacks with the 01 loss
New Jersey Institute of Technology（新泽西理工学院）
替代模型黑盒攻击可以通过访问目标模型的输出标签来为目标模型创建对抗性示例。这在实践中对机器学习模型提出了重大挑战，特别是在安全敏感的应用中。已知01损失模型比通常在实践中使用的凸模型对离群值和噪声更鲁棒。受这些属性的启发，我们提出了01损失线性和01损失双层神经网络模型作为对基于转移的替代模型黑盒攻击的防御。我们比较了针对我们的01损失模型的替代模型黑盒攻击的对抗性示例的准确性，以及在流行的图像基准上进行二进制分类的凸模型。我们的01损失双层神经网络在MNIST、CIFAR10、STL 10和ImageNet上的对抗准确率分别为66.2%、58%、60.5%和57%，而sigmoid激活的逻辑损失对应物的准确率分别为63.5%、19.3%、14.9%和27.6%。除了MNIST，凸对应物具有显著较低的对抗精度。我们展示了我们的模型在阻止交通标志和面部识别对抗攻击方面的实际应用。在GTSRB街道标志和CelebA面部检测上，我们的01损失网络分别具有34.6%和37.1%的对抗准确率，而凸逻辑对应的准确率分别为24%和1.9%。最后，我们证明了我们的01损失网络可以达到与简单的卷积神经网络相当的鲁棒性，并且即使在使用卷积网络替代模型进行攻击时也远高于其凸对应网络。我们的工作表明，01损失模型提供了一个强大的防御替代模型黑盒攻击。
2020-09-01 cs.AI cs.CR cs.CV
Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然顺序推荐系统在捕获用户动态方面取得了显着的改进，但我们认为顺序推荐系统容易受到基于替换的配置文件污染攻击。为了证明我们的假设，我们提出了一个基于替换的对抗攻击算法，该算法通过选择某些易受攻击的元素并将其替换为对抗项来修改输入序列。在无目标和有针对性的攻击情况下，我们观察到显着的性能恶化，使用建议的配置文件污染算法。受这些观察的启发，我们设计了一种有效的对抗性防御方法，称为Dirichlet邻域采样。具体来说，我们从多跳邻居构造的凸包中抽取项目嵌入，以替换输入序列中的原始项目。在采样过程中，使用狄利克雷分布来近似邻域中的概率分布，使得推荐器学习对抗局部扰动。此外，我们还设计了一种针对顺序推荐系统的对抗性训练方法。特别是，我们用独热编码表示选定的项，并对编码执行梯度上升，以搜索训练中项嵌入的最坏情况线性组合。因此，嵌入函数学习鲁棒的项目表示，并且训练的推荐器能够抵抗测试时的对抗性示例。大量的实验表明了我们的攻击和防御方法的有效性，这些方法在模型架构和数据集上的表现始终优于基线。
2022-07-19 cs.AI cs.CR cs.IR
StyleAT: Defending Face Recognition Against Semantic Attacks
Tel Aviv University（特拉维夫大学）；HPI / University of Potsdam（哈索·普拉特纳研究院 / 波茨坦大学）；National Taiwan University（国立台湾大学）
针对人脸识别模型易受语义攻击的弱点，提出基于StyleGAN潜在空间的快速攻击BoundStyle及其对抗训练方案StyleAT，在提升鲁棒性的同时显著降低计算成本。
2026-09-22 cs.AI cs.CR cs.CV
Latent Instruction Representation Alignment: defending against jailbreaks, backdoors and undesired knowledge in LLMs
ML Alignment & Theory Scholars（机器学习对齐与理论学者）
本文提出LIRA方法，通过改变模型对指令的解释方式提升泛化能力，并通过内部对抗训练算法进一步增强泛化，有效防御了99%以上的PEZ对抗攻击，移除了一个具有挑战性的不安全代码后门，并在WMDP网络中实现最优遗忘。
2026-04-12 cs.LG
Lessons from Defending Gemini Against Indirect Prompt Injections
Google（谷歌）
本研究介绍Google DeepMind针对Gemini模型的间接提示注入防御经验，通过部署含自适应攻击技术的对抗评估框架持续测试各版本Gemini的鲁棒性，以提升其抵御操纵的能力。
2025-05-20 cs.CR cs.LG
Overcomplete Representations Against Adversarial Videos
Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络的对抗鲁棒性是文献中广泛研究的问题，并且已经提出了各种方法来防御对抗图像。然而，只有少数的防御方法已被开发用于防御攻击的视频。在本文中，我们提出了一种新的Over-and-Under完全恢复网络，用于防御对抗性视频（OUDefend）。大多数恢复网络采用编码器-解码器架构，首先缩小空间维度，然后将其扩展回来。这种方法学习不完全表示，它有很大的接收域来收集全局信息，但忽略了局部细节。另一方面，过完备表示具有相反的性质。因此，OUDefend旨在通过学习这两种表示来平衡局部和全局特征。我们将OUDefend作为特征恢复块附加到目标视频识别模型，并对整个网络进行端到端的训练。实验结果表明，针对图像的防御可能对视频无效，而OUDefend增强了对不同类型对抗视频的鲁棒性，包括加法攻击、乘法攻击和物理可实现攻击。代码：https://github.com/shaoyuanlo/OUDefend
2021-06-14 cs.CV cs.LG eess.IV
DECK: Model Hardening for Defending Pervasive Backdoors
Purdue University（普渡大学）
普遍存在的后门程序是由动态和普遍存在的输入扰动触发的。它们可以由攻击者故意注入，也可以自然存在于正常训练的模型中。它们具有与传统的静态和局部后门不同的性质，传统的静态和局部后门可以通过用某种固定模式扰动小的输入区域来触发，例如，纯色的补丁。现有的防御技术对传统后门非常有效。但是，它们可能无法很好地处理普遍存在的后门，特别是在后门删除和模型强化方面。在本文中，我们提出了一种新的模型加固技术，对普遍的后门，包括自然和注入后门。我们开发了一个通用的普适攻击的基础上增强了一个特殊的转换层的编码器-解码器架构。该攻击可以对广泛的现有普遍后门攻击进行建模，并通过类距离对其进行量化。因此，在对抗训练中使用从我们的攻击中获得的样本可以强化模型以对抗这些后门漏洞。我们对9个数据集的15个模型结构的评估表明，我们的技术可以在准确率下降不到1%的情况下平均扩大类距离59.65%，并且没有鲁棒性损失，优于对抗训练，通用对抗训练，MOTH等五种硬化技术。它可以将六种普遍后门攻击的攻击成功率从99.06%降低到1.94%，超过了七种最先进的后门移除技术
2022-06-18 cs.AI cs.CR cs.CV
Feature Losses for Adversarial Robustness
Purdue University（普渡大学）
深度学习在计算机视觉任务（如图像分类）方面取得了巨大进步。然而，最近的研究表明，深度学习模型很容易受到专门设计的对抗性输入的影响，这些输入对人类来说几乎是不可感知的。在这项工作中，我们提出了一种新的方法来防御对抗攻击。我们采用基于去噪自动编码器的输入处理技术作为防御。已经表明，当通过卷积神经网络（CNN）传播时，输入扰动增长并积累为特征图中的噪声。我们利用嘈杂的特征图，通过使用一个额外的子网络来提取图像特征图和训练这些特征图的感知损失的自动编码器。这项技术在防御MNIST和CIFAR10数据集方面取得了接近最先进的结果，但更重要的是，它展示了一种新的防御方法，这种方法不能被攻击者端到端地训练。实验结果表明，该方法的有效性MNIST和CIFAR10数据集上的简单以及迭代LP攻击。我们的方法可以作为预处理技术应用于任何现成的CNN。
2019-12-10 cs.CR cs.CV cs.LG
Adversarial Robustness Toolbox v1.0.0
IBM Research（IBM研究院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学校）
对抗鲁棒性测试（ART）是一个Python库，支持开发人员和研究人员保护机器学习模型（深度神经网络，梯度提升决策树，支持向量机，随机森林，逻辑回归，高斯过程，决策树，Scikit-learn Pipelines等）。对抗对抗性威胁，并有助于使AI系统更加安全和值得信赖。机器学习模型容易受到对抗性示例的影响，这些示例是输入（图像，文本，表格数据等）。故意修改以通过机器学习模型产生期望的响应。ART提供了构建和部署防御的工具，并使用对抗攻击对其进行测试。防御机器学习模型涉及通过预处理输入、使用对抗样本增强训练数据以及利用运行时检测方法来标记可能已被对手修改的任何输入等方法来认证和验证模型鲁棒性和模型强化。ART中实现的攻击允许针对机器学习模型创建对抗攻击，这是使用最先进的威胁模型测试防御所需的。支持的机器学习库包括TensorFlow（v1和v2）、Keras、PyTorch、MXNet、Scikit-learn、XGBoost、LightGBM、CatBoost和GPy。ART的源代码在https://github.com/IBM/adversarial-robustness-toolbox上以MIT许可证发布。该版本包括代码示例、带教程的笔记本和文档（http：adversarial-robustness-toolbox.readthedocs.io）。
2019-11-15 cs.LG stat.ML
Adversarial Déjà Vu: Jailbreak Dictionary Learning for Stronger Generalization to Unseen Attacks
Virginia Tech（弗吉尼亚理工大学）；Princeton University（普林斯顿大学）；Amazon AGI（亚马逊人工智能研究院）
本文提出通过对抗性技能组合训练提升模型对未知攻击的鲁棒性，通过分析攻击论文发现新型攻击是旧技能的重新组合，从而改进安全防御。
2026-03-02 cs.LG
Connecting Lyapunov Control Theory to Adversarial Attacks
Booz Allen Hamilton（博思艾伦汉密尔顿）
为了开发必要的数学和工具来建立可证明的防御，或者至少是针对神经网络的对抗攻击的界限，人们正在做大量的工作。在这项工作中，我们认为，控制理论的工具可以用来帮助抵御这种攻击。我们通过例子来做到这一点，建立一个可证明的防御来对付一个较弱的对手。这样做是为了使我们能够专注于控制理论的机制，并阐明其内在价值。
2019-07-17 cs.CR cs.LG
PubDef: Defending Against Transfer Attacks From Public Models
UC Berkeley（加州大学伯克利分校）；King Abdulaziz City for Science and Technology（阿卜杜勒阿齐兹国王科学技术城）
针对现实威胁模型，提出基于博弈论的PubDef防御方法，在24个公共模型和11种攻击算法下，大幅优于白盒对抗训练，且几乎不损失正常精度。
2024-03-17 cs.AI cs.CR cs.CV
RADAR: Defending RAG Dynamically against Retrieval Corruption
School of Intelligence Science and Technology, Nanjing University, Suzhou, China（南京大学智能科学与技术学院，中国，苏州）；City University of Hong Kong, Hong Kong, China（香港城市大学，中国，香港）；Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所，北京，中国）
RADAR通过将可靠的上下文选择建模为图基能最小化问题，利用最大流最小割算法进行精确求解，采用贝叶斯记忆节点递归更新信念状态，以平衡稳定性和对抗性攻击，同时适应真实知识变化，在动态数据集上实现了比基线方法更优越的鲁棒性和响应质量，且存储开销小。
2026-05-21 cs.CR cs.LG
On the Effectiveness of Small Input Noise for Defending Against Query-based Black-Box Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
虽然深度神经网络在各种任务中表现出前所未有的性能，但对抗性示例的脆弱性阻碍了它们在安全关键系统中的部署。许多研究表明，即使在对手无法访问目标模型内部信息的黑盒环境中，攻击也是可能的。大多数黑盒攻击都是基于查询的，每个查询都获得目标模型的输出作为输入，最近的许多研究都集中在减少所需查询的数量上。在本文中，我们注意到基于查询的黑盒对抗攻击的一个隐含假设，即目标模型的输出与查询输入完全对应。如果在模型中引入一定的随机性，就可以打破这一假设，从而使得基于查询的攻击在其攻击过程的核心--梯度估计和局部搜索方面都面临极大的困难。从这个动机出发，我们观察到即使是很小的附加输入噪声也可以抵消大多数基于查询的攻击，并将这种简单而有效的方法命名为小噪声防御（SND）。我们分析了SND如何抵御基于查询的黑盒攻击，并使用CIFAR-10和ImageNet数据集证明了其对八种最先进攻击的有效性。在防御能力较强的情况下，SND几乎保持了原有的分类精度和计算速度。SND很容易应用于预先训练的模型，只需在推理时添加一行代码。
2021-11-08 cs.CR cs.CV cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同，对抗性训练旨在从本质上提高模型的鲁棒性。近几年来，对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展，然而，在现有的调查中被忽视。在这次调查中，我们首次系统地回顾了对抗训练的最新进展，并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后，我们强调尚未充分解决的挑战，并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
