Adversarial Vulnerability of Randomized Ensembles
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管深度神经网络在各种任务中取得了巨大的成功，但它们对难以察觉的对抗性扰动的脆弱性阻碍了它们在现实世界中的部署。最近，随机集成的工作经验表明，对抗鲁棒性的显着改善标准对抗训练（AT）模型，具有最小的计算开销，使其成为安全关键的资源受限的应用程序的一个有前途的解决方案。然而，这种令人印象深刻的性能提出了一个问题：随机集成提供的这些鲁棒性增益是真实的吗？在这项工作中，我们解决这个问题的理论和经验。我们首先从理论上建立，常用的鲁棒性评估方法，如自适应PGD提供了一个虚假的安全感，在这种情况下。随后，我们提出了一个理论上合理和有效的对抗攻击算法（ARC）能够妥协的随机合奏，即使在自适应PGD未能做到这一点的情况下。我们在各种网络架构、训练方案、数据集和规范中进行了全面的实验，以支持我们的主张，并根据经验建立了随机集合实际上比标准AT模型更容易受到$\ell_p$有界对抗性扰动的影响。我们的代码可以在https://github.com/hsndbk4/ARC上找到。
2022-06-14 cs.CR cs.CV cs.LG
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Vulnerability-Aware Robust Multimodal Adversarial Training
本文提出VARMAT方法，通过识别各模态的脆弱性提升多模态对抗鲁棒性，实现在多个数据集上显著提升鲁棒性性能。
2025-11-22 cs.CR cs.LG
On the Validity of Traditional Vulnerability Scoring Systems for Adversarial Attacks against LLMs
College of Technological Innovation Zayed University（扎耶德大学技术创新学院）
本研究通过量化比较 56 种针对大语言模型的对抗攻击在 CVSS 等传统漏洞评分系统下的评分变异，揭示现有指标因取值刚性而难以有效区分攻击，并提出需开发更灵活、通用的 LLM 专用漏洞评估指标。
2024-12-28 cs.AI cs.CR
HogVul: Black-box Adversarial Code Generation Framework Against LM-based Vulnerability Detectors
HogVul通过整合词汇和语法扰动，利用粒子群优化策略提升对抗攻击效果，实验显示其在漏洞检测器攻击成功率上提升26.05%。
2026-01-09 cs.AI cs.CR
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London（伦敦国王学院）
深度神经网络很容易被欺骗，通过对抗性扰动（人类无法感知的人工噪声）破坏输入来做出错误的预测。到目前为止，对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练，以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现，在训练过程中，通过牺牲相当大比例的训练样本来更容易受到对抗攻击，从而导致数据中对抗脆弱性的不均匀分布，从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在，更重要的是，与对抗训练中的过度拟合有关。基于这一观察，我们提出了一种新的对抗训练方法：实例自适应平滑增强对抗训练（ISEAT）。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观，以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明，我们的方法优于现有的防御方法。值得注意的是，我们的方法，结合最新的数据增强和半监督学习技术，实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据，和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Adversarial Vulnerability of Temporal Feature Networks for Object Detection
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
考虑跨时间域的信息有助于改善自动驾驶中的环境感知。然而，到目前为止还没有研究时间融合神经网络是否容易受到故意产生的扰动，即对抗攻击，或者时间历史是否是对它们的固有防御。在这项工作中，我们研究了用于目标检测的时间特征网络是否容易受到普遍的对抗攻击。我们评估了两种类型的攻击：整个图像的不可感知噪声和局部绑定的对抗补丁。在这两种情况下，扰动都是使用PGD以白盒方式生成的。我们的实验证实，即使攻击一部分时间输入也足以欺骗网络。我们直观地评估生成的扰动，以深入了解攻击的功能。为了增强鲁棒性，我们使用5-PGD进行对抗训练。我们在KITTI和nuScenes数据集上的实验表明，通过K-PGD增强的模型能够承受所研究的攻击，同时保持基于mAP的性能与未受攻击的模型相当。
2022-08-23 cs.CR cs.CV cs.LG
Understanding and Diagnosing Vulnerability under Adversarial Attacks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
深度神经网络（DNN）容易受到对抗攻击的攻击。目前，对于轻微的扰动如何导致分类结果如此大的差异以及我们如何设计更强大的模型架构还没有明确的见解。在这项工作中，我们提出了一种新的可解释性方法，InterpretGAN，以生成用于潜变量分类的特征的解释。解释对抗性示例的分类过程揭示了对抗性扰动如何逐层影响特征，以及哪些特征被扰动修改。此外，我们设计了第一个诊断方法来量化的脆弱性贡献的每一层，它可以用来识别脆弱的模型架构的部分。诊断结果表明，引入更多信息损失的层往往比其他层更脆弱。基于这些发现，我们对MNIST和CIFAR10数据集的评估结果表明，对于本文研究的网络架构，平均池化层具有较低的信息损失，比最大池化层更鲁棒。
2020-07-17 cs.CV cs.LG
Visual Analytics of Neuron Vulnerability to Adversarial Attacks on Convolutional Neural Networks
University of California, Davis（加州大学戴维斯分校）；Visa Research（Visa研究院）；Linköping University（林雪平大学）
对卷积神经网络（CNN）的对抗攻击-将人类无法感知的扰动注入输入图像-可以欺骗高性能的CNN做出错误的预测。对抗攻击的成功引发了人们对CNN鲁棒性的严重担忧，并阻止了它们用于安全关键型应用，如医疗诊断和自动驾驶。我们的工作通过回答两个问题引入了一种视觉分析方法来理解对抗攻击：（1）哪些神经元更容易受到攻击，以及（2）这些脆弱的神经元在预测过程中捕获了哪些图像特征？对于第一个问题，我们引入了多个基于扰动的措施，将攻击幅度分解为单个CNN神经元，并根据其脆弱性级别对神经元进行排名。对于第二种，我们识别图像特征（例如，猫耳朵），其高度刺激用户选择的神经元以增强和验证神经元的责任。此外，我们支持一个交互式的探索大量的神经元，通过帮助层次聚类的神经元的角色在预测的基础上。为此，视觉分析系统被设计为结合视觉推理来解释对抗攻击。我们验证了我们的系统的有效性，通过多个案例研究，以及从领域专家的反馈。
2023-03-06 cs.CR cs.CV cs.HC
Adversarial Attacks Leverage Interference Between Features in Superposition
Department of Computer Science, Imperial College London, London, United Kingdom（帝国理工学院伦敦校区计算机科学系）
本文揭示神经网络中特征叠加导致的干扰是对抗脆弱性的根源，通过理论推导和实验验证了干扰模式决定攻击成功与迁移性。
2026-06-17 cs.AI cs.CV cs.LG
Exploiting Vulnerability of Pooling in Convolutional Neural Networks by Strict Layer-Output Manipulation for Adversarial Attacks
卷积神经网络（CNN）在智能车辆等移动机器人领域得到了越来越多的应用。CNN在机器人应用中的安全性是一个重要的问题，对CNN的潜在对抗攻击值得研究。池化是CNN降维和信息丢弃的一个典型步骤。这种信息丢弃可能导致数据特征的误删除和误保存，这在很大程度上影响了网络的输出。这可能会加剧CNN对对抗攻击的脆弱性。在本文中，我们进行对抗攻击CNN从网络结构的角度，通过调查和利用池的脆弱性。首先，提出了一种新的对抗攻击方法--严格层输出操纵（SLOM）。然后设计了一种基于严格池操作（SPM）的攻击方法，该方法是SLOM思想的一种实例化，有效地实现了对目标CNN的I类和II类对抗攻击。研究和比较了不同深度下基于SPM的攻击性能。此外，通过实例化的SLOM精神与不同的操作层的CNN设计的攻击方法的性能进行了比较。实验结果表明，池化比CNN中的其他操作更容易受到对抗攻击。
2020-12-21 cs.CV
Analysis of the vulnerability of machine learning regression models to adversarial attacks using data from 5G wireless networks
Research Institute of Digital Intelligent Technologies（数字智能技术研究院）；Orenburg State University（奥伦堡国立大学）
本文基于5G网络数据研究回归模型对FGSM对抗攻击的脆弱性，发现攻击使MSE升33%、R2降10%，并证实LightGBM分类器能以98%准确率检测异常数据。
2025-05-01 cs.AI cs.CR
Deep Image Destruction: Vulnerability of Deep Image-to-Image Models against Adversarial Attacks
Yonsei University（延世大学）；University of California, Los Angeles（加州大学洛杉矶分校）
最近，已经研究了深度图像分类模型对对抗攻击的脆弱性。然而，对于获取输入图像并生成输出图像的图像到图像任务（例如，着色、去噪、去模糊等）本文全面研究了深度图像到图像模型对对抗攻击的脆弱性。对于五个流行的图像到图像任务，从各种角度分析了16个深度模型，例如攻击导致的输出质量下降，不同任务之间对抗性示例的可转移性以及扰动的特征。我们表明，与图像分类任务不同，图像到图像任务的性能下降在很大程度上取决于各种因素，例如，攻击方法和任务目标。此外，我们分析了传统的防御方法用于分类模型在提高图像到图像模型的鲁棒性的有效性。
2022-06-28 cs.CV eess.IV
Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples
University of California San Diego（加州大学圣迭戈分校）
视频处理技术的最新进展使得生成假视频比以往任何时候都更容易。被操纵的视频会助长虚假信息，降低对媒体的信任。因此，虚假视频的检测在学术界和工业界引起了极大的兴趣。最近开发的Deepfake检测方法依赖于深度神经网络（DNN）来区分AI生成的假视频和真实视频。在这项工作中，我们证明了可以通过对使用现有Deepfake生成方法合成的假视频进行逆向修改来绕过此类检测器。我们进一步证明了我们的对抗扰动对图像和视频压缩编解码器是鲁棒的，使它们成为现实世界的威胁。我们在白盒和黑盒攻击场景中提供了流水线，可以欺骗基于DNN的Deepfake检测器将假视频分类为真实视频。
2020-11-07 cs.CV
Vulnerability Analysis of Chest X-Ray Image Classification Against Adversarial Attacks
Simon Fraser University（西蒙弗雷泽大学）；Indian Institute of Technology, Guwahati（印度理工学院古瓦哈提分校）
最近，已经有几种成功的深度学习方法用于将胸部X射线图像自动分类为不同的疾病类别。然而，目前还没有对这些模型针对所谓的对抗性扰动/攻击进行全面的脆弱性分析，这使得深度模型在临床实践中更加可信。在本文中，我们广泛分析了两种最先进的分类深度网络在胸部X射线图像上的性能。这两个网络受到三种不同类别（总共十种方法）的对抗方法（包括白盒和黑盒）的攻击，即基于梯度的攻击，基于分数的攻击和基于决策的攻击。此外，我们修改了两个分类网络中的池化操作，以测量它们对不同攻击的敏感性，具体任务是胸部X射线分类。
2018-07-28 cs.CV
Adversarial Vulnerability Under Temporal Concept Drift: A Longitudinal Study of Android Malware Detection
Department of Computer Science, Birzeit University（巴勒斯坦伯利兹大学计算机科学系）；Department of Computer Science, University of Central Florida（佛罗里达州立大学计算机科学系）
通过纵向评估十年间Android应用的静态和动态特征，研究时间分布漂移对对抗鲁棒性的影响，提出时序关联指标并发现时间分离降低鲁棒性，扩展窗口重训练可缓解但无法消除鲁棒性损失。
2026-05-22 cs.AI cs.CR cs.LG
Excessive Invariance Causes Adversarial Vulnerability
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Center for Industrial Mathematics（工业数学中心）；University of Tübingen（图宾根大学）
尽管深度神经网络具有令人印象深刻的性能，但它们在分布外输入上表现出惊人的失败。对抗性样本研究的一个核心思想是揭示神经网络在这种分布偏移下的错误。我们将这些误差分解为两个互补的来源：灵敏度和不变性。我们发现，深度网络不仅对与任务无关的输入变化过于敏感，正如从ε对抗性示例中所知的那样，而且对广泛的任务相关变化过于不变，从而使输入空间中的广大区域容易受到对抗攻击的影响。我们表明这种过度的不变性发生在各种任务和架构类型。在MNIST和ImageNet上，人们可以操纵几乎任何图像的类特定内容，而无需更改隐藏的激活。我们确定了不足的标准交叉熵损失作为这些失败的原因。此外，我们基于信息理论分析扩展了这一目标，因此它鼓励模型在决策中考虑所有任务相关的特征。这提供了第一种明确定制的方法，以克服过度的不变性和由此产生的漏洞。
2020-07-12 cs.AI cs.CV cs.LG
Adversarial vulnerability of powerful near out-of-distribution detection
Stanford University（斯坦福大学）
最近，在检测神经网络中的分布外（OOD）输入方面取得了重大进展，主要是由于使用了在大型数据集上预训练的大型模型，以及多模态的新兴使用。我们显示了一个严重的对抗性漏洞，即使是最强的当前OOD检测技术。通过对输入像素进行小的有针对性的扰动，我们可以轻松地将图像分配从内分布更改为外分布，反之亦然。特别是，我们在具有挑战性的近OOD CIFAR-100与CIFAR-10任务以及远OOD CIFAR-100与SVHN上表现出严重的对抗性脆弱性。我们研究了几种后处理技术的对抗鲁棒性，包括最大软最大概率（MSP）的简单基线，Mahalanobis距离，以及新提出的\textit{Relative} Mahalanobis距离。通过比较OOD检测性能在不同扰动强度的损失，我们证明了使用OOD检测器的合奏的有益效果，并使用\textit{Relative} Mahalanobis距离超过其他后处理方法。此外，我们表明，即使是强大的zero-shot OOD检测使用CLIP和多模态遭受严重缺乏对抗性的鲁棒性。我们的代码可在https://github.com/stanislavfort/adversaries_to_OOD_detection上获得
2022-01-18 cs.LG
Vulnerability Disclosure through Adaptive Black-Box Adversarial Attacks on NIDS
University of Staffordshire（Staffs大学）
本文提出一种严格遵守黑盒约束的网络流量对抗攻击方法，利用变点检测和因果分析进行自适应特征选择，以低计算成本和极少交互有效规避检测，为开发鲁棒防御奠定基础。
2025-06-25 cs.AI cs.CR
Longitudinal Mammogram Exam-based Breast Cancer Diagnosis Models: Vulnerability to Adversarial Attacks
University of Pittsburgh（匹兹堡大学）
针对基于纵向钼靶检查的乳腺癌诊断模型对抗攻击抵御能力研究不足的问题，提出利用两次检查特征关联、结合交叉熵损失和距离度量学习的黑盒攻击方法，在590名患者队列上实验证明其效果优于现有方法，且能突破对抗训练防御。
2024-10-29 cs.AI cs.CV
Vulnerability Analysis of Transformer-based Optical Character Recognition to Adversarial Attacks
University of Edinburgh（爱丁堡大学）
本文提出评估TrOCR模型对抗攻击鲁棒性的框架，发现其对无目标攻击高度脆弱，手写数据集上CER可超1且肉眼不可见，有目标攻击成功率约25%。
2023-11-28 cs.AI cs.CV
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞，我们提出了一个新的度量称为\emph{Gradient Similarity}，使我们能够捕捉测试输入的训练数据的影响。我们表明，\emph{Gradient Similarity}的行为不同的正常和敌对的输入，并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上，白盒攻击要么以87- 96%的高ROC-AUC检测到，要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors
School of Physics, Sun Yat-sen University（中山大学物理学院）
人工神经网络可以实现令人印象深刻的性能，甚至在某些特定任务中超过人类。然而，与生物大脑不同的是，人工神经网络在各种对抗攻击下，会受到感官输入的微小扰动。因此，有必要研究对抗性脆弱性的根源。在这里，我们建立了隐藏表示的几何结构（流形视角）与深度网络的泛化能力之间的基本关系。为此，我们选择了一个由局部误差训练的深度神经网络，然后通过流形维数，流形光滑性和泛化能力来分析训练网络的涌现特性。为了探索对抗性示例的效果，我们考虑了独立高斯噪声攻击和快速梯度符号方法（FGSM）攻击。我们的研究表明，一个高的泛化精度需要一个相对较快的幂律衰减的隐藏表示的特征谱。在高斯攻击下，推广精度与幂律指数之间的关系是单调的，而在FGSM攻击下，观察到一个非单调的行为。我们的实证研究提供了一个最终的机制解释下的对抗性攻击对抗攻击的脆弱性的路线。
2020-12-23 cond-mat.dis-nn cs.LG cs.NE
Exposing the Robustness and Vulnerability of Hybrid 8T-6T SRAM Memory Architectures to Adversarial Attacks in Deep Neural Networks
Yale University（耶鲁大学）
深度学习能够解决大量曾经不可能解决的问题。然而，它们容易受到输入对抗攻击的攻击，从而阻止它们在关键应用程序中自主部署。几个以算法为中心的工作已经讨论了引起对抗攻击和提高深度神经网络（DNN）的对抗鲁棒性的方法。在这项工作中，我们得出的优点和漏洞的混合6 T-8 T的记忆，以提高对抗性的鲁棒性，并导致对抗攻击DNN。我们表明，由于错误的6 T-SRAM单元的混合存储器中的位错误噪声具有确定性的行为的基础上的混合存储器配置（V_DD，8 T-6 T比）。这种受控噪声（手术噪声）可以策略性地引入到特定的DNN层中，以提高DNN的对抗精度。同时，手术噪声可以被小心地注入到存储在混合存储器中的DNN参数中，以引起对抗攻击。为了提高使用手术噪声的DNN的对抗鲁棒性，我们提出了一种方法来选择适当的DNN层及其相应的混合内存配置，以引入所需的手术噪声。使用这个，我们实现了比基线模型（没有引入手术噪声）高2-8%的对抗准确率，而无需针对FGSM等白盒攻击进行重新训练。为了证明使用手术噪声的对抗攻击，我们设计了一种新的白盒攻击，对存储在混合存储体中的DNN参数进行攻击，导致DNN推理准确度下降60%以上，置信度超过90%。我们通过在VGG 19和ResNet 18网络上使用基准网络CIFAR 10和CIFAR 100进行的实验来支持我们的主张。
2020-11-26 cs.CR cs.CV
Effect of Ambient-Intrinsic Dimension Gap on Adversarial Vulnerability
Purdue University（普渡大学）；Michigan State University（密歇根州立大学）
本研究引入流形上和流形外对抗攻击概念，证明数据内在维度与环境维度的差距使2层ReLU网络更易受流形外对抗扰动影响，并给出了攻击强度与维度差距的显式关系。
2024-03-23 cs.CR cs.LG stat.ML
A Geometric Framework for Adversarial Vulnerability in Machine Learning
University of Arizona（亚利桑那大学）
本文提出一个基于 Ricci 曲率与持久性的几何框架，旨在理解神经网络的对抗脆弱性，并发展双线性映射表示等新工具，以支持对抗攻击的猜想与理论分析。
2024-07-03 cs.CR cs.LG stat.ML
Fine-Grained Iterative Adversarial Attacks with Limited Computation Budget
North Carolina State University（北卡罗来纳州立大学）
本文针对有限计算预算下最大化迭代对抗攻击强度的挑战，提出一种在迭代级和层级选择性重计算层激活的细粒度控制机制，在等成本下优于基线，且在对抗训练中仅需30%预算即可达相当性能。
2025-10-30 cs.AI cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Exposing Fine-Grained Adversarial Vulnerability of Face Anti-Spoofing Models
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；SenseTime Research（商汤科技研究院）
针对人脸反欺骗模型对抗脆弱性缺乏细粒度分析的问题，提出含多任务模块与SFA模块的分析框架，引入数据分布先验提升攻击效果，可用于筛选鲁棒组件及对抗训练以增强模型性能。
2023-05-02 cs.CV
Vulnerability of Appearance-based Gaze Estimation
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
通过使用深度学习，基于外观的注视估计已经取得了显著的改进。然而，许多基于深度学习的方法遭受脆弱性属性，即，使用噪声扰动原始图像会混淆视线估计模型。虽然扰动图像在视觉上看起来类似于原始图像，但是注视估计模型输出错误的注视方向。在本文中，我们调查的脆弱性外观为基础的凝视估计。本文从基于像素的对抗攻击、基于补丁的对抗攻击和防御策略等多个方面对视线估计的脆弱性进行了系统的刻画。我们的实验结果表明，CA-Net表现出优越的性能，对攻击的四个流行的外观为基础的凝视估计网络，全脸，Gaze-Net，CA-Net和RT-GENE。这项研究引起了基于外观的注视估计社区的研究人员对对抗攻击的防御的注意。
2021-03-24 cs.CV
EaTVul: ChatGPT-based Evasion Attack Against Software Vulnerability Detection
CSIRO’s Data61（联邦科学与工业研究组织Data61）；Swinburne University of Technology（斯威本科技大学）；DST Group, Australia（澳大利亚国防科学与技术集团）
本文提出EaTVul方法，结合支持向量机、注意力机制、ChatGPT与模糊遗传算法生成对抗样本，对软件漏洞检测模型实施规避攻击，实验证明其在特定条件下攻击成功率可达100%，凸显了加强防御的必要性。
2024-07-27 cs.AI cs.CR cs.SE
Just One Moment: Structural Vulnerability of Deep Action Recognition against One Frame Attack
Yonsei University（延世大学）
近年来，基于视频的动作识别任务得到了广泛的研究。在本文中，我们研究了基于深度学习的动作识别模型对对抗攻击的结构脆弱性，该攻击使用一帧攻击，该攻击仅向给定视频剪辑的单个帧添加不显眼的扰动。我们的分析表明，模型是非常脆弱的一帧攻击，由于其结构特性。实验表明，该攻击具有较高的欺骗率和隐蔽性.此外，我们还证明了在各种情况下都可以得到强泛单框架扰动。我们的工作提出了严重的问题，对抗的脆弱性，国家的最先进的行动识别模型在不同的角度。
2021-08-17 cs.CV cs.LG
Analysis and Extensions of Adversarial Training for Video Classification
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）
对抗性训练（AT）是图像分类系统抵御对抗攻击的一种简单而有效的方法，它是基于对训练集进行最大化损失的攻击。然而，AT作为视频分类的防御的有效性还没有被彻底研究。我们的第一个贡献是表明，产生最佳的攻击视频需要仔细调整攻击参数，特别是步长。值得注意的是，我们表明，最佳步长随攻击预算线性变化。我们的第二个贡献是表明，在训练时使用较小的（次优）攻击预算会导致在测试时更强大的性能。基于这些发现，我们提出了三种防御攻击与可变的攻击预算。第一种是自适应AT，它是一种攻击预算从随着训练迭代进行而调整的分布中提取的技术。第二种是Curriculum AT，它是一种攻击预算随着训练迭代的进行而增加的技术。第三种是生成AT，它进一步将AT与去噪生成对抗网络耦合，以提高鲁棒性能。在UCF101数据集上的实验表明，所提出的方法提高了对抗多种攻击类型的鲁棒性。
2022-06-16 cs.AI cs.CV cs.LG
DoPa: A Comprehensive CNN Detection Methodology against Physical Adversarial Attacks
George Mason University（乔治梅森大学）
最近，卷积神经网络（CNN）表现出相当大的弱点，对抗攻击，可以很容易地被误导的对抗扰动。随着更积极的方法的提出，对抗攻击也可以应用于物理世界，导致各种CNN驱动的应用程序的实际问题。为了保证CNN的安全，对抗攻击检测被认为是最关键的方法。然而，现有的研究大多集中在表面模式上，仅仅寻找一种区分对抗性输入和自然输入的方法，而忽略了对CNN内在脆弱性的分析。因此，它们只能针对特定的物理对抗攻击，缺乏对不同攻击的预期通用性。为了解决这个问题，我们提出了DoPa --一种针对各种物理对抗攻击的全面的CNN检测方法。通过解释CNN的脆弱性，我们发现，非语义对抗扰动可以激活CNN与显着异常激活，甚至压倒其他语义输入模式的激活。因此，我们增加了一个自我验证阶段来分析不同的激活模式的语义，这改善了CNN的识别过程。我们将这样的检测方法应用到图像和音频CNN识别场景中。实验结果表明，DoPa对图像攻击的平均检测成功率为90%，对音频攻击的平均检测成功率为92%。公告：[ArXiv上的原始DoPa草案已被修改并提交给会议，而这篇简短的摘要仅在KDD 2019 AIoT研讨会上提交。
2019-08-28 cs.CR cs.CV cs.LG
From Pretrain to Pain: Adversarial Vulnerability of Video Foundation Models Without Task Knowledge
本文研究无需任务知识即可攻击由开源视频基础模型微调的下游模型和 MLLMs 的对抗威胁，提出利用时间表示动态的可迁移视频攻击 TVA，并在 24 个视频任务上验证其有效性。
2025-11-10 cs.CR cs.CV
Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
University of Rochester（罗切斯特大学）；Sony Group Corporation（索尼集团公司）
本文研究了音视频模型在时间和模态层面的对抗脆弱性，提出了时间不变性攻击和模态错位攻击，并引入结合高效多模态扰动构建与对抗课程策略的音视频对抗训练框架，有效提升了模型的攻防性能与训练效率。
2025-03-02 cs.CV cs.SD
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University（亚琛工业大学）；University College London（伦敦大学学院）
研究对抗性攻击对工业需求响应决策的影响，设计攻击破坏电价预测模型输出，用广义过程模型研究不同生产调度问题的脆弱性，发现攻击会侵蚀利润，但扰动有限时需求响应仍有优势，且影响取决于扰动方向，应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
VCAT: Vulnerability-aware and Curiosity-driven Adversarial Training for Enhancing Autonomous Vehicle Robustness
State Key Laboratory of Intelligent Transportation Systems（智能交通系统国家重点实验室）；School of Transportation Science and Technology, Beihang University（北京航空航天大学交通科学与工程学院）；Department of Civil and Environmental Engineering, Rensselaer Polytechnic Institute（伦斯勒理工学院土木与环境工程系）
针对自动驾驶车辆对抗训练中攻击者易陷入过度利用已知漏洞的问题，提出 VCAT 框架，利用代理网络感知受害者漏洞并结合随机网络蒸馏构建内在奖励引导探索，显著提升了自动驾驶车辆的鲁棒性并降低了碰撞率。
2024-09-19 cs.AI cs.LG
Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability
University of Amsterdam（阿姆斯特丹大学）；Toronto Metropolitan University（多伦多 Metropolitan 大学）；Vector Institute for Artificial Intelligence（人工智能向量研究所）
本研究通过信息论框架测量神经网络的叠加程度，揭示其与对抗鲁棒性的关系，表明叠加在不同任务复杂性和网络容量下呈现不同表现。
2025-12-15 cs.AI cs.LG
Ti-Patch: Tiled Physical Adversarial Patch for no-reference video quality metrics
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；Ivannikov Institute for System Programming of the RAS（俄罗斯科学院伊万尼科夫系统编程研究所）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能学院）
针对基于学习的无参考质量指标易受对抗攻击的问题，提出物理空间测试方法Ti-Patch，通过像素与物理空间实验验证其有效性，可补充传统脆弱性评估，相关代码和数据已开源。
2024-04-15 cs.CV eess.IV
Adversarial Parameter Defense by Multi-Step Risk Minimization
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
以前的研究表明DNN对对抗性示例的脆弱性，对抗性训练可以建立对抗性示例的防御。此外，最近的研究表明，深度神经网络也表现出对参数损坏的脆弱性。模型参数的易损性对于研究模型的鲁棒性和泛化能力具有重要的意义。在这项工作中，我们引入了参数腐败的概念，并提出利用损失变化指标来衡量损失盆地的平坦性和神经网络参数的参数鲁棒性。在此基础上，我们分析了参数腐败，并提出了多步对抗腐败算法。为了增强神经网络，我们提出了对抗性参数防御算法，最大限度地减少了多个对抗性参数损坏的平均风险。实验结果表明，该算法能提高神经网络的参数鲁棒性和准确性。
2022-04-14 cs.LG
Accidental Vulnerability: Factors in Fine-Tuning that Shift Model Safeguards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；ETH Zürich（苏黎世联邦理工学院）；FAR AI（FAR人工智能公司）；McGill University（麦吉尔大学）；MILA（蒙特利尔人工智能研究院）；Max Planck Institute for Intelligent Systems, Tübingen, Germany（图宾根德国智能系统研究所）
研究意外漏洞，揭示微调数据集特征对模型安全性和对抗鲁棒性的影响
2026-02-22 cs.AI cs.CL cs.LG
Vulnerability of deep neural networks for detecting COVID-19 cases from chest X-ray images to universal adversarial attacks
Kyushu Institute of Technology（九州工业大学）
在2019新型冠状病毒病（COVID-19）的流行下，胸部X射线计算机断层扫描成像正用于有效筛查COVID-19患者。基于深度神经网络（DNN）的计算机辅助系统的开发已经取得了进展，以快速准确地检测COVID-19病例，因为对数量有限的放射科专家的需求形成了筛查的瓶颈。然而，到目前为止，基于DNN的系统的脆弱性评估得很差，尽管DNN容易受到称为通用对抗扰动（UAP）的单一扰动的影响，这可能导致DNN在大多数分类任务中失败。因此，我们专注于从胸部X射线图像中检测COVID-19病例的代表性DNN模型，并评估它们对使用简单迭代算法生成的UAP的脆弱性。我们考虑非目标UAP，这会导致任务失败，导致输入被分配了不正确的标签，以及目标UAP，这会导致DNN将输入分类到特定的类中。结果表明，该模型是脆弱的非目标和有针对性的UAP，即使在小的UAP的情况下。特别地，UPA的2%范数与图像数据集中的图像的平均范数相比，对于非目标攻击和目标攻击分别实现>85%和>90%的成功率。由于非目标UAP，DNN模型将大多数胸部X射线图像判断为COVID-19病例。目标UAP使DNN模型将大多数胸部X射线图像分类到给定的目标类别中。结果表明，在将DNN实际应用于COVID-19诊断时需要仔细考虑;特别是，他们强调需要制定解决安全问题的策略。作为一个例子，我们表明，使用UAP的DNN模型的迭代微调提高了DNN模…
2020-05-22 cs.CR cs.CV cs.LG
Dynamic Epsilon Scheduling: A Multi-Factor Adaptive Perturbation Budget for Adversarial Training
本文提出动态epsilon调度方法，通过多因素自适应调整扰动预算，提升对抗训练的鲁棒性和准确率。
2025-11-26 cs.CV cs.LG
Federated Learning for Anomaly Detection in Energy Consumption Data: Assessing the Vulnerability to Adversarial Attacks
Western University（西安大略大学）
本文评估了联邦学习在能源消耗异常检测中对FGSM和PGD白盒对抗攻击的脆弱性，发现FL比集中式学习更易受攻击，尤其是PGD攻击导致准确率下降超过10%，凸显了联邦学习防御机制的必要性。
2025-02-07 cs.AI cs.DC cs.LG
AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI)
Manipal University（马尼帕尔大学）；GGSI University（GGSI大学）；IIITDM Kancheepuram（坎奇普拉姆印度信息技术设计制造学院）；Meta AI；Amazon（亚马逊）；BITS Goa（果阿比尔拉理工学院）
该研究构建含 9,000 条提示的 ALKALI 对抗基准，揭示 LLM 的潜在伪装盲点，并提出 GRACE 几何对比对齐框架与 AVQI 指标，最高降低 39% ASR。
2025-09-28 cs.CL cs.LG
Explaining Adversarial Vulnerability with a Data Sparsity Hypothesis
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；National University of Singapore（新加坡国立大学）；Singapore Eye Research Institute（新加坡眼科研究所）
尽管提出了许多算法来为深度学习（DL）模型提供鲁棒性，但DL模型仍然容易受到对抗攻击的影响。我们假设DL模型的对抗性脆弱性源于两个因素。第一个因素是数据稀疏性，即在高维输入数据空间中，存在数据分布支持之外的大区域。第二个因素是DL模型中存在许多冗余参数。由于这些因素，不同的模型能够得出不同的决策边界，具有较高的预测精度。决策边界出现在数据分布支持之外的空间中并不影响模型的预测精度。然而，它在模型的对抗鲁棒性方面有重要的区别。我们假设理想的决策边界是尽可能远离数据分布的支持。在本文中，我们开发了一个训练框架来观察DL模型是否能够学习这样一个决策边界，该边界跨越类分布周围的空间，进一步远离数据点本身。半监督学习在训练期间通过利用在数据分布的支持之外的空间中生成的未标记数据来部署。我们测量了使用这个训练框架训练的模型对众所周知的对抗攻击的对抗鲁棒性，并使用鲁棒性指标。我们发现，使用我们的框架训练的模型，以及其他正则化方法和对抗训练支持我们的数据稀疏性假设，并且使用这些方法训练的模型学习具有与上述理想决策边界更相似的决策边界。我们的培训框架代码可以在https://github.com/MahsaPaknezhad/AdversariallyRobustTraining上找到。
2022-02-18 cs.AI
Every Character Counts: From Vulnerability to Defense in Phishing Detection
University of Bucharest（布加勒斯特大学）
本研究针对钓鱼检测，提出并评估了字符级深度学习模型（CharCNN、CharGRU、CharBiLSTM），在有限资源下CharGRU表现最佳，通过对抗训练提升鲁棒性，并利用Grad-CAM增强可解释性。
2025-09-24 cs.AI cs.CL cs.CR
Fragile Reconstruction: Adversarial Vulnerability of Reconstruction-Based Detectors for Diffusion-Generated Images
Renmin University of China（中国人民大学）；Tencent Inc.（腾讯公司）
研究发现基于重建的检测器在扩散生成图像检测中存在严重对抗脆弱性，通过微小对抗扰动可使检测准确率降至近零，揭示了现有检测策略的安全隐患。
2026-04-14 cs.CV
Towards an Adversarially Robust Normalization Approach
Kyung-He University（庆熙大学）；Information Technology University（信息技术大学）
批量归一化（BatchNorm）对于提高深度神经网络的性能和加速训练是有效的。然而，它也被证明是对抗脆弱性的一个原因，即，没有它的网络对对抗攻击更健壮。在本文中，我们研究了BatchNorm如何导致这种漏洞，并提出了新的规范化，对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布，这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设，取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现，如果我们使用这些统计数据，BatchNorm的对抗性脆弱性就会消失。但是，如果没有估计的批次统计数据，我们就不能在实践中使用BatchNorm。为了减轻这种情况，我们提出了鲁棒归一化（RobustNorm）; BatchNorm的一个对抗性鲁棒版本。我们的实验表明，使用RobustNorm训练的模型在对抗环境中表现更好，同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
Geometric origin of adversarial vulnerability in deep learning
Anhui Provincial Key Laboratory of Low-Energy Quantum Materials and Devices（安徽省低能量子材料与器件重点实验室）；High Magnetic Field Laboratory, HFIPS, Chinese Academy of Sciences（高磁场实验室，HFIPS，中国科学院）；University of Science and Technology of China（中国科学技术大学）；PMI Lab, School of Physics, Sun Yat-sen University（PMI实验室，物理学院，中山大学）；Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices（广东省磁电物理与器件重点实验室）
研究深度学习中对抗性脆弱性的几何起源，提出几何感知深度学习框架，利用逐层局部训练塑造网络内部表示，提升对抗鲁棒性，还能通过相关模型解释性能，使深度网络能吸收新信息并减少干扰。
2026-07-21 cond-mat.stat-mech cs.LG q-bio.NC
Towards Assessing the Synthetic-to-Measured Adversarial Vulnerability of SAR ATR
College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院）；Test Center, National University of Defense Technology（国防科技大学测试中心）
本文提出可迁移性估计攻击（TEA），在无需访问受害模型和实测数据的情况下，利用合成与实测数据对的有限相似性盲估计并优化对抗可迁移性，以评估SAR ATR在合成到实测迁移场景中的对抗脆弱性，并在SAMPLE数据集上验证其有效性。
2024-01-30 cs.CV
On the Existence of Consistent Adversarial Attacks in High-Dimensional Linear Classification
Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（信息学习与物理实验室，瑞士联邦理工学院（EPFL））；Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（计算统计物理实验室，瑞士联邦理工学院（EPFL））；Département d’Informatique, École Normale Supérieure - PSL & CNRS, France（信息学系，法国高等科学研究院（PSL）与国家科学研究中心（CNRS））
本文研究高维二分类中对抗攻击与模型表达能力有限导致的误分类区别，提出新的误差度量标准，揭示模型对保持真实标签扰动的脆弱性，理论分析显示模型越过度参数化，对标签保持扰动的敏感性越高。
2026-09-02 cond-mat.dis-nn cs.CR cs.LG
