On the Privacy Effect of Data Enhancement via the Lens of Memorization
Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所）
本文从记忆化视角重新评估数据增强对机器学习模型隐私的影响，发现传统成员推理攻击存在误导性，并揭示了隐私、泛化差距与对抗鲁棒性之间的真实关联。
2024-03-23 cs.CR cs.CV cs.LG
Taking off the Rose-Tinted Glasses: A Critical Look at Adversarial ML Through the Lens of Evasion Attacks
IBM Research（IBM研究院）；Stony Brook University（石溪大学）
本文批判性审视了对抗机器学习领域因不合理的攻击与防御威胁模型假设导致防御研究停滞的问题，主张从系统安全视角而非纯AI视角重新评估防御机制，以应对新兴AI范式的安全挑战。
2024-10-15 cs.CR cs.LG
CausalAdv: Adversarial Robustness through the Lens of Causality
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
深度神经网络的对抗性脆弱性在机器学习中引起了极大的关注。由于因果推理具有对分布变化建模的本能，因此将因果关系纳入分析由对抗攻击引起的这种特定类型的分布变化是至关重要的。然而，在文献中仍然缺乏对抗攻击的直觉和鲁棒DNN的发展的因果公式。为了弥补这一差距，我们构建了一个因果图来模拟对抗性示例的生成过程，并定义了对抗性分布来形式化对抗攻击的直觉。从因果关系的角度来看，我们研究了自然分布和对抗性分布之间的区别，并得出结论，对抗性脆弱性的起源是虚假相关模型的焦点。受因果理解的启发，我们提出了因果启发的对抗分布对齐方法Causal Adv，通过考虑虚假相关性来消除自然分布和对抗分布之间的差异。大量的实验证明了所提出的方法的有效性。我们的工作是首次尝试使用因果关系来理解和减轻对抗性脆弱性。
2022-05-30 cs.LG
Expressivity of Graph Neural Networks Through the Lens of Adversarial Robustness
TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Technical University of Munich（慕尼黑工业大学）
本文首次从对抗鲁棒性角度研究比MPNN更强大的GNN，通过子图计数任务揭示其理论表达力与实际表现之间的显著差距，并证明这些模型对微小图结构扰动和分布外图均缺乏泛化能力。
2024-07-03 cs.LG
UniNet: A Unified Scene Understanding Network and Exploring Multi-Task Relationships through the Lens of Adversarial Attacks
NavInfo Europe（四维图新欧洲公司）
场景理解是自治系统在现实世界中运行的关键。单任务视觉网络仅基于场景的某些方面提取信息。另一方面，在多任务学习（MTL）中，这些单个任务是联合学习的，从而为任务提供了共享信息和获得更全面理解的机会。为此，我们开发了UniNet，一个统一的场景理解网络，可以准确有效地推断重要的视觉任务，包括目标检测，语义分割，实例分割，单目深度估计和单目实例深度预测。由于这些任务查看不同的语义和几何信息，因此它们可以相互补充或冲突。因此，了解任务间的关系可以提供有用的线索，使互补的信息共享。我们通过对抗攻击的视角来评估UniNet中的任务关系，其基础是它们可以利用神经网络中的学习偏差和任务交互。在Cityscapes数据集上进行的大量实验，使用无目标和有目标的攻击，揭示了语义任务之间的强烈交互，几何任务也是如此。此外，我们表明，语义和几何任务之间的关系是不对称的，它们的相互作用变得越来越弱，因为我们走向更高层次的表示。
2022-08-12 cs.AI cs.CV cs.LG
Exploring Layerwise Adversarial Robustness Through the Lens of t-SNE
University of Coimbra（科英布拉大学）
本研究提出一种结合t-SNE可视化与嵌入对比指标的图像分类ANN分层对抗鲁棒性评估方法，经CIFAR-10上两类模型验证发现表征差异早期出现于特征提取层，为防御研究提供支撑。
2024-06-20 cs.AI cs.LG cs.NE
Understanding Robust Learning through the Lens of Representation Similarities
University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）
表示学习，即生成对下游应用有用的表示，是深度神经网络（DNN）的大部分成功的基础。最近，对抗性示例的鲁棒性已经成为DNN的一个理想属性，刺激了考虑对抗性示例的鲁棒训练方法的发展。在本文中，我们的目标是了解如何从标准的，非鲁棒的训练获得不同的表示的属性。这对于诊断鲁棒网络中的许多突出陷阱至关重要，例如良性输入的性能下降，鲁棒性的泛化能力差以及过度拟合的增加。我们利用一组强大的工具，称为表示相似性度量，跨越三个视觉数据集，以获得具有不同训练过程，架构参数和对抗性约束的健壮和非健壮DNN之间的逐层比较。我们的实验突出了迄今为止看不见的鲁棒表示的属性，我们解释了鲁棒网络的行为差异。我们发现，随着“块结构”的消失，缺乏专业化的强大的网络的表示。我们还发现，在鲁棒训练过程中的过拟合在很大程度上影响了更深层的层。这些研究结果以及其他研究结果为设计和培训更强有力的网络提出了前进的方向。
2022-09-15 cs.CR cs.CV cs.LG
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich（慕尼黑工业大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
端到端（几何）深度学习在近似解决组合优化问题方面取得了第一次成功。然而，在NP难/完全任务领域生成数据带来了实践和理论挑战，导致评估协议过于乐观。具体来说，大多数数据集只捕获一个更简单的子问题，并可能遭受虚假特征。我们通过研究对抗鲁棒性（一种局部泛化特性）来研究这些影响，以揭示硬的、特定于模型的实例和虚假特征。为此，我们推导出SAT和TSP的扰动模型。与其他应用程序不同，扰动模型是围绕主观的不可感知性概念设计的，我们的扰动模型是有效的和健全的，使我们能够确定扰动样本的真实标签，而无需求解器。令人惊讶的是，在这样的扰动下，一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在，我们经验表明，评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
On The Utility of Conditional Generation Based Mutual Information for Characterizing Adversarial Subspaces
National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
最近的研究发现，深度学习系统容易受到对抗性示例的影响;例如，视觉上不可识别的对抗图像可以容易地被制作以导致错误分类。神经网络的鲁棒性已经在敌手检测的背景下被广泛研究，敌手检测比较了在自然和敌手示例之间表现出强区分能力的度量。在本文中，我们提出了通过镜头的互信息（MI）的条件生成方法近似的敌对子空间的特征。我们使用MI作为一个信息理论的度量，以加强现有的防御和提高性能的对手检测。在MagNet防御系统上的实验结果表明，该检测器能够有效地提高对强大对抗攻击的鲁棒性.
2018-09-24 cs.CR cs.CV cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology（麻省理工学院）
我们评估了对抗性Logit配对的鲁棒性，这是最近提出的对抗性示例的防御方法。我们发现，使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明，以及我们攻击的方法和结果的讨论，这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
Distributionally robust linear regression through the lens of adversarial training
Uppsala University（乌普萨拉大学）；Science for Life Laboratory（生命科学实验室）
本文研究Wasserstein DRO线性回归，统一平方根Lasso与对抗线性回归，证明其误差界、枢轴性质及解等价性，并验证高效求解。
2026-10-01 cs.LG math.OC stat.ML
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
To compress or not to compress: Understanding the Interactions between Adversarial Attacks and Neural Network Compression
University of Cambridge（剑桥大学）
随着深度神经网络（DNN）的广泛使用，修剪和量化模型在边缘设备上变得无处不在;这种压缩的DNN因降低计算要求而流行。与此同时，最近的研究表明，对抗性样本可以有效地使DNN错误分类。因此，我们研究对抗样本在未压缩和压缩DNN之间的可转移程度。我们发现，对抗样本仍然可转移的修剪和量化模型。对于修剪，从严重修剪的模型生成的对抗样本在未压缩的模型上仍然有效。对于量化，我们发现对抗样本的可转移性对整数精度高度敏感。
2020-04-16 cs.CR cs.LG
Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization
Michigan State University（密歇根州立大学）；UC Santa Barbara（加州大学圣巴巴拉分校）；University of Minnesota（明尼苏达大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院麻省理工-IBM沃森人工智能实验室）
对抗性训练（AT）是一种广泛认可的防御机制，用于获得深度神经网络对对抗攻击的鲁棒性。它建立在最小-最大优化（MMO）的基础上，其中最小化器（即，Defender）寻求一种鲁棒模型以在存在由最大化者制作的对抗性示例的情况下最小化最坏情况的训练损失（即，攻击者）。然而，传统的MMO方法使得AT难以扩展。因此，Fast-AT（Wong等人，2020）和其他最近的算法试图通过用基于单个梯度符号的攻击生成步骤替换其最大化步骤来简化MMO。虽然易于实现，但Fast-AT缺乏理论保证，并且由于在与强大对手一起训练时存在鲁棒灾难性过拟合问题，其经验性能不令人满意。在本文中，我们提出了快速AT从双层优化（BLO）的新视角。我们首先表明，常用的快速AT是等效的使用随机梯度算法来解决一个线性化的BLO问题，涉及一个符号操作。然而，符号运算的离散性质使得很难理解算法的性能。受BLO的启发，我们设计并分析了一组新的鲁棒训练算法Fast Bi-level AT（Fast-BAT），该算法在不使用任何梯度符号方法或显式鲁棒正则化的情况下，有效地防御了基于符号的投影梯度下降（PGD）攻击。在实践中，我们证明了我们的方法在多个模型和数据集的基线上产生了实质性的鲁棒性改进。代码可在https://github.com/OPTML-Group/Fast-BAT上获得。
2022-10-04 cs.LG
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore（新加坡南洋理工大学）
在深度神经网络（DNN）的普及应用道路上，对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测，并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型，以抵抗对抗性的例子。在本文中，我们从不同的角度调查了如何理解这种有趣的属性，即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后，我们研究了常用的基准测试，并提到了理论上证明的对抗鲁棒性界限。然后，我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后，我们介绍了最近的争论的潜在成本的对抗性训练，引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Adversarial robustness of VAEs through the lens of local geometry
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文利用编码器诱导的随机拉回度量张量分析 VAE 潜空间几何脆弱性，提出基于其特征谱的鲁棒性评分，并以 mixup 训练同时提升鲁棒性与重建质量。
2024-10-28 cs.AI cs.CV cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Adversarial Camera Patch: An Effective and Robust Physical-World Attack on Object Detectors
University of Electronic Science and Technology of China（电子科技大学）
针对现有相机物理攻击需在镜头部署多个贴片、复杂度高的问题，本文提出单一对抗性相机贴片 ADCP，以更简洁的方式对目标检测器实施隐蔽物理攻击。
2023-12-11 cs.CV
Scratched Lenses, Shifted Depth: Passive Camera-Side Optical Attacks
提出一种被动式镜头划痕攻击SLASH，通过光学伪影扭曲深度线索，在单目深度估计和3D目标检测中实现高达32%的相对深度偏移。
2026-10-22 cs.CV
Understanding Adversarial Robustness Against On-manifold Adversarial Examples
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络（DNN）被证明容易受到对抗性示例的影响。经过良好训练的模型可以通过向原始数据添加小扰动来轻松攻击。对抗样本存在的假设之一是离流形假设：对抗样本位于数据流形之外。然而，最近的研究表明，流形上的对抗性例子也存在。在本文中，我们重新审视了非流形假设，并想研究一个问题：在什么水平上的神经网络对对抗攻击的性能差，由于流形上的对抗性的例子？由于真实的数据流形在实践中是未知的，我们考虑真实和合成数据集上的两个近似流形对抗示例。在真实的数据集上，我们证明了在标准训练和对抗训练模型上，流形上的对抗示例比流形外的对抗示例具有更高的攻击率。在合成数据集上，理论上，我们证明了流形上的对抗性示例是强大的，但对抗性训练专注于流形外方向，忽略了流形上的对抗性示例。此外，我们提供的分析表明，从理论上推导出的属性也可以在实践中观察到。我们的分析表明，流形上的对抗性样本是重要的，我们应该更多地关注流形上的对抗性样本来训练鲁棒模型。
2022-10-02 cs.CR cs.LG
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University（九州大学）
本文综述了对抗性机器学习中的对抗性攻击分类与理解，并概述现有防御方法的局限性，为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
Transferable Adversarial Examples with Bayes Approach
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文从贝叶斯视角分析对抗样本跨模型迁移机制，设计两种促进迁移性的先验及自适应动态加权策略，提出BayAtk，并在未防御与已防御黑盒模型上验证其优于现有攻击。
2025-01-07 cs.CR cs.CV cs.LG
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University（东北大学）
最先进的深度神经网络（DNN）容易受到对抗性示例的攻击：精心设计的对输入的微小扰动，人类无法察觉，可能会误导DNN。为了了解对抗性示例的根本原因，我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量，我们提出了一个更实用的强对抗性示例的相关定义，该定义还单独限制了沿信号方向的扰动。我们表明，线性分类器可以强大的对抗性的例子攻击的情况下，没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机（SVM）分类器的数值实验，验证了定量公式的正确性.结果表明，设计一般的强对抗性鲁棒学习系统是可行的，但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；Kyushu University（九州大学）
在过去的十年中，深度学习（DL）已成功应用于许多工业领域特定的任务。然而，目前最先进的DL软件仍然存在质量问题，这引起了极大的关注，特别是在安全和安全关键场景的背景下。对抗性示例（AE）代表了一种典型且重要的缺陷类型，需要紧急解决，DL软件会在此基础上做出错误的决策。这些缺陷是通过故意攻击或输入传感器感知到的物理世界噪声发生的，可能会阻碍进一步的行业部署。深度学习决策的内在不确定性可能是其不正确行为的根本原因。虽然最近提出了一些测试，对抗攻击和防御技术，它仍然缺乏一个系统的研究，以揭示AE和DL不确定性之间的关系。在本文中，我们进行了大规模的研究，以弥合这一差距。我们首先研究了多个不确定性度量在区分良性示例（BE）和AE方面的能力，这使得能够表征输入数据的不确定性模式。然后，我们确定和分类的不确定性模式的BE和AE，并发现，虽然BE和AE产生的现有方法遵循共同的不确定性模式，一些其他的不确定性模式在很大程度上错过。基于此，我们提出了一种自动化测试技术，以生成多种类型的不常见的AE和BE，在很大程度上错过了现有的技术。进一步的评估表明，该方法产生的非常见数据很难被现有的防御技术防御，平均防御成功率降低了35%.我们的研究结果呼吁关注和必要性，以产生更多样化的数据，以评估DL软件的质量保证解决方案。
2020-04-24 cs.LG cs.SE
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem
University of Exeter（埃克塞特大学）
最近对深度学习鲁棒性的研究表明，视觉Transformer（ViTs）在某些扰动下优于卷积神经网络（CNN），例如，自然腐败，对抗攻击等。一些论文认为，卓越的鲁棒性ViT来自其输入图像的分割;其他人说，多头自注意（MSA）是保持鲁棒性的关键。在本文中，我们的目标是引入一个原则性和统一的理论框架，调查这样一个论点ViT的鲁棒性。我们首先从理论上证明，与自然语言处理中的Transformers不同，ViTs是Lipschitz连续的。然后，我们从柯西问题的角度从理论上分析了ViT的对抗鲁棒性，通过柯西问题我们可以量化鲁棒性如何在层之间传播。我们证明了第一层和最后一层是影响ViTs鲁棒性的关键因素。此外，基于我们的理论，我们实证表明，与现有研究的说法不同，MSA仅在弱对抗攻击下有助于ViTs的对抗鲁棒性，例如，FGSM，令人惊讶的是，MSA实际上包括模型在更强攻击下的对抗鲁棒性，例如，PGD攻击
2022-08-01 cs.CV cs.LG
Understanding and Diagnosing Vulnerability under Adversarial Attacks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
深度神经网络（DNN）容易受到对抗攻击的攻击。目前，对于轻微的扰动如何导致分类结果如此大的差异以及我们如何设计更强大的模型架构还没有明确的见解。在这项工作中，我们提出了一种新的可解释性方法，InterpretGAN，以生成用于潜变量分类的特征的解释。解释对抗性示例的分类过程揭示了对抗性扰动如何逐层影响特征，以及哪些特征被扰动修改。此外，我们设计了第一个诊断方法来量化的脆弱性贡献的每一层，它可以用来识别脆弱的模型架构的部分。诊断结果表明，引入更多信息损失的层往往比其他层更脆弱。基于这些发现，我们对MNIST和CIFAR10数据集的评估结果表明，对于本文研究的网络架构，平均池化层具有较低的信息损失，比最大池化层更鲁棒。
2020-07-17 cs.CV cs.LG
Rethinking Deep Alignment Through The Lens Of Incomplete Learning
针对大型语言模型安全对齐后仍易受对抗攻击的问题，本文通过机制分析发现自回归训练的梯度弱化导致不完全安全学习，提出基础偏好token指标及针对性补全方法，大幅提升对抗鲁棒性且保留通用能力。
2025-11-15 cs.LG
Towards Understanding Dual BN In Hybrid Adversarial Training
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Northwestern Polytechnical University（西北工业大学）
本文研究混合对抗训练中双批归一化（Dual BN）的作用机制，发现解耦仿射参数比解耦统计量更关键，并提出双任务假设作为统一改进框架。
2024-03-28 cs.AI cs.CR cs.CV
Understanding and Improving Fast Adversarial Training
EPFL（洛桑联邦理工学院）；Theory of Machine Learning Lab（机器学习理论实验室）
最近的一项工作重点是使对抗训练在计算上有效地用于深度学习模型。特别是，Wong等人（2020）表明，$\ell_\infty$ -使用快速梯度符号方法（FGSM）的对抗训练可能会由于一种称为“灾难性过拟合”的现象而失败，当模型在单个训练时期内迅速失去鲁棒性时。我们表明，如Wong等人（2020）提出的那样，向FGSM添加随机步骤并不能防止灾难性的过拟合，并且随机性本身并不重要-其主要作用只是降低扰动的幅度。此外，我们证明了灾难性的过拟合不是深度和过参数化网络所固有的，而是可能发生在具有几个滤波器的单层卷积网络中。在极端情况下，即使是单个滤波器也会使网络局部高度非线性，这是FGSM训练失败的主要原因。基于这一观察，我们提出了一种新的正则化方法，GradAlign，通过显式地最大化扰动集内的梯度对齐来防止灾难性的过拟合，并提高了FGSM解决方案的质量。因此，GradAlign允许成功地将FGSM训练应用于更大的$\ell_\infty$扰动，并减少与多步对抗训练的差距。我们的实验代码可在https://github.com/tml-epfl/understanding-fast-adv-training上获得。
2020-10-24 cs.CR cs.CV cs.LG
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
在海量数据和计算资源重要进展的推动下，新的深度学习系统在大量应用中取得了出色的成果。然而，我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而，为了解决神经网络的脆弱性，对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中，我们对深度学习中的对抗鲁棒性领域进行了深入的回顾，并对其主要概念进行了完整的介绍。但是，与对抗鲁棒性的主流悲观观点相反，我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系，并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外，我们还展示了对抗鲁棒性的广泛适用性，概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习，并为他们提供直观的工具和见解，了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Understanding Key Point Cloud Features for Development Three-dimensional Adversarial Attacks
College of Interdisciplinary Science and Technologies, University of Tehran（德黑兰大学跨学科科学与技术学院）；Northeastern University（东北大学）；School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）；Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）
本文通过定义十四种点云特征并利用线性回归预测对抗性点，提出一种基于点云内在特征的新型三维对抗攻击方法，在多种网络上取得与显著性图攻击相当的效果。
2024-12-18 cs.AI cs.CR cs.CV
ALICE: Towards Understanding Adversarial Learning for Joint Distribution Matching
Duke University（杜克大学）；Nanjing University（南京大学）；University at Buffalo（布法罗大学）
我们研究了与联合分布匹配的双向对抗训练相关的不可识别性问题。在条件熵的框架内，我们提出了对抗和非对抗的方法来学习无监督和监督任务的理想匹配联合分布。我们统一了一个广泛的家庭对抗模型的联合分布匹配问题。我们的方法稳定了无监督双向对抗学习方法的学习。此外，我们引入了半监督学习任务的扩展。理论结果在合成数据和实际应用中得到了验证。
2017-11-05 cs.AI cs.CV cs.LG
Bayesian Inference with Certifiable Adversarial Robustness
University of Oxford（牛津大学）
我们通过贝叶斯学习的视角来考虑深度神经网络的对抗训练，并提出了一个具有可证明保证的贝叶斯神经网络（BNN）对抗训练的原则性框架。我们依赖于非凸优化问题的约束松弛技术，并修改标准的交叉熵误差模型，以加强对输入点周围$ε$球中最坏情况扰动的后验鲁棒性。我们说明了如何得到的框架可以结合常用的近似推理的BNN的方法。在实证调查中，我们证明了所提出的方法可以在MNIST，FashionMNIST和CIFAR-10上训练可证明的鲁棒模型，并且也有利于不确定性校准。我们的方法是第一个直接训练可认证的BNN，从而促进他们的部署在安全关键的应用程序。
2021-02-23 cs.CR cs.LG
Understanding Fault Tolerance of Adversarially Robust Pruned Models
Rochester Institute of Technology（罗切斯特理工学院）
该研究探究剪枝、对抗训练与硬件故障对CNN鲁棒性的交互影响，发现对抗训练提升抗扰动性但增权重故障敏感性，剪枝不显著增故障敏感性，需兼顾对抗鲁棒性与硬件可靠性。
2026-08-06 cs.CR cs.LG
Test-time Adversarial Defense with Opposite Adversarial Path and High Attack Time Cost
Institute of Information Science Academia Sinica（资讯研究所）
针对深度学习模型易受对抗攻击、训练时防御鲁棒性不足的问题，提出基于反向对抗路径与逆向扩散的测试时纯化防御方法，例证了AutoAttack（Rand）的应用陷阱，分析了攻击效果与时间成本的权衡，验证了方法有效性。
2025-05-19 cs.CR cs.LG
Understanding Adversarial Attacks on Deep Learning Based Medical Image Analysis Systems
Beihang University（北京航空航天大学）；The University of Melbourne（墨尔本大学）；National Institute of Informatics（国立信息学研究所）；Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）
深度神经网络（DNN）在癌症诊断和病变检测等医学图像分析任务中已经变得很流行。然而，最近的一项研究表明，医疗深度学习系统可能会受到精心设计的对抗性示例/攻击的影响，这些攻击具有微小的不可察觉的扰动。这引起了对这些系统在临床环境中部署的安全性担忧。在本文中，我们在医学图像的背景下提供了对对抗性示例的更深入的理解。我们发现，医学DNN模型可以更容易受到对抗攻击相比，自然图像的模型，根据两个不同的观点。令人惊讶的是，我们还发现，医疗对抗攻击可以很容易地检测到，即，简单的检测器可以实现超过98%的检测AUC对抗最先进的攻击，这是由于与正常示例相比的基本特征差异。我们相信这些发现可能是设计更可解释和更安全的医疗深度学习系统的有用基础。
2020-03-13 cs.CV cs.LG eess.IV
One Bit Matters: Understanding Adversarial Examples as the Abuse of Redundancy
Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加州大学伯克利分校）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管在机器学习（ML）方面取得了巨大的成功，但对抗性的例子引起了人们对其可信度的担忧：输入的一个小扰动会导致一个看似训练有素的ML模型的任意失败。虽然正在进行研究以发现对抗性示例的内在属性，例如它们的可转移性和普遍性，但没有足够的理论分析来帮助理解这种现象，从而影响ML实验的设计过程。在本文中，我们推导出一个信息理论模型，解释对抗攻击的ML算法中的特征冗余的滥用。我们证明了特征冗余是对抗样本存在的必要条件。我们的模型有助于解释一些主要的问题，在许多轶事研究对抗性的例子。我们的理论得到了图像和文本数据集上良性和对抗性示例信息内容的实证测量的支持。我们的测量结果表明，典型的对抗性示例引入了足够的冗余，足以溢出在相应的良性示例上训练的ML模型的决策。最后，我们提出了可操作的建议，以提高机器学习器对对抗性示例的鲁棒性。
2018-10-23 cs.CR cs.CV cs.IT
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester（曼彻斯特大学）
本文建立解释集成对抗防御鲁棒性的误差理论，并据此提出 iGAT，通过全局对抗样本概率分配和弱点正则化，在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Understanding Adversarial Robustness Through Loss Landscape Geometries
UnifyID；Stanford University（斯坦福大学）
在深度学习中对解释和改进泛化的追求引起了正则化技术以及损失表面几何的可视化技术的努力。后者与社区中流行的直觉有关，即平坦的局部最优值会导致较低的泛化误差。在本文中，我们利用最先进的“过滤器归一化”技术的损失表面可视化定性地了解使用对抗性训练数据增强作为显式正则化技术的选择的后果。令我们惊讶的是，我们发现这种经常部署的对抗增强技术实际上并没有导致“更平坦”的损失景观，这需要重新思考对抗训练泛化以及泛化和损失景观几何之间的关系。
2019-07-22 cs.CR cs.LG stat.ML
Exploring Adversarial Examples via Invertible Neural Networks
Purdue University（普渡大学）
对抗性样本（AE）是可以通过向原始图像中引入轻微扰动来误导深度神经网络（DNN）分类器的图像。这种安全漏洞近年来引发了广泛的研究，因为它可以将现实世界的威胁引入依赖神经网络的系统。然而，对对抗性例子的特征的深刻理解仍然难以捉摸。我们提出了一种新的方式来实现这种理解，通过最近的发展，即可逆的神经模型与Lipschitz连续映射函数从输入到输出。通过将任何潜在表示反转回其对应的输入图像的能力，我们可以在更深层次上研究对抗性示例，并解开对抗性示例的潜在表示。鉴于这种新的视角，我们提出了一种快速的潜在空间对抗性示例生成方法，可以加速对抗性训练。此外，这种新的视角可能有助于对抗性示例检测的新方法。
2020-12-24 cs.CR cs.LG
Towards Understanding Fast Adversarial Training
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
目前基于神经网络的分类器容易受到对抗性样本的影响。在经验上，最成功的防御这种对抗性例子的方法是对抗性训练，它在训练过程中加入了强大的自我攻击，以增强其鲁棒性。然而，这种方法在计算上是昂贵的，因此很难扩大规模。最近的一项名为快速对抗训练的工作表明，在不牺牲显着性能的情况下显着减少计算时间是可能的。这种方法结合了简单的自我攻击，但它只能运行有限数量的训练时期，从而导致次优性能。在本文中，我们通过实验来了解快速对抗训练的行为，并证明其成功的关键是从过拟合恢复到弱攻击的能力。然后，我们扩展了我们的研究结果，以改善快速对抗训练，证明了强大的对抗训练具有更高的鲁棒准确性，并且大大减少了训练时间。
2020-06-04 cs.LG stat.ML
Understanding Adversarial Robustness from Feature Maps of Convolutional Layers
Yantai University（烟台大学）；East China Normal University（华东师范大学）
该研究从卷积层特征图角度探究网络抗扰动能力，发现平均池化前更大的特征图可提升抗扰性，据此通过上采样或调步长改进架构，在多个基准模型上实现准确率与鲁棒性双提升。
2024-01-29 cs.CV cs.LG
PrivHAR: Recognizing Human Actions From Privacy-preserving Lens
Universidad Industrial de Santander（桑坦德工业大学）；Stanford University（斯坦福大学）
针对动作识别中的隐私问题，提出一种优化框架对相机镜头进行参数化，在降低视频质量以抑制隐私属性并防御对抗攻击的同时，保留用于活动识别的特征，并通过仿真和硬件实验验证。
2023-01-29 cs.AI cs.CR cs.CV
Understanding Catastrophic Overfitting in Single-step Adversarial Training
Seoul National University（首尔大学）
虽然快速对抗训练已经证明了鲁棒性和效率，但已经观察到“灾难性过拟合”的问题。这是一种现象，在单步的【形】对抗训练期间，针对投影梯度下降（PGD）的鲁棒准确度在几个时期后突然下降到0%，而针对快速梯度符号方法（FGSM）的鲁棒准确度增加到100%。本文证明了灾难性过拟合与单步的【形】对抗训练的特性密切相关，这种训练只使用具有最大扰动的对抗样本，而不是所有对抗样本都在对抗方向上，从而导致决策边界失真和高度弯曲的损失曲面。基于这一观察结果，我们提出了一种简单的方法，不仅可以防止灾难性的过拟合，而且还可以克服单步的【形】对抗训练难以防止多步对抗攻击的信念。
2020-12-15 cs.LG eess.IV stat.ML
Towards Understanding Adversarial Examples Systematically: Exploring Data Size, Task and Model Factors
Peking University（北京大学）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）；Shanghai Jiaotong University（上海交通大学）
以往的著作多从几个特定的角度对对抗性事例进行解释，缺乏对这一问题的相对完整的理解。本文从训练数据量、任务相关因素和模型相关因素三个方面对对抗性样例进行了系统的研究。特别是，我们证明了标准训练的对抗性泛化（即对抗性示例的测试准确性）需要比标准泛化（即干净示例的测试准确性）更多的数据;并揭示了泛化和鲁棒性之间的全局关系，特别是当数据被生成模型增强时。这揭示了在有限的训练数据范围内标准泛化和鲁棒性之间的权衡关系，以及当数据量足够大时它们的一致性。此外，我们通过大量的实证分析，探讨了不同的任务依赖性和模型特定的因素如何影响深层神经网络的脆弱性。并对防御对抗攻击提出了相关建议。我们的研究结果概述了一个潜在的路径走向光明和系统的理解对抗性的例子。
2019-02-28 cs.LG stat.ML
WaveGuard: Understanding and Mitigating Audio Adversarial Examples
University of California San Diego（加利福尼亚大学圣迭戈分校）
最近，针对基于深度学习的自动语音识别（ASR）系统的对抗攻击激增。这些攻击对深度学习安全性提出了新的挑战，并在安全关键型应用程序中部署ASR系统时引起了重大关注。在这项工作中，我们介绍了WaveGuard：一个用于检测攻击ASR系统的对抗性输入的框架。我们的框架结合了音频转换功能，并分析了原始和转换后的音频的ASR transmittance，以检测对抗性输入。我们证明了我们的防御框架能够可靠地检测由四个最近的音频对抗攻击构建的对抗示例，具有各种音频变换函数。仔细考虑在防御评估的最佳做法，我们分析我们提出的防御和它的实力，以抵御自适应和强大的攻击，在音频域。我们的经验表明，音频转换，恢复音频从感知通知表示可以导致强大的防御，是强大的自适应对手，即使在一个完整的白盒设置。此外，WaveGuard可以开箱即用，并直接与任何ASR模型集成，以有效地检测音频对抗性示例，而无需进行模型再训练。
2021-03-04 cs.CR cs.LG cs.SD
Understanding the Robustness of Randomized Feature Defense Against Query-Based Adversarial Attacks
VinUniversity（文大大学）；Clemson University（克莱姆森大学）；VinAI Research（VinAI研究院）
针对深度神经网络易受黑盒对抗攻击的问题，提出推理时向中间层隐藏特征加随机噪声的轻量防御方法，经理论与实验验证其鲁棒性，无需对抗训练且不影响准确率，适用于任意预训练模型。
2023-10-01 cs.AI cs.CV cs.LG
Understanding Model Ensemble in Transferable Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）
本文针对模型集成对抗攻击理论基础不足的问题，通过定义可迁移性误差并对其进行分解，利用信息论工具给出误差边界，提出减少误差的三条实用指南，并通过54个模型的实验验证了该理论框架。
2025-05-28 cs.AI cs.LG
Understanding Adversarial Training: Increasing Local Stability of Neural Nets through Robust Optimization
Yale University（耶鲁大学）
我们提出了一个通用的框架，提高局部稳定性的人工神经网络（ANN）使用鲁棒优化（RO）。我们通过一个交替的最小化-最大化过程来实现这一点，在该过程中，网络的损失在每次参数更新时生成的扰动示例上被最小化。我们表明，人工神经网络的对抗性训练实际上是网络优化的鲁棒化，我们提出的框架概括了以前提高人工神经网络局部稳定性的方法。实验结果表明，我们的方法提高了网络对现有对抗性示例的鲁棒性，同时使生成新示例变得更加困难。此外，我们的算法还提高了网络在原始测试数据上的准确性。
2016-01-16 cs.LG cs.NE stat.ML
Achieving Adversarial Robustness Requires An Active Teacher
Stanford University（斯坦福大学）
通过解耦数据生成器和标签生成器（我们称之为教师），提出了对对抗性示例和对抗性鲁棒性的新理解。在我们的框架中，对抗鲁棒性是一个有条件的概念-学生模型不是绝对鲁棒的，但是相对于老师是鲁棒的。基于这种新的理解，我们认为对抗性例子的存在是因为学生不能从训练数据中获得教师的足够信息。实现鲁棒性的各种方法进行了比较。理论和数值证据表明，为了有效地实现鲁棒性，教师积极地向学生提供其信息可能是必要的。
2020-12-14 cs.LG
Understanding and Improving Virtual Adversarial Training
Seoul National University（首尔国立大学）
在半监督学习中，虚拟对抗训练（VAT）方法由于其直观简单和强大的性能而成为最具吸引力的方法之一。增值税找到了一个对对抗方向的数据扰动具有鲁棒性的分类器。在这项研究中，我们提供了一个基本的解释，为什么增值税工作良好的半监督学习的情况下，并提出了新的技术，这是简单的，但功能强大的增值税方法。特别是，我们采用了坏GAN方法的思想，该方法利用分布在输入数据的支持的补充上的坏样本，而不需要任何额外的深度生成架构。我们使用增值税中使用的对抗训练生成高质量的坏样本，并从理论上解释了为什么对抗训练擅长生成坏样本。我们所提出的方法的一个优点是实现竞争力的性能相比，其他最近的研究与更少的计算。我们证明了我们的方法的优势，通过各种实验与知名的基准图像数据集。
2019-09-15 cs.LG stat.ML
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Rademacher Complexity for Adversarially Robust Generalization
UC Berkeley（加州大学伯克利分校）
许多机器学习模型容易受到对抗攻击的攻击;例如，添加人类无法感知的对抗扰动通常会使机器学习模型产生高置信度的错误预测。此外，尽管我们可以通过对抗训练在训练数据集上获得鲁棒的模型，但在某些问题中，学习的模型不能很好地推广到测试数据。本文针对$\ell_\infty$攻击，从Rademacher复杂度的角度研究了抗逆鲁棒泛化问题。对于二进制线性分类器，我们证明了紧边界的对抗Rademacher复杂性，并表明，对抗Rademacher复杂性是永远不会小于其自然对应，它有一个不可避免的尺寸依赖，除非权重向量有界$\ell_1$规范。结果也扩展到多类线性分类器。对于（非线性）神经网络，我们证明了对抗性Rademacher复杂性中的维数依赖性也是存在的.我们进一步考虑了一个隐藏层ReLU网络的代理对抗损失，并证明了该设置的边际界限。我们的研究结果表明，对权重矩阵进行$\ell_1$范数约束可能是提高对抗环境中泛化能力的一种潜在方法。我们证明了实验结果，验证了我们的理论研究结果。
2020-07-29 cs.CR cs.LG cs.NE
