Harnessing the Vulnerability of Latent Layers in Adversarially Trained Models
Adobe Inc（奥多比公司）；IIT Hyderabad（印度理工学院海得拉巴分校）
神经网络很容易受到对抗攻击--视觉上难以察觉的精心制作的小噪声，当添加到输入中时，会大大改变输出。防御这些对抗攻击的最有效方法是使用对抗训练的方法。我们分析了对抗性训练的鲁棒模型，以研究它们在潜在层水平上对对抗攻击的脆弱性。我们的分析表明，相反的输入层，这是强大的对抗攻击，这些强大的模型的潜在层是非常容易受到小幅度的对抗扰动。利用这些信息，我们引入了一种新技术潜在对抗训练（LAT），该技术包括微调对抗训练的模型，以确保特征层的鲁棒性。我们还提出了潜在攻击（LA），一种用于构建对抗性示例的新算法。LAT导致测试准确性的微小改善，并导致针对MNIST，CIFAR-10，CIFAR-100数据集显示的通用一阶对抗PGD攻击的最先进的对抗准确性。
2019-06-25 cs.CR cs.CV cs.LG
Adversarially robust generalization theory via Jacobian regularization for deep neural networks
Northwest University（西北大学）
本研究证明雅可比正则化可作为对抗训练的近似上界，并建立其鲁棒泛化差距，实验表明降低雅可比范数可提升标准和鲁棒泛化。
2024-12-17 cs.LG stat.ML
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University（华南农业大学）；Pazhou Lab（琶洲实验室）
由于卷积神经网络（CNN）的Lipschitz性质被广泛认为与对抗鲁棒性有关，本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数，并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理，我们提出了一种新的正则化方法，称为范数衰减，它可以有效地减少卷积层和全连接层的范数。实验表明，范数正则化方法，包括范数衰减，权重衰减和奇异值裁剪，可以提高CNN的泛化能力。然而，它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象，我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数，并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外，我们证明了在一个温和的假设下，对抗鲁棒分类器可以实现使用神经网络，和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因，在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners
The University of Tokyo（东京大学）；Chiba University（千叶大学）；National Institute of Informatics（国立信息学研究所）
本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型，通过上下文学习实现对多种下游任务的稳健泛化。
2026-03-01 cs.CV cs.LG stat.ML
Purifying Adversarial Perturbation with Adversarially Trained Auto-encoders
Iowa State University（爱荷华州立大学）
机器学习模型容易受到对抗性样本的影响。迭代对抗训练在对抗强大的白盒攻击方面表现出了良好的效果。然而，对抗训练非常昂贵，每次需要保护模型时，都需要执行这种昂贵的训练方案。在本文中，我们提出将迭代对抗训练方案应用于外部自动编码器，一旦训练好，就可以直接用于保护其他模型。我们的经验表明，我们的模型优于其他净化为基础的方法对白盒攻击，并转移直接保护其他基础模型与不同的架构。
2019-05-26 cs.CR cs.CV cs.LG
Adversarially Robust Generalization Just Requires More Unlabeled Data
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
神经网络的鲁棒性最近被对抗性例子的存在所强调。许多以前的工作表明，学习网络在扰动的测试数据上表现不佳，并且需要更多的标记数据才能实现对抗鲁棒的泛化。在本文中，我们从理论上和经验上证明，只需更多的未标记数据，我们就可以学习具有更好的对抗鲁棒泛化能力的模型。我们的研究结果的关键见解是基于风险分解定理，其中预期的鲁棒风险分为两部分：稳定性部分，衡量预测的稳定性，在扰动的存在下，和准确性部分，评估标准的分类精度。由于稳定性部分不依赖于任何标签信息，我们可以使用未标记的数据优化这部分。我们进一步证明了，对于一个特定的高斯混合问题，对抗鲁棒泛化可以几乎一样容易的标准推广监督学习，如果提供了足够大的未标记的数据量。受理论研究结果的启发，我们进一步证明了利用未标记数据的实用对抗训练算法可以提高MNIST和Cifar-10上的对抗鲁棒泛化。
2019-09-26 cs.LG stat.ML
Colored Noise Injection for Training Adversarially Robust Neural Networks
Technion – Israel Institute of Technology（以色列理工学院）；Intel – Artificial Intelligence Products Group (AIPG)（英特尔人工智能产品事业部）
尽管深度学习在各种任务上表现出无与伦比的性能，但神经网络已被证明容易受到输入的小对抗性扰动的影响，从而导致性能显著下降。在这项工作中，我们扩展了在对抗训练（PNI）期间向网络权重和激活添加高斯白噪声的想法，以注入有色噪声来防御常见的白盒和黑盒攻击。我们表明，我们的方法在CIFAR-10和CIFAR-100数据集的对抗准确性方面优于PNI和各种以前的方法。此外，我们提供了一个广泛的消融研究所提出的方法证明所选择的配置。
2020-03-20 cs.CV cs.LG stat.ML
Overfitting in adversarially robust deep learning
Carnegie Mellon University（卡内基梅隆大学）
深度学习中的常见做法是使用超参数化网络并尽可能长时间地进行训练;有许多研究表明，无论是理论还是经验，这种做法都不会对分类器的泛化性能造成不必要的损害。在本文中，我们在对抗性训练的深度网络中实证研究了这一现象，这些深度网络经过训练，以最大限度地减少最坏情况下的对抗性扰动下的损失。我们发现，在多个数据集（SVHN，CIFAR-10，CIFAR-100和ImageNet）和扰动模型（$\ell_\infty$和$\ell_2$）的对抗鲁棒训练中，对训练集的过度拟合实际上在很大程度上损害了鲁棒性能。基于这种观察到的效果，我们表明，几乎所有最近的算法改进对对抗训练的性能增益都可以通过简单地使用早期停止来匹配。我们还表明，双下降曲线等效应仍然发生在逆向训练的模型中，但无法解释观察到的过拟合。最后，我们研究了几种经典和现代的深度学习过拟合补救措施，包括正则化和数据增强，并发现没有孤立的方法可以显著提高早期停止所获得的收益。用于再现实验的所有代码以及预训练的模型权重和训练日志可以在https://github.com/locuslab/robust_overfitting上找到。
2020-03-04 cs.LG stat.ML
On the Hardness of Robustness Transfer: A Perspective from Rademacher Complexity over Symmetric Difference Hypothesis Space
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）；Sony AI（索尼人工智能研究院）
最近的研究表明，在$\ell_\infty$攻击下的对抗鲁棒学习比标准的领域自适应更难推广到不同的领域。如何在不同领域之间传递鲁棒性是领域自适应研究的一个关键问题。为了研究对抗性鲁棒领域自适应（或鲁棒性转移）背后的根本困难，我们提出分析控制跨领域泛化的关键复杂性度量：{ \em对称差异假设空间} $\mathcal{H} Δ\mathcal{H}$上的对抗性Rademacher复杂性。对于线性模型，我们表明，这种复杂性的对抗版本总是大于非对抗版本，这揭示了对抗鲁棒领域自适应的内在硬度。我们还建立了这个复杂性措施的上限。然后，我们将它们扩展到ReLU神经网络类，通过在二进制分类设置中上界对抗Rademacher复杂度。最后，尽管鲁棒领域自适应被证明是困难的，我们确实发现鲁棒学习和标准领域自适应之间的正相关关系。我们解释\emph{how adversarial training helps domain adaptation in terms of standard risk}。我们相信，我们的研究结果启动了对抗鲁棒领域自适应的泛化理论研究，并可能揭示分布式对抗鲁棒学习的异构来源，例如，联邦学习场景。
2023-02-23 cs.LG stat.ML
Are Fast Methods Stable in Adversarially Robust Transfer Learning?
Purdue University（普渡大学）
本文重新审视对抗鲁棒迁移学习中的快速梯度符号法（FGSM），发现其在对抗微调中比从头训练更稳定，无灾难性过拟合，在大幅减少训练时间的同时性能损失极小。
2025-06-27 cs.LG stat.ML
CARTL: Cooperative Adversarially-Robust Transfer Learning
Wuhan University（武汉大学）；University at Buffalo（布法罗大学）；City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）
迁移学习减轻了从头开始训练性能良好的模型的负担，特别是当训练数据稀缺且计算能力有限时。在深度学习中，迁移学习的一个典型策略是冻结预训练模型的早期层，并在目标域上微调其其余层。以前的工作集中在转移模型的准确性，但忽略了对抗鲁棒性的转移。在这项工作中，我们首先表明，迁移学习提高了目标域的准确性，但降低了目标模型的继承鲁棒性。为了解决这个问题，我们提出了一种新的合作对抗鲁棒迁移学习（CARTL）通过预训练模型通过特征距离最小化和微调预训练模型与非扩展微调目标域任务。实验结果表明，在相同的精度下，CARTL算法与基线算法相比，遗传鲁棒性最多提高了28%左右。此外，我们研究了批量归一化（BN）层和迁移学习的背景下的鲁棒性之间的关系，我们发现，冻结BN层可以进一步提高鲁棒性转移。
2021-06-12 cs.LG
Relating Adversarially Robust Generalization to Flat Minima
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Tübingen（图宾根大学）
对抗性训练（AT）已经成为获得对抗性样本鲁棒模型的事实标准。然而，AT表现出严重的鲁棒过拟合：对抗样本上的交叉熵损失，即所谓的鲁棒损失，在训练样本上不断减少，而在测试样本上最终增加。在实践中，这导致了较差的鲁棒泛化，即，对抗鲁棒性不能很好地推广到新的示例。在本文中，我们研究了鲁棒泛化和鲁棒损失景观在权空间中的平坦性之间的关系，即，当扰动权重时，鲁棒损失是否显著变化。为此，我们提出了平均和最坏情况下的指标来衡量平坦的鲁棒损失景观和良好的鲁棒泛化和平坦度之间的相关性。例如，在整个训练过程中，平坦度在过拟合期间显著降低，使得早期停止有效地在鲁棒损失景观中找到平坦的最小值。类似地，实现更高对抗鲁棒性的AT变体也对应于更平坦的最小值。这适用于许多流行的选择，例如，AT-AWP、TRADES、MART、AT，具有自我监督或额外的未标记示例，以及简单的正则化技术，例如，自动增强、权重衰减或标签噪声。为了在这些方法之间进行公平比较，我们的平坦度测量是专门设计为尺度不变的，我们进行了大量的实验来验证我们的发现。
2021-10-06 cs.CV cs.LG stat.ML
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
在这项工作中，我们研究了深度神经网络的输入梯度正则化，并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难，但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练，我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明，正则化模型是更强大的，图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Adversarially Robust Kernel Smoothing
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Weierstrass Institute（魏尔斯特拉斯研究所）；InstaDeep Ltd.（InstaDeep公司）
提出了一种结合核平滑和鲁棒优化的可扩展鲁棒学习算法。我们的方法是出于凸分析的角度分布鲁棒优化的基础上概率度量，如Wasserstein距离和最大均值差异。我们采用凸分析中的上卷积积分算子，形成一个新的函数用于增强鲁棒性。我们的方法形式简单，适用于一般损失函数和机器学习模型。利用与最佳运输的连接，我们证明了理论保证认证的鲁棒性下分布偏移。此外，我们报告了使用一般机器学习模型（如深度神经网络）的实验，以证明基于Wasserstein距离的最先进的可验证鲁棒学习算法的竞争性能。
2022-02-19 cs.LG math.OC stat.ML
Exploring Adversarially Robust Training for Unsupervised Domain Adaptation
Johns Hopkins University（约翰斯·霍普金斯大学）
无监督领域自适应（UDA）方法旨在将知识从标记的源域转移到未标记的目标域。UDA在计算机视觉文献中得到了广泛的研究。深度网络已被证明容易受到对抗攻击的攻击。然而，很少有人关注提高深度UDA模型的对抗鲁棒性，这引起了人们对模型可靠性的严重担忧。对抗性训练（AT）被认为是最成功的对抗性防御方法。然而，传统的AT需要地面实况标签来生成对抗性示例和训练模型，这限制了其在未标记目标域中的有效性。本文的目的是探索AT来增强UDA模型的鲁棒性：如何通过AT增强未标记数据的鲁棒性，同时学习UDA的域不变特征？为了回答这个问题，我们提供了一个系统的研究，可以应用于UDA的多种AT变体。此外，我们提出了一种新的UDA的对抗鲁棒训练方法，简称为ARTUDA。在多个对抗攻击和UDA基准测试上的大量实验表明，ARTUDA一致地提高了UDA模型的对抗鲁棒性。代码可在https://github.com/shaoyuanlo/ARTUDA上获得
2022-10-04 cs.CV cs.LG
Rademacher Complexity for Adversarially Robust Generalization
UC Berkeley（加州大学伯克利分校）
许多机器学习模型容易受到对抗攻击的攻击;例如，添加人类无法感知的对抗扰动通常会使机器学习模型产生高置信度的错误预测。此外，尽管我们可以通过对抗训练在训练数据集上获得鲁棒的模型，但在某些问题中，学习的模型不能很好地推广到测试数据。本文针对$\ell_\infty$攻击，从Rademacher复杂度的角度研究了抗逆鲁棒泛化问题。对于二进制线性分类器，我们证明了紧边界的对抗Rademacher复杂性，并表明，对抗Rademacher复杂性是永远不会小于其自然对应，它有一个不可避免的尺寸依赖，除非权重向量有界$\ell_1$规范。结果也扩展到多类线性分类器。对于（非线性）神经网络，我们证明了对抗性Rademacher复杂性中的维数依赖性也是存在的.我们进一步考虑了一个隐藏层ReLU网络的代理对抗损失，并证明了该设置的边际界限。我们的研究结果表明，对权重矩阵进行$\ell_1$范数约束可能是提高对抗环境中泛化能力的一种潜在方法。我们证明了实验结果，验证了我们的理论研究结果。
2020-07-29 cs.CR cs.LG cs.NE
Certifiably Adversarially Robust Detection of Out-of-Distribution Data
University of Tübingen（蒂宾根大学）
众所周知，深度神经网络在应用于明显不属于任何类的分布外（OOD）输入时会过度自信。这在安全关键应用中是一个问题，因为分类器的不确定性的可靠评估是一个关键属性，允许系统触发人为干预或转换到安全状态。在本文中，我们的目标是可证明的最坏情况下保证OOD检测不仅在OOD点，而且在$l_\infty$ -球周围的低置信度。为此，我们使用区间边界传播（IBP）的上限最大置信度在$l_\infty$ -球，并在训练时间内最小化这个上限。我们表明，在训练时看到的OOD数据集之外的OOD数据概括的置信度的非平凡界限是可能的。此外，与通常伴随着预测性能显著损失的认证对抗鲁棒性相比，最坏情况OOD检测的认证保证是可能的，而不会损失太多的准确性。
2021-03-10 cs.CV cs.LG stat.ML
Sample Complexity of Adversarially Robust Linear Classification on Separated Data
University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们考虑了具有对抗鲁棒性的学习的样本复杂度。这个问题的大多数先前的理论结果都考虑了数据中的不同类靠近或重叠的设置。受一些实际应用的启发，我们认为，相比之下，分离良好的情况下，存在一个分类器具有完美的准确性和鲁棒性，并表明样本的复杂性讲述了一个完全不同的故事。具体来说，对于线性分类器，我们展示了一个大类的良好分离的分布，其中任何算法的预期鲁棒损失至少是$Ω(\frac{d}{n})$，而最大保证金算法的预期标准损失$O(\frac{1}{n})$。这显示了标准和鲁棒损失之间的差距，这是通过现有技术无法获得的。此外，我们提出了一个算法，给出了一个实例，其中的鲁棒性半径远小于类之间的差距，给出了一个解决方案，预期的鲁棒性损失是$O(\frac{1}{n})$。这表明，对于分离非常好的数据，$O(\frac{1}{n})$的收敛速率是可实现的，否则情况并非如此。我们的研究结果适用于任何$\ell_p$规范与$p > 1$（包括$p = \infty$）的鲁棒性测量。
2023-01-18 cs.LG stat.ML
Robust estimation with Lasso when outputs are adversarially contaminated
The Graduate University for Advanced Studies, SOKENDAI（高等研究生院（SOKENDAI））；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN（理化学研究所）
针对输出受对抗性污染时的稳健估计问题，本文利用Huber函数的特定性质，给出了一种不同于现有文献的证明方法，并获得了与最新结果相同的收敛速率。
2024-05-24 cs.LG math.ST stat.ML
Can Go AIs be adversarially robust?
Mila（米拉计算研究所）；MIT（麻省理工学院）
针对围棋AI易遭循环对抗攻击的问题，本文测试了人工构造棋局对抗训练、迭代对抗训练、修改网络架构三种防御手段，发现均无法抵御新训练的对抗智能体攻击，凸显了防御泛化与训练多样性的缺口。
2025-01-14 cs.AI cs.LG stat.ML
Adversarially Trained Object Detector for Unsupervised Domain Adaptation
Chiba University（千叶大学）
本文提出将源域对抗训练用于目标检测的无监督域适应，并结合特征对齐，在大幅真实到艺术域偏移的四个基准上显著提升mAP。
2021-11-25 cs.AI cs.CV cs.LG
Towards Adversarially Robust Continual Learning
Sony AI（索尼人工智能）
首次研究持续学习中的对抗鲁棒性问题，提出Task-Aware Boundary Augmentation (TABA)方法增强模型防御能力，并在CIFAR-10和CIFAR-100上验证了对抗训练与TABA的有效性。
2023-03-31 cs.AI cs.LG
Algorithms for Adversarially Robust Deep Learning
本文从对抗样本、领域泛化和LLM越狱攻击三个层面提出新算法，系统提升深度学习模型在安全关键场景下的鲁棒性。
2025-09-23 cs.AI cs.LG
Adversarially Robust Learning via Entropic Regularization
New York University（纽约大学）
在本文中，我们提出了一个新的算法族，ATENT，用于训练对抗鲁棒的深度神经网络。我们制定了一个新的损失函数，配备了额外的熵正则化。我们的损失函数考虑了对抗样本的贡献，这些样本是从数据空间中专门设计的分布中提取的，该分布将高概率分配给具有高损失的点和训练样本的近邻。我们提出的算法优化了这种损失，以寻求损失景观的对抗性强的山谷。与MNIST和CIFAR-10等基准数据集上的几种最先进的鲁棒学习方法相比，我们的方法在鲁棒分类精度方面具有竞争力（或更好）的性能。
2021-02-19 cs.CV cs.LG stat.ML
Adversarially Robust Estimate and Risk Analysis in Linear Regression
Purdue University（普渡大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
对抗鲁棒学习旨在设计对输入变量的小对抗扰动具有鲁棒性的算法。除了现有的对抗性样本预测性能的研究，我们的目标是了解对抗性鲁棒估计的统计特性，并在线性回归模型的设置中分析对抗性风险。通过发现统计极小极大收敛速度的对抗稳健估计，我们强调了纳入模型信息的重要性，例如，sparsity稀疏，in adversarially对立robust鲁棒learning学习.此外，我们揭示了对抗和标准估计的显式连接，并提出了一个简单的两阶段对抗学习框架，该框架有助于利用模型结构信息来提高对抗鲁棒性。在理论上，证明了对抗稳健估计的相合性，并给出了对抗稳健估计的Bahadur表示，以便于统计推断。无论是低维或稀疏的情况下，建议的估计收敛在一个尖锐的速度。此外，我们的理论证实了对抗鲁棒学习中的两个现象：对抗鲁棒性损害泛化，未标记数据有助于提高泛化。最后，我们进行了数值模拟来验证我们的理论。
2020-12-18 cs.LG stat.ML
Adversarially robust segmentation models learn perceptually-aligned gradients
University of Maryland（马里兰大学）
对抗性训练对语义分割网络的影响尚未得到深入研究。虽然以前的工作已经表明，经过逆向训练的图像分类器可以用于执行图像合成，但我们还没有了解如何最好地利用经过逆向训练的分割网络来完成同样的工作。使用一个简单的优化器，我们证明了对抗训练的语义分割网络可用于执行图像修补和生成。我们的实验表明，经过逆向训练的分割网络更健壮，并且确实表现出感知对齐的梯度，这有助于产生合理的图像修补。我们试图在以下假设背后放置额外的权重：对抗性鲁棒模型表现出与人类视觉更感知一致的梯度。通过图像合成，我们认为，感知对齐梯度促进更好地理解神经网络的学习表示，并有助于使神经网络更可解释。
2022-04-03 cs.CV cs.LG
A Spectral View of Adversarially Robust Features
Stanford University（斯坦福大学）
针对学习对抗鲁棒模型的困难，提出开发对抗鲁棒特征的更简单问题，建立其与数据集几何谱属性的联系，提供鲁棒特征及鲁棒性下界，并验证其能有效学习鲁棒且准确的模型。
2024-08-25 cs.LG stat.ML
Can't Fool Me: Adversarially Robust Transformer for Video Understanding
Samsung Research America（三星美国研究院）
深度神经网络已经被证明在对抗性示例上表现不佳。为了解决这个问题，已经提出了几种技术来增加用于图像分类任务的模型的鲁棒性。然而，在视频理解任务中，开发对抗鲁棒模型仍然是未探索的。在本文中，我们的目标是弥合这一差距。我们首先表明，基于图像的对抗性鲁棒模型的简单扩展稍微改善了最坏情况下的性能。此外，我们在Transformer中提出了一种时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们使用大规模视频数据集YouTube-8 M说明，最终模型（A-ART）在其对抗性示例集上实现了接近非对抗性的性能。我们在对抗性示例上实现了91%的差距，而基线Transformer和简单对抗性扩展分别实现了72.9%和82%，这表明鲁棒性比最新技术水平有显着提高。
2021-10-26 cs.CR cs.CV cs.LG
Efficiently Learning Adversarially Robust Halfspaces with Noise
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了分布无关环境下的逆鲁棒半空间学习问题。在可实现的设置中，我们提供了对抗扰动集的充分必要条件，在该条件下，半空间是有效鲁棒学习的。在随机标签噪声的存在下，我们给出了一个简单的计算有效的算法，这个问题的任何$\ell_p$扰动。
2020-05-15 cs.DS cs.LG stat.ML
Reducing Adversarially Robust Learning to Non-Robust PAC Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们研究的问题，减少对抗强大的学习标准PAC学习，即学习对抗强大的预测使用访问只有一个黑盒非强大的学习者的复杂性。我们给出了一个减少，可以鲁棒地学习任何假设类$\mathcal{C}$使用任何非鲁棒学习器$\mathcal{A}$为$\mathcal{C}$。调用$\mathcal{A}$的次数在数学上取决于每个示例允许的对抗性扰动的数量，我们给出了一个下限，表明这是不可避免的。
2020-10-22 cs.LG
Attack Transferability Characterization for Adversarially Robust Multi-label Classification
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Inria（法国国家信息与自动化研究所）
尽管多标签规避攻击的普遍存在，它是一个开放的，但重要的问题是描述的多标签学习系统的对抗性脆弱性的来源，并评估其可攻击性。在这项研究中，我们专注于针对多标签分类器的非目标规避攻击。威胁的目标是在相同的输入扰动下，尽可能多的标签导致分类错误。我们的工作获得了深入的了解多标签对抗攻击的攻击的转移性的基础上的多标签分类器的功能特性的特征。通过建立对抗风险的信息论分析，我们揭示了攻击的可转移性水平如何决定分类器的可攻击性。此外，我们提出了一个以可转移性为中心的可攻击性评估，命名为软攻击性估计（SAE），以评估目标多标签分类器的内在脆弱性水平。然后将该估计器作为可转移性调整正则化项集成到多标签学习范式中，以实现对抗性鲁棒分类。对真实数据的实验研究与理论分析相呼应，验证了可迁移正则化多标记学习方法的有效性。
2021-06-29 cs.CR cs.LG
Provably Robust Deep Learning via Adversarially Trained Smoothed Classifiers
Microsoft Research AI（微软研究院人工智能部门）
最近的工作已经显示了随机平滑作为用于构建基于神经网络的分类器的可扩展技术的有效性，所述基于神经网络的分类器可证明对$\ell_2$范数对抗性扰动是鲁棒的。在本文中，我们采用对抗训练来提高随机平滑的性能。我们为平滑分类器设计了一种自适应攻击，并展示了这种攻击如何用于对抗性训练环境，以提高平滑分类器的可证明鲁棒性。我们通过大量的实验证明，我们的方法在ImageNet和CIFAR-10上始终优于所有现有的可证明的$\ell_2$ -鲁棒分类器，为可证明的$\ell_2$ -防御建立了最先进的技术。此外，我们发现预训练和半监督学习进一步提高了逆向训练的平滑分类器。我们的代码和训练模型可以在http://github.com/Hadisalman/smoothing-adversarial上找到。
2020-01-10 cs.CR cs.LG stat.ML
Strength in Numbers: Trading-off Robustness and Computation via Adversarially-Trained Ensembles
DeepMind（深度思维）
虽然深度学习在许多具有挑战性的问题上取得了显着的成果，但研究人员发现了神经网络在对抗环境中的脆弱性，在这种环境中，对输入的微小但精心选择的扰动可能会使模型产生极不准确的输出。这使得这些模型特别不适合安全关键应用领域（例如自动驾驶汽车），在这些领域中，鲁棒性非常重要。最近的工作表明，用逆向生成的数据增强训练可以提供一定程度的鲁棒性，以抵御测试时的攻击。在本文中，我们将探讨这种方法的规模，因为我们增加了计算预算的后卫。我们发现，增加逆向训练模型中的参数数量可以提高其鲁棒性，特别是在将整个集合作为单个模型进行逆向训练的同时，将较小的模型集合起来，这是一种比简单地使用较大的单个模型更有效的花费所述预算的方式。至关重要的是，我们证明了它是集成的对抗训练，而不是对抗训练模型的集成，这提供了鲁棒性。
2018-11-22 cs.CR cs.LG cs.NE
Inverting Adversarially Robust Networks for Image Synthesis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Auburn University（奥本大学）
尽管无条件特征反演是许多图像合成应用的基础，但训练反演器需要高计算预算，大解码容量和施加条件，例如自回归先验。为了解决这些局限性，我们建议使用adversarially鲁棒的表示作为特征反转的感知原语。我们训练一个对抗鲁棒的编码器来提取解纠缠和感知对齐的图像表示，使它们很容易可逆。通过使用编码器的镜像架构训练一个简单的生成器，我们实现了优于标准模型的重建质量和泛化能力。在此基础上，我们提出了一个对抗鲁棒的自动编码器，并证明了其改进的性能上的风格转移，图像去噪和异常检测任务。与最近的ImageNet特征反演方法相比，我们的模型以更低的复杂性获得了更好的性能。
2022-10-21 cs.CV cs.LG cs.NE
Weight-Covariance Alignment for Adversarially Robust Neural Networks
University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）
随机神经网络（SNN），注入噪声到其隐藏层最近已被证明对对抗攻击实现强大的鲁棒性。然而，现有的SNN通常是基于竞争性动机的，并且通常依赖于对抗性训练，这在计算上是昂贵的。我们提出了一种新的SNN，它在不依赖对抗训练的情况下实现了最先进的性能，并具有坚实的理论依据。具体来说，虽然现有的SNN注入学习或手动调整的各向同性噪声，但我们的SNN学习各向异性噪声分布，以优化对抗鲁棒性的学习理论界限。我们评估我们的方法在一些流行的基准，表明它可以应用于不同的架构，它提供了各种白盒和黑盒攻击的鲁棒性，同时简单，快速的训练相比，现有的替代品。
2021-05-26 cs.CR cs.CV cs.LG
Adversarially Robust Streaming Algorithms via Differential Privacy
Bar-Ilan University（巴伊兰大学）；Google（谷歌）；Tel Aviv University（特拉维夫大学）；Ben-Gurion University（本-古里安大学）
如果即使在数据流被自适应对手恶意选择时也能保持其准确性保证，则流算法被称为对抗鲁棒的。我们建立了一个连接对抗鲁棒性的流媒体算法和差分隐私的概念。这种连接使我们能够设计新的对抗强大的流算法，优于目前的最先进的结构，许多有趣的制度的参数。
2020-04-13 cs.DS cs.LG
Adversarially Robust Learning: A Generic Minimax Optimal Learner and Characterization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Purdue University（普渡大学）
我们提出了一个极大极小最优学习器的问题，学习预测强大的对抗性的例子在测试时。有趣的是，我们发现这需要新的算法思想和方法来对抗鲁棒学习。特别是，我们在强烈的负面意义上展示了Montasser，Hanneke和Srebro（2019）提出的鲁棒学习器的次优性，以及我们确定为本地学习器的更广泛的学习器家族。我们的结果是通过采用全局视角，特别是通过一个关键的技术贡献：全局一包含图，这可能是独立的利益，推广了经典的一包含图，由于Haussler，Littlestone，和Warcourt（1994）。最后，作为一个副产品，我们确定了一个维度定性和定量地表征什么类的预测$\mathcal{H}$是鲁棒学习。这解决了Montasser等人（2019）提出的一个开放问题，并缩小了对抗鲁棒学习样本复杂度的上界和下界之间的（潜在的）无限差距。
2022-09-15 cs.LG stat.ML
Deep Adversarially-Enhanced k-Nearest Neighbors
University of Michigan（密歇根大学）
最近的研究从理论和经验上表明，深度神经网络（DNN）对小扰动具有固有的脆弱性。应用深度k最近邻（DkNN）分类器，我们观察到随着层的深入，鲁棒性-准确性权衡显着增加。在这项工作中，我们提出了一种深度逆向增强的k最近邻（DAEkNN）方法，该方法比DkNN具有更高的鲁棒性，并通过两个关键要素减轻了深层中的鲁棒性-准确性权衡。首先，DAEkNN基于一个逆向训练的模型。其次，DAEkNN通过利用良性和对抗性训练数据的加权组合进行预测。从经验上讲，我们发现DAEkNN在MNIST和CIFAR-10数据集上提高了鲁棒性和鲁棒性-准确性权衡。
2021-10-07 cs.AI cs.CV cs.LG
Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
机器学习（ML）的鲁棒性和领域泛化从根本上是相关的：它们本质上分别涉及对抗和自然环境下的数据分布偏移。一方面，最近的研究表明，更强大的（对抗性训练）模型更具泛化性。另一方面，对它们的基本联系缺乏理论上的理解。在本文中，我们探讨正则化和域可转移性之间的关系，考虑不同的因素，如范数正则化和数据增强（DA）。我们提出了一个一般的理论框架，证明涉及模型函数类正则化的因素是相对域可转移性的充分条件。我们的分析表明，“鲁棒性”对于可转移性来说既不是必要的，也不是充分的;相反，正则化是理解域可转移性的一个更基本的视角。然后，我们讨论了流行的DA协议（包括对抗训练），并展示了在某些条件下，它们何时可以被视为函数类正则化，从而提高泛化能力。我们进行了大量的实验来验证我们的理论研究结果，并显示了几个反例，其中鲁棒性和泛化在不同的数据集上呈负相关。
2022-06-23 cs.LG
Adversarially Robust Medical Classification via Attentive Convolutional Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
基于卷积神经网络的医学图像分类器已被证明特别容易受到对抗性示例的影响。这种不稳定性在未来的自动诊断中可能是不可接受的。虽然统计对抗性示例检测方法已被证明是有效的防御机制，但还需要进行更多的研究，以调查基于深度学习的系统的基本漏洞，以及如何最好地构建模型，以最大限度地提高传统和鲁棒的准确性。本文提出了在基于CNN的医学图像分类器中包含注意力机制，作为一种可靠有效的策略，用于在不牺牲的情况下提高鲁棒性准确性。这种方法能够在典型的对抗场景中将鲁棒准确率提高16%，在极端情况下提高2700%。
2022-10-26 cs.CR cs.CV cs.LG
Exploring the Relationship between Architecture and Adversarially Robust Generalization
SenseTime（商汤科技）；Zhongguancun Laboratory（中关村实验室）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；JD Explore Academy（京东探索研究院）；Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）；Zhejiang University（浙江大学）
对抗性训练已被证明是防御对抗性示例的最有效的补救措施之一，但它经常受到不可见测试对手的巨大鲁棒性泛化差距的影响，被认为是对抗性鲁棒泛化问题。尽管初步的理解致力于对抗性强的泛化，很少有人知道从架构的角度。为了弥补这一空白，本文首次系统地研究了对抗鲁棒泛化与体系结构设计之间的关系。特别是，我们全面评估了ImageNette和CIFAR-10数据集上20个最具代表性的对抗训练架构，以应对多个“p-范数对抗攻击”。基于广泛的实验，我们发现，在对齐设置下，视觉Transformer（例如，PVT，CoAtNet）通常会产生更好的对抗性鲁棒泛化能力，而CNN往往会在特定攻击上过度拟合，并且无法在多个对手上泛化。为了更好地理解其背后的本质，我们通过Rademacher复杂性的镜头进行理论分析。我们揭示了这样一个事实，即更高的权重稀疏性显著有助于Transformers更好的对抗鲁棒泛化，这通常可以通过专门设计的注意力块来实现。我们希望我们的论文可以帮助更好地理解设计鲁棒DNN的机制。我们的模型权重可以在http://robust.art上找到。
2023-03-10 cs.LG
The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Research, Mountain View（谷歌研究院（山景城））
我们研究了在分布无关的PAC模型中半空间的对抗鲁棒正确学习的计算复杂性，重点是$L_p$扰动。我们给出了一个计算效率高的学习算法和一个几乎匹配的计算硬度的结果，这个问题。我们的研究结果的一个有趣的含义是，$L_{\infty}$扰动的情况下，可证明计算困难的情况下$2 \leq p < \infty$。
2020-07-30 cs.CC cs.DS cs.LG
The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization
Yale University（耶鲁大学）；Yale Institute for Network Science（耶鲁网络科学研究所）
对抗性训练已经显示出其在产生对输入数据的扰动具有鲁棒性的模型方面的能力，但通常以降低标准精度为代价。为了缓解这个问题，通常认为更多的训练数据将最终帮助这种对抗鲁棒模型更好地推广良性/未扰动的测试数据。然而，在本文中，我们挑战了这种传统的信念，并表明，更多的训练数据可以伤害的泛化的对抗性强大的模型在分类问题。我们首先研究了高斯混合分类与线性损失，并确定三个政权的对手的实力的基础上。在弱对抗机制中，更多的数据提高了对抗鲁棒模型的泛化能力。在中等对抗状态下，随着训练数据的增加，泛化损失呈现出双下降曲线，这意味着存在一个中间阶段，更多的训练数据会损害泛化。在强对抗状态下，更多的数据几乎立即导致泛化误差增加。然后，我们转移到一个二维分类问题的分析与0-1损失。我们证明了更多的数据总是会损害具有大扰动的逆向训练模型的泛化性能。为了补充我们的理论结果，我们进行了实证研究高斯混合分类，支持向量机（SVM），和线性回归。
2020-06-05 cs.LG stat.ML
Adversarially Robust Learning with Unknown Perturbation Sets
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们研究了学习预测器的问题，这些预测器对于未知扰动集的对抗性示例是鲁棒的，而是依赖于与对抗性攻击者的交互或访问攻击预言机，检查这种交互的不同模型。我们得到的样本的复杂性和上限和下限上所需的相互作用的数量，或成功的攻击的数量，在不同的相互作用模型，在VC和Littlestone维度的假设类的预测，没有任何假设的扰动集。
2021-02-03 cs.LG stat.ML
Adversarially Robust Training through Structured Gradient Regularization
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
我们提出了一种新的数据依赖的结构化梯度正则化器，以增加神经网络的鲁棒性与对抗性扰动。我们的正则化器可以作为第一原理的受控近似导出，利用噪声训练和正则化之间的基本联系。它在学习过程中增加的计算开销很少，并且在标准深度学习框架中易于实现。我们的实验提供了强有力的证据，证明结构化梯度正则化可以作为有效的第一道防线，抵御基于低级别信号损坏的攻击。
2018-05-22 cs.LG stat.ML
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO（联邦科学与工业研究组织数据61研究院）；Monash University（莫纳什大学）
本文研究分布式预测器的对抗鲁棒性，提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验，并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University（西南交通大学）
卷积神经网络（CNN）在图像分类任务中已经实现了超越人类水平的准确性，并广泛应用于现实世界的环境中。然而，CNN显示出对抗性扰动的脆弱性，这些扰动是精心设计的噪声，旨在误导分类模型。为了抵御对抗性扰动，提出了对抗性训练的GAN（AT GAN），以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中，以去除模糊梯度，这可能导致在防御对抗性扰动时产生错误的感觉，并且在现有的基于GAN的对抗性防御方法中常见。此外，ATGAN采用图像到图像生成器作为数据增强，以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明，该方法不依赖于模糊梯度，并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Sparta: Spatially Attentive and Adversarially Robust Activation
Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；New York University（纽约大学）；Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）；University of South Carolina（南卡罗来纳大学）
对抗性训练（AT）是提高深度卷积神经网络（CNN）鲁棒性的最有效方法之一。就像普通的网络训练一样，AT的有效性依赖于基本网络组件的设计。在本文中，我们深入研究了AT中基本ReLU激活组件在鲁棒CNN中的作用。我们发现，ReLU激活的空间共享和输入无关特性使得CNN对标准或对抗训练的白盒对抗攻击的鲁棒性较低。为了解决这个问题，我们将ReLU扩展到一个新的Sparta激活函数（空间注意和对抗鲁棒激活），它使CNN能够实现更高的鲁棒性，即，对抗性示例的较低出错率，以及较高的准确性，即，与现有的最先进的（SOTA）激活函数相比，在干净的示例上具有更低的出错率。我们进一步研究了Sparta和SOTA激活函数之间的关系，为我们的方法的优势提供了更多见解。通过全面的实验，我们还发现所提出的方法具有优越的跨CNN和跨数据集的可移植性。对于前者，针对一个CNN的经对抗训练的斯巴达函数（例如，ResNet-18）可以被固定并直接用于训练另一个对抗鲁棒的CNN（例如，ResNet-34）。对于后者，Sparta函数在一个数据集上训练（例如，CIFAR-10）可以用于在另一个数据集（例如，SVHN）。在这两种情况下，Sparta导致CNN比vanilla ReLU具有更高的鲁棒性，验证了所提出方法的灵活性和多功能性。
2022-12-03 cs.CV cs.LG
Theoretical Foundations of Adversarially Robust Learning
The Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该论文从理论视角研究机器学习对抗鲁棒性问题，提出新的问题表述、可证明鲁棒的学习算法，并刻画鲁棒学习复杂度与算法性能的根本局限，推动对抗鲁棒学习的理论发展。
2023-06-13 cs.CR cs.LG stat.ML
The Price of Implicit Bias in Adversarially Robust Generalization
New York University（纽约大学）；TTI-Chicago（芝加哥TTI学院）；Meta FAIR
本文研究鲁棒ERM中优化隐式偏差对鲁棒泛化的影响，揭示其通过优化算法和架构两种途径显著影响模型鲁棒性，并通过模拟与深度神经网络实验加以验证。
2024-06-07 cs.LG stat.ML
Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
University of Virginia（弗吉尼亚大学）
训练对对抗性输入具有鲁棒性的机器学习模型带来了看似不可逾越的挑战。为了更好地理解对抗鲁棒性，我们考虑学习鲁棒表示的基本问题。我们开发了一个概念的表示脆弱性，捕获的最大变化的互信息之间的输入和输出分布，在最坏的情况下输入扰动。然后，我们证明了一个定理，该定理建立了一个最小对抗风险的下限，该下限可以根据其表示漏洞为任何下游分类器实现。我们提出了一种无监督学习方法，通过最大化输入和输出分布之间的最坏情况下的互信息来获得本质上鲁棒的表示。对下游分类任务的实验支持使用无监督学习和我们的训练原则发现的表示的鲁棒性。
2020-07-05 cs.CR cs.IT cs.LG
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
