Anomaly Detection of Adversarial Examples using Class-conditional Generative Adversarial Networks
Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）已被证明容易受到测试时规避攻击（TTE或对抗性示例）的影响，这些攻击通过对输入进行微小的更改，改变DNN的决策。我们提出了一种基于类条件生成对抗网络（GANs）的DNN分类器的无监督攻击检测器。我们通过辅助分类器GAN（AC-GAN）对预测类标签条件下的干净数据的分布进行建模。给定测试样本及其预测类，基于AC-GAN生成器和鉴别器计算三个检测统计量。在各种TTE攻击下的图像分类数据集上的实验表明，该方法优于以往的检测方法。我们还研究了使用不同DNN层（输入特征或内部层特征）进行异常检测的有效性，并证明，正如人们所料，使用更接近DNN输出层的特征更难检测到异常。
2022-05-12 cs.LG eess.IV
On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks
Deakin University（迪肯大学）
在本文中，我们证明了生成对抗网络（GANs）即使在被训练为近似单个目标分布时也会遭受灾难性遗忘。我们表明，GAN训练是一个持续学习问题，其中改变模型分布的序列就是鉴别器的任务序列。序列中任务之间的不匹配程度决定了遗忘的程度。灾难性遗忘与模式坍塌相关，并且可以使GANs的训练不收敛。我们研究了GANs不同变体中的训练器输出的情况，发现当GAN收敛到一个良好的均衡时，真实的训练数据点是训练器的宽局部最大值。我们经验性地展示了局部最大值的锐度与GANs中的模式坍塌和泛化之间的关系。我们展示了灾难性遗忘如何防止真实数据点的局部极大值，从而导致不收敛。最后，我们研究了在GANs中防止灾难性遗忘的方法。
2020-03-21 cs.LG stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Software Innovation Center（NTT软件创新中心）；NTT Communication Science Laboratories（NTT通信科学实验室）
对抗性训练正在被积极研究，以针对对抗性示例学习鲁棒模型。最近的一项研究发现，对抗训练的模型在对抗示例上的泛化性能会退化，因为它们的权重损失景观（即权重损失变化）是尖锐的。不幸的是，实验表明对抗性训练可以改善减肥效果，但这种现象尚未在理论上得到澄清。为此，本文从理论上对这一现象进行了分析。作为第一步，本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明，减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的，这在对抗训练中使用。我们从理论上和实验上证实，在线性逻辑斯谛回归模型中，随着对抗训练噪声的增加，体重减轻的情况变得更加尖锐。此外，我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
Predicting Landscapes from Environmental Conditions Using Generative Networks
Institute of Data Science（数据科学研究所）；German Aerospace Center (DLR)（德国航空航天中心）；Max-Planck-Institute for Biogeochemistry（马克斯·普朗克生物地球化学研究所）；Friedrich-Schiller-Universität（弗里德里希-席勒大学）
景观是有意义的生态单元，强烈依赖于环境条件。自地球科学诞生以来，人们就注意到地貌与环境之间的这种依存关系，并将其纳入描述气候、地质、植被和地貌相互依存关系的概念模型中。在这里，我们问景观，从空间看，是否可以从相关的环境条件统计预测。为此，我们采用了一种深度学习生成模型，以建立环境条件与Sentinel-2卫星景观视图之间的关系。我们训练了一个有条件的生成对抗网络来生成多光谱图像，给出了一组气候，地形和人为预测。生成的景观图像与真实的景观图像有许多共同的特征。基于景观斑块指标，指示景观组成和结构的结果表明，所提出的生成模型创建的景观比基线模型的目标更相似，而整体反射率和植被覆盖更好地预测。我们证明，在许多目的所产生的景观表现为真实的全球变化研究的直接应用程序。我们设想应用机器学习作为一种工具来预测气候变化对景观空间特征的影响，同时我们评估其局限性和突破点。
2019-09-23 cs.CV cs.LG
A Closer Look at the Adversarial Robustness of Information Bottleneck Models
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
研究了信息瓶颈分类模型的对抗鲁棒性。以前的工作表明，用信息瓶颈训练的模型的鲁棒性可以提高对抗性训练。我们在各种白盒$l_{\infty}$攻击下的评估表明，信息瓶颈本身并不是一个强大的防御策略，以前的结果可能受到梯度混淆的影响。
2021-07-12 cs.LG
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research（IBM研究院）；IBM Research Ireland（IBM爱尔兰研究院）；IBM Research India（IBM印度研究院）
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中，我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析，说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明，出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂，因此没有有效的一刀切的参数设置存在。然后，我们证明，我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现，我们提出了一种实用的方法，该方法利用超参数优化技术来调整对抗训练，以最大限度地提高鲁棒性，同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
Adversarial Weight Perturbation Helps Robust Generalization
Tsinghua University（清华大学）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）；Key Lab. of Machine Perception (MoE), School of EECS, Peking University（北京大学信息科学技术学院机器感知教育部重点实验室）
提高深度神经网络对对抗性样本鲁棒性的研究近年来发展迅速。其中，对抗性训练是最有前途的一种，它通过对对抗性扰动样本进行训练来评估输入损失景观（相对于输入的损失变化）。然而，广泛使用的减肥景观（相对于体重的损失变化）在对抗训练中的表现却很少被探讨。本文从一个新的角度研究了权重损失景观，并确定了权重损失景观的平坦性与鲁棒泛化差距之间的明显相关性。几个公认的对抗性训练改进，如提前停止，设计新的目标函数，或利用未标记的数据，都隐含地使减肥前景变得平坦。基于这些观察结果，我们提出了一个简单而有效的对抗性权重扰动（AWP）来显式地正则化权重损失景观的平坦性，在对抗性训练框架中形成了一个双扰动机制，对抗性地扰动输入和权重。大量的实验表明，AWP确实带来了更平坦的减肥景观，并且可以很容易地融入各种现有的对抗训练方法中，以进一步提高其对抗鲁棒性。
2020-10-13 cs.CV cs.LG stat.ML
A Closer Look at the Adversarial Robustness of Deep Equilibrium Models
Tsinghua University（清华大学）；Sea AI Lab（Sea人工智能实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文研究一般DEQ的经验对抗鲁棒性，通过估计中间梯度并接入攻击流程消除梯度混淆，实现白盒评估与有效防御，实验表明其鲁棒性可与同规模深度网络竞争。
2023-06-02 cs.LG stat.ML
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University（东北大学）；IBM Research（IBM研究院）
模式连通性为分析损失景观提供了新的几何见解，并能够在训练有素的神经网络之间构建高精度路径。在这项工作中，我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性，并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时，我们的研究结果表明，使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响，同时保持干净数据的原始准确性。因此，模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明，在连接常规和对抗训练模型的路径上，对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性，并给出了理论证明。我们的研究结果表明，模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
MaskAAE: Latent space optimization for Adversarial Auto-Encoders
IIT Delhi（德里印度理工学院）；Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）；TIFR（塔塔基础研究院）
神经生成模型领域由非常成功的生成对抗网络（GANs）主导，尽管它们面临着训练不稳定性和模式坍塌等挑战。具有正则化潜在空间的自动编码器（AE）为生成模型提供了一个替代框架，尽管它们的性能水平还没有达到GANs的水平。在这项工作中，我们假设AE模型的潜在空间的维度对生成的数据的质量有着至关重要的影响。假设自然产生的数据从一个“真正的”生成的潜在空间，然后由一个确定性的功能采样，我们表明，获得最佳性能时，AE模型的潜在空间的维数与“真正的”生成的潜在空间相匹配。此外，我们提出了一种称为掩码对抗自动编码器（MaskAAE）的算法，其中对抗自动编码器的潜在空间的维度通过一个过程来掩盖虚假的潜在维度，从而更接近“真实”生成潜在空间的维度。我们证明，通过实验合成和几个真实世界的数据集，所提出的配方产生更好的生成质量。
2020-05-17 cs.CV cs.LG
Understanding Adversarial Robustness Through Loss Landscape Geometries
UnifyID；Stanford University（斯坦福大学）
在深度学习中对解释和改进泛化的追求引起了正则化技术以及损失表面几何的可视化技术的努力。后者与社区中流行的直觉有关，即平坦的局部最优值会导致较低的泛化误差。在本文中，我们利用最先进的“过滤器归一化”技术的损失表面可视化定性地了解使用对抗性训练数据增强作为显式正则化技术的选择的后果。令我们惊讶的是，我们发现这种经常部署的对抗增强技术实际上并没有导致“更平坦”的损失景观，这需要重新思考对抗训练泛化以及泛化和损失景观几何之间的关系。
2019-07-22 cs.CR cs.LG stat.ML
Detecting fake accounts through Generative Adversarial Network in online social media
本文提出利用生成对抗网络和用户相似性度量，在Twitter数据集中检测假冒账户，实现了80%的AUC分类率。
2025-02-08 cs.AI cs.LG cs.SI
SEIGAN: Towards Compositional Image Generation by Simultaneously Learning to Segment, Enhance, and Inpaint
Samsung AI Center, Moscow, Russia（三星人工智能中心（莫斯科））；Steklov Mathematical Institute at St. Petersburg（圣彼得堡斯捷克洛夫数学研究所）；Neuromation OU, Tallinn, Estonia（塔林 Neuromation OU）
我们提出了一种新的方法来处理图像和理解，同时学习分割对象的面具，粘贴对象到另一个背景图像，并将它们从原始图像中删除。为此，我们开发了一种新的合成图像生成生成模型SEIGAN（Segment-Enhance-Inpaint生成对抗网络），它在对抗架构中一起学习这三个操作，并具有额外的周期一致性损失。为了进行训练，SEIGAN只需要限界框监督，不需要配对或地面真实掩码。SEIGAN比其他方法生成更好的生成图像（由人工评估员评估），并生成高质量的分割掩码，比其他对抗训练方法有所改进，更接近完全监督训练的结果。
2019-01-15 cs.CV cs.LG cs.NE
Adversarial Learning of Semantic Relevance in Text to Image Synthesis
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
我们描述了一种新的方法，它改进了生成对抗网络（GANs）的训练，用于从文本输入中合成不同的图像。我们的方法基于GANs的条件版本，并利用鉴别器中的辅助任务扩展了之前的工作。我们生成的图像不限于某些类，并且在语义上匹配文本输入时不会遭受模式坍塌。我们的训练方法的关键是如何形成关于给定图像的类标签的正面和负面训练样本。而不是选择随机的训练样本，我们执行负采样的基础上，从一个积极的例子在类的语义距离。我们使用Oxford-102花数据集评估我们的方法，采用初始分数和多尺度结构相似性指数（MS-SSIM）度量来评估所生成图像的可辨别性和多样性。实验结果表明，在生成的图像更大的多样性，特别是当我们逐渐选择更多的负面训练样本接近一个积极的例子在语义空间。
2019-02-05 cs.CL cs.CV cs.LG
A Closer Look at Adversarial Suffix Learning for Jailbreaking LLMs: Augmented Adversarial Trigger Learning
University of Virginia（弗吉尼亚大学）
ATLA通过增强的对抗触发学习方法，高效生成劫持大语言模型的后缀并提取隐藏系统提示，实现高成功率和低查询消耗。
2025-11-19 cs.AI cs.LG
Semantic Segmentation of Medium-Resolution Satellite Imagery using Conditional Generative Adversarial Networks
Radiant Earth Foundation（Radiant Earth基金会）；Benson Hill（Benson Hill公司）；Sunbird AI（Sunbird AI公司）
卫星图像的语义分割是识别模式和检测地球周围变化的常用方法。大多数最先进的语义分割模型都是使用卷积神经网络（CNN）以完全监督的方式进行训练的。对于卫星图像，CNN的泛化性能较差，因为数据在景观类型、图像分辨率以及不同地理和季节的标签稀缺性方面可能非常多样化。因此，CNN的性能并不能很好地转化为来自看不见的地区或季节的图像。受基于条件生成对抗网络（CGAN）的高分辨率卫星影像图像间转换方法的启发，提出了一种基于CGAN的中分辨率Sentinel-2影像土地覆盖分类框架。我们发现，CGAN模型优于CNN模型的相似的复杂性的显着保证金上看不见的不平衡的测试数据集。
2020-12-05 cs.CV cs.LG eess.IV
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
A Closer Look at Smoothness in Domain Adversarial Training
Indian Institute of Science（印度科学学院）；PES University（PES大学）；Amazon（亚马逊）
领域对抗训练已经普遍用于实现不变表示，并广泛用于各种领域自适应任务。近年来，收敛到平滑最优值的方法已经显示出对监督学习任务（如分类）的改进的泛化。在这项工作中，我们分析了平滑增强配方对领域对抗训练的影响，其目标是任务损失（例如，分类、回归等）和对抗性条款我们发现，收敛到一个光滑的最小值关于（w.r.t.）任务丢失使对抗训练稳定，从而在目标域上产生更好的性能。与任务丢失相反，我们的分析表明，收敛到平滑最小值w.r.t.对抗性损失导致目标域上的次优泛化。基于分析，我们引入了平滑域对抗训练（SDAT）过程，该过程有效地增强了现有域对抗方法在分类和目标检测任务中的性能。我们的分析还提供了对SGD在社区中广泛使用Adam进行域对抗训练的见解。
2022-06-16 cs.CV cs.LG
Behind the leaves -- Estimation of occluded grapevine berries with conditional generative adversarial networks
University of Bonn（波恩大学）；University of Applied Sciences Koblenz（科布伦茨应用科学大学）；Julius Kühn-Institut, Federal Research Centre of Cultivated Plants（朱利叶斯·库恩研究所，联邦栽培植物研究中心）
由于全球葡萄酒市场的竞争日益激烈，对葡萄栽培产量进行准确评估的需求变得越来越重要。估计收获的最有前途的方法之一是浆果计数，因为它可以非破坏性地接近，并且其过程可以自动化。在这篇文章中，我们提出了一种方法，该方法解决了用叶子遮挡浆果的挑战，以获得更准确的浆果数量估计，从而能够更好地估计收获。我们使用生成对抗网络，这是一种基于深度学习的方法，它利用从非遮挡浆果图像中学习到的模式，在叶子后面生成一个可能的场景。我们的实验表明，应用我们的方法后的浆果数量的估计更接近人工计数的参考。与将因子应用于浆果计数相比，我们的方法通过直接涉及可见浆果的外观来更好地适应当地条件。此外，我们表明，我们的方法可以识别图像中的哪些区域应该通过添加新的浆果而无需明确要求有关隐藏区域的信息。
2021-05-21 cs.CV cs.LG cs.NE
Adaptive versus Standard Descent Methods and Robustness Against Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
对抗性示例是机器学习模型的一种普遍现象，其中对输入的看似不可察觉的扰动导致对其他统计准确模型的错误分类。在本文中，我们研究了优化算法的选择如何影响所得分类器对抗性示例的鲁棒性。具体来说，我们展示了一个学习问题的解决方案，发现自适应优化算法表现出定性更差的鲁棒性对$L_{2}$ -和$L_{\infty}$ -对手比非自适应算法的解决方案。然后，我们充分表征的损失景观的$L_{2}$的几何形状-对抗性训练的最小二乘线性回归。损失景观的几何形状是微妙的，对优化算法有重要影响。最后，我们提供的实验证据表明，非自适应方法始终比自适应方法产生更强大的模型。
2020-02-08 cs.LG stat.ML
DeepLandscape: Adversarial Modeling of Landscape Video
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们建立了一个新的景观视频模型，可以在静态景观图像和景观动画的混合物上进行训练。我们的架构扩展了StyleGAN模型，通过使用允许对场景中的动态变化进行建模的部件对其进行增强。一旦经过训练，我们的模型就可以用来生成逼真的延时景观视频，其中包含移动的物体和一天中的时间变化。此外，通过将学习的模型拟合到静态景观图像，后者可以以现实的方式再现。我们对StyleGAN反演过程提出了简单但必要的修改，这导致了域内潜码并允许操纵真实图像。定量比较和用户研究表明，我们的模型产生更引人注目的动画给定的照片比以前提出的方法。我们的方法的结果（包括与现有技术的比较）可以在补充材料和项目页面https://saic-mdal.github.io/deep-landscape中查看
2020-08-21 cs.CV cs.GR cs.LG
Attacking Adversarial Defences by Smoothing the Loss Landscape
University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）
本文研究了一系列防御对抗攻击的方法，这些方法的成功部分归功于创建一个嘈杂的、不连续的或其他崎岖的损失环境，使对手难以驾驭。一种常见但不通用的实现这种效果的方法是通过使用随机神经网络。我们证明了这是梯度混淆的一种形式，并提出了基于维尔斯特拉斯变换的基于梯度的对手的一般扩展，它平滑了损失函数的表面并提供了更可靠的梯度估计。我们进一步表明，同样的原则可以加强无梯度的对手。我们证明了我们的损失平滑方法对随机和非随机对抗性防御的有效性，这些防御由于这种类型的混淆而表现出鲁棒性。此外，我们还分析了它如何与期望转换相互作用;目前用于攻击随机防御的流行梯度采样方法。
2022-08-05 cs.CR cs.CV cs.LG
Relating Adversarially Robust Generalization to Flat Minima
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Tübingen（图宾根大学）
对抗性训练（AT）已经成为获得对抗性样本鲁棒模型的事实标准。然而，AT表现出严重的鲁棒过拟合：对抗样本上的交叉熵损失，即所谓的鲁棒损失，在训练样本上不断减少，而在测试样本上最终增加。在实践中，这导致了较差的鲁棒泛化，即，对抗鲁棒性不能很好地推广到新的示例。在本文中，我们研究了鲁棒泛化和鲁棒损失景观在权空间中的平坦性之间的关系，即，当扰动权重时，鲁棒损失是否显著变化。为此，我们提出了平均和最坏情况下的指标来衡量平坦的鲁棒损失景观和良好的鲁棒泛化和平坦度之间的相关性。例如，在整个训练过程中，平坦度在过拟合期间显著降低，使得早期停止有效地在鲁棒损失景观中找到平坦的最小值。类似地，实现更高对抗鲁棒性的AT变体也对应于更平坦的最小值。这适用于许多流行的选择，例如，AT-AWP、TRADES、MART、AT，具有自我监督或额外的未标记示例，以及简单的正则化技术，例如，自动增强、权重衰减或标签噪声。为了在这些方法之间进行公平比较，我们的平坦度测量是专门设计为尺度不变的，我们进行了大量的实验来验证我们的发现。
2021-10-06 cs.CV cs.LG stat.ML
Closer Look at the Transferability of Adversarial Examples: How They Fool Different Models Differently
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Science, VNU-HCM（越南国立大学胡志明市分校科学大学）；Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
深度神经网络容易受到对抗性示例（AE）的影响，这些示例具有对抗性可转移性：为源模型生成的AE可能会误导另一个（目标）模型的预测。然而，在哪类目标模型的预测被误导的方面，可转移性还没有被理解（即，类感知可转移性）。在本文中，我们区分的情况下，目标模型预测相同的错误类作为源模型（“相同的错误”）或不同的错误类（“不同的错误”）进行分析，并提供一个机制的解释。我们发现（1）AE倾向于导致相同的错误，这与“非目标可转移性”相关;然而，（2）即使在相似的模型之间也会发生不同的错误，无论扰动大小如何。此外，我们提出的证据表明，相同的错误和不同的错误之间的差异可以解释为非鲁棒性的功能，预测，但人类无法解释的模式：不同的错误发生时，AE中的非鲁棒性功能不同的模型使用。因此，非鲁棒特征可以为AE的类感知可转移性提供一致的解释。
2022-10-20 cs.CV cs.LG
Adversarial Attacks in Multimodal Systems: A Practitioner's Survey
Google（谷歌）
该综述针对多模态模型继承多模态脆弱性、对抗威胁加剧，且缺乏面向从业者的攻击类型梳理的问题，全面调研了四类模态的对抗攻击，梳理了威胁格局与演变，填补了相关研究空白。
2025-05-06 cs.AI cs.LG
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题，提出结合SAM对抗步骤与异步分布式采样的LSAM优化器，消除同步瓶颈、加快收敛且准确率更高，兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
Look Closer! An Adversarial Parametric Editing Framework for Hallucination Mitigation in VLMs
本文提出了一种对抗性参数编辑框架，通过激活-定位-编辑-对抗范式减轻视觉语言模型中的幻觉问题。
2025-12-26 cs.CV cs.LG
CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks
Jilin University（吉林大学）；Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管最近图神经网络（GNNs）在建模图数据方面取得了进展，但由于过拟合，在大型数据集上训练GNNs非常困难。对抗性训练通过使用最坏情况下的对抗性样本来增强数据，已被广泛证明可以提高模型对对抗攻击的鲁棒性和泛化能力。然而，虽然以前的对抗性训练通常侧重于保护GNN免受恶意攻击，但目前尚不清楚对抗性训练如何提高GNN在图分析问题中的泛化能力。在本文中，我们从权重和特征损失景观的角度研究GNN，即，损失分别相对于模型权重和节点特征而变化。我们得出的结论是，在这两个损失景观中，GNNs容易陷入尖锐的局部极小值，其中GNNs具有较差的泛化性能。为了解决这个问题，我们构建了共同对抗扰动（CAP）优化问题的权重和功能，并设计了交替对抗扰动算法，以平坦的重量和功能损失景观交替。此外，我们将训练过程分为两个阶段：一个阶段进行标准的交叉熵最小化，以确保GNN模型的快速收敛，另一个阶段应用我们的交替对抗训练，以避免陷入局部尖锐极小值。大量的实验表明，我们的CAP可以普遍提高GNN在各种基准图数据集上的泛化性能。
2021-10-28 cs.LG
Convex Basins in Single-Index Model Loss Landscapes: Applications to Robust Recovery under Strong Adversarial Corruption
School of Technology and Computer Science, Tata Institute of Fundamental Research, Mumbai, India（技术与计算机科学学院，印度塔塔基础研究机构，孟买）
针对具有重尾噪声和对抗性腐败的单索引模型，提出首个基于凸盆地结构的鲁棒恢复算法，实现近线性样本和时间复杂度。
2026-08-11 cs.LG
Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing
本文研究针对 $l_0$ 范数稀疏扰动的快速对抗训练，发现损失地貌崎岖导致灾难性过拟合，提出 Fast-LS-$l_0$ 方法结合软标签与权衡损失函数平滑损失地貌，克服过拟合并缩小单步与多步训练性能差距。
2025-10-31 cs.AI cs.LG
Sharpness-Aware Geometric Defense for Robust Out-Of-Distribution Detection
Inventec Corporation（Inventec公司）；University at Albany – State University of New York（纽约州立大学阿尔巴尼分校）
针对现有OOD检测将对抗性ID样本误判为OOD的问题，提出锐度感知几何防御（SaGD）框架，通过平滑对抗损失景观提升嵌入质量，在多种攻击下显著提高FPR和AUC，揭示损失景观与检测性能的关系。
2025-08-24 cs.LG
Exploring the Landscape of Spatial Robustness
MIT（麻省理工学院）
对抗鲁棒性的研究主要集中在p-范数约束的扰动上。然而，最先进的模型也容易受到其他更自然的扰动，如平移和旋转。在这项工作中，我们彻底调查的脆弱性神经网络-基于分类旋转和平移。虽然数据增强提供了相对较小的鲁棒性，我们使用鲁棒优化和测试时输入聚合的想法，以显着提高鲁棒性。最后，我们发现，在p-范数的情况下，一阶方法不能可靠地找到最坏情况下的扰动。这突出了空间鲁棒性作为一个根本不同的设置，需要额外的研究。代码可在https://github.com/MadryLab/adversarial_spatial和https://github.com/MadryLab/spatial-pytorch上获得。
2019-09-16 cs.CV cs.LG cs.NE
Bridging Adversarial Robustness and Gradient Interpretability
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Satrec Initiative（Satrec Initiative公司）；SI Analytics
对抗性训练是一种训练方案，旨在通过使用对抗性示例增强训练数据集来对抗对抗攻击。令人惊讶的是，一些研究已经观察到，来自对抗训练的DNN的损失梯度比来自标准DNN的损失梯度在视觉上更容易解释。虽然这种现象很有趣，但只有少数作品提供了解释。在本文中，我们试图弥合对抗鲁棒性和梯度可解释性之间的差距。为此，我们确定了来自对抗训练的DNN的损失梯度与人类感知更好地对齐，因为对抗训练限制了更接近图像流形的梯度。然后，我们证明了对抗性训练导致损失梯度具有定量意义。最后，我们证明了在对抗训练框架下，测试准确性和损失梯度可解释性之间存在经验权衡，并提出了两种解决这种权衡的潜在方法。
2019-04-19 cs.AI cs.LG stat.ML
A Closer Look at Deep Learning Heuristics: Learning rate restarts, Warmup and Distillation
EPFL（洛桑联邦理工学院）；Salesforce Research（Salesforce研究院）
常见的深度学习模型的收敛速度和最终性能显著受益于诸如学习率调度、知识蒸馏、跳过连接和规范化层等算法。在缺乏理论基础的情况下，旨在解释这些策略的对照实验可以帮助我们理解深度学习的前景和训练动态。现有的实证分析方法依赖于线性插值和降维可视化工具，每个都有其局限性。相反，我们通过最近提出的损失表面和表示分析方法的镜头，即，模式连接性和典型相关分析（CCA），并假设的成功的原因的竞争力。特别是，我们使用模式连接性和CCA探索（cos）重启和预热的知识蒸馏和学习率启发式方法。我们的实证分析表明：（a）经常引用的余弦退火成功的原因在实践中并没有得到证明;（b）学习率预热的效果是防止更深层产生训练不稳定性;（c）教师共享的潜在知识主要分配给更深层。
2018-10-29 cs.LG stat.ML
Towards Understanding the Dynamics of the First-Order Adversaries
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；Institute of Advanced Study（高等研究院）
神经网络的一个公认的弱点是它们对输入的对抗性扰动的脆弱性。为了提高这些模型的鲁棒性，最流行的防御机制之一是使用投影梯度上升来最大化输入上的约束扰动（或称为对手）的损失，并最小化权重。在本文中，我们分析了动态的最大化步骤，以了解实验观察到的有效性，这种防御机制。具体来说，我们研究了一个两层神经网络的二次损失的对手的非凹景观。我们的主要结果证明，投影梯度上升找到一个局部最大值的非凹问题，在一个多项式的迭代次数具有很高的概率。据我们所知，这是第一个工作，提供了一个收敛分析的一阶对手。此外，我们的分析表明，在对抗训练的初始阶段，输入规模很重要，因为较小的输入规模会导致对抗训练的更快收敛和“更规则”的景观。最后，我们表明，这些理论研究结果与一系列的实验非常吻合。
2020-10-20 cs.LG stat.ML
AdvRush: Searching for Adversarially Robust Neural Architectures
Seoul National University（首尔大学）
深度神经网络继续以其卓越的性能让世界敬畏。然而，他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上，该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中，我们采取了一个步骤超越训练的权重参数，并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush，一种新的对抗鲁棒性感知神经结构搜索算法，基于一个发现，即独立的训练方法，神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器，有利于候选架构具有更平滑的输入损失景观，AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外，我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是，在CIFAR-10上，AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率，在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
2021-08-10 cs.AI cs.LG
A Closer Look at Memorization in Deep Networks
Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）；Polytechnique Montréal（蒙特利尔理工学院）；University of Bonn（波恩大学）
我们研究了记忆在深度学习中的作用，将其与能力、泛化和对抗鲁棒性联系起来。虽然深度网络能够记住噪声数据，但我们的研究结果表明，它们倾向于优先学习简单的模式。在我们的实验中，我们揭示了基于噪声与真实数据的深度神经网络（DNN）的梯度优化的质的差异。我们还证明，对于适当调整的显式正则化（例如，dropout），我们可以降低DNN在噪声数据集上的训练性能，而不会影响对真实数据的泛化。我们的分析表明，独立于数据集的有效容量的概念不太可能解释使用基于梯度的方法训练时深度网络的泛化性能，因为训练数据本身在确定记忆程度方面起着重要作用。
2017-07-01 cs.LG stat.ML
Learning to be adversarially robust and differentially private
DeepMind
我们研究的困难，在学习中产生的强大的和差分私有优化。我们首先研究了基于梯度下降的对抗训练与差分隐私的收敛性，以线性可分数据上的简单二进制分类任务为例。我们比较了私人和非私人环境中对抗性和名义风险之间的差距，表明私人优化引入的数据维度依赖项加剧了学习鲁棒模型的困难。在此之后，我们讨论了对抗训练和差分隐私的哪些部分会损害优化，发现差分隐私中的对抗扰动和裁剪范数的大小都会增加损失景观的曲率，这意味着泛化性能较差。
2022-01-06 cs.LG
An Analysis of Recent Advances in Deepfake Image Detection in an Evolving Threat Landscape
Virginia Tech（弗吉尼亚理工大学）
分析了8种深度伪造检测器在定制生成模型和视觉基础模型威胁下的泛化与防御漏洞，提出了基于内容无关特征、集成建模及对抗训练的防御改进方向。
2024-04-24 cs.CR cs.CV cs.LG
Landscape Learning for Neural Network Inversion
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）
许多机器学习方法通过在推理时反转神经网络来操作，这已经成为用于解决计算机视觉、机器人和图形学中的逆问题的流行技术。然而，这些方法通常涉及通过高度非凸损失景观的梯度下降，导致优化过程不稳定且缓慢。我们介绍了一种学习损失景观的方法，其中梯度下降是有效的，为反演过程带来了巨大的改进和加速。我们证明了这一优势的生成和判别任务，包括GAN反演，对抗性防御和三维人体姿态重建的方法。
2022-06-17 cs.CV cs.LG
Softmax-based Classification is k-means Clustering: Formal Proof, Consequences for Adversarial Attacks, and Improvement through Centroid Based Tailoring
我们正式证明了k-means聚类和基于softmax激活层的神经网络预测之间的联系。在现有的工作中，这种联系已经被经验分析，但它从来没有被数学推导出来。softmax函数将变换后的输入空间划分为锥，每个锥包含一个类。这相当于在变换后的空间中放置多个距原点等距离的质心，并通过与这些质心的接近度对数据点进行k均值聚类。Softmax只关心数据点落在哪个圆锥体中，而不关心它在圆锥体内离质心有多远。我们正式证明了具有小Lipschitz模（对应于对对抗攻击的低敏感性）的网络将数据点映射到更靠近聚类中心的位置，这导致映射到k均值友好空间。为了利用这些知识，我们提出了基于质心的裁剪作为神经网络最后一层中softmax函数的替代方案。由此产生的高斯网络具有与传统网络相似的预测精度，但不太容易受到单像素攻击;虽然本文的主要贡献是理论性的，但高斯网络提供了经验辅助优势。
2020-01-07 cs.LG stat.ML
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
Attack and defence in cellular decision-making: lessons from machine learning
McGill University（麦吉尔大学）
机器学习算法可以被精心设计的对抗性扰动所愚弄。这让人想起细胞决策，其中配体（称为拮抗剂）阻止正确的信号传导，如早期免疫识别。我们在机器学习中使用的神经网络和细胞决策模型（自适应校对）之间进行了正式的类比。我们将机器学习的攻击应用于简单的决策模型，并明确显示了弱结合配体对抗的对应关系。这种对抗在更多的非线性模型中是不存在的，这启发了我们在神经网络中实现仿生防御，过滤掉对抗性扰动。然后，我们将机器学习的梯度下降方法应用于不同的细胞决策模型，并揭示了存在两种制度，其特征在于存在或不存在梯度的临界点。这个临界点导致最强的对手靠近决策边界。这在鲁棒神经网络和细胞决策模型的损失景观中得到了验证，并在免疫细胞中进行了实验观察。对于这两种制度，我们解释了相关的防御机制如何塑造损失景观的几何形状，以及为什么不同的对抗性攻击在不同的制度是有效的。我们的工作将进化的细胞决策与机器学习联系起来，并激发了对抗性扰动的一般理论的设计，无论是在体内还是在计算机系统中。
2019-06-13 cs.LG physics.bio-ph stat.ML
Samples on Thin Ice: Re-Evaluating Adversarial Pruning of Neural Networks
University of Cagliari（卡利亚里大学）；Sapienza University of Rome（罗马第一大学）
本研究重新评估三种对抗性剪枝方法，发现其鲁棒性被高估，并揭示靠近决策边界的样本在剪枝后易被误分类，为未来设计更有效的对抗性剪枝方法提供方向。
2023-10-12 cs.CV cs.LG
Squeeze Training for Adversarial Robustness
Harbin Institute of Technology（哈尔滨工业大学）；Tencent Security Big Data Lab（腾讯安全大数据实验室）；UC Davis（加州大学戴维斯分校）
深度神经网络（DNN）对对抗性样本的脆弱性在机器学习社区引起了极大的关注。这个问题与通常获得的损失景观的非平坦性和非平滑性有关。通过对抗性示例增强训练（也称为，对抗训练）被认为是一种有效的补救办法。在本文中，我们强调了一些协作示例，这些示例在感知上几乎无法与对抗性和良性示例区分开来，但预测损失极低，可以用来增强对抗性训练。因此，提出了一种新的方法，以实现新的最先进的对抗鲁棒性。代码：www.example.com.
2023-02-10 cs.CR cs.CV cs.LG
Adversarial Robustness with Semi-Infinite Constrained Learning
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
尽管在许多应用中表现出色，但深度学习对输入扰动的脆弱性引发了人们对其在安全关键领域的使用的严重质疑。虽然对抗性训练可以在实践中缓解这个问题，但最先进的方法越来越依赖于应用程序，本质上是启发式的，并且在标称性能和鲁棒性之间存在根本的权衡。此外，寻找最坏情况扰动的问题是非凸的和欠参数化的，这两者都产生了不利的优化景观。因此，对抗性训练的理论和实践之间存在差距，特别是在对抗性训练何时以及为何有效方面。在本文中，我们采取约束学习的方法来解决这些问题，并提供了一个理论基础的鲁棒学习。特别是，我们利用半无限优化和非凸对偶理论来证明对抗训练等价于扰动分布上的统计问题，我们完全描述了这一点。值得注意的是，我们表明，以前的大量强大的训练技术可以恢复这些分布的特定的，次优的选择。利用这些见解，我们提出了一种混合朗之万蒙特卡罗方法，其中几种常见的算法（例如，PGD）是特殊情况。最后，我们证明了我们的方法可以减轻标称和鲁棒性能之间的权衡，在MNIST和CIFAR-10上产生最先进的结果。我们的代码可在https://github.com/arobey1/advbench上获得。
2021-10-29 cs.LG stat.ML
Smoothness Analysis of Adversarial Training
NTT（日本电报电话公司）
深度神经网络容易受到对抗攻击的攻击。近年来，对抗鲁棒性的研究主要集中在参数空间的损失景观，因为它与优化和泛化性能有关。这些研究得出结论，对抗训练的困难是由损失函数的非平滑性引起的：即，它梯度不是Lipschitz连续的。然而，这种分析忽略了对抗攻击对模型参数的依赖性。由于对抗攻击是针对模型进行优化的，因此它们应该依赖于参数。考虑到这种依赖性，我们更详细地分析了对抗训练的损失函数的平滑性，使用模型参数的最佳攻击。我们发现，对抗攻击的约束是造成非平滑性的原因之一，平滑性取决于约束的类型。具体地，$L_\infty$约束比$L_2$约束更可能导致非平滑性。此外，我们的分析意味着，如果我们相对于输入数据使损失函数平坦化，则对抗损失梯度的Lipschitz常数趋于增加。为了解决非平滑问题，我们证明EntropySGD可以平滑非平滑损失并提高对抗训练的性能。
2023-03-06 cs.AI cs.LG stat.ML
Robustness via curvature regularization, and vice versa
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；DeepMind（深度思维）
最先进的分类器已被证明在很大程度上容易受到对抗性扰动的影响。提高鲁棒性最有效的策略之一是对抗训练。在本文中，我们研究了对抗训练对分类景观和决策边界几何形状的影响。我们特别指出，对抗性训练会导致损失曲面相对于输入的曲率显著降低，从而导致网络的“线性”行为大幅增加。使用局部二次近似，我们提供了理论证据大的鲁棒性和小曲率之间的强关系的存在。为了进一步证明减少曲率对于提高鲁棒性的重要性，我们提出了一种新的正则化器，它直接最小化损失曲面的曲率，并导致与对抗训练相当的对抗鲁棒性。除了是对抗训练的更有效和更有原则的替代方案外，所提出的正则化器还证实了我们关于在数据点附近表现出准线性行为以实现鲁棒性的重要性的主张。
2018-11-23 cs.CV cs.LG stat.ML
Leveraging Speaker Embeddings with Adversarial Multi-task Learning for Age Group Classification
LG Uplus Corp.（LG Uplus公司）；LG AI Research（LG人工智能研究院）
最近，研究人员在说话人识别任务中利用基于神经网络的说话人嵌入技术来准确地识别说话人。然而，说话人区分嵌入并不总是代表语音特征，如年龄组。在经过高度训练以捕获说话人特征的嵌入模型中，年龄组分类的任务更接近于语音信息泄漏。因此，为了提高年龄组分类性能，我们考虑使用来自对抗性多任务学习的说话者区分嵌入来对齐特征并减少年龄子组中的域差异。此外，我们研究了不同类型的说话人嵌入，以学习和推广年龄组的域不变表示。在VoxCeleb Enrichment数据集上的实验结果验证了我们提出的自适应对抗网络在多目标场景中的有效性，并利用扬声器嵌入进行域适应任务。
2023-01-22 cs.LG eess.AS
Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples
DeepMind
对抗训练及其变体已经成为学习强大的深度神经网络的事实标准。在本文中，我们将探索对抗性训练的前景，以揭示其局限性。我们系统地研究了不同的训练损失，模型大小，激活函数，添加未标记数据（通过伪标记）和其他因素对对抗鲁棒性的影响。我们发现，通过结合更大的模型，Swish/SiLU激活和模型权重平均，可以训练远远超出最先进结果的鲁棒模型。我们证明了CIFAR-10和CIFAR-100对大小分别为$8/255$和$128/255$的$\ell_\infty$和$\ell_2$范数有界扰动的巨大改进。在具有附加未标记数据的设置中，我们在CIFAR-10上针对大小为$8/255$的$\ell_\infty$扰动获得了65.88%的攻击下的准确度（相对于现有技术+6.35%）。在没有额外数据的情况下，我们在攻击下获得了57.20%（+3.46%）的准确率。为了测试我们的研究结果的一般性，在没有任何额外修改的情况下，我们在CIFAR-10上针对大小为$128/255$的$\ell_2$扰动获得了80.53%（+7.62%）的攻击准确度，在CIFAR-100上针对大小为$8/255$的$\ell_\infty$扰动获得了36.88%（+8.46%）的攻击准确度。所有型号都可以在https://github.com/deepmind/deepmind-research/tree/master/advers…
2021-03-30 cs.AI cs.LG stat.ML
Overcoming Adversarial Attacks for Human-in-the-Loop Applications
CAE Inc.（CAE公司）；Air Force Research Laboratory（美国空军研究实验室）；Leidos Inc.（雷多斯公司）
针对人在回路评估工具因神经网络视觉解释图易遭对抗攻击而鲁棒性不足的问题，提出可引入人类视觉注意力模型提升人机图像分析系统的可解释性与鲁棒性，并指出当前核心挑战是实现对抗环境下HITL评估的鲁棒性。
2023-08-25 cs.CV cs.LG
Efficient Global Optimization of Two-Layer ReLU Networks: Quadratic-Time Algorithms and Adversarial Training
Department of Mechanical Engineering, University of California, Berkeley（机械工程系，加州大学伯克利分校）；Department of Electrical Engineering and Computer Science, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
针对人工神经网络训练的非凸优化难题，刻画ReLU网络凸训练近似解的质量，提出两种带全局收敛保证的高效算法，并构建适用于对抗训练的鲁棒凸训练公式。
2025-06-17 cs.LG
Randomized Adversarial Training via Taylor Expansion
Institute of Software, CAS（中国科学院软件研究所）；University of Liverpool（利物浦大学）；Lancaster University（兰卡斯特大学）
近年来，针对对抗性示例开发更强大的深度神经网络的研究出现了爆炸式增长。对抗训练似乎是最成功的方法之一。为了处理对抗性示例的鲁棒性和干净示例的准确性，许多工作开发了增强的对抗性训练方法，以实现它们之间的各种权衡。利用在训练期间平滑更新权重的研究可能有助于找到平坦最小值并提高泛化能力，我们建议从另一个角度协调鲁棒性-准确性权衡，即，通过将随机噪声添加到确定性权重中。随机化的权重使我们能够通过小高斯噪声的泰勒展开设计一种新的对抗训练方法，并且我们证明了新的对抗训练方法可以使损失景观变平并找到平坦的最小值。通过PGD、CW和自动攻击，一组广泛的实验表明，我们的方法增强了最先进的对抗训练方法，提高了鲁棒性和准确性。该代码可在https://github.com/Alexkael/Randomized-Adversarial-Training上获得。
2023-03-19 cs.AI cs.LG
Towards Robust Deep Neural Networks
Uber（优步）；University of Rochester（罗切斯特大学）
我们研究了前馈和卷积神经网络的灵敏度和鲁棒性。将计算化学中开发的能量景观技术与从正式方法中提取的工具相结合，我们产生了经验证据，表明与学习目标的优化景观中的最低点相对应的网络往往更强大。所使用的鲁棒性估计是一个建议的敏感性措施，我们定义为一个过逼近的网络输出下的所有添加剂$l_{\infty}$有界扰动的输入数据集的体积的逆。我们提出了一个新的损失函数，其中包括一个敏感性项，除了传统的面向任务和正则化条款。在我们对标准机器学习和计算机视觉数据集的实验中，我们表明，所提出的损失函数导致网络可靠地优化了鲁棒性度量以及对抗鲁棒性的其他相关度量，而不会显着降低分类错误。实验结果表明，所提出的方法优于最先进的基于敏感性的学习方法方面的对抗性攻击的鲁棒性。我们还表明，虽然引入的框架没有明确执行对抗性损失，但相对于这样做的方法，它实现了具有竞争力的整体性能。
2018-12-04 cond-mat.stat-mech cs.LG math.OC
