CausalAdv: Adversarial Robustness through the Lens of Causality
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
深度神经网络的对抗性脆弱性在机器学习中引起了极大的关注。由于因果推理具有对分布变化建模的本能，因此将因果关系纳入分析由对抗攻击引起的这种特定类型的分布变化是至关重要的。然而，在文献中仍然缺乏对抗攻击的直觉和鲁棒DNN的发展的因果公式。为了弥补这一差距，我们构建了一个因果图来模拟对抗性示例的生成过程，并定义了对抗性分布来形式化对抗攻击的直觉。从因果关系的角度来看，我们研究了自然分布和对抗性分布之间的区别，并得出结论，对抗性脆弱性的起源是虚假相关模型的焦点。受因果理解的启发，我们提出了因果启发的对抗分布对齐方法Causal Adv，通过考虑虚假相关性来消除自然分布和对抗分布之间的差异。大量的实验证明了所提出的方法的有效性。我们的工作是首次尝试使用因果关系来理解和减轻对抗性脆弱性。
2022-05-30 cs.LG
A Fourier Perspective on Model Robustness in Computer Vision
UC Berkeley（加州大学伯克利分校）；Google Research, Brain team（谷歌研究院大脑团队）
实现对分布偏移的鲁棒性是计算机视觉的长期且具有挑战性的目标。数据增强是用于提高鲁棒性的常用方法，然而鲁棒性增益通常跨损坏类型是不一致的。实际上，在存在随机噪声的情况下提高性能通常会遇到在诸如对比度变化的其他破坏上降低的性能。了解何时以及为什么会发生这种权衡是减轻它们的关键一步。为此，我们研究了最近观察到的由高斯数据增强和对抗训练引起的权衡。我们发现，这两种方法都提高了鲁棒性的腐败集中在高频域，而降低了鲁棒性的腐败集中在低频域。这表明，通过数据增强减轻这些权衡的一种方法是使用更多样化的增强集。为此，我们观察到，AutoAugment，最近提出的数据增强政策优化干净的准确性，实现了最先进的CIFAR-10-C基准的鲁棒性。
2020-09-17 cs.CV cs.LG stat.ML
Exploring Layerwise Adversarial Robustness Through the Lens of t-SNE
University of Coimbra（科英布拉大学）
本研究提出一种结合t-SNE可视化与嵌入对比指标的图像分类ANN分层对抗鲁棒性评估方法，经CIFAR-10上两类模型验证发现表征差异早期出现于特征提取层，为防御研究提供支撑。
2024-06-20 cs.AI cs.LG cs.NE
Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness
本文从对抗鲁棒性视角揭示差分注意的敏感性问题，发现其减法结构导致梯度范数增加和局部Lipschitz常数升高，实验显示DA在对抗攻击下更脆弱，揭示了选择性与鲁棒性间的根本权衡。
2026-03-14 cs.CR cs.LG
Adversarial robustness of VAEs through the lens of local geometry
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文利用编码器诱导的随机拉回度量张量分析 VAE 潜空间几何脆弱性，提出基于其特征谱的鲁棒性评分，并以 mixup 训练同时提升鲁棒性与重建质量。
2024-10-28 cs.AI cs.CV cs.LG
Adversarial Robustness through the Lens of Convolutional Filters
Offenburg University（奥芬堡大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Fraunhofer Research Center ML（弗劳恩霍夫机器学习研究中心）
深度学习模型本质上对输入数据中的分布偏移敏感。特别是，对输入数据的小的、几乎不可感知的扰动可以迫使模型做出具有高置信度的错误预测。一种常见的防御机制是通过对抗训练进行正则化，将最坏情况的扰动注入训练中，以加强决策边界并减少过拟合。在这种情况下，我们对在逆向训练模型中形成的3x 3卷积滤波器进行了研究。过滤器是从linf-RobustBench CIFAR-10/100和ImageNet 1 k排行榜的71个公共模型中提取的，并与从构建在相同架构上但未经鲁棒正则化训练的模型中提取的过滤器进行比较。我们观察到，对抗性强的模型似乎形成更多样化，稀疏性更低，更正交的卷积滤波器比他们的正常同行。鲁棒模型和正常模型之间的最大差异存在于最深层和第一个卷积层中，该卷积层始终主要形成可以部分消除扰动的滤波器，而与架构无关。数据和项目网站：https://github.com/paulgavrikov/cvpr22w_RobustnessThroughTheLens
2022-04-05 cs.AI cs.CV cs.LG
Bridging the Gap Between Adversarial Robustness and Optimization Bias
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；DeepMind（深度思维）；Google Research（谷歌研究院）；Mila（米拉研究院）
我们证明了优化器，神经网络架构和正则化器的选择显着影响线性神经网络的对抗鲁棒性，提供保证，而不需要对抗训练。为此，我们重新审视了一个已知的结果连接最大的强大的分类器和最小范数的解决方案，并结合它与最近的结果隐式偏置优化。首先，我们表明，在某些条件下，它是可以实现完美的标准精度和一定程度的鲁棒性，简单地通过训练过参数化模型使用隐式偏差的优化。在这种情况下，优化器的类型与模型对之具有鲁棒性的攻击之间存在直接关系。据我们所知，这项工作是第一次研究优化方法，如符号梯度下降和邻近方法对对抗鲁棒性的影响。其次，我们描述了线性卷积模型的鲁棒性，表明它们抵抗受傅立叶- $\ell_\infty$范数约束的攻击。为了说明这些发现，我们设计了一种新的傅立叶- $\ell_\infty$攻击，发现具有可控频率的对抗性例子。我们从标准的RobustBench基准测试中评估了对抗性训练的深度CIFAR-10模型的Fourier- $\ell_\infty$鲁棒性，并可视化对抗性扰动。
2021-06-07 cs.CV cs.LG stat.ML
Understanding vision transformer robustness through the lens of out-of-distribution detection
Vision and Image Processing Research Group, Department of Systems Design Engineering University of Waterloo（图像与图像处理研究组，系统设计工程系，滑铁卢大学）
研究通过分析不同视觉变换器在分布外检测中的表现，发现大规模预训练可能降低低比特量化鲁棒性，数据增强更具优势。
2026-02-01 cs.AI cs.CV cs.LG
Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Michigan（密歇根大学）；Tulane University（杜兰大学）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）
认证的鲁棒性保证衡量模型对测试时攻击的鲁棒性，并可以评估模型在现实世界中部署的准备情况。在这项工作中，我们批判性地研究了当最先进的可证明的鲁棒模型遇到分布外（OOD）数据时，基于随机平滑的认证方法的对抗鲁棒性保证如何变化。我们的分析表明，这些模型对低频OOD数据（如与天气相关的损坏）存在以前未知的脆弱性，使这些模型不适合在野外部署。为了缓解这个问题，我们提出了一种新的数据增强计划，FourierMix，产生增强，以提高频谱覆盖的训练数据。此外，我们提出了一个新的正则化，鼓励一致的预测噪声扰动的增强数据，以提高平滑模型的质量。我们发现，FourierMix增强有助于消除光谱偏差的证明强大的模型，使他们能够实现显着更好的鲁棒性保证一系列的OOD基准。我们的评估还揭示了当前OOD基准在突出模型的光谱偏差方面的无能。为此，我们提出了一个全面的基准套件，包含腐败从不同地区的频谱域。对使用流行的增强方法训练的模型进行评估，突出了它们的频谱偏差，并确定了FourierMix训练模型在整个频谱上OOD偏移下实现更好的认证鲁棒性保证的优越性。
2021-12-01 cs.AI cs.CR cs.LG
On the Privacy Effect of Data Enhancement via the Lens of Memorization
Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所）
本文从记忆化视角重新评估数据增强对机器学习模型隐私的影响，发现传统成员推理攻击存在误导性，并揭示了隐私、泛化差距与对抗鲁棒性之间的真实关联。
2024-03-23 cs.CR cs.CV cs.LG
A Comparative Analysis of Adversarial Robustness for Quantum and Classical Machine Learning Models
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）；Technical University of Munich（慕尼黑工业大学）
本文利用迁移攻击、扰动模式和Lipschitz界，系统比较了量子与经典机器学习模型的对抗鲁棒性，发现Fourier network可作为两者边界的中间地带，且正则化能提升量子网络的鲁棒性。
2024-04-24 cs.CR cs.LG quant-ph
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出回归鲁棒性的整合视角，揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡，二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features
KAUST（阿卜杜拉国王科技大学）；RWTH Aachen（亚琛工业大学）
该研究通过实验对比了两层神经网络中 SGD 与 ARFF 两种训练算法，发现 ARFF 的谱偏置更接近零，并在相同准确率下评估了二者对抗对抗性噪声攻击的鲁棒性差异。
2024-02-01 cs.LG stat.ML
Fourier-DeepONet: Fourier-enhanced deep operator networks for full waveform inversion with improved accuracy, generalizability, and robustness
Yale University（耶鲁大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出Fourier-DeepONet，将傅里叶神经算子作为DeepONet解码器并引入震源参数，以提升全波形反演在不同震源频率和位置下的精度、泛化性与鲁棒性。
2023-07-24 cs.LG physics.comp-ph physics.geo-ph
Improving Mapper's Robustness by Varying Resolution According to Lens-Space Density
University of Waterloo（滑铁卢大学）；Tutte Institute for Mathematics and Computing（塔特数学与计算研究所）；Government of Canada（加拿大政府）
提出一种改进的Mapper算法，通过根据透镜空间密度改变分辨率并推广覆盖类型，提高了参数变化下的鲁棒性，同时证明了其收敛性并提供了参考实现。
2025-04-01 cs.LG math.AT stat.ML
Towards Understanding Quality Challenges of the Federated Learning for Neural Networks: A First Look from the Lens of Robustness
University of Calgary（卡尔加里大学）；Technical University of Munich（慕尼黑工业大学）；University of Alberta（阿尔伯塔大学）；York University（约克大学）
联邦学习（FL）是一种分布式学习范式，它在利用所有参与者的整个数据集的同时保护用户的数据隐私。在FL中，多个模型在客户端上独立训练，并集中聚合，以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面非常出色，但FL仍然存在质量问题，例如攻击或拜占庭故障。最近的尝试已经解决了强大的聚合技术FL的质量挑战。然而，国家的最先进的（SOTA）强大的FL技术的有效性仍然不清楚，缺乏一个全面的研究。因此，为了更好地了解这些SOTA FL技术在存在攻击和故障的情况下的当前质量状况和挑战，我们进行了大规模的实证研究，从攻击、模拟故障（通过突变算子）和聚合（防御）方法的多个角度调查SOTA FL的质量。特别是，我们研究了FL在图像分类任务上的性能，并使用DNN作为我们的模型类型。此外，我们对两个通用图像数据集和一个真实世界的联邦医学图像数据集进行了研究。我们还研究了受影响的客户端的比例和数据集分布因素对FL的鲁棒性的影响。在对496个配置进行大规模分析后，我们发现每个用户上的大多数mutator对通用数据集中的最终模型的影响可以忽略不计，并且其中只有一个在医疗数据集中是有效的。此外，我们表明，模型中毒攻击比数据投毒攻击更有效。此外，选择最强大的FL聚合器取决于攻击和数据集。最后，我们说明了一个简单的集成聚合器实现了一个更强大的解决方案比任何单一的聚合器，是最好的选择，在75%的情况下。
2023-01-09 cs.LG
Audio-Visual Event Recognition through the lens of Adversary
由于音频/视觉分类模型被广泛部署用于大规模内容过滤等敏感任务，因此了解其鲁棒性以及提高准确性至关重要。本文旨在通过对抗性噪声的镜头研究与多模态学习相关的几个关键问题：1）影响其鲁棒性和准确性的早期/中期/晚期融合之间的权衡2）不同的频域/时域特征如何有助于鲁棒性？3)不同的神经模块如何对对抗性噪声做出贡献？在我们的实验中，我们构建了对抗性示例来攻击在Google AudioSet上训练的最先进的神经模型。我们使用不同的$L_p$规范来比较在$ε$大小的对抗性扰动方面有多少攻击潜力，我们需要“停用”受害者模型。使用对抗性噪声消融多模态模型，我们能够提供洞察什么是最好的潜在融合策略，以平衡模型参数/精度和鲁棒性的权衡，并区分各种神经网络模型倾向于学习的鲁棒特征与非鲁棒特征。
2020-11-15 cs.CV cs.LG cs.SD
On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces
University of the Bundeswehr Munich（慕尼黑联邦国防军大学）；University of Wrocław（弗罗茨瓦夫大学）
研究基于Transformer的视觉语言模型对抗脆弱性，提出白盒谱子空间引导攻击（SSGRA），通过将中间表示与特定子空间对齐来攻击，实验显示其比现有基线更有效，还为模型对抗脆弱性提供谱解释，助力提升鲁棒性。
2026-07-09 cs.AI cs.LG
Understanding robustness and generalization of artificial neural networks through Fourier masks
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
尽管人工神经网络（ANN）在许多学科中取得了巨大的成功，但其计算的特征和关键属性（如泛化和鲁棒性）的起源仍然是一个悬而未决的问题。最近的文献表明，具有良好泛化性能的鲁棒网络往往偏向于处理图像中的低频。为了进一步探索频率偏差假设，我们开发了一种算法，使我们能够学习调制掩码，突出保持训练网络性能所需的基本输入频率。我们通过在输入频率中相对于这种调制的损耗中施加不变性来实现这一点。我们首先使用我们的方法来测试对抗训练或数据增强网络的低频偏好假设。我们的研究结果表明，对抗鲁棒网络确实表现出低频偏置，但我们发现这种偏置也依赖于频率空间中的方向。然而，这对于其他类型的数据增强不一定是正确的。我们的研究结果还表明，问题中的基本频率是有效的，用于实现泛化摆在首位。令人惊讶的是，通过这些调制面具看到的图像是不可识别的，并且类似于纹理样图案。
2022-03-16 cs.CV cs.LG eess.IV
What Do Adversarially trained Neural Networks Focus: A Fourier Domain-based Study
The University of Hong Kong（香港大学）
尽管许多领域已经见证了深度学习带来的卓越性能，但神经网络的鲁棒性仍然是一个悬而未决的问题。具体来说，对输入的一个小的对抗性扰动可能会导致模型产生完全不同的输出。这种差的鲁棒性意味着许多潜在的危险，特别是在安全关键应用中，例如，自动驾驶和移动机器人。本文研究了对抗训练模型关注哪些信息，从经验上讲，我们注意到干净数据和对抗数据之间的差异主要分布在低频区域。然后我们发现，一个对抗训练的模型比自然训练的模型更鲁棒，因为前者更注重学习低频分量中的主导信息。此外，我们考虑两种常见的方法来提高模型的鲁棒性，即通过数据增强和通过使用更强大的网络架构，并从频域的角度来理解这些技术。我们希望这项工作可以为更鲁棒的神经网络的设计提供帮助。
2022-03-16 cs.CV cs.LG
Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior
Université Laval（拉瓦尔大学）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Inria（法国国家信息与自动化研究所）
我们通过PAC-Bayesian理论的视角重新审视Rahimi和Recht（2007）的核随机傅立叶特征（RFF）方法。虽然RFF的主要目标是近似一个内核，我们把傅立叶变换看作是三角假设上的先验分布。这自然意味着学习这些假设的后验。我们推导出泛化界，通过学习从封闭形式的表达式获得的伪后验进行优化。基于这项研究，我们考虑了两种学习策略：第一种是找到一个紧凑的基于地标的数据表示，其中每个地标都是由分布定制的相似性度量给出的，而第二种是为Sinha和Duchi（2016）的内核对齐方法提供PAC-贝叶斯证明。
2019-03-27 cs.LG stat.ML
Fourier Sensitivity and Regularization of Computer Vision Models
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；School of Computing, National University of Singapore（新加坡国立大学计算学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
最近的工作经验表明，深度神经网络锁定训练数据的傅立叶统计，并显示出对输入中傅立叶基方向的敏感性增加。理解和修改这种计算机视觉模型的傅立叶灵敏度可能有助于提高其鲁棒性。因此，在本文中，我们使用原理性方法研究深度神经网络的频率敏感性特性。我们首先提出了一个基技巧，证明了一个函数的输入梯度的酉变换可以用来计算它在由变换引起的基中的梯度。利用这一结果，我们提出了一个一般的措施，任何可微模型的傅里叶敏感性使用酉傅里叶变换的输入梯度。当应用于深度神经网络时，我们发现计算机视觉模型对特定频率始终敏感，这取决于数据集、训练方法和架构。在此基础上，我们进一步提出了一个傅里叶正则化框架来修正模型的傅里叶敏感性和频率偏差。使用我们提出的正则化器家族，我们证明了深度神经网络在鲁棒性评估方面获得了更高的分类准确性。
2023-01-31 cs.AI cs.CV cs.LG
Absum: Simple Regularization Method for Reducing Structural Sensitivity of Convolutional Neural Networks
NTT Software Innovation Center（NTT软件创新中心）；Keio University（庆应义塾大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
我们提出了Absum，这是一种用于提高卷积神经网络（CNN）对抗鲁棒性的正则化方法。虽然CNN可以准确地识别图像，但最近的研究表明，CNN中的卷积运算通常对由傅立叶基函数组成的特定噪声具有结构敏感性。通过利用这种敏感性，他们提出了一种简单的黑盒对抗攻击：单傅立叶攻击。为了降低结构灵敏度，我们可以使用卷积滤波器权重的正则化，因为线性变换的灵敏度可以通过权重的范数来评估。然而，标准的正则化方法可以防止损失函数的最小化，因为它们为获得高鲁棒性施加了严格的约束。为了解决这个问题，Absum施加了一个松散的约束;它惩罚卷积层中参数总和的绝对值。Absum可以提高对单傅立叶攻击的鲁棒性，同时与标准正则化方法一样简单和有效（例如，权重衰减和L1正则化）。我们的实验表明，Absum提高了对单傅立叶攻击的鲁棒性比标准的正则化方法。此外，我们揭示了具有Absum的鲁棒CNN对转移攻击的鲁棒性更强，因为它降低了共同的灵敏度，并且比标准的正则化方法更能抵抗高频噪声。我们还发现，当与对抗训练一起使用时，Absum可以提高对基于梯度的攻击（投影梯度下降）的鲁棒性。
2019-09-19 cs.CV cs.LG stat.ML
Deep Ptych: Subsampled Fourier Ptychography using Generative Priors
Information Technology University（信息技术大学）
本文提出了一种新的框架，正则化的高度不适定和非线性傅立叶重叠关联问题使用生成模型。我们的实验表明，我们提出的算法，深Ptych，优于现有的傅立叶重叠关联技术，在重建的质量和对噪声的鲁棒性方面，使用少得多的样本。我们进一步修改了所提出的方法，以允许生成模型探索范围之外的解决方案，从而提高性能。
2018-12-22 cs.LG eess.IV eess.SP
Fourier-basis Functions to Bridge Augmentation Gap: Rethinking Frequency Augmentation in Image Classification
University of Twente（特文特大学）
提出辅助傅里叶基增强（AFA），通过频域加性噪声补充视觉增强，提升模型对常见损坏、OOD泛化及扰动一致性的鲁棒性，且不影响标准性能。
2024-03-05 cs.CV cs.LG
Rating Multi-Modal Time-Series Forecasting Models (MM-TSFM) for Robustness Through a Causal Lens
University of South Carolina（南卡罗来纳大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
针对AI系统脆弱性问题，提出基于因果分析的多模态时间序列预测模型鲁棒性评估方法，经大规模实验验证多模态预测兼具更高精度与鲁棒性，助力利益相关方选优决策。
2024-06-12 cs.AI cs.LG stat.ME
On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks
University of Pennsylvania（宾夕法尼亚大学）
物理信息神经网络（PINN）在将物理模型与有间隙和噪声的观测数据相结合方面表现出了显着的前景，但在要近似的目标函数表现出高频或多尺度特征的情况下，它们仍然很难实现。在这项工作中，我们通过神经切线核（NTK）理论的镜头调查这种限制，并阐明PINNs是如何偏向于学习功能沿其限制NTK的主导特征方向。利用这一观察结果，我们构建了采用时空和多尺度随机傅立叶特征的新架构，并证明了这种坐标嵌入层如何能够产生鲁棒和准确的PINN模型。数值例子提出了几个具有挑战性的情况下，传统的PINN模型失败，包括波传播和反应扩散动力学，说明所提出的方法可以用来有效地解决正问题和反问题，涉及偏微分方程与多尺度行为。本手稿随附的所有代码和数据将在\url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs}上公开。
2020-12-18 cs.AI cs.LG stat.ML
