ROPUST: Improving Robustness through Fine-tuning with Photonic Processors and Synthetic Gradients
LightOn（莱通公司）；LPENS, École Normale Supérieure（巴黎高等师范学院LPENS）；Facebook AI Research（脸书人工智能研究院）；Université Paris-Dauphine（巴黎多芬大学）
对对抗攻击的鲁棒性通常通过使用投影梯度下降的昂贵对抗训练来获得。在这里，我们介绍了ROPUST，这是一种非常简单而有效的方法，可以利用强大的预训练模型，并进一步提高其鲁棒性，而不会降低自然精度。我们的技术依赖于使用光学处理单元（OPU），光子协处理器，以及使用直接反馈对准（一种合成梯度训练方案）执行的微调步骤。我们在RobustBench中针对四种攻击在九种不同的模型上测试了我们的方法，不断提高最先进的性能。我们对我们的防御的单个组件进行了消融研究，表明鲁棒性来自参数混淆和替代训练方法。我们还引入了相位恢复攻击，专门用于增加攻击者对我们自己防御的威胁级别。我们表明，即使与国家的最先进的相位恢复技术，ROPUST仍然是一个有效的防御。
2021-07-06 cs.CV cs.LG
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Characterizing & Finding Good Data Orderings for Fast Convergence of Sequential Gradient Methods
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全研究中心）
虽然SGD从具有替换的数据中采样在理论上被广泛研究，但一种称为随机重排（RR）的变体在实践中更常见。RR通过数据集的随机排列进行迭代，并且已被证明比SGD收敛得更快。当确定性地选择阶数时，称为增量梯度下降（IG）的变体，现有的收敛界显示出比SGD的改进，但比RR差。然而，这些界限并不区分好的和坏的排序，并且适用于最差的排序选择。同时，在某些情况下，使用IG时选择正确的顺序可以导致比RR更快的收敛。在这项工作中，我们量化了顺序对收敛速度的影响，根据所选择的排列序列获得收敛范围，同时也恢复了以前的RR结果。此外，我们展示了使用结构化洗牌的好处时，各种层次的抽象（例如，任务，类，增强等）。在理论上和实践中都存在于数据集中。最后，依靠我们的测量，我们开发了一个贪心算法，用于在训练过程中选择好的订单，实现了优于RR的性能（准确率超过14%）。
2022-02-03 cs.LG
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
Characterizing Dynamical Stability of Stochastic Gradient Descent in Overparameterized Learning
Fachbereich Mathematik und Informatik Freie Universität Berlin（自由大学柏林数学与计算机科学系）；KdV Institute for Mathematics University of Amsterdam（阿姆斯特丹大学KdV数学研究所）
本文通过引入特征Lyapunov指数，刻画了过参数化学习中确定性梯度下降与SGD下全局极小点的动力学稳定性，并证明其符号决定SGD能否收敛到相应极小点。
2025-07-17 cs.LG math.DS math.PR
Characterizing Nash Equilibria in Zero-Sum Games: A Physics-Inspired, Parallelizable Approach with a Linear Number of Gradient Queries
Industrial and Systems Engineering（工业与系统工程系）；Rensselaer Polytechnic Institute（伦塞拉尔理工学院）
提出一种受哈密顿动力学启发的在线优化方法，通过交替梯度下降在线性迭代次数内表征零和博弈的纳什均衡集，支持并行化和任意学习率，实验性能显著优于传统方法。
2026-06-17 cs.GT cs.LG
Imbalanced Gradients: A Subtle Cause of Overestimated Adversarial Robustness
Fudan University（复旦大学）；The University of Melbourne（墨尔本大学）
评估防御模型的鲁棒性是对抗鲁棒性研究中的一个具有挑战性的任务。模糊梯度先前已被发现存在于许多防御方法中，并导致鲁棒性的错误信号。在本文中，我们确定了一种更微妙的情况，称为不平衡的干扰，也可能导致高估的对抗鲁棒性。不平衡梯度的现象发生时，边际损失的一项的梯度占主导地位，并推动攻击向次优方向。为了利用不平衡梯度，我们制定了一个边际分解（MD）攻击，将边际损失分解为单个项，然后通过两个阶段的过程分别探索这些项的可攻击性。我们还提出了一个多目标和合奏版本的MD攻击。通过调查自2018年以来提出的24个防御模型，我们发现11个模型容易受到一定程度的不平衡梯度的影响，我们的MD攻击可以将其鲁棒性降低1%以上。我们还提供了一个深入的调查梯度不平衡的可能原因和有效的对策。我们的代码可在https://github.com/HanxunH/MDAttack上获得。
2023-03-29 cs.CR cs.CV cs.LG
AdvCheck: Characterizing Adversarial Examples via Local Gradient Checking
Zhejiang University of Technology（浙江工业大学）
本文提出通用框架AdvCheck，通过计算并利用局部梯度训练检测器，高效区分对抗样本与误分类输入，检测率优于SOTA基线且大幅降低计算成本。
2023-03-25 cs.AI cs.CR cs.CV
What it Thinks is Important is Important: Robustness Transfers through Input Gradients
Nanyang Technological University（南洋理工大学）；AI3, A * STAR（新加坡科技研究局AI3）
对抗性扰动是对输入像素的不可感知的变化，可以改变深度学习模型的预测。学习的权重的模型鲁棒性，这种扰动以前被发现是跨不同的任务，但这只适用于当源和目标任务的模型架构是相同的。输入梯度表征每个输入像素处的微小变化如何影响模型输出。仅使用自然图像，我们在这里展示了训练学生模型的输入梯度以匹配鲁棒的教师模型的输入梯度可以获得接近于从头开始鲁棒训练的强基线的鲁棒性。通过在MNIST、CIFAR-10、CIFAR-100和Tiny-ImageNet上的实验，我们证明了我们提出的方法，输入梯度对抗匹配，可以在不同的任务甚至不同的模型架构之间传递鲁棒性。这表明直接针对输入梯度的语义是实现对抗鲁棒性的可行方法。
2020-10-29 cs.CV cs.LG cs.NE
Adversarial Robustness by Design through Analog Computing and Synthetic Gradients
LightOn（LightOn公司）；Laboratoire de Physique de l’École Normale Supérieure（巴黎高等师范学院物理实验室）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；Sorbonne Paris Cité（巴黎索邦西岱大学）；Facebook AI Research（脸书人工智能研究院）；Université Paris-Dauphine（巴黎多芬大学）；PSL Research University（巴黎文理研究大学）；LAMSADE（决策与计算机科学实验室）；EPFL（洛桑联邦理工学院）
我们提出了一种新的防御机制，对对抗攻击的启发，光学协处理器，提供鲁棒性，而不损害自然的准确性，在白盒和黑盒设置。该硬件协处理器执行非线性固定随机变换，其中参数是未知的，并且对于足够大的维度不可能以足够的精度检索。在白盒设置中，我们的防御通过混淆随机投影的参数来工作。与其他依赖模糊梯度的防御不同，我们发现我们无法为模糊参数建立可靠的向后可微近似。此外，虽然我们的模型通过混合反向传播-合成梯度方法达到了良好的自然准确性，但如果用于生成对抗性示例，则相同的方法是次优的。我们发现，在光学系统中的随机投影和二值化的组合也提高了对各种类型的黑盒攻击的鲁棒性。最后，我们的混合训练方法建立了强大的功能，对转移攻击。我们在类似VGG的架构上展示了我们的方法，将防御放在卷积特征之上，在CIFAR-10和CIFAR-100上。代码可在https://github.com/lightonai/adversarial-robustness-by-design上获得。
2021-01-06 cs.CV cs.LG
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University（首尔国立大学）
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题，但未能实现对使用代理梯度的攻击的鲁棒性，例如变换期望（EOT）攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响，并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明，代理梯度是不太有效的梯度时，更分散。为此，我们提出了梯度多样性（GradDiv）正则化，最大限度地减少梯度的浓度，以建立一个强大的随机神经网络。我们在MNIST，CIFAR10和STL 10上的实验表明，我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外，我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
Improving the Robustness of Adversarial Attacks Using an Affine-Invariant Gradient Estimator
Shanghai Jiao Tong University（上海交通大学）；OPPO Research Institute（OPPO研究院）；Tsinghua University（清华大学）
随着人工智能的设计者试图智胜黑客，双方都在继续磨练人工智能固有的弱点。人工智能的深度神经网络（DNN）是根据特定的数据统计分布设计和训练的，它仍然容易受到违反DNN统计预测假设的欺骗性输入的影响。然而，在被送入神经网络之前，大多数现有的对抗性示例在应用于仿射变换时无法保持恶意功能。出于实际目的，维护恶意功能是衡量对抗攻击鲁棒性的一个重要指标。为了帮助DNN学习更彻底地防御攻击，我们提出了一种仿射不变的对抗攻击，它可以在仿射变换上始终如一地产生更强大的对抗示例。为了提高效率，我们建议解开目前的仿射变换策略，从欧几里德几何坐标平面的几何平移，旋转和膨胀，我们重新制定后两个极坐标。然后，我们通过将原始图像的梯度与导出的核进行卷积来构造仿射不变的梯度估计器，该估计器可以与任何基于梯度的攻击方法相结合。在ImageNet上进行的大量实验，包括物理条件下的一些实验，表明与其他最先进的方法相比，我们的方法可以显着提高对抗示例的仿射不变性，并且作为副产品，提高对抗示例的可移植性。
2022-04-22 cs.CV cs.LG
Improved Gradient based Adversarial Attacks for Quantized Networks
Australian National University（澳大利亚国立大学）；Amazon Science（亚马逊科学）；DATA61, CSIRO（联邦科学与工业研究组织数据61）
神经网络量化已经变得越来越流行，由于有效的存储器消耗和更快的计算所产生的量化网络上的逐位操作。尽管它们表现出出色的泛化能力，但它们的鲁棒性还没有得到很好的理解。在这项工作中，我们系统地研究了量化网络对基于梯度的对抗攻击的鲁棒性，并证明了这些量化模型遭受梯度消失问题，并显示出虚假的鲁棒性。通过将梯度消失归因于训练网络中的前向-后向信号传播不良，我们引入了一种简单的温度缩放方法来缓解这个问题，同时保留决策边界。尽管是对现有的基于梯度的对抗攻击的简单修改，但在具有多种网络架构的多个图像分类数据集上的实验表明，我们的温度缩放攻击在量化网络上获得了近乎完美的成功率，同时在对抗性训练模型和浮点网络上优于原始攻击。代码可在https://github.com/kartikgupta-at-anu/attack-bnn上获得。
2021-12-29 cs.CV cs.LG
When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs
Google（谷歌公司）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）；Australian National University（澳大利亚国立大学）
本研究针对技能合并大语言模型，构建SkillSafe-Bench基准，发现静态安全无法预测其自适应越狱鲁棒性，提出SubSafe-Merge方法可在保留能力的同时消除安全侵蚀。
2026-08-11 cs.LG
Characterizing Membership Privacy in Stochastic Gradient Langevin Dynamics
Peking University（北京大学）；Ant Financial Service Group（蚂蚁金融服务集团）；IBM Reseach（IBM研究）；HongKong University of Science and Technology（香港科技大学）
贝叶斯深度学习最近被认为是表征深度神经网络~（DNN）权重不确定性的内在方法。随机梯度朗之万动力学（SGLD）是一种在大规模数据集上实现贝叶斯深度学习的有效方法。以前的理论研究已经显示出各种吸引人的性质SGLD，从收敛性的推广界。在本文中，我们从成员隐私保护的新角度研究了SGLD的属性（即，防止成员攻击）。成员攻击旨在确定特定样本是否用于训练给定的DNN模型，已成为深度学习算法的常见威胁。为此，本文构建了一个分析信息泄漏的理论框架。训练数据集）。基于该框架，我们证明了SGLD可以在一定程度上防止训练数据集的信息泄漏。此外，我们的理论分析可以自然地扩展到其他类型的随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法。在不同数据集和模型上的实验结果验证了我们的理论研究结果，并表明SGLD算法不仅可以减少信息泄漏，而且可以提高DNN模型在实际应用中的泛化能力。
2019-10-05 cs.LG stat.ML
Improving the Adversarial Robustness and Interpretability of Deep Neural Networks by Regularizing their Input Gradients
Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学保尔森工程与应用科学学院）
深度神经网络已经被证明在解决许多分类问题方面非常有效，但最近因两个主要弱点而受到批评：预测背后的原因无法解释，预测本身经常被小的对抗性扰动所愚弄。这些问题为神经网络在需要安全性或透明性的领域中的采用造成了主要障碍。在这项工作中，我们评估了防御的有效性，这些防御对输入中的微小变化改变模型预测的程度进行了不同程度的惩罚。在多个攻击、架构、防御和数据集中，我们发现用这种输入梯度正则化训练的神经网络对为欺骗所有其他模型而生成的转移对抗性示例表现出鲁棒性。我们还发现，为欺骗梯度正则化模型而生成的对抗性示例同样能很好地欺骗所有其他模型，实际上会导致人们评价的更“合理”、更可解释的错误分类（我们在人类受试者实验中证实了这一点）。最后，我们证明了正则化输入梯度使它们更自然地解释为模型预测的依据。最后，我们讨论了深度神经网络中的可解释性和鲁棒性之间的关系。
2017-11-26 cs.CR cs.CV cs.LG
Understanding the robustness difference between stochastic gradient descent and adaptive gradient methods
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
本文通过合成数据集实验和深度学习实验证明，SGD训练的模型因权重范数更小、Lipschitz常数更小而对输入扰动更鲁棒，而自适应梯度方法因利用无关频率导致对扰动更敏感。
2023-11-28 cs.LG
Verifying Robustness of Gradient Boosted Models
Nokia（诺基亚）；Bell Labs（贝尔实验室）
梯度提升模型是一种基本的机器学习技术。对输入的小扰动的鲁棒性是机器学习模型的重要质量度量，但文献缺乏证明梯度提升模型鲁棒性的方法。这项工作介绍了VeriGB，用于量化梯度增强模型的鲁棒性的工具。VeriGB将模型和鲁棒性属性编码为SMT公式，这使得最先进的验证工具能够证明模型的鲁棒性。我们在公开的数据集上广泛评估了VeriGB，并展示了验证大型模型的能力。最后，我们表明，一些模型配置往往是固有的比其他更强大。
2019-06-26 cs.AI cs.CR cs.LG
Characterizing and Mitigating the Difficulty in Training Physics-informed Artificial Neural Networks under Pointwise Constraints
University of Pittsburgh（匹兹堡大学）
神经网络可用于学习任意域上的偏微分方程（PDE）的解，而不需要计算网格。常见的方法是使用结构化的损失函数在训练神经网络时集成微分算子。神经网络最常见的训练算法是反向传播，它依赖于损失函数相对于网络参数的梯度。在这项工作中，我们通过研究微分算子在破坏反向传播梯度中的影响来描述物理训练神经网络的困难。特别是，我们表明，扰动存在于一个神经网络模型的输出在训练的早期阶段导致更高水平的噪声在一个结构化的损失函数，这是由高阶微分算子。因此，这些扰动破坏了反向传播的梯度，并阻碍收敛。我们通过引入辅助通量参数来获得一阶微分方程来缓解这个问题。我们制定了一个非线性无约束优化问题，使用增广拉格朗日方法，适当地约束边界条件，并自适应地专注于区域的梯度较高，难以学习。我们应用我们的方法来学习各种基准PDE问题的解决方案，并展示了现有方法的数量级改进。
2022-07-06 cs.LG physics.flu-dyn
Scaling up the randomized gradient-free adversarial attack reveals overestimation of robustness using established attacks
University of Tübingen（图宾根大学）
现代神经网络对于对抗性操纵是高度不鲁棒的。大量的工作已经投入到技术，通过正式的保证计算鲁棒性的下限，并建立可证明的鲁棒模型。然而，仍然很难保证较大的网络或对较大扰动的鲁棒性。因此，攻击策略需要提供严格的实际鲁棒性上界。我们显着改进了ReLU网络的随机无梯度攻击[9]，特别是通过将其扩展到大型网络。我们表明，我们的攻击实现了类似或显着较小的鲁棒性的准确性比国家的最先进的攻击，如PGD或Carlini和瓦格纳之一，从而揭示了高估的鲁棒性，这些国家的最先进的方法。我们的攻击不是基于梯度下降方案，在这个意义上是无梯度的，这使得它对超参数的选择不太敏感，因为不需要仔细选择步长。
2019-09-25 cs.CR cs.CV cs.LG
MORA: Improving Ensemble Robustness Evaluation with Model-Reweighing Attack
University of Macau（澳门大学）
对抗攻击可以通过向输入数据添加微小的扰动来欺骗神经网络。被训练以最小化子模型之间的攻击可转移性的包围防御提供了一个有前途的研究方向，以提高对此类攻击的鲁棒性，同时保持对自然输入的高准确性。然而，我们发现，最近的最先进的（SOTA）对抗攻击策略不能可靠地评估集成防御，大大高估了它们的鲁棒性。本文确定了导致这种行为的两个因素。首先，由于梯度混淆，这些防御形成了现有的基于梯度的方法很难攻击的集合。其次，集成防御使子模型梯度多样化，提出了同时击败所有子模型的挑战，简单地将它们的贡献相加可能会抵消整体攻击目标;然而，我们观察到，尽管大多数子模型是正确的，但集成仍然可能被愚弄。因此，我们引入了MORA，一种模型重新加权攻击，通过重新加权子模型梯度的重要性来引导对抗性示例合成。MORA发现，最近的集成防御都表现出不同程度的高估鲁棒性。将其与最近的SOTA白盒攻击进行比较，它可以更快地收敛数量级，同时在使用三种不同集成模式（即，通过softmax、voting或logits集成）。特别是，大多数集成防御对MORA表现出接近或正好为0%的鲁棒性，其中$\ell^\infty$扰动在CIFAR-10上为0.02，在CIFAR-100上为0.01。我们使MORA开源，具有可重现的结果和预训练的模型;并提供各种攻击策略下的集成防御排行榜。
2022-11-15 cs.CV cs.LG
Enhancing Adversarial Robustness in SNNs with Sparse Gradients
School of Computer Science, Peking University（北京大学计算机学院）；Institution for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出一种通过梯度稀疏正则化增强脉冲神经网络（SNNs）对抗鲁棒性的方法，理论证明性能差距受梯度稀疏性上界限制，并在图像和事件数据集上验证了其有效性。
2024-05-30 cs.CR cs.CV cs.LG
Robust Explainability: A Tutorial on Gradient-Based Attribution Methods for Deep Neural Networks
Rowan University（罗文大学）；The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校）
随着深度神经网络的兴起，人们越来越认识到解释这些网络预测的挑战。虽然存在许多解释深度神经网络决策的方法，但目前还没有就如何评估它们达成共识。另一方面，鲁棒性是深度学习研究的一个热门话题;然而，直到最近，它才被解释。在本教程中，我们首先介绍基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决策负担。稍后，我们将讨论如何评估基于梯度的方法的鲁棒性，以及对抗鲁棒性在有意义的解释中所起的作用。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择可解释性方法之前应该检查的最佳实践和属性。我们的结论与未来的研究方向在该地区的鲁棒性和可解释性的收敛。
2022-01-13 cs.AI cs.CV cs.LG
Semi-Implicit Hybrid Gradient Methods with Application to Adversarial Robustness
KAIST（韩国科学技术院）；SI Analytics, Inc.（SI Analytics公司）
通过向自然输入添加难以察觉的扰动来制作的对抗性示例可以轻松地欺骗深度神经网络（DNN）。训练对抗鲁棒DNN的最成功的方法之一是使用对抗训练（AT）算法解决非凸-非凹极大极小问题。然而，在许多AT算法中，只有动态AT（DAT）和你只计算一次（YOPO）保证收敛到一个稳定点。在这项工作中，我们推广了随机原始-对偶混合梯度算法，发展半隐式混合梯度方法（SI-HGs），寻找非凸-非凹极大极小问题的稳定点。SI-HG具有收敛速率$O(1/K)$，其改进了DAT和YOPO的速率$O(1/K^{1/2})$。我们设计了一个实用的变体SI-HGs，并表明它优于其他AT算法的收敛速度和鲁棒性。
2022-02-21 cs.AI cs.CV cs.LG
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology（罗彻斯特理工学院）；University of Science - VNUHCM（越南国立大学胡志明市理科大学）；Rowan University（罗文大学）
本文通过分析SAM在元素级别表现，揭示其对噪声标签鲁棒性的机制，并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Enhancing Classifier Conservativeness and Robustness by Polynomiality
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
我们说明了不利的影响，如过度自信的决定，指数行为可以在经典的LDA和逻辑回归的方法。然后，我们将展示如何多项式可以补救的情况。除其他外，这有目的地导致尾部的随机水平性能，远离大部分训练数据。我们随后提出的一个直接相关的、简单但重要的技术创新是softRmax：当代（深度）神经网络中使用的标准softmax函数的合理替代方案。它是通过将标准softmax与LDA中使用的高斯类条件模型联系起来，并用多项式替代它们而得出的。我们发现softRmax的两个方面，保守性和固有的梯度正则化，导致对对抗攻击的鲁棒性，而没有梯度混淆。
2022-03-23 cs.CV cs.LG
Adversarial Robustness of Stabilized NeuralODEs Might be from Obfuscated Gradients
Hong Kong University of Science and Technology（香港科技大学）；University of California at Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
在本文中，我们介绍了一个可证明稳定的神经常微分方程（ODE）的架构，实现了非平凡的对抗性鲁棒性下的白盒对抗攻击，即使网络是自然训练。现有的大多数防御方法在抵御强白盒攻击时，为了提高神经网络的鲁棒性，需要对它们进行对抗性训练，从而在自然准确性和对抗性鲁棒性之间进行权衡。受动力系统理论的启发，我们设计了一个稳定的神经ODE网络SONet，它的ODE块是反对称的，并且被证明是输入输出稳定的。通过自然训练，SONet可以实现与最先进的对抗性防御方法相当的鲁棒性，而不会牺牲自然的准确性。即使用这样的ODE块仅替换ResNet的第一层也可以表现出鲁棒性的进一步改进，例如，在PGD-20（$\ell_\infty=0.031$）攻击下，对CIFAR-10数据集的自然准确率和鲁棒准确率分别为91.57%和62.35%，而用TRADES训练的ResNet对应结构的自然准确率和鲁棒准确率分别为76.29%和45.24%.为了理解这一令人惊讶的好结果背后的可能原因，我们进一步探索了这种对抗性鲁棒性背后的可能机制。我们表明，自适应步长数值ODE求解器，DOPRI 5，有梯度掩蔽效应，失败的PGD攻击，这是敏感的梯度信息的训练损失;另一方面，它不能欺骗CW攻击的强大梯度和SPSA攻击是梯度自由。这提供了一个新的解释，基于ODE网络的对抗性鲁棒性主要来自数值ODE求解器中的混淆梯度。
2021-06-02 cs.LG stat.ML
Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization
Wells Fargo（富国银行）；Pennsylvania State University（宾夕法尼亚州立大学）
本研究通过独热编码将梯度提升决策树转换为线性框架，并采用L1或L2正则化重新拟合，以增强模型对协变量扰动的鲁棒性，理论分析和实验验证了其有效性。
2023-05-11 cs.LG stat.ML
Towards Reliable Evaluation of Adversarial Robustness for Spiking Neural Networks
Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences（脑启发认知人工智能实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院）；Beijing Key Laboratory of Safe Al and Superalignment（北京安全人工智能与超对齐重点实验室）；Center for Long-term AI（长期人工智能中心）
本文提出ASSG框架和SA-PGD攻击方法，提升SNN对抗鲁棒性评估的可靠性与准确性
2026-02-09 cs.AI cs.LG
Bridging Adversarial Robustness and Gradient Interpretability
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Satrec Initiative（Satrec Initiative公司）；SI Analytics
对抗性训练是一种训练方案，旨在通过使用对抗性示例增强训练数据集来对抗对抗攻击。令人惊讶的是，一些研究已经观察到，来自对抗训练的DNN的损失梯度比来自标准DNN的损失梯度在视觉上更容易解释。虽然这种现象很有趣，但只有少数作品提供了解释。在本文中，我们试图弥合对抗鲁棒性和梯度可解释性之间的差距。为此，我们确定了来自对抗训练的DNN的损失梯度与人类感知更好地对齐，因为对抗训练限制了更接近图像流形的梯度。然后，我们证明了对抗性训练导致损失梯度具有定量意义。最后，我们证明了在对抗训练框架下，测试准确性和损失梯度可解释性之间存在经验权衡，并提出了两种解决这种权衡的潜在方法。
2019-04-19 cs.AI cs.LG stat.ML
Do Gradient-based Explanations Tell Anything About Adversarial Robustness to Android Malware?
University of Cagliari（卡利亚里大学）；Pluribus One
虽然机器学习算法在检测Android恶意软件方面表现出了强大的能力，但它们可以通过注入一小部分虚假组件（例如，权限和系统调用，而不损害侵入功能。以前的工作表明，为了提高对这种攻击的鲁棒性，学习算法应该避免过分强调少数判别特征，而是提供依赖于大的组件子集的决策。在这项工作中，我们调查是否基于梯度的归因方法，用于解释分类器的决定，通过识别最相关的功能，可以用来帮助识别和选择更强大的算法。为此，我们建议利用两种不同的度量来表示解释的均匀性，以及一种新的紧凑的安全措施，称为对抗性鲁棒性度量。我们在两个不同的数据集和五种用于Android恶意软件检测的分类算法上进行的实验表明，解释的一致性和对抗性鲁棒性之间存在很强的联系。特别是，我们发现，流行的技术，如梯度 * 输入和集成的梯度是强烈相关的安全性时，应用于线性和非线性检测器，而更基本的解释技术，如简单的梯度不提供可靠的信息，这种分类器的鲁棒性。
2021-05-27 cs.CR cs.LG stat.ML
Robustness of Bayesian Neural Networks to Gradient-Based Attacks
University of Trieste（的里雅斯特大学）；University of Oxford（牛津大学）；SISSA（国际高等研究院）
对抗攻击的脆弱性是在安全关键型应用中采用深度学习的主要障碍之一。尽管在实践和理论方面作出了重大努力，但问题仍然存在。本文分析了贝叶斯神经网络（BNN）在大数据、过参数化极限下的对抗攻击几何。我们表明，在极限情况下，对基于梯度的攻击的脆弱性是由于数据分布的退化而产生的，即，当数据位于周围空间的低维子流形上时。作为一个直接的后果，我们证明了在极限BNN后验是强大的基于梯度的对抗攻击。在MNIST和Fashion MNIST数据集上的实验结果支持这一论点，这些数据集具有使用Hamilton Monte Carlo和变分推理训练的BNN，表明BNN可以对基于梯度的对抗攻击表现出高准确性和鲁棒性。
2020-06-24 cs.LG stat.ML
Attributional Robustness Training using Input-Gradient Spatial Alignment
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
可解释性是可信机器学习的一个新兴研究领域。机器学习系统的安全部署要求预测及其解释是可靠和鲁棒的。最近，研究表明，通过在输入中添加视觉上难以察觉的扰动，同时保持模型的预测不变，可以很容易地操纵解释。在这项工作中，我们研究的问题归因的鲁棒性（即模型具有强大的解释），通过显示输入图像和其解释图之间的空间相关性的归因脆弱性的上限。我们提出了一种训练方法，学习强大的功能，最大限度地减少这个上限使用软利润率三重损失。我们的稳健归因训练方法（\textit{ART}）在几个标准数据集上实现了$\approx$ 6-18 $\%$的新的最先进的归因稳健性测量。SVHN、CIFAR-10和GTSRB。我们进一步展示了所提出的鲁棒训练技术（\textit{ART}）在弱监督对象定位的下游任务中的实用性，通过在CUB-200数据集上实现新的最先进的性能。
2020-07-18 cs.CV cs.LG eess.IV
Invariance Pair Guidance: Robustness to Spurious Correlations via Corrective Gradients
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出不变性对引导（IPG）方法，利用稀疏的反事实对和双更新机制动态校正优化轨迹，减少模型对虚假相关性的依赖，在多个数据集上验证了有效性。
2026-07-29 cs.LG
Characterizing the implicit bias via a primal-dual analysis
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明了线性可分数据上的梯度下降的隐式偏差的精确特征在于由平滑余量给出的对偶优化问题的最优解，即使对于一般损失。这与以前的结果相反，以前的结果通常是针对指数尾损失的。对于指数损失，具体来说，使用$n$训练示例和$t$梯度下降步骤，我们的对偶分析进一步允许我们证明当使用恒定步长时，$O(\ln(n)/\ln(t))$收敛到$\ell_2$最大余量方向的速度。该速率在$n$和$t$中都是紧的，这在先前的工作中没有提出。另一方面，一个正确选择的，但积极的步长时间表，我们证明$O(1/t)$率$\ell_2$利润最大化和隐式偏差，而以前的工作（包括所有的一阶方法一般硬利润线性SVM问题）证明$\widetilde{O}(1/\sqrt{t})$利润率，或$O(1/t)$利润率次优利润率，与隐含的（较慢）的偏差率。我们的主要观察结果包括原始变量的梯度下降自然会导致对偶变量的镜像下降更新，并且这种设置中的对偶目标足够平滑，可以提供更快的速率。
2020-11-12 cs.LG math.OC stat.ML
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
Memory Efficient Full-gradient Attacks (MEFA) Framework for Adversarial Defense Evaluations
InnoPeak Technology（InnoPeak技术公司）
本文提出MEFA框架，通过梯度检查点技术实现长净化轨迹的精确端到端梯度计算，提升对抗性防御评估的准确性，揭示了近似梯度评估的局限性。
2026-05-07 cs.AI cs.CV cs.LG
TrainSDC: Characterizing and Mitigating Silent Data Corruption in Large Language Model Training
Zhejiang University（浙江大学）；Huawei（华为）
研究针对LLM训练的SDC问题，系统表征其在Transformer训练中的脆弱性，提出TrainSDC框架，经实验验证可有效缓解SDC且运行时开销较低。
2026-09-01 cs.LG
Certified Robustness to Data Poisoning in Gradient-Based Training
Department of Computing, Imperial College London, United Kingdom（帝国理工学院伦敦分校计算机系）；Department of Computer Science, ETH Zurich, Switzerland（苏黎世联邦理工学院计算机科学系）；LogicStar.ai, Switzerland（LogicStar.ai公司）；The Alan Turing Institute, United Kingdom（艾伦·图灵研究所）
提出首个框架，通过凸松弛过度近似参数更新集，为梯度下降训练的模型提供针对无目标、有目标投毒和后门攻击的可证明鲁棒性保证。
2026-06-05 cs.CR cs.CV cs.LG
Characterizing the Optimal 0-1 Loss for Multi-class Classification with a Test-time Attacker
University of Chicago（芝加哥大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Princeton University（普林斯顿大学）
本文提出基于冲突超图的通用框架，刻画测试时攻击者存在下多类分类的最优 0-1 损失，并通过博弈变体高效界定其范围，首次在基准数据集上分析现有分类器与最优鲁棒性的差距。
2023-12-06 cs.CR cs.LG
Maintaining Adversarial Robustness in Continuous Learning
Tongji University（同济大学）；Huawei Technologies Ltd（华为技术有限公司）
针对持续学习中神经网络权重更新易导致对抗鲁棒性丧失的问题，提出一种梯度投影技术，通过正交投影反向传播梯度稳定过往样本梯度，结合防御算法维持鲁棒性，实验验证其在强攻击下仍能缓解鲁棒性快速下降。
2024-08-13 cs.AI cs.LG
Towards the Unification and Robustness of Perturbation and Gradient Based Explanations
University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
随着机器学习黑匣子越来越多地被部署在医疗保健和刑事司法等关键领域，人们越来越重视开发以事后方式解释这些黑匣子的技术。在这项工作中，我们分析了两个流行的事后解释技术：SmoothGrad这是一个基于梯度的方法，和LIME的一个变体，这是一个基于扰动的方法。更具体地说，我们推导出这两种方法输出的解释的显式封闭形式表达式，并表明它们都收敛到预期的相同解释，即，当这些方法所使用的扰动样本的数量很大时。然后，我们利用这种连接来建立其他理想的属性，如鲁棒性，这些技术。我们还推导出有限样本的复杂性界限，这些方法收敛到预期的解释所需的扰动的数量。最后，我们通过在合成和真实世界数据集上进行广泛的实验来实证验证我们的理论。
2021-07-19 cs.LG
Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
深度学习中的一个重要问题是神经网络（NN）的隐私和安全性。这两个方面长期以来一直被分开考虑。到目前为止，隐私增强训练如何影响NN的鲁棒性仍然知之甚少。本文通过实验评估了使用差分隐私（DP）（隐私保护的标准方法）进行训练对模型抵御各种对抗攻击的脆弱性的影响。结果表明，私有模型比非私有模型更不健壮，并且对抗性示例在DP模型之间的传递比非私有和私有模型之间的传递更好。此外，DP和非DP模型的详细分析表明其梯度之间存在显着差异。此外，这项工作是第一次观察到DP训练中参数的不利选择可能导致梯度掩蔽，从而导致错误的安全感。
2021-05-17 cs.AI cs.CR cs.LG
Geometry Is Not Robustness: A Trajectory-Level Study of PGD Evaluation
该研究通过对Fashion-MNIST上训练的卷积神经网络开展PGD攻击的轨迹级分析，发现轨迹级诊断指标无法独立衡量对抗鲁棒性，仅失效步数分布可清晰区分鲁棒性层级，轨迹分析应作为标准鲁棒性测量的补充工具。
2026-08-18 cs.LG
Beyond Gradient Averaging in Parallel Optimization: Improved Robustness through Gradient Agreement Filtering
Stanford University（斯坦福大学）
本文提出梯度一致性过滤（GAF），通过在梯度平均前计算微梯度余弦距离并过滤冲突更新，降低梯度方差，从而以更小微批次提升验证准确率、减少噪声标签记忆，并在CIFAR基准上实现最高18.2%的准确率提升和近一个数量级的计算量下降。
2024-12-29 cs.AI cs.LG
Which Explanation Should I Choose? A Function Approximation Perspective to Characterizing Post Hoc Explanations
Harvard University（哈佛大学）
事后可解释性领域的一个关键问题是方法之间缺乏共同的基本目标。例如，一些方法的动机是函数逼近，一些是博弈论概念，还有一些是获得清晰的可视化。这种目标的碎片化不仅导致对解释的概念理解不一致，而且还导致不知道何时使用哪种方法的实际挑战。在这项工作中，我们开始通过统一八种流行的事后解释方法（LIME，C-LIME，KernelSHAP，Occlusion，Vanilla Quantients，Quantients x Input，SmoothGrad和Integrated Quantients）来解决这些挑战。我们发现，这些方法都执行本地功能近似的黑盒模型，不同的只是在附近和损失函数用于执行近似。这种统一使我们能够（1）陈述解释方法的没有免费的午餐定理，证明没有任何方法可以在所有邻域中表现最佳，以及（2）提供基于对黑盒模型的忠诚度的方法选择的指导原则。我们使用各种真实世界的数据集，模型类和预测任务来实证验证这些理论结果。通过将不同的解释方法纳入一个共同的框架，这项工作（1）推进了对这些方法的概念理解，揭示了它们共享的局部函数逼近目标、属性和彼此之间的关系，（2）指导这些方法在实践中的使用，提供了一个原则性的方法来选择方法并为创建新方法铺平道路。
2022-12-29 cs.AI cs.LG
On the Limitation of Local Intrinsic Dimensionality for Characterizing the Subspaces of Adversarial Examples
National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
理解和表征对抗性示例的子空间有助于研究深度神经网络（DNN）对对抗性扰动的鲁棒性。最近，Ma等人（ICLR 2018）提出在DNN的逐层隐藏表示中使用局部内在维度（LID）来研究对抗子空间。已经证明，LID可以用于表征与不同攻击方法相关联的对抗子空间，例如，Carlini和Wagner（C&W）攻击和快速梯度符号攻击。在本文中，我们使用MNIST和CIFAR-10进行了两组新的实验，这些实验在现有的LID分析中是不存在的，并报告了LID在表征相应的对抗子空间方面的局限性，这些子空间是（i）使用具有不同置信水平的对抗示例的不经意攻击和LID分析;（ii）黑盒传输攻击。对于（i），我们发现LID的性能对攻击部署的置信度参数非常敏感，并且从具有不同置信度的对抗性示例集合中学习的LID令人惊讶地给出了较差的性能。对于（ii），我们发现，当对抗性示例是从另一个DNN模型制作的时，LID在表征其对抗性子空间时是无效的。这两个发现共同表明LID在表征对抗性示例的子空间方面的能力有限。
2018-03-26 cs.CR cs.CV cs.LG
Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks
Peking University（北京大学）；Tsinghua University（清华大学）；UC Berkeley（加州大学伯克利分校）
本研究揭示了梯度下降的“特征平均”隐式偏差导致神经网络非鲁棒性，并证明通过分类单个特征的精细监督可缓解此问题并实现最优鲁棒性。
2025-03-01 cs.LG stat.ML
A Novel Noise Injection-based Training Scheme for Better Model Robustness
University of Rochester（罗切斯特大学）；Peking University（北京大学）；Huaru Tech（华如科技）；HUST（华中科技大学）
本文提出一种基于噪声注入的训练方案，通过似然比梯度估计和近似方法提升脉冲神经网络的对抗鲁棒性与分类准确率，并在MNIST和Fashion-MNIST上验证其优于传统梯度训练方法。
2023-05-29 cs.LG
How Sampling Impacts the Robustness of Stochastic Neural Networks
Ruhr University Bochum（波鸿鲁尔大学）
随机神经网络（SNN）是一种随机函数，其预测是通过对多个实现进行平均来获得的。因此，基于梯度的对抗性示例是基于一组样本及其在另一组样本上的分类来计算的。在本文中，我们推导出一个充分条件，这样的随机预测是强大的，对给定的基于样本的攻击。这使我们能够确定导致SNN鲁棒性提高的因素，并给出理论解释：（i）众所周知的观察，即增加用于估计对抗性示例的样本数量会增加攻击的强度，（ii）为什么在攻击期间增加样本数量不能完全减少随机性的影响，（iii）为什么在推断期间的样本大小不影响鲁棒性，以及（iv）为什么较高的梯度方差和较短的梯度期望值与较高的鲁棒性相关。我们的理论研究结果给出了一个统一的观点，以前提出的方法，以增加攻击强度或模型的鲁棒性的机制，并通过广泛的实证分析进行了验证。
2023-03-04 cs.LG
Gradient $\ell_1$ Regularization for Quantization Robustness
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（荷兰高通技术有限公司）；University of Oxford（牛津大学）
我们分析了神经网络的量化权重和激活对其损失的影响，并推导出一个简单的正则化方案，该方案提高了对训练后量化的鲁棒性。通过训练量化就绪网络，我们的方法能够存储一组权重，这些权重可以根据应用程序的能量和内存要求的变化按需量化为不同的位宽。与使用直通估计器的量化感知训练不同，直通估计器仅针对特定的位宽并需要访问训练数据和管道，我们基于正则化的方法为各种位宽的“动态”训练后量化铺平了道路。我们表明，通过建模量化作为一个$\ell_\infty$有界扰动，在损失扩展的一阶项可以正则化使用梯度的$\ell_1$ -范数。我们在CIFAR-10和ImageNet数据集上通过实验验证了我们的正则化方案在不同架构上的有效性。
2020-02-18 cs.LG stat.ML
Robust Accelerated Gradient Methods for Smooth Strongly Convex Functions
Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）
我们研究了在设计一阶算法时收敛速度和对梯度误差的鲁棒性之间的权衡。本文主要研究了当梯度中含有加性白噪声形式的随机误差时，求强凸函数最小值的梯度下降（GD）和加速梯度（AG）方法。由于梯度误差，迭代的函数值不需要收敛到最优值;因此，我们将算法对噪声的鲁棒性定义为迭代序列对输入噪声功率的渐近期望次优性。对于这种鲁棒性措施，我们提供了精确的表达式，二次的情况下，使用工具从鲁棒控制理论和紧上界的光滑强凸的情况下，使用李雅普诺夫函数通过矩阵不等式认证。我们使用这些特性内的最优化问题，选择每个算法的参数，以实现特定的速率和鲁棒性之间的权衡。我们的研究结果表明，AG可以实现加速，同时更强大的随机梯度误差。此行为与先前在确定性梯度噪声设置中报告的行为完全不同。我们还建立了一些算法的鲁棒性之间的连接，以及如何快速收敛到最优解，如果它是从最佳点与确定性噪声扰动。我们的框架还导致了实际的算法，可以比其他国家的最先进的方法在随机梯度噪声的存在下表现得更好。
2019-11-05 cs.LG math.OC stat.ML
An Empirical Study on the Relation between Network Interpretability and Adversarial Robustness
University of Oregon（俄勒冈大学）；Nanyang Technological University（南洋理工大学）
深度神经网络（DNN）已经取得了许多成功，但它们存在两个主要问题：（1）易受对抗性示例的影响，（2）倾向于逃避人类的解释。有趣的是，最近的经验和理论证据表明，这两个看似完全不同的问题实际上是相互关联的。特别是，鲁棒模型往往比非鲁棒模型提供更多的可解释梯度。然而，这种关系是否在相反的方向上起作用仍然不清楚。在本文中，我们寻求以下问题的经验答案：当模型被训练成具有可解释的梯度时，它们能否获得对抗鲁棒性？我们引入了一种理论上受启发的技术，称为解释正则化（IR），它鼓励模型的梯度（1）匹配可解释的目标显着图的方向，（2）具有较小的幅度。为了评估模型性能并梳理有助于对抗鲁棒性的因素，我们对MNIST和CIFAR-10进行了广泛的实验，同时使用$\ell_2$和$\ell_\infty$攻击。我们证明了训练网络具有可解释的梯度可以提高它们对对抗性扰动的鲁棒性。应用网络解释技术SmoothGrad会产生额外的性能增益，特别是在交叉范数攻击和严重扰动下。结果表明，模型梯度的可解释性是对抗鲁棒性的关键因素。实验代码可以在https://github.com/a1noack/interp_regularization上找到。
2020-12-04 cs.LG stat.ML
Adaptive Gradient Clipping for Robust Federated Learning
EPFL（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）
针对联邦学习中静态梯度裁剪对不同攻击鲁棒性不一致的问题，本文提出自适应鲁棒裁剪方法ARC，动态调整裁剪阈值，在保持理论鲁棒性保证的同时改善收敛性，并通过图像分类实验验证其在异构对抗环境下的有效性。
2025-05-09 cs.LG
