Teach Me to Trick: Exploring Adversarial Transferability via Knowledge Distillation
本研究探索多教师知识蒸馏对对抗样本迁移性的增强作用，采用两种蒸馏策略训练轻量学生模型，实验证明其攻击效果媲美集成基线且生成效率最高提升6倍，为黑盒对抗攻击优化提供了新路径。
2025-07-29 cs.AI cs.LG
Scoring Black-Box Models for Adversarial Robustness
Stanford University（斯坦福大学）
深度神经网络易受对抗性输入的影响，并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入，然后在构造的对抗性输入上测试模型的性能，分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的，需要访问数据标签，并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法，表明其对对抗性输入的鲁棒性。我们发现，相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
Exploring the Adversarial Capabilities of Large Language Models
German Research Center for AI (DFKI)（德国人工智能研究中心）；Technical University of Darmstadt（达姆施塔特工业大学）；DataSpark GmbH（DataSpark有限公司）；Centre for Cognitive Science of Darmstadt（达姆施塔特认知科学中心）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
本文研究公开LLM能否自发将良性文本改写为对抗样本，实验证明其可生成扰动以规避仇恨言论检测，揭示LLM在安全系统中的对抗风险。
2024-07-08 cs.AI cs.LG
How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness
Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy
本文通过概率分析探讨对抗攻击与扰动鲁棒性之间的联系，提出浓度因子κ量化风险，并通过实验揭示对抗攻击在不同扰动模型下的有效性。
2026-01-25 cs.AI cs.LG
Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness
University of Alberta（阿尔伯塔大学）
本研究探索Softmax温度缩放对图像分类的影响，发现适度温度提升性能，高温增强对损坏和对抗攻击的鲁棒性，并有助于对抗训练。
2025-02-28 cs.AI cs.LG
Adversarial Robustness of Deep Learning: Theory, Algorithms, and Applications
University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）
本教程旨在介绍深度学习对抗性鲁棒性的基础知识，对最新技术进行结构良好的回顾，以评估各种类型的深度学习模型对对抗性示例的脆弱性。本教程将特别强调对抗攻击和深度神经网络（DNN）鲁棒性验证中的最新技术。我们还将介绍一些有效的对策来提高深度学习模型的鲁棒性，特别关注对抗训练。我们的目标是提供关于这一新兴方向的全面的整体图景，并使社区意识到在安全关键型数据分析应用程序中设计鲁棒的深度学习模型的紧迫性和重要性，最终使最终用户能够信任深度学习分类器。我们还将总结有关深度学习对抗性鲁棒性的潜在研究方向，以及其潜在的好处，以实现基于深度学习的可靠和可信的数据分析系统和应用程序。
2021-08-24 cs.AI cs.LG
CAMA: Exploring Collusive Adversarial Attacks in c-MARL
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；UCAS（中国科学技术大学）；Beihang University（北京航空航天大学）
本文提出CAMA框架，研究c-MARL中的共谋对抗攻击，提出三种新型攻击模式，从理论和实践角度分析攻击效果，并通过实验验证其协同效应和隐蔽性。
2026-03-20 cs.AI cs.LG
Exploring Layerwise Adversarial Robustness Through the Lens of t-SNE
University of Coimbra（科英布拉大学）
本研究提出一种结合t-SNE可视化与嵌入对比指标的图像分类ANN分层对抗鲁棒性评估方法，经CIFAR-10上两类模型验证发现表征差异早期出现于特征提取层，为防御研究提供支撑。
2024-06-20 cs.AI cs.LG cs.NE
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同，对抗性训练旨在从本质上提高模型的鲁棒性。近几年来，对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展，然而，在现有的调查中被忽视。在这次调查中，我们首次系统地回顾了对抗训练的最新进展，并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后，我们强调尚未充分解决的挑战，并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）；Northeastern University（东北大学）
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而，我们证明了参数空间中的损失面与泛化没有明显的关系，特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化，我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后，我们提出了一个对抗鲁棒性指标，它可以评估神经网络的内在鲁棒性，而无需测试其准确性下的对抗攻击。在此基础上，我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下，我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Neural Architecture Dilation for Adversarial Robustness
University of Sydney（悉尼大学）；Huawei Technologies（华为技术有限公司）；Peking University（北京大学）
随着卷积神经网络（CNN）在过去几十年中在架构和规模上的巨大进步，它们可以轻松达到甚至超过人类在某些任务中的表现。然而，最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高，但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看，本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩张架构的引入有望与骨干CNN的标准性能友好，同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明，该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Exploring Adversarial Examples via Invertible Neural Networks
Purdue University（普渡大学）
对抗性样本（AE）是可以通过向原始图像中引入轻微扰动来误导深度神经网络（DNN）分类器的图像。这种安全漏洞近年来引发了广泛的研究，因为它可以将现实世界的威胁引入依赖神经网络的系统。然而，对对抗性例子的特征的深刻理解仍然难以捉摸。我们提出了一种新的方式来实现这种理解，通过最近的发展，即可逆的神经模型与Lipschitz连续映射函数从输入到输出。通过将任何潜在表示反转回其对应的输入图像的能力，我们可以在更深层次上研究对抗性示例，并解开对抗性示例的潜在表示。鉴于这种新的视角，我们提出了一种快速的潜在空间对抗性示例生成方法，可以加速对抗性训练。此外，这种新的视角可能有助于对抗性示例检测的新方法。
2020-12-24 cs.CR cs.LG
Delving into the Adversarial Robustness of Federated Learning
Zhejiang University（浙江大学）；Youtu Lab, Tencent（腾讯优图实验室）；Sony AI（索尼AI）
在联邦学习（FL）中，模型与集中训练的模型一样脆弱。然而，联邦学习的对抗鲁棒性在很大程度上仍未得到探索。本文阐述了联邦学习对抗鲁棒性的挑战。为了更好地理解现有FL方法的对抗脆弱性，我们对各种攻击和对抗训练方法进行了全面的鲁棒性评估。此外，我们揭示了直接采用对抗性训练在外语中所产生的负面影响，这严重损害了测试的准确性，特别是在非IID设置。在这项工作中，我们提出了一种新的算法称为基于决策边界的联邦对抗训练（DBFAT），它由两个组件（局部重新加权和全局正则化），以提高FL系统的准确性和鲁棒性。在多个数据集上进行的大量实验表明，DBFAT在IID和非IID设置下的性能始终优于其他基线。
2023-02-19 cs.AI cs.CR cs.LG
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练已被证明可以有效地强化网络对抗性示例。然而，所获得的鲁棒性受到网络容量和训练样本数量的限制。因此，为了构建更鲁棒的模型，通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性，我们提出了一个条件归一化模块，以适应网络在输入样本的条件。我们的自适应网络，一旦经过对抗训练，就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的，并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构，这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”，以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Adversarial Robustness in Financial Machine Learning: Defenses, Economic Impact, and Governance Evidence
Independent Researcher（独立研究者）
本研究评估金融机器学习模型的对抗鲁棒性，通过实验揭示对抗攻击对模型性能的影响，并探讨对抗训练的恢复效果。
2025-12-14 cs.AI cs.CR cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong（香港城市大学）
针对传统对抗准确率无法全面衡量模型鲁棒性的问题，提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性，并采用新训练算法均匀增强鲁棒性，为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同，本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后，我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能，但它导致了自然扰动样本的性能下降，除了干净的样本。相比之下，自然扰动，如弹性变形，闭塞和波不仅提高了对自然扰动的性能，而且还导致对抗性扰动的性能的改善。此外，它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training
Sun Yat-Sen University（中山大学）；Imperial College London（帝国理工学院）
尽管目前的深度学习技术在各种计算机视觉任务上都取得了优异的性能，但它们仍然容易受到对抗性示例的影响。对抗性训练及其变体已被证明是防御对抗性示例的最有效方法。这些方法通常正则化对抗样本和其对应的自然样本的输出概率之间的差异。但是，如果模型对自然样本进行错误分类，则可能会产生负面影响。为了解决这个问题，我们提出了一种新的对抗训练方案，鼓励模型为对抗示例及其“逆对抗”对应物产生类似的输出。生成这些样本以最大化自然样本邻域中的可能性。在各种视觉数据集和架构上进行的大量实验表明，我们的训练方法具有最先进的鲁棒性和自然准确性。此外，使用逆对抗示例的通用版本，我们以较低的计算成本提高了单步对抗训练技术的性能。
2022-11-01 cs.CV cs.LG
Holistic Adversarial Robustness of Deep Learning Models
IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
对抗鲁棒性研究机器学习模型的最坏情况性能，以确保安全性和可靠性。随着基于深度学习的技术的普及，与模型开发和部署相关的潜在风险可能会被放大，并成为可怕的漏洞。本文全面概述了深度学习模型对抗鲁棒性的研究主题和研究方法的基本原理，包括攻击、防御、验证和新应用。
2023-01-05 cs.AI cs.CR cs.LG
Pareto Adversarial Robustness: Balancing Spatial Robustness and Sensitivity-based Robustness
Peking University（北京大学）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
该研究针对通用对抗鲁棒性问题，整合空间鲁棒性方法并引入帕累托准则提出帕累托对抗训练策略，实现自然准确率与多类鲁棒性的最优平衡，是首个用多目标优化研究通用对抗鲁棒性的工作。
2024-06-23 cs.LG
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
在海量数据和计算资源重要进展的推动下，新的深度学习系统在大量应用中取得了出色的成果。然而，我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而，为了解决神经网络的脆弱性，对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中，我们对深度学习中的对抗鲁棒性领域进行了深入的回顾，并对其主要概念进行了完整的介绍。但是，与对抗鲁棒性的主流悲观观点相反，我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系，并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外，我们还展示了对抗鲁棒性的广泛适用性，概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习，并为他们提供直观的工具和见解，了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Achieving Adversarial Robustness Requires An Active Teacher
Stanford University（斯坦福大学）
通过解耦数据生成器和标签生成器（我们称之为教师），提出了对对抗性示例和对抗性鲁棒性的新理解。在我们的框架中，对抗鲁棒性是一个有条件的概念-学生模型不是绝对鲁棒的，但是相对于老师是鲁棒的。基于这种新的理解，我们认为对抗性例子的存在是因为学生不能从训练数据中获得教师的足够信息。实现鲁棒性的各种方法进行了比较。理论和数值证据表明，为了有效地实现鲁棒性，教师积极地向学生提供其信息可能是必要的。
2020-12-14 cs.LG
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research（IBM研究院）；IBM Research Ireland（IBM爱尔兰研究院）；IBM Research India（IBM印度研究院）
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中，我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析，说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明，出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂，因此没有有效的一刀切的参数设置存在。然后，我们证明，我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现，我们提出了一种实用的方法，该方法利用超参数优化技术来调整对抗训练，以最大限度地提高鲁棒性，同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
A Unified Game-Theoretic Interpretation of Adversarial Robustness
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Huawei technologies Inc.（华为技术有限公司）
本文提供了一个统一的观点来解释不同的对抗攻击和防御方法，即DNN的输入变量之间的多阶相互作用的观点。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-09 cs.AI cs.CV cs.LG
Playing it Safe: Adversarial Robustness with an Abstain Option
University of Maryland（马里兰大学）
我们探讨对抗鲁棒性的设置中，它是可以接受的分类弃权-也就是说，输出没有类-对对抗的例子。对抗性示例是对分类器的正常输入的小扰动，导致分类器给出不正确的输出;它们对机器学习系统提出了安全性和安全性挑战。在许多安全关键型应用中，分类器放弃对抗性示例比为它们提供不正确的输出成本更低。首先，我们引入了一个新的目标函数的对抗性鲁棒性与弃权选项，其特征在于一个明确的鲁棒性和准确性之间的权衡。然后，我们提出了一个简单的基线，其中一个adversarially-trained分类器弃权的决策边界，我们理论和实验评估的一定距离内的所有输入。最后，我们提出了联合弃权鲁棒性学习（CARL），一种联合学习分类器和它应该弃权的输入空间区域的方法。我们探讨了在弃权设置中对CARL的PGD和DeepFool对抗攻击的不同变化。通过对这些攻击的评估，我们证明了使用CARL进行训练会产生比基线更准确，更强大和更有效的分类器。
2019-11-25 cs.AI cs.LG stat.ML
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Chinese Institute for Brain Research（中国脑科学研究院）
针对零样本对抗鲁棒性研究空白，提出语言驱动的基于锚点的对抗训练策略LAAT，通过文本编码器类别特征作锚点训练，结合扩展算法与对齐交叉熵损失解决特征相似度高的问题，显著提升零样本对抗鲁棒性，适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
本文提供了一个统一的视图来解释不同的对抗攻击和防御方法，\emph{i.e.}的DNN的输入变量之间的多阶相互作用的视图。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-08 cs.AI cs.CV cs.LG
Towards Adversarial Robustness of Deep Vision Algorithms
National University of Singapore（新加坡国立大学）
深度学习方法在解决计算机视觉任务方面取得了巨大的成功，并且它们已被广泛用于人工智能系统的图像处理，分析和理解。然而，深度神经网络已被证明易受输入数据中的对抗性扰动的影响。深度神经网络的安全问题也因此浮出水面。因此，对深度视觉算法的对抗鲁棒性进行全面研究势在必行。本次演讲的重点是图像分类模型和图像去噪器的对抗鲁棒性。我们将从三个角度讨论深度视觉算法的鲁棒性：1）稳健性评价（我们提出了ObsAtk来评估去噪器的鲁棒性），2）鲁棒性改进（HAT、TisODE和CIFS是为了增强视觉模型而开发的），3）对抗鲁棒性与新领域推广能力之间的关系（我们发现，对抗性鲁棒去噪器可以处理看不见的真实世界噪声）。
2022-11-22 cs.LG
Adversarial Fine-tune with Dynamically Regulated Adversary
University of Alberta（阿尔伯塔大学）
对抗性训练是一种有效的方法，可以提高模型对恶意对抗攻击的鲁棒性。然而，模型鲁棒性的这种改进通常导致在干净图像上的标准性能的显著牺牲。在许多现实世界的应用中，如健康诊断和自主手术机器人，标准性能比模型鲁棒性更有价值。这就引出了一个问题：在不牺牲标准性能的情况下，我们可以在多大程度上提高模型的鲁棒性？这项工作解决了这个问题，并提出了一个简单而有效的基于迁移学习的对抗性训练策略，解开了对抗性样本对模型标准性能的负面影响。此外，我们引入了一个训练友好的对抗攻击算法，它有助于提高对抗鲁棒性，而不会引入显着的训练复杂度。大量的实验表明，该方法优于以前的对抗性训练算法的目标：提高模型的鲁棒性，同时保持模型的标准性能的清洁数据。
2022-04-28 cs.AI cs.CV cs.LG
Exploring Cross-Stage Adversarial Transferability in Class-Incremental Continual Learning
School of Integrated Technology / BK21 Graduate Program in Intelligent Semiconductor Technology（整合技术学院 / 智能半导体技术BK21研究生项目）
本文探讨了类增量持续学习中对抗转移攻击的脆弱性，揭示了持续学习方法对这类攻击的高度敏感性，并指出现有防御方法的不足。
2025-08-12 cs.LG
DARD: Dice Adversarial Robustness Distillation against Adversarial Attacks
Augusta University（奥古斯塔大学）；Electrical Engineering Dept., Columbia University（哥伦比亚大学电子工程系）
本文提出DARD方法，通过定制的知识蒸馏范式将大型教师模型的鲁棒性转移到紧凑的学生模型中，并配合DPGD对抗样本泛化方法，在相同架构下实现了优于对抗训练网络的鲁棒性与标准准确率。
2025-09-15 cs.LG
Exploring DNN Robustness Against Adversarial Attacks Using Approximate Multipliers
Shahid Bahonar University of Kerman（克尔曼沙希德巴霍纳尔大学）；York University（约克大学）；Instituto Tecnológico de Costa Rica（哥斯达黎加技术学院）
本文利用近似乘法器替换深度神经网络中的精确乘法器，在可行时间内探索并提升了模型对抗攻击的鲁棒性，无攻击时精度下降最多7%，攻击时鲁棒精度提升最多10%。
2024-04-17 cs.CR cs.LG
Exploring the Relationship between Architecture and Adversarially Robust Generalization
SenseTime（商汤科技）；Zhongguancun Laboratory（中关村实验室）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；JD Explore Academy（京东探索研究院）；Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）；Zhejiang University（浙江大学）
对抗性训练已被证明是防御对抗性示例的最有效的补救措施之一，但它经常受到不可见测试对手的巨大鲁棒性泛化差距的影响，被认为是对抗性鲁棒泛化问题。尽管初步的理解致力于对抗性强的泛化，很少有人知道从架构的角度。为了弥补这一空白，本文首次系统地研究了对抗鲁棒泛化与体系结构设计之间的关系。特别是，我们全面评估了ImageNette和CIFAR-10数据集上20个最具代表性的对抗训练架构，以应对多个“p-范数对抗攻击”。基于广泛的实验，我们发现，在对齐设置下，视觉Transformer（例如，PVT，CoAtNet）通常会产生更好的对抗性鲁棒泛化能力，而CNN往往会在特定攻击上过度拟合，并且无法在多个对手上泛化。为了更好地理解其背后的本质，我们通过Rademacher复杂性的镜头进行理论分析。我们揭示了这样一个事实，即更高的权重稀疏性显著有助于Transformers更好的对抗鲁棒泛化，这通常可以通过专门设计的注意力块来实现。我们希望我们的论文可以帮助更好地理解设计鲁棒DNN的机制。我们的模型权重可以在http://robust.art上找到。
2023-03-10 cs.LG
Adversarial Robustness via Label-Smoothing
Criteo AI Lab（科韬人工智能实验室）
我们研究标签平滑作为提高监督深度学习模型对抗鲁棒性的一种手段。在建立了一个彻底而统一的框架后，我们提出了这种通用方法的几种变体：对抗性方法、玻尔兹曼方法和次佳标签平滑方法，并解释了如何构建您自己的方法。在各种数据集（MNIST，CIFAR 10，SVHN）和模型（线性模型，MLP，LeNet，ResNet）上，我们通过更好地考虑数据集的几何形状，证明了标签平滑通常可以提高对抗各种攻击（FGSM，BIM，DeepFool，Carlini-Wagner）的鲁棒性。所提出的标签平滑方法有两个主要优点：它们可以作为修改的交叉熵损失来实现，因此不需要对网络架构进行任何修改，也不会导致训练时间增加，并且它们可以提高标准和对抗精度。
2019-10-15 cs.AI cs.LG stat.ML
AFD: Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对对抗微调中自然与对抗样本最后隐藏层特征差距增大的问题，本文提出AFD，通过特征解耦器分离并消除对抗样本的特定潜在特征，同时对齐干净特征，在三个基准上取得优于现有方法的鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
Constraining Logits by Bounded Function for Adversarial Robustness
NTT Software Innovation Center（NTT软件创新中心）；NTT Secure Platform Laboratories（NTT安全平台实验室）；Kyoto University（京都大学）
我们提出了一种通过在softmax之前添加一个新的有界函数来提高对抗鲁棒性的方法。最近的研究假设通过logit正则化的小logits（softmax的输入）可以提高深度学习的对抗鲁棒性。根据这一假设，我们分析了范数的logit向量在最佳点的假设下的普遍逼近，并探索新的方法来约束logits的softmax之前添加一个有界函数。我们从理论上和经验上揭示，通过添加一个共同的激活函数，例如，双曲正切不能提高对抗鲁棒性，因为函数的输入向量（pre-logit向量）可以具有大的范数。从理论上，我们开发了新的有界函数。我们的函数的增加提高了对抗鲁棒性，因为它使logit和pre-logit向量具有较小的范数。由于我们的方法只在softmax之前添加了一个激活函数，因此很容易将我们的方法与对抗训练结合起来。我们的实验表明，我们的方法在没有对抗训练的对抗扰动数据集上的准确性方面与logit正则化方法相当。此外，在使用对抗训练时，它优于或可与logit正则化方法和最近的防御方法（TRADES）相媲美。
2020-10-06 cs.AI cs.LG stat.ML
Creative Portraiture: Exploring Creative Adversarial Networks and Conditional Creative Adversarial Networks
本文研究DCGAN创意生成局限，探索CAN并提出CCAN，利用WikiArt生成新颖肖像，并支持按风格标签条件化生成，以更贴近人类创作过程。
2024-12-10 cs.CV cs.LG
Deep Repulsive Prototypes for Adversarial Robustness
Radboud University（拉德堡德大学）；Leiden University（莱顿大学）
虽然已经提出了许多对抗性示例的防御措施，但找到鲁棒的机器学习模型仍然是一个悬而未决的问题。迄今为止，最引人注目的防御是对抗训练，包括用对抗示例补充训练数据集。然而，对抗性训练严重影响训练时间，并且依赖于找到有代表性的对抗性样本。在本文中，我们提出了训练模型的输出空间与大类分离，以获得鲁棒性，而无需对抗训练。我们引入了一种将输出空间划分为具有大分离度的类原型的方法，并通过训练模型来保持它。实验结果表明，用这些原型训练的模型-我们称之为深度排斥原型-获得了与对抗训练相竞争的鲁棒性，同时也保持了对自然样本的更高准确性。此外，该模型对大的扰动尺寸更有弹性。例如，我们在CIFAR-10上获得了超过50%的鲁棒性，在自然样本上的准确率为92%，在CIFAR-100上获得了超过20%的鲁棒性，在没有对抗训练的自然样本上的准确率为71%。对于这两个数据集，该模型保持了对大扰动的鲁棒性优于对抗训练的模型。
2021-05-26 cs.LG
Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks
School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）
针对文本对抗样本威胁，基于对抗样本偏离正常文本流形的特性，提出MLMD方法利用掩码语言模型检测差异，再通过GradMLMD的梯度引导跳过非关键词，在保证性能的同时降低计算开销。
2025-04-08 cs.AI cs.CL cs.LG
Exploring Adversarial Examples for Efficient Active Learning in Machine Learning Classifiers
University of Florida（佛罗里达大学）；National Cheng Kung University（国立成功大学）；University of Central Florida（中佛罗里达大学）
机器学习研究人员早就注意到这样一种现象，即当训练样本围绕底层决策边界密集采样时，模型训练过程将更加有效和高效。虽然这种观察已经广泛应用于一系列机器学习安全技术中，但它缺乏对观察正确性的理论分析。为了解决这一挑战，我们首先使用对抗攻击方法向原始训练样本添加特定的扰动，使得生成的示例可以近似位于ML分类器的决策边界上。然后，我们调查主动学习和这些特定的训练样本之间的联系。通过对k-NN分类器、核方法以及深度神经网络等具有代表性的分类器的分析，为观测建立了理论基础。因此，我们的理论证明提供了支持更有效的主动学习方法的帮助下，对抗的例子，相反，以前的作品中，对抗的例子往往被用作破坏性的解决方案。实验结果表明，所建立的理论基础将指导更好的基于对抗性实例的主动学习策略。
2021-09-23 cs.LG
Towards Understanding Adversarial Examples Systematically: Exploring Data Size, Task and Model Factors
Peking University（北京大学）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）；Shanghai Jiaotong University（上海交通大学）
以往的著作多从几个特定的角度对对抗性事例进行解释，缺乏对这一问题的相对完整的理解。本文从训练数据量、任务相关因素和模型相关因素三个方面对对抗性样例进行了系统的研究。特别是，我们证明了标准训练的对抗性泛化（即对抗性示例的测试准确性）需要比标准泛化（即干净示例的测试准确性）更多的数据;并揭示了泛化和鲁棒性之间的全局关系，特别是当数据被生成模型增强时。这揭示了在有限的训练数据范围内标准泛化和鲁棒性之间的权衡关系，以及当数据量足够大时它们的一致性。此外，我们通过大量的实证分析，探讨了不同的任务依赖性和模型特定的因素如何影响深层神经网络的脆弱性。并对防御对抗攻击提出了相关建议。我们的研究结果概述了一个潜在的路径走向光明和系统的理解对抗性的例子。
2019-02-28 cs.LG stat.ML
Exploring Adversarially Robust Training for Unsupervised Domain Adaptation
Johns Hopkins University（约翰斯·霍普金斯大学）
无监督领域自适应（UDA）方法旨在将知识从标记的源域转移到未标记的目标域。UDA在计算机视觉文献中得到了广泛的研究。深度网络已被证明容易受到对抗攻击的攻击。然而，很少有人关注提高深度UDA模型的对抗鲁棒性，这引起了人们对模型可靠性的严重担忧。对抗性训练（AT）被认为是最成功的对抗性防御方法。然而，传统的AT需要地面实况标签来生成对抗性示例和训练模型，这限制了其在未标记目标域中的有效性。本文的目的是探索AT来增强UDA模型的鲁棒性：如何通过AT增强未标记数据的鲁棒性，同时学习UDA的域不变特征？为了回答这个问题，我们提供了一个系统的研究，可以应用于UDA的多种AT变体。此外，我们提出了一种新的UDA的对抗鲁棒训练方法，简称为ARTUDA。在多个对抗攻击和UDA基准测试上的大量实验表明，ARTUDA一致地提高了UDA模型的对抗鲁棒性。代码可在https://github.com/shaoyuanlo/ARTUDA上获得
2022-10-04 cs.CV cs.LG
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University（哥伦比亚大学）
生成对抗网络（GANs）代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作，GANs正在改变许多艺术和科学领域。然而，它们在医疗保健方面的应用尚未完全实现，更具体地说，在生成电子健康记录（EHR）数据方面。在本文中，我们提出了一个框架，用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法，衡量合成实验室测试时间序列的预测能力。此外，我们表明，在预测药物暴露对实验室测试数据的影响时，在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
Exploring Adversarial Attacks against Latent Diffusion Model from the Perspective of Adversarial Transferability
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文从对抗迁移性视角研究替代模型性质对潜在扩散模型对抗样本的影响，发现选择更平滑的替代模型可显著提升基于蒙特卡洛攻击的性能，并给出理论解释。
2024-01-13 cs.CR cs.CV cs.LG
A Closer Look at the Adversarial Robustness of Information Bottleneck Models
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
研究了信息瓶颈分类模型的对抗鲁棒性。以前的工作表明，用信息瓶颈训练的模型的鲁棒性可以提高对抗性训练。我们在各种白盒$l_{\infty}$攻击下的评估表明，信息瓶颈本身并不是一个强大的防御策略，以前的结果可能受到梯度混淆的影响。
2021-07-12 cs.LG
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上，但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击，这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明，评估范围广泛的扰动大小是必要的，以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明，对一个扰动类型的鲁棒性可能并不总是意味着，有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果，我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
Adverseness vs. Equilibrium: Exploring Graph Adversarial Resilience through Dynamic Equilibrium
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of the Chinese Academy of Sciences（中国科学院大学）；Dalian University of Technology（大连理工大学）；Fordham University（福特汉姆大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究将图对抗学习建模为多目标动态系统，提出理论框架证明图存在临界对抗韧性状态，通过求解动态系统均衡点定位该状态，实验验证其防御效果优于现有最优方法。
2025-05-20 cs.LG
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University（东北大学）
我们研究了HSIC（Hilbert-Schmidt独立准则）瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外，我们还为每个中间层添加正则化项，以确保潜在表示保留输出预测的有用信息，同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是，我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明，结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性，并提高对抗性鲁棒性，无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore（新加坡南洋理工大学）
在深度神经网络（DNN）的普及应用道路上，对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测，并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型，以抵抗对抗性的例子。在本文中，我们从不同的角度调查了如何理解这种有趣的属性，即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后，我们研究了常用的基准测试，并提到了理论上证明的对抗鲁棒性界限。然后，我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后，我们介绍了最近的争论的潜在成本的对抗性训练，引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami（迈阿密大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略（即，噪声数据上的准确性）对抗对抗性噪声。然而，由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度（即，与通过标准方法在干净数据上训练的相同模型相比，这种现象被称为准确性和鲁棒性之间的权衡，并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用，例如医学图像分析，因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升（即，减轻或甚至避免）医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法，命名为增量边际对抗（IMA）训练，这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性，同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序，我们的方法提高了准确性和鲁棒性。我们的研究表明，我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Exploring the Effect of DNN Depth on Adversarial Attacks in Network Intrusion Detection Systems
Computer Engineering Carleton University Ottawa, Canada（计算机工程 卡尔顿大学渥太华加拿大）；School of Information Technology Carleton University Ottawa, Canada（信息科技学院 卡尔顿大学渥太华加拿大）
本文研究NIDS领域中DNN深度对对抗攻击鲁棒性的影响，发现增加层数反而可能显著降低NIDS中DNN的对抗鲁棒性，而在计算机视觉领域影响较温和，为鲁棒NIDS模型开发提供指导。
2025-10-22 cs.CR cs.LG
Strengthening the Internal Adversarial Robustness in Lifted Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
本文研究提升神经网络的内部对抗鲁棒性，通过仅修改训练损失增强鲁棒性，并提出结合有目标与无目标对抗扰动的新型训练损失。
2025-03-10 cs.LG
