Binary Iterative Method for Non-targeted Adversarial Attack
Indian Institute of Technology, Ropar（印度理工学院罗帕尔分校）
研究非目标对抗攻击，提出二进制迭代方法，用分治范式优化参数和超参数，在图像分类任务中相比其他基于梯度的方法表现更优。
2026-07-07 cs.CV cs.LG
NCIS: Neural Contextual Iterative Smoothing for Purifying Adversarial Perturbations
Seoul National University（首尔大学）；NAVER Clova；NAVER AI Lab
我们提出了一种新的和有效的净化为基础的对抗性防御方法对预处理器盲白盒和黑盒攻击。我们的方法计算效率高，只对一般图像进行自监督学习训练，而不需要任何对抗训练或分类模型的再训练。我们首先展示了对抗性噪声的实证分析，定义为原始图像与其对抗性示例之间的残差，具有几乎为零的均值，对称分布。基于这一观察，我们提出了一个非常简单的迭代高斯平滑（GS），它可以有效地消除对抗性噪声，并实现相当高的鲁棒精度。为了进一步改进它，我们提出了神经上下文迭代平滑（NCIS），它以自监督的方式训练盲点网络（BSN），以重建原始图像的鉴别特征，该图像也被GS平滑。从我们使用四种分类模型在大规模ImageNet上进行的广泛实验中，我们证明了我们的方法在对抗大多数强净化器盲白盒和黑盒攻击时，既达到了有竞争力的标准准确率，又达到了最先进的鲁棒准确率。此外，我们提出了一个新的基准，用于评估基于商业图像分类API（如AWS，Azure，Clarifai和Google）的净化方法。我们通过基于集成传输的黑盒攻击生成对抗性示例，该攻击可以导致API的完全错误分类，并证明我们的方法可以用于提高API的对抗性鲁棒性。
2021-12-30 cs.CV cs.LG
Cascade Adversarial Machine Learning Regularized with a Unified Embedding
Georgia Institute of Technology（佐治亚理工学院）
在训练过程中注入对抗性示例，称为对抗性训练，可以提高对单步攻击的鲁棒性，但对未知的迭代攻击则不行。为了应对这一挑战，我们首先展示了迭代生成的对抗图像可以在使用相同策略训练的网络之间轻松传输。受这一观察的启发，我们提出了级联对抗训练，它转移了对抗训练最终结果的知识。我们从零开始训练网络，除了从正在训练的网络中注入一步对抗图像外，还注入从已经防御的网络中迭代生成的对抗图像。我们还建议利用嵌入空间进行分类和低级（像素级）相似性学习，以忽略未知的像素级扰动。在训练过程中，我们注入对抗图像，而不替换它们相应的干净图像，并惩罚两个嵌入（干净和对抗）之间的距离。实验结果表明，级联对抗训练与我们提出的低级别相似性学习有效地提高了对迭代攻击的鲁棒性，但对一步攻击的鲁棒性下降。我们表明，结合这两种技术也可以提高最坏情况下的黑盒攻击场景下的鲁棒性。
2018-03-17 cs.LG stat.ML
Iterative Adversarial Attack on Image-guided Story Ending Generation
Hefei University of Technology（合肥工业大学）
针对图像引导故事结尾生成任务，本文提出融合图像与文本扰动的 Iterative-attack 迭代对抗攻击方法，实验证明其优于单模态及非迭代多模态攻击。
2024-01-23 cs.AI cs.CV
Unveiling and Mitigating Adversarial Vulnerabilities in Iterative Optimizers
School of ECE, Ben-Gurion University of the Negev（巴伊兰大学电子工程学院）；CNRS, IPAL（法国国家科学研究中心）
本研究揭示了非学习的迭代优化器与ML模型类似，对对抗样本具有敏感性，并利用deep unfolding将其转化为ML模型，通过对抗训练有效提升了优化器的鲁棒性。
2025-04-26 cs.LG eess.SP
Fine-Grained Iterative Adversarial Attacks with Limited Computation Budget
North Carolina State University（北卡罗来纳州立大学）
本文针对有限计算预算下最大化迭代对抗攻击强度的挑战，提出一种在迭代级和层级选择性重计算层激活的细粒度控制机制，在等成本下优于基线，且在对抗训练中仅需30%预算即可达相当性能。
2025-10-30 cs.AI cs.LG
Defense against adversarial attacks on spoofing countermeasures of ASV
National Taiwan University（台湾大学）；The Chinese University of Hong Kong（香港中文大学）
在ASVspoof 2019挑战赛中提出了各种最前沿的自动说话人验证（ASV）对抗方法，这些方法在反欺骗方面具有相当高的性能。然而，以前的工作表明，对策模型容易受到与自然数据无法区分的对抗性示例的影响。一个好的对策模型不仅应该对欺骗音频（包括合成、转换和重放音频）具有鲁棒性，而且还应该抵消恶意对手故意生成的示例。在这项工作中，我们引入了一种被动防御方法，空间平滑，和一种主动防御方法，对抗性训练，以减轻ASV欺骗对策模型对对抗性示例的脆弱性。本文是第一个使用防御方法来提高ASV欺骗对抗模型在对抗性攻击下的鲁棒性。实验结果表明，这两种防御方法对欺骗对抗模型对抗实例有积极的帮助。
2020-03-06 cs.LG cs.SD eess.AS
Curls & Whey: Boosting Black-Box Adversarial Attacks
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
基于深度神经网络的图像分类器受到对抗性样本的干扰。黑盒迭代攻击存在两个缺陷，即通过递增地调整每一步的噪声添加方向来生成对抗性样本。一方面，现有的迭代攻击沿梯度上升方向单调地添加噪声，导致生成的迭代轨迹缺乏多样性和适应性。另一方面，通过添加过多的噪声来执行对抗攻击是微不足道的，但是目前没有细化机制来挤压冗余噪声。在这项工作中，我们提出了Curls & Whey黑盒攻击来修复上述两个缺陷。在Curls迭代过程中，通过结合梯度上升和下降，我们将迭代轨迹“卷曲”起来，以将更多的多样性和可移植性集成到对抗性示例中。Curls迭代也验证了现有迭代攻击中的边际效应递减。乳清优化利用对抗扰动的鲁棒性，进一步挤压噪声的“乳清”。在Imagenet和Tiny-Imagenet上的大量实验表明，我们的方法在l2范数下实现了令人印象深刻的噪声幅度降低。Curls & Whey攻击也显示出对集成模型以及对抗训练模型的可移植性。此外，我们将攻击扩展到目标误分类，有效地降低了黑盒条件下目标攻击的难度。
2019-04-02 cs.CV
Unifying Image Counterfactuals and Feature Attributions with Latent-Space Adversarial Attacks
Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计学系）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计学与数据科学系）
本文提出反事实攻击方法，通过在潜在空间进行对抗攻击生成反事实图像，并结合特征归因提供全局解释，在MNIST和CelebA数据集上验证了其有效性。
2025-04-21 cs.CV cs.LG
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Enhanced countering adversarial attacks via input denoising and feature restoring
Xidian University（西安电子科技大学）
尽管事实上深度神经网络（DNN）在各种应用中已经实现了突出的性能，但是众所周知，DNN容易受到对抗性示例/样本（AE）的影响，在干净/原始样本中具有不可感知的扰动。针对现有对抗攻击防御方法破坏原始样本信息，导致目标分类器精度下降的缺点，提出了一种增强的对抗对抗攻击方法IDFR（via Input Denoising and Feature Restoring）。提出的IDFR由一个增强的输入去噪器（ID）和一个基于凸包优化的隐藏有损特征恢复器（FR）组成。在基准数据集上进行的大量实验表明，所提出的IDFR优于各种最先进的防御方法，并且对于保护目标模型免受各种对抗性黑盒或白盒攻击非常有效。\footnote{Souce code is released at: \href{https://github.com/ID-FR/IDFR}{https://github.com/ID-FR/IDFR}}
2021-11-19 cs.CV cs.LG
Counterfactual Adversarial Learning with Representation Interpolation
Alibaba Group（阿里巴巴集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与逻辑推理相比，深度学习模型更倾向于统计拟合。当训练数据中存在统计偏差时，可能会记忆虚假的相关性，这严重限制了模型的性能，特别是在小数据场景中。在这项工作中，我们引入了反事实对抗训练框架（CAT），从因果关系的角度来解决这个问题。特别地，对于特定样本，CAT首先以对抗的方式通过潜在空间插值生成反事实表示，然后对每个原始-反事实对执行反事实风险最小化（CRM），以动态调整样本损失权重，这鼓励模型探索真实的因果效应。大量的实验表明，CAT在不同的下游任务，包括句子分类，自然语言推理和问答，实现了显着的性能改善SOTA。
2021-09-10 cs.LG
Diversifying Counterattacks: Orthogonal Exploration for Robust CLIP Inference
针对视觉-语言预训练模型易受对抗样本攻击的问题，提出定向正交反击（DOC）方法，通过正交梯度方向和动量更新增强反击多样性，提升鲁棒性，在16个数据集验证了效果。
2025-11-12 cs.CV
Boosting Adversarial Attacks on Neural Networks with Better Optimizer
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
卷积神经网络在图像识别任务中的表现优于人类，但它们仍然容易受到来自对抗性样本的攻击。由于这些数据是通过向正常图像添加难以察觉的噪声来制作的，因此它们的存在对深度学习系统构成了潜在的安全威胁。具有强大攻击性能的复杂对抗性示例也可以用作评估模型鲁棒性的工具。然而，对抗攻击的成功率可以在黑盒环境中进一步提高。因此，本研究将修正的Adam梯度下降演算法与迭代梯度攻击法结合。然后使用所提出的Adam迭代快速梯度方法来提高对抗性示例的可移植性。在ImageNet上的大量实验表明，该方法比现有的迭代法具有更高的攻击成功率。通过扩展我们的方法，我们在防御模型上实现了95.0%的最先进的攻击成功率。
2021-06-09 cs.CV
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而，在黑箱设置下，大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中，从将对抗性示例生成视为一个优化过程的角度出发，我们提出了两种新的方法来提高对抗性示例的可移植性，即Nesterov迭代快速梯度符号方法（NI-FGSM）和尺度不变攻击方法（SIM）。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击，以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现，我们利用它来优化输入图像的尺度副本上的对抗性扰动，以避免白盒模型受到攻击的“过拟合”，并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成，以构建一个强大的基于梯度的攻击，从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明，我们的攻击方法具有更高的可移植性，并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
Counter-Samples: A Stateless Strategy to Neutralize Black Box Adversarial Attacks
Ben-Gurion University（本古里安大学）
提出一种无状态防御策略，通过针对每次黑盒查询优化反样本，误导攻击者搜索，保持模型精度，并在CIFAR-10和ImageNet上优于现有防御，且对强对抗者鲁棒。
2024-03-14 cs.AI cs.CR cs.LG
Availability Adversarial Attack and Countermeasures for Deep Learning-based Load Forecasting
Imperial College London（伦敦帝国学院）
电力负荷预测是电力系统规划和运行的基础。最近，深度学习的进步使得预测更加准确。然而，深度神经网络容易受到对抗攻击。虽然大多数文献都集中在基于完整性的攻击，本文提出了基于可用性的对抗攻击，它可以更容易地实现的攻击者。对于每个预测实例，通过人工神经网络的混合整数重构优化求解可用攻击位置。为了解决这种攻击，提出了一种对抗性训练算法。在仿真中，一个现实的负载预测数据集被认为是和攻击性能进行比较，基于完整性的攻击。同时，对抗性训练算法显着提高了对可用性攻击的鲁棒性。所有代码都可以在https://github.com/xuwkk/AAA_Load_Forecast上找到。
2023-01-04 cs.CR cs.LG cs.SY
CIARD: Cyclic Iterative Adversarial Robustness Distillation
Nanjing University of Science and Technology（南京理工大学）；HKUST(GZ)（香港科技大学（广州））；INSAIT；Sofia University（索菲亚大学）；Nanjing University of Industry Technology（南京工业职业技术学院）；Peking University（北京大学）
针对对抗鲁棒性蒸馏中双教师优化冲突及鲁棒教师性能恶化问题，提出CIARD方法，通过对比推损失多教师框架和连续对抗重训练，显著提升了学生模型的防御率与干净样本准确率。
2025-09-16 cs.AI cs.CV
Regularizers for Single-step Adversarial Training
Indian Institute of Science（印度科学学院）
过去十年的进展使机器学习模型在计算机视觉的各种任务中取得了令人印象深刻的性能。然而，大量的工作已经证明了这些模型对对抗样本的敏感性。对抗性训练程序已经被提出来防御这种对抗攻击。对抗性训练方法用对抗性样本来增强小批量，并且通常使用单步的【形】（非迭代）方法来生成这些对抗性样本。然而，使用单步的【形】对抗训练训练的模型收敛到退化最小值，其中模型只是看起来很健壮。这些模型的伪鲁棒性是由于梯度掩蔽效应。虽然多步对抗训练有助于学习鲁棒模型，但由于使用迭代法来生成对抗样本，因此难以扩展。为了解决这些问题，我们提出了三种不同类型的正则化器，这些正则化器有助于使用单步的【形】对抗训练方法来学习鲁棒模型。所提出的正则化器通过利用区分鲁棒模型和伪鲁棒模型的属性来减轻梯度掩蔽的影响。使用所提出的正则化器训练的模型的性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-02-03 cs.CV cs.LG
Defending against substitute model black box adversarial attacks with the 01 loss
New Jersey Institute of Technology（新泽西理工学院）
替代模型黑盒攻击可以通过访问目标模型的输出标签来为目标模型创建对抗性示例。这在实践中对机器学习模型提出了重大挑战，特别是在安全敏感的应用中。已知01损失模型比通常在实践中使用的凸模型对离群值和噪声更鲁棒。受这些属性的启发，我们提出了01损失线性和01损失双层神经网络模型作为对基于转移的替代模型黑盒攻击的防御。我们比较了针对我们的01损失模型的替代模型黑盒攻击的对抗性示例的准确性，以及在流行的图像基准上进行二进制分类的凸模型。我们的01损失双层神经网络在MNIST、CIFAR10、STL 10和ImageNet上的对抗准确率分别为66.2%、58%、60.5%和57%，而sigmoid激活的逻辑损失对应物的准确率分别为63.5%、19.3%、14.9%和27.6%。除了MNIST，凸对应物具有显著较低的对抗精度。我们展示了我们的模型在阻止交通标志和面部识别对抗攻击方面的实际应用。在GTSRB街道标志和CelebA面部检测上，我们的01损失网络分别具有34.6%和37.1%的对抗准确率，而凸逻辑对应的准确率分别为24%和1.9%。最后，我们证明了我们的01损失网络可以达到与简单的卷积神经网络相当的鲁棒性，并且即使在使用卷积网络替代模型进行攻击时也远高于其凸对应网络。我们的工作表明，01损失模型提供了一个强大的防御替代模型黑盒攻击。
2020-09-01 cs.AI cs.CR cs.CV
Adversarial Attacks and Defenses in Images, Graphs and Text: A Review
Michigan State University（密歇根州立大学）
深度神经网络（DNN）在各个领域的众多机器学习任务中取得了前所未有的成功。然而，对抗性示例的存在引发了人们对将深度学习应用于安全关键型应用程序的担忧。因此，我们已经目睹了越来越多的兴趣，研究攻击和防御机制的DNN模型上的不同数据类型，如图像，图形和文本。因此，有必要系统和全面地概述主要的攻击威胁和相应对策的成功之处。在本调查中，我们回顾了用于生成对抗性示例的最新算法以及对抗性示例的对策，针对三种流行的数据类型，即，图像、图表和文本。
2019-10-09 cs.CR cs.LG stat.ML
Boosting Adversarial Transferability through Enhanced Momentum
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Microsoft Research Asia（微软亚洲研究院）
众所周知，深度学习模型容易受到通过在良性图像上添加人类无法察觉的扰动而制作的对抗性示例的影响。现有的许多对抗攻击方法都取得了很好的白盒攻击性能，但在攻击其他模型时表现出较低的可移植性。各种基于动量迭代梯度的方法被证明是有效的，以提高对抗性的可转移性。在下文中，我们提出了一种增强的基于动量迭代梯度的方法，以进一步增强对抗性可转移性。具体地说，我们不是在迭代过程中只累积梯度，而是额外地累积在前一次迭代的梯度方向上采样的数据点的平均梯度，以便稳定更新方向并摆脱差的局部最大值。在标准ImageNet数据集上的大量实验表明，我们的方法可以提高基于动量的方法的对抗性可转移性，平均提高11.1%。此外，通过结合各种输入转换方法，对抗性的可转移性可以进一步显着提高。我们还在整体模型设置下攻击了几个额外的高级防御模型，平均增强了至少7.8%。
2021-03-19 cs.CV
Do Counterfactual Examples Complicate Adversarial Training?
Duke University（杜克大学）；Arizona State University（亚利桑那州立大学）；Old Dominion University（奥尔德姆大学）
该研究用预训练扩散模型生成低范数反事实样本，探究鲁棒分类器的鲁棒性-性能权衡，发现鲁棒模型对反事实样本表现差，非鲁棒特征与语义特征显著重叠，挑战了既有假设。
2024-04-17 cs.CV cs.LG
CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP
University of Trento（特伦托大学）；Xi’an Jiaotong University（西安交通大学）
针对CLIP对抗扰动脆弱性，提出无需训练的测试时反攻范式，利用预训练视觉编码器在推理时反击对抗图像，在16个数据集上稳定提升零样本鲁棒性且不损害干净图像性能。
2025-03-05 cs.CV
Counterfactual Explanations for Face Forgery Detection via Adversarial Removal of Artifacts
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Information Science and Technology（南京信息工程大学）
针对人脸伪造检测模型泛化性与鲁棒性不足的问题，提出基于StyleGAN潜在空间对抗优化的反事实解释方法，兼具高攻击成功率与强迁移性，可揭示通用伪造痕迹。
2024-04-12 cs.CV
Test-time adversarial detection and robustness for localizing humans using ultra wide band channel impulse responses
Graz University of Technology（格拉茨技术大学）
汽车无钥匙进入系统采用神经网络来定位其操作员。使用测试时对抗性防御使这样的系统具有防御对抗攻击的能力，而无需预先对对抗性样本进行训练。我们提出了一种测试时对抗性示例检测器，该检测器通过量化预先训练的神经网络的局部中间响应和辅助softmax层的置信度来检测输入对抗性示例。此外，为了使网络的鲁棒性，我们通过非迭代输入样本裁剪来减少不相关的特征。使用我们的方法，平均性能超过15个级别的对抗扰动的快速梯度符号法（FGSM）和6.3%的基本迭代法（BIM）和投影梯度法（PGD）分别增加了55.33%和6.3%。
2022-11-10 cs.AI cs.LG
Trace-Norm Adversarial Examples
University of Central Florida（中佛罗里达大学）；École Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
白盒对抗性扰动是通过迭代优化算法来寻求的，最常见的是最小化原始图像的$l_p$邻域（所谓的失真集）上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里，我们探索几个失真集与结构增强算法。对抗性示例的这些新结构，在优化中普遍存在，例如，对于对抗性理论认证来说是一个挑战，该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域，防御机制也应该合理地评估不同结构的攻击。此外，这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小，同时保持不可感知或可感知为图像的自然轻微失真。最后，它们允许对对抗性扰动的生成进行一些控制，如（局部）模糊。
2020-07-02 cs.CV cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
GENADA: efficient generative time series adversarial attack framework
Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；HSE University（高等经济大学）
该研究针对时间序列分析深度学习模型的对抗攻击问题，提出GENADA框架，通过生成模型单次前向传播生成扰动，在保持攻击质量的同时缩短推理耗时，提升了攻击效率。
2026-08-14 cs.LG
When CLIP Sees More, It Fights Back Harder: Multi-View Guided Adaptive Counterattacks for Test-Time Adversarial Robustness
Dankook University（Dankook 大学）；University of Seoul（首尔大学）；Yongin, South Korea（韩国 Yongin）；Seoul, South Korea（首尔, 韩国）
提出多视图引导的自适应对抗攻击（MAC），通过构建输入图像的增强视图、执行对抗攻击精炼嵌入、自适应调整攻击强度并聚合视图，显著提升CLIP在测试时的对抗鲁棒性。
2026-06-05 cs.CV
Perturbation Analysis of Gradient-based Adversarial Attacks
Ghent University（根特大学）；Ghent University Global Campus（根特大学全球校区）
在发现对抗性样本及其对深度学习模型的不利影响之后，许多研究都集中在寻找更多样化的方法来生成这些精心制作的样本。虽然在文献中详细讨论了对抗性示例生成方法对抗防御机制的有效性的经验结果，但在很大程度上缺乏对这些对抗攻击的理论特性和扰动有效性的深入研究。在本文中，我们研究了三种流行的对抗性示例生成方法的目标函数：L-BFGS攻击，迭代快速梯度符号攻击和Carlini & Wagner攻击（CW）。具体来说，我们对上述攻击背后的损失函数进行了比较和形式化分析，同时在ImageNet数据集上展示了大规模的实验结果。该分析揭示了（1）交叉熵损失的更快的优化速度以及受限的优化空间，（2）使用交叉熵损失的签名对优化精度以及优化空间的不利影响，以及（3）在对抗性的背景下logit损失的缓慢的优化速度。我们的实验表明，迭代快速梯度符号攻击，这被认为是快速生成对抗性的例子，是最坏的攻击方面所需的迭代次数，以创建对抗性的例子在设置相等的扰动。此外，我们的实验表明，被批评为比其他对抗攻击慢得多的CW的潜在损失函数并不比其他损失函数慢得多。最后，我们分析了神经网络如何识别所考虑的攻击产生的对抗性扰动，从而重新审视了ImageNet上对抗性再训练的想法。
2020-06-02 cs.AI cs.CV cs.LG
Adversary-Free Counterfactual Prediction via Information-Regularized Representations
CAIR-CAS（中国科学院自动化研究所）；CityUHK（香港城市大学）；HKUST（香港理工大学）
本文提出一种基于信息正则化表示的无对抗因果预测方法，通过减少处理-协变量依赖性来提升预测性能，适用于动态场景并优于现有平衡、重加权和对抗方法。
2026-04-27 cs.LG stat.ML
Adversarial Attack and Defense for Non-Parametric Two-Sample Tests
National University of Singapore（新加坡国立大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；The University of Melbourne（墨尔本大学）；The University of Tokyo（东京大学）
非参数双样本检验（TSTs）用于判断两组样本是否来自同一个分布，已广泛应用于临界数据的分析。人们倾向于使用TST作为可信赖的基本工具，很少怀疑它们的可靠性。本文系统地揭示了非参数TST在对抗攻击下的失效模式，并提出了相应的防御策略。首先，我们从理论上表明，对手可以上界的分布转移，保证攻击的不可见性。此外，我们从理论上发现，对手也可以降低TST的测试功率的下限，这使我们能够迭代地最小化测试标准，以搜索对抗对。为了使TST不可知的攻击，我们提出了一个合奏攻击（EA）框架，共同最大限度地减少不同类型的测试标准。其次，为了增强TST的鲁棒性，我们提出了一种最大-最小优化方法，该方法迭代生成对抗对来训练深度内核。在模拟和真实数据集上进行的大量实验验证了非参数TST的对抗性漏洞和我们提出的防御方法的有效性。源代码可在https://github.com/GodXuxilie/Robust-TST.git上获得。
2022-06-17 cs.CR cs.LG
Robust Active Learning (RoAL): Countering Dynamic Adversaries in Active Learning with Elastic Weight Consolidation
Department of Mathematics and Computer Science（数学与计算机科学系）；School of Computer Science and Electronic Engineering（计算机科学与电子工程学院）
针对动态对抗攻击会导致主动学习出现灾难性遗忘的问题，提出融合弹性权重巩固（EWC）的鲁棒主动学习框架RoAL，同时提出新型动态对抗攻击，实验验证其可有效抵御威胁、缓解遗忘、提升对抗环境下的鲁棒性与性能。
2024-08-15 cs.LG
Runtime Detection of Adversarial Attacks in AI Accelerators Using Performance Counters
School of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程学院）
本文提出SAMURAI框架，通过AI性能计数器与片上异常检测引擎TANTO实时监测硬件运行时行为，在不依赖软件集成的情况下以最高97%准确率检测对抗攻击。
2025-03-10 cs.AI cs.CR cs.LG
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST（韩国科学技术院）
对抗性例证的起源在研究领域中仍然是一个谜，尽管有广泛的研究，但它引起了各种观点的争论。在本文中，我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法，即对抗工具变量（IV）回归。通过部署它，我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器（即，假设模型）和最坏情况的反事实（即，测试功能）干扰寻找因果特征。通过广泛的分析，我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关，并且反事实表现出严重偏离正确预测的极端特征。此外，我们提出了如何有效地将因果特征（CAFE）引入防御网络，以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Memory Efficient Full-gradient Attacks (MEFA) Framework for Adversarial Defense Evaluations
InnoPeak Technology（InnoPeak技术公司）
本文提出MEFA框架，通过梯度检查点技术实现长净化轨迹的精确端到端梯度计算，提升对抗性防御评估的准确性，揭示了近似梯度评估的局限性。
2026-05-07 cs.AI cs.CV cs.LG
CausAdv: A Causal-based Framework for Detecting Adversarial Examples
Laboratory of Informatics and applications of M'sila, Department of Computer Science, University of M'sila（信息与应用实验室，计算机科学系，M'sila大学）
CausAdv通过因果推理提升CNN对抗检测鲁棒性，无需额外训练，利用反事实信息区分清洁与对抗样本。
2026-07-28 cs.AI cs.CV cs.LG
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research（塔塔咨询服务研究院）
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中，这些攻击的危害可能会大得多，攻击者不仅试图欺骗深度学习模型，还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的，并且需要向样本添加难以察觉的噪音。相比之下，通用对抗攻击计算一种特殊的不可感知的噪声，可以将其添加到给定数据集的任何样本中，从而迫使深度学习模型预测错误的类。据我们所知，这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中，我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明，基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明，通用对抗攻击具有良好的泛化性能，因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明，使用快速梯度符号法（FGSM），一个单步的攻击，对抗训练的模型能够抵御FGSM以及基本迭代法（BIM），一种流行的迭代攻击。
2021-01-13 cs.LG
Improving Transformation-based Defenses against Adversarial Examples with First-order Perturbations
本研究针对神经网络易受对抗攻击的问题，提出一种基于一阶扰动的推理阶段防御增强方法，无需重训练，可有效提升多种变换类防御对强对抗样本的抵御能力。
2024-01-28 cs.CV cs.LG
Fixed-point graph convolutional networks against adversarial attacks
Concordia Institute for Information Systems Engineering（康科迪亚信息系统工程研究所）；Concordia University（康科迪亚大学）
提出定点迭代图卷积网络Fix-GCN，通过频谱调制滤波器选择性地衰减高频分量并保留低频结构信息，在不增加复杂度的情况下有效抵御对抗攻击。
2025-10-29 cs.AI cs.LG
Impact of White-Box Adversarial Attacks on Convolutional Neural Networks
Colorado State University（科罗拉多州立大学）
本文系统研究了多种白盒对抗攻击对CNN性能的影响，通过多个数据集和超参数实验揭示了CNN的脆弱性，并强调了开发鲁棒防御机制的紧迫性。
2024-10-02 cs.CR cs.LG cs.NE
Generalizing Adversarial Examples by AdaBelief Optimizer
Beijing Jiaotong University（北京交通大学）
最近的研究已经证明，深度神经网络（DNN）容易受到对抗性示例的攻击，添加了不可感知和精心设计的扰动的合法输入可以在测试阶段轻易地欺骗DNN。然而，大多数现有的对抗攻击很难欺骗经过对抗训练的模型。为了解决这个问题，我们提出了AdaBelief迭代快速梯度符号方法（AB-FGSM）来推广对抗性示例。通过将AdaBelief优化算法集成到I-FGSM中，我们相信，依靠AdaBelief优化器的强大泛化能力，对抗性示例的泛化能力将得到提高。为了验证我们提出的AB-FGSM生成的对抗性示例的有效性和可移植性，我们对各种单个模型和集成模型进行了白盒和黑盒攻击。与现有的攻击方法相比，该方法在白盒环境下能够有效地生成对抗性样本，并且传送率比现有攻击方法提高了7%-21%.
2021-01-25 cs.AI cs.CR cs.LG
Attention, Please! Adversarial Defense via Activation Rectification and Preservation
Beijing Jiaotong University（北京交通大学）
本研究通过考察对抗攻击与视觉注意变化之间的相关性，为对抗攻击问题提供了新的认识。特别地，我们观察到：（1）具有不完整注意区域的图像更容易受到对抗攻击的影响;（2）成功的对抗攻击导致偏离和分散的注意力地图。因此，基于注意力的对抗防御框架被设计为同时校正注意力地图以进行预测，并保留对抗图像和原始图像之间的注意力区域。在视觉注意力变化的背景下，增加迭代攻击样本的问题也进行了讨论。我们希望在这项研究中的注意力相关的数据分析和防御解决方案将揭示一些对抗攻击背后的机制，也有助于未来的对抗防御/攻击模型的设计。
2022-12-29 cs.CV
Miss the Point: Targeted Adversarial Attack on Multiple Landmark Detection
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；Princeton University（普林斯顿大学）
基于深度卷积神经网络（CNN）的多标志点检测中的最新方法达到了高准确性并改进了传统的临床工作流程。然而，CNN对敌对示例攻击的脆弱性很容易被利用来破坏分类和分割任务。本文首次研究了基于CNN的多地标检测模型对对抗性扰动的脆弱性。具体来说，我们提出了一种新的自适应目标迭代FGSM（ATI-FGSM）攻击对国家的最先进的模型在多个地标检测。攻击者可以使用ATI-FGSM精确控制任意选择的地标的模型预测，同时通过向原始图像添加不可感知的扰动来保持其他静止地标静止。对一个用于头影测量标志检测的公共数据集的综合评估表明，与原始的迭代FGSM攻击相比，ATI-FGSM生成的对抗性示例更有效地破坏了基于CNN的网络。我们的工作揭示了对患者健康的严重威胁。此外，我们讨论了我们的方法的局限性，并提供潜在的防御方向，通过调查附近地标的耦合效应，即，我们实验中分歧的主要来源。我们的源代码可以在https://github.com/qsyao/attack_landmark_detection上找到。
2020-07-10 cs.CV
Search Space of Adversarial Perturbations against Image Filters
Institute of Information Security（信息安全研究所）
深度学习性能的优越性受到自身安全问题的威胁。最近的研究结果表明，深度学习系统对对抗性示例非常弱，这种攻击形式是由攻击者欺骗深度学习系统的意图改变的。有许多防御方法可以保护深度学习系统免受对抗性示例的攻击。然而，仍然缺乏欺骗这些防御方法的主要策略。任何时候提出一个特定的对策，一个新的强大的对抗攻击将被发明来欺骗该对策。在这项研究中，我们专注于研究在搜索空间中创建对抗模式的能力，以对抗使用图像过滤器的防御方法。在具有图像分类任务的ImageNet数据集上进行的实验结果显示了对抗扰动的搜索空间与过滤器之间的相关性。这些发现为构建针对深度学习系统的更强大的攻击方法开辟了新的方向。
2020-03-05 cs.CV eess.IV
Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；University of Virginia（弗吉尼亚大学）
本文提出ADV-LLM迭代自微调框架，以低计算成本构建高越狱能力的对抗性LLM，在开源模型上实现近100%攻击成功率，并具备向GPT-3.5和GPT-4等闭源模型的强迁移性。
2025-11-07 cs.CL cs.LG
Resilience from Diversity: Population-based approach to harden models against adversarial attacks
University of Central Florida（中佛罗里达大学）；Department of Computer Science（计算机科学系）；Department of Industrial Engineering and Management Systems（工业工程与管理系统系）；Orlando, FL, USA（奥兰多，佛罗里达州，美国）
传统的深度学习网络（DNN）表现出有趣的漏洞，允许攻击者迫使它们在任务中失败。众所周知的攻击，如快速梯度符号法（FGSM）和更强大的投影梯度下降（PGD），通过向输入的计算梯度添加扰动幅度$ε$来生成对抗样本，从而导致模型分类有效性的恶化。这项工作介绍了一个模型，是弹性的对抗攻击。我们的模型利用了一种既定的防御机制，该机制利用了随机性和DNN群体。更准确地说，我们的模型由一群$n$不同的子模型组成，每个子模型都经过训练，以单独获得手头任务的高精度，同时被迫保持其权重的有意义的差异。每次我们的模型接收到分类查询时，它都会从其种群中随机选择一个子模型来回答查询。为了对抗攻击的可转移性，在子模型的种群中引入并保持多样性。从而引入了反链接权重的概念。计数器链接模型（CLM）由相同架构的DNN群体组成，在同步训练期间进行定期随机相似性检查，以保证多样性，同时保持准确性。虽然随机化技术被证明对对抗攻击具有弹性，但我们表明，通过重新训练DNN集成或从一开始就使用计数器链接进行训练，在MNIST数据集上测试时，将鲁棒性提高约20%，在CIFAR-10数据集上测试时至少提高15%。当CLM与对抗训练相结合时，这种防御机制实现了最先进的鲁棒性。
2022-02-15 cs.LG
Cortical Features for Defense Against Adversarial Audio Attacks
University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们建议使用听觉皮层的计算模型作为对音频的对抗攻击的防御。我们将几种基于白盒迭代优化的对抗攻击应用于Amazon Alexa硬件网络的实现，以及具有集成皮质表示的该网络的修改版本，并表明皮质特征有助于防御通用对抗示例。在相同的失真水平下，针对皮层网络发现的对抗性噪声对于通用音频攻击总是不太有效。我们在https://github.com/ilyakava/py3fst上公开发布我们的代码。
2021-11-17 cs.LG cs.SD eess.AS
Enhancing Transferability of Adversarial Examples with Spatial Momentum
Beihang University（北京航空航天大学）
许多对抗攻击方法在白盒环境下取得了令人满意的攻击成功率，但在攻击其他DNN模型时，它们通常表现出较差的可移植性。动量攻击是提高可移植性的一种有效方法。该算法在迭代过程中引入了动量项，通过增加每个像素梯度的时间相关性来稳定更新方向。我们认为，只有这种时间动量是不够的，从图像内的空间域的梯度，即从上下文像素集中在目标像素的梯度也是重要的稳定。为此，我们提出了一种新的方法命名为空间动量迭代FGSM攻击（SMI-FGSM），它通过考虑图像内不同区域的上下文信息，从时域到空域引入动量累积的机制。然后将SMI-FGSM与时间动量相结合，以同时从时间和空间域稳定梯度的更新方向。大量的实验表明，我们的方法确实进一步增强了对抗性可转移性。它实现了多个主流的非防御和防御模型的最佳可转移成功率，平均比最先进的攻击方法高出10%。
2022-11-03 cs.CV
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab（腾讯人工智能实验室）
近年来，针对自动说话人确认系统的对抗性攻击引起了广泛的关注，因为它们对自动说话人确认系统构成了严重的威胁。然而，防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外，对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交，这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击，而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器，并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性，我们分析了各种不可见攻击设置的影响，并观察到检测器对不可见替代ASV系统具有鲁棒性（最坏情况下的EER_{det}退化为6.27%），但对不可见扰动方法具有较弱的鲁棒性（最坏情况下的EER_{det}退化为50.37%）。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
Adversarial Robustness Assessment of NeuroEvolution Approaches
University of Coimbra（科英布拉大学）
NeuroEvolution通过应用演化计算的技术自动生成人工神经网络。这些方法的主要目标是构建最大化预测性能的模型，有时还具有最小化计算复杂性的附加目标。虽然演化模型在性能方面取得了有竞争力的结果，但它们对对抗性示例的鲁棒性（这在安全关键场景中成为一个问题）受到了有限的关注。在本文中，我们评估了两个突出的神经进化方法在CIFAR-10图像分类任务中发现的模型的对抗鲁棒性：DENSER和NSGA-Net。由于模型是公开可用的，我们考虑白盒无目标攻击，其中扰动由L2或无穷范数约束。类似于手动设计的网络，我们的研究结果表明，当进化模型的攻击与迭代法，其准确性通常下降到，或接近于零下的距离度量。DENSER模型是这一趋势的例外，在L2威胁模型下显示出一定的抵抗力，即使在迭代攻击下，其准确率也仅从93.70%下降到18.10%。此外，我们还分析了在网络第一层之前对数据进行预处理的影响。我们的观察表明，其中一些技术可能会加剧添加到原始输入的扰动，从而可能损害鲁棒性。因此，在为容易发生对抗攻击的应用程序自动设计网络时，不应忽略这种选择。
2022-07-12 cs.AI cs.LG cs.NE
On adversarial robustness and the use of Wasserstein ascent-descent dynamics to enforce it
我们提出了迭代算法来解决各种监督学习感兴趣的设置中的对抗问题。我们的算法，这可以被解释为合适的上升下降动力学在Wasserstein空间，采取相互作用的粒子系统的形式。这些相互作用的粒子动力学收敛到适当的平均场极限方程在某些大量的粒子制度。反过来，我们证明了，在一定的规律性假设下，这些平均场方程收敛，在大的时间限制，接近纳什均衡的原始对抗学习问题。我们目前的结果为非凸非凹的设置，以及为非凸凹的。数值实验说明了我们的结果。
2023-01-09 cs.LG math.AP math.OC
LoRID: Low-Rank Iterative Diffusion for Adversarial Purification
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本研究针对基于扩散的对抗纯化方法的固有误差问题，提出融合多轮早期扩散去噪循环与Tucker分解的LoRID方法，提升了有效扩散时间步，在多个数据集的黑白盒攻击下均实现更优鲁棒性。
2024-09-12 cs.AI cs.CR cs.LG
