Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization
School of Software Technology, Dalian University of Technology（大连理工大学软件学院）
针对现有对抗训练存在的训练不稳定、灾难性过拟合问题，提出名为LAST的代理引导对抗防御框架，利用目标模型历史状态作代理，结合自蒸馏正则化，显著提升模型鲁棒性与训练稳定性，适配多种场景。
2024-03-10 cs.LG
Keep on Swimming: Real Attackers Only Need Partial Knowledge of a Multi-Model System
HiddenLayer Inc.（隐层公司）
针对多模型组合系统对抗攻击需全量代理模型的难题，提出仅需最终黑盒模型代理的攻击方法，在有监督图像任务上成功率达80%、扰动更小，且可推广至多类多模型场景。
2024-10-30 cs.AI cs.CR cs.CV
Stop Reasoning! When Multimodal LLM with Chain-of-Thought Reasoning Meets Adversarial Image
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Huawei Technologies（华为技术有限公司）；University of Oxford（牛津大学）
研究CoT对MLLMs对抗鲁棒性的影响，发现其提升有限，并提出绕过CoT过程的停止推理攻击，显著超越基线攻击并导致误导预测。
2024-09-22 cs.AI cs.CR cs.CV
When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks
The Chinese University of Hong Kong（香港中文大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
对抗攻击的最新进展揭示了现代深层神经网络的内在脆弱性。从那时起，人们投入了大量的努力，通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中，我们采取了架构的角度来看，并调查的模式，网络架构的弹性对抗攻击。为了获得本研究所需的大量网络，我们采用一次性神经结构搜索，训练一次大型网络，然后对从中采样的子网络进行微调。采样架构以及它们所达到的精度为我们的研究提供了丰富的基础。我们的“鲁棒架构Odyssey”揭示了几个有价值的观察：1）密集连接的模式导致提高的鲁棒性; 2）在计算预算下，将卷积运算添加到直接连接边是有效的; 3）解决方案流程（FSP）矩阵是网络鲁棒性的良好指标。基于这些观察，我们发现了一个强大的架构（RobNets）的家庭。在各种数据集上，包括CIFAR，SVHN，Tiny-ImageNet和ImageNet，RobNets表现出比其他广泛使用的架构更出色的鲁棒性性能。值得注意的是，RobNets大大提高了白盒和黑盒攻击下的鲁棒准确性（约5%的绝对增益），即使参数数量更少。代码可在https://github.com/gmh14/RobNets上获得。
2020-03-26 cs.CR cs.CV cs.LG
AdvFunMatch: When Consistent Teaching Meets Adversarial Robustness
Xidian University（西安电子科技大学）
本文提出 AdvFunMatch 方法，通过在一致性教学框架下对 $\ell_p$-范数球内最坏情况样本进行函数匹配，实现对抗鲁棒性从教师模型到学生模型的有效迁移，同时保持高干净准确率。
2023-05-25 cs.CV cs.LG
LoFT: Local Proxy Fine-tuning For Improving Transferability Of Adversarial Attacks Against Large Language Model
Carnegie Mellon University（卡内基梅隆大学）
本文提出局部微调（LoFT）方法，通过在有害查询的词汇语义邻域内微调公开代理模型以减小其与私有目标模型的差异，从而提升对抗攻击的迁移性，在 ChatGPT、GPT-4 和 Claude 上分别将攻击成功率提高了 39%、7% 和 0.5%。
2023-10-21 cs.AI cs.CL cs.LG
Enhance transferability of adversarial examples with model architecture
Fuzhou University（福州大学）；City University of Macau（澳门城市大学）；Peking University（北京大学）
对抗性示例的可移植性对于发起黑盒对抗攻击至关重要，其中攻击者仅允许访问目标模型的输出。然而，在这样一个具有挑战性但实际的环境下，精心制作的对抗性示例总是倾向于过度拟合所采用的代理模型，表现出很差的可移植性。在本文中，我们建议从一个新的角度来缓解过拟合问题，即，设计一个合适的模型架构。具体而言，深入挖掘可移植性差的原因，我们可以说是分解和重构现有的模型架构，成为一个有效的模型架构，即多轨道模型架构（MMA）。在MMA上制作的对抗性示例可以最大限度地减轻模型指定的特征对它的影响，以及不同架构所采用的脆弱方向。广泛的实验评估表明，基于MMA的对抗性示例的可移植性显着超过其他最先进的模型架构高达40%，开销相当。
2022-02-28 cs.CR cs.CV cs.LG
Defensive Quantization: When Efficiency Meets Robustness
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
神经网络量化正在成为一种行业标准，可在CPU、GPU、TPU和FPGA等硬件平台上高效部署深度学习模型。然而，我们观察到传统的量化方法容易受到对抗攻击。本文旨在提高人们对量化模型安全性的认识，并设计了一种新的量化方法，以联合优化深度学习模型的效率和鲁棒性。我们首先进行了实证研究，表明香草量化遭受更多的对抗攻击。我们观察到，较差的鲁棒性来自误差放大效应，其中量化操作进一步扩大了由放大的噪声引起的距离。然后，我们提出了一种新的防御性量化（DQ）方法，通过在量化过程中控制网络的Lipschitz常数，使得对抗性噪声的大小在推理过程中保持非扩展性。在CIFAR-10和SVHN数据集上的大量实验表明，我们的新量化方法可以保护神经网络免受对抗性示例的攻击，甚至比全精度量化方法具有更好的鲁棒性，同时保持与香草量化方法相同的硬件效率。作为副产品，DQ还可以提高量化模型的准确性，而不会受到对抗攻击。
2019-04-17 cs.CV cs.LG stat.ML
Two Coupled Rejection Metrics Can Tell Adversarial Examples Apart
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
正确分类对抗性示例是安全部署机器学习模型的基本但具有挑战性的要求。正如RobustBench所报告的那样，即使是最先进的对抗训练模型也难以在CIFAR-10上超过67%的鲁棒测试准确率，这远远不实用。实现鲁棒性的一种补充方法是引入拒绝选项，允许模型不返回对不确定输入的预测，其中置信度是常用的确定性代理。随着这个例程，我们发现，信心和整流的信心（R-Con）可以形成两个耦合的拒绝度量，这可以证明区分错误分类的输入正确分类的。这个有趣的特性揭示了如何使用耦合策略来更好地检测和拒绝对抗性示例。我们在CIFAR-10，CIFAR-10-C和CIFAR-100上评估了我们的纠正拒绝（RR）模块，包括自适应攻击，并证明了RR模块与不同的对抗训练框架兼容，提高了鲁棒性，几乎没有额外的计算。该代码可在https://github.com/P2333/Rectified-Rejection上获得。
2022-03-31 cs.CR cs.CV cs.LG
Secure Diagnostics: Adversarial Robustness Meets Clinical Interpretability
Sharif University of Technology（谢里夫理工大学）；University of Tehran（德黑兰大学）；Shahid Beheshti University of Medical Sciences（沙希德贝赫什提医科大学）
本文研究骨折检测深度网络的可解释性与对抗鲁棒性之间的关系，证明鲁棒模型能产生更符合临床标注的解释，并强调可解释性对人机协作和安全临床部署的价值。
2025-04-07 cs.CV
Towards Imperceptible Query-limited Adversarial Attacks with Perceptual Feature Fidelity Loss
University of California（加利福尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
最近，有大量的工作是通过视觉上类似于良性样本的对抗性输入来欺骗基于深度学习的分类器，特别是对于图像。然而，研究人员通常使用Lp范数最小化作为不可感知性的代理，这过度简化了真实世界图像和人类视觉感知的多样性和丰富性。在这项工作中，我们提出了一种新的感知度量，利用低级别图像特征保真度和人类视觉敏感度之间的良好联系，我们称之为感知特征保真度损失。我们证明了我们的度量可以鲁棒地反映和描述在各种条件下验证的生成的对抗图像的不可感知性。此外，我们证明了该度量是高度灵活的，可以方便地集成到不同的现有优化框架中，以指导噪声分布，以获得更好的不可感知性。该度量在具有挑战性的黑盒攻击中特别有用，其中由于非平凡的扰动功率而难以实现不可感知性。
2021-01-31 cs.CR cs.CV cs.LG
Physical Adversarial Attack meets Computer Vision: A Decade Survey
Wuhan University（武汉大学）；Peking University（北京大学）；Zhejiang University（浙江大学）；National Institute of Informatics（情报通信研究机构）；The University of Tokyo（东京大学）；ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）；INSAIT
本文系统综述了物理对抗攻击，提出四个攻击步骤并引入“对抗介质”概念，进而设计包含有效性、隐蔽性、鲁棒性、实用性、美观性和经济性六个维度的hiPAA评估指标，为物理世界DNNs安全评估提供新框架。
2024-11-21 cs.CV
Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training
Hosei University（法政大学）
尽管注意力机制已被应用于各种深度学习模型，并已被证明可以提高预测性能，但据报道，注意力机制容易受到机制扰动的影响。为了克服机制中对扰动的脆弱性，我们受到对抗训练（AT）的启发，这是一种强大的正则化技术，用于增强模型的鲁棒性。在本文中，我们提出了一个通用的自然语言处理任务的训练技术，包括注意力AT（Attention AT）和更可解释的注意力AT（Attention iAT）。所提出的技术提高了预测性能和模型的可解释性，利用与AT的机制。特别是，注意力iAT通过引入对抗扰动来增强这些优势，这增强了句子注意力的差异。使用10个开放数据集的评估实验显示，注意力机制的AT，特别是Attention iAT，表现出（1）在十个任务中的九个任务中表现最好，（2）更多的可解释注意力（即，所得到的注意力与基于梯度的单词重要性更强地相关）。此外，所提出的技术是（3）少得多的依赖于在AT的扰动大小。我们的代码可在https://github.com/shunk031/attention-meets-perturbation上获得
2021-07-01 cs.AI cs.CL cs.LG
With Great Backbones Comes Great Adversarial Transferability
University Of Copenhagen（哥本哈根大学）；University Of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
本研究系统评估了基于预训练骨干网络的模型在20,000种调优组合下的对抗鲁棒性，提出代理模型迁移攻击和仅用骨干网络的攻击方法，发现其可接近白盒攻击效果，揭示了模型共享中的关键风险。
2025-01-21 cs.AI cs.CR cs.CV
Brenier Meets Adversarial Training: Optimal Transport Geometry for Robust Learning
EPFL（瑞士洛桑联邦理工学院）；Apple（苹果公司）
本研究提出基于最优传输几何的对抗训练改进方法，通过多起点粒子上升和输入凸神经网络参数化对抗映射，确保循环单调性，从而在鲁棒回归、图像分类和控制任务中提升鲁棒性与泛化性能。
2026-09-28 cs.LG math.OC stat.ML
SAM Meets UAP: Attacking Segment Anything Model With Universal Adversarial Perturbation
Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本研究提出一种基于自监督对比学习的以扰动为中心的框架，生成图像无关的通用对抗扰动，以有效攻击 Segment Anything Model，使其预测无效掩码。
2024-08-20 cs.CV
Adversarial RAW: Image-Scaling Attack Against Imaging Pipeline
深度学习技术已经成为计算机视觉发展的支柱。随着进一步的探索，人们发现深度神经网络容易受到精心设计的对抗攻击的攻击。大多数视觉设备都配备了图像信号处理（ISP）流水线来实现RAW到RGB的转换，并嵌入到数据预处理模块中以进行高效的图像处理。实际上，ISP管道可以将对抗行为引入到捕获后的图像中，而数据预处理可能会破坏攻击模式。然而，现有的对抗攻击都没有考虑ISP管道和数据预处理的影响。在本文中，我们开发了一种针对ISP管道的图像缩放攻击，其中制作的对抗RAW可以转换为攻击图像，一旦缩放到特定大小的图像，则会呈现完全不同的外观。我们首先考虑梯度可用的ISP管道，即，梯度信息可以直接用于对抗RAW的生成过程中来发起攻击。为了使对抗攻击更适用，我们进一步考虑梯度不可用的ISP管道，其中提出了一个很好地学习RAW到RGB变换的代理模型作为梯度预言机。大量的实验表明，所提出的对抗攻击可以针对目标ISP管道制造对抗RAW数据，具有高攻击率。
2022-06-02 cs.CR cs.CV cs.LG
Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Michigan（密歇根大学）；Tulane University（杜兰大学）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）
认证的鲁棒性保证衡量模型对测试时攻击的鲁棒性，并可以评估模型在现实世界中部署的准备情况。在这项工作中，我们批判性地研究了当最先进的可证明的鲁棒模型遇到分布外（OOD）数据时，基于随机平滑的认证方法的对抗鲁棒性保证如何变化。我们的分析表明，这些模型对低频OOD数据（如与天气相关的损坏）存在以前未知的脆弱性，使这些模型不适合在野外部署。为了缓解这个问题，我们提出了一种新的数据增强计划，FourierMix，产生增强，以提高频谱覆盖的训练数据。此外，我们提出了一个新的正则化，鼓励一致的预测噪声扰动的增强数据，以提高平滑模型的质量。我们发现，FourierMix增强有助于消除光谱偏差的证明强大的模型，使他们能够实现显着更好的鲁棒性保证一系列的OOD基准。我们的评估还揭示了当前OOD基准在突出模型的光谱偏差方面的无能。为此，我们提出了一个全面的基准套件，包含腐败从不同地区的频谱域。对使用流行的增强方法训练的模型进行评估，突出了它们的频谱偏差，并确定了FourierMix训练模型在整个频谱上OOD偏移下实现更好的认证鲁棒性保证的优越性。
2021-12-01 cs.AI cs.CR cs.LG
Left-right Discrepancy for Adversarial Attack on Stereo Networks
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；City University of Hong Kong（香港城市大学）
本文提出一种通过最大化左右图像特征差异来攻击立体匹配网络的新方法，在KITTI和Scene Flow数据集上显著超越现有攻击方法，并扩展了基于代理网络的黑盒攻击方案。
2024-01-14 cs.CV
A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection
BrainChip Inc.（脑芯片公司）
研究一种新型对抗样本，通过在MNIST、CIFAR-10和ImageNet上实验，回答人类与模型差距、OOD检测工具及现有防御能否应对该样本三个问题，发现人类表现比模型差，现有检测工具失效，经典防御无效，且攻击对低层次纹理破坏更快。
2026-07-28 cs.AI cs.CV cs.LG
When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study
IT College, Shanghai Ocean University（上海海洋大学信息学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；SEIE, Suzhou University of Science and Technology（苏州科技大学SEIE学院）；DP Tech（DP科技）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文通过理论和实证研究，探讨Muon优化器（基于近似极分解的正交化更新）在对抗训练中的效果，发现其能限制矩阵更新的谱范数增长，在CNN和ViT上优于AdamW，与SGD竞争力相当。
2026-05-29 cs.LG
AEMIM: Adversarial Examples Meet Masked Image Modeling
Peng Cheng Laboratory（鹏城实验室）；University of the Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
提出将对抗样本作为重建目标融入掩码图像建模，通过在线生成对抗样本提升预训练难度与效率，作为通用插件增强各类MIM方法的泛化与鲁棒性。
2024-07-16 cs.AI cs.CV
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Confidence-aware Training of Smoothed Classifiers for Certified Robustness
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
任何分类器都可以在高斯噪声下被“平滑”，以构建可证明对$\ell_2$ -对抗性扰动（即，通过随机平滑来平均其对噪声的预测。在平滑分类器下，准确性和（对抗性）鲁棒性之间的基本权衡已经在文献中得到很好的证明：即，增加用于输入的分类器的鲁棒性可能以降低用于某些其它输入的准确度为代价。在本文中，我们提出了一个简单的训练方法，利用这种权衡来获得强大的平滑分类器，特别是通过对训练样本的鲁棒性进行样本控制。我们通过使用“高斯噪声下的准确性”作为输入的对抗鲁棒性的易于计算的代理，使这种控制变得可行。具体来说，我们根据这个代理来区分训练目标，以过滤掉不太可能从最坏情况（对抗性）目标中受益的样本。我们的实验表明，所提出的方法，尽管其简单性，始终表现出改进的认证的鲁棒性后，国家的最先进的训练方法。有些令人惊讶的是，我们发现这些改进甚至对于其他鲁棒性概念也存在，例如，各种常见的腐败行为
2022-12-20 cs.AI cs.LG
Lipschitz Constant Meets Condition Number: Learning Robust and Compact Deep Neural Networks
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tianjin University（天津大学）
针对高剪枝导致DNN病态权重矩阵而脆弱的问题，提出TSCNC联合约束降低条件数，理论揭示条件数与Lipschitz常数关系，实验证明提升高剪枝率下的鲁棒性。
2025-03-26 cs.CV cs.LG
Adversarial Attacks on Cognitive Self-Organizing Networks: The Challenge and the Way Forward
Information Technology University Punjab（旁遮普信息技术大学）；Western Michigan University（西密歇根大学）
未来的通信和数据网预计将主要是认知自组织网络（CSON）。这种网络将具有认知自组织的基本属性，这可以使用机器学习技术（例如，深度学习）。尽管这些技术具有潜力，但这些技术在其当前形式下容易受到对抗攻击的攻击，这些攻击可能导致级联损害，对整个网络造成有害后果。在本文中，我们探讨了对抗攻击对CSON的影响。我们的实验突出了CSON必须处理的威胁水平，以满足下一代网络的挑战，并指出未来工作的方向。
2018-09-26 cs.AI cs.CR cs.LG
Matching Markets meet Cumulative Prospect Theory: Towards Optimal and Adversarially Robust Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
研究基于累积前景理论（CPT）的竞争性双边匹配市场多智能体多臂赌博机问题，提出最优遗憾界算法并扩展到对抗性市场。
2026-06-19 cs.LG stat.ML
TrajSyn: Privacy-Preserving Dataset Distillation from Federated Model Trajectories for Server-Side Adversarial Training
Computer Science Department, Columbia University（哥伦比亚大学计算机科学系）；School of Computer Science and Engineering, Vellore Institute of Technology（维洛雷理工学院计算机科学与工程学院）；School of Information Technology, Deakin University（德肯大学信息科技学院）
TrajSyn通过从客户端模型更新轨迹中生成代理数据集，实现隐私保护的服务器端对抗训练，提升图像分类任务的对抗鲁棒性。
2025-12-17 cs.LG
Rethinking Empirical Evaluation of Adversarial Robustness Using First-Order Attack Methods
Massachusetts Institute of Technology（麻省理工学院）
我们确定了三种常见的情况下，导致高估的对抗精度对有界一阶攻击方法，这是普遍使用的对抗鲁棒性在实证研究中的代理。对于每种情况下，我们提出的补偿方法，要么解决不准确的梯度计算的来源，如数值不稳定性接近零和不可微性，或通过近似二阶信息减少迭代攻击的反向传播的总数。这些补偿方法可以与现有的攻击方法相结合，以获得更精确的经验评估度量。我们通过具有实际意义的示例来说明这三种情况的影响，例如基准模型容量和鲁棒性正则化技术。总的来说，我们的工作表明，即使对于传统训练的深度神经网络，高估的对抗准确性也不代表鲁棒性，并强调了使用没有保证界限的经验评估的警告。
2020-06-01 cs.AI cs.LG stat.ML
Two Heads are Better than One: Robust Learning Meets Multi-branch Models
Department of Computer Science, The University of Hong Kong（计算机科学系，香港大学）；Department of Electronic Engineering, Shanghai Jiao Tong University（电子工程系，上海交通大学）；Department of Electrical and Electronic Engineering, The University of Hong Kong（电气电子工程系，香港大学）；Department of Computer Science, City University of Hong Kong（计算机科学系，城市大学）；School of Computing, National University of Singapore（计算学院，新加坡国立大学）
针对深度神经网络的对抗鲁棒性问题，本文提出分支正交对抗训练方法BORT，通过多分支结构加分支正交损失实现解空间正交，仅用原始数据集训练就取得了SOTA的对抗鲁棒性能。
2025-11-13 cs.CV
Conditional Adversarial Fragility in Financial Machine Learning under Macroeconomic Stress
本研究探讨了金融机器学习中宏观经济压力对对抗鲁棒性的影响，发现压力环境下模型对抗脆弱性显著增加，提出基于制度意识的评估框架及解释性治理层。
2025-12-22 cs.AI cs.CR cs.LG
Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Collaborative Innovation Center of Railway Traffic Safety（轨道交通安全协同创新中心）
本文提出MultiANDA方法，利用随机梯度上升的渐近正态性和深度集成策略估计高斯混合后验分布，为每个输入生成无限对抗扰动，在14个模型上超越10种最先进黑盒攻击。
2024-03-29 cs.CV cs.LG
Sample Efficient Detection and Classification of Adversarial Attacks via Self-Supervised Embeddings
University of Maryland（马里兰大学）
深度模型的对抗鲁棒性对于确保在现实环境中的安全部署至关重要，但大多数现代防御措施的范围都很窄，成本也很高。在本文中，我们提出了一种自监督的方法来检测对抗攻击，并将它们分类到各自的威胁模型，基于线性模型操作的嵌入从一个预先训练的自监督编码器。我们在实验中使用了Simplified编码器，因为我们表明Simplified嵌入距离是人类感知能力的一个很好的代理，使其能够同时封装许多威胁模型。我们称我们的方法为SimCat，因为它使用Simcat编码器来捕获和分类各种类型的对抗攻击，包括L_p和非L_p规避攻击，以及数据投毒。线性分类器的简单性质使得我们的方法在时间和样本复杂度上都是有效的。例如，在SVHN上，使用PGD-L_inf攻击计算的五对干净和对抗性示例，SimCat的检测准确率超过85%。此外，在ImageNet上，仅使用每个威胁模型的25个示例，SimCat就可以对PGD-L_2、PGD-L_inf、CW-L_2、PPGD、LPA、StAdv、ReColor和JPEG-L_inf等八种不同的攻击类型进行分类，准确率超过40%。在STL 10数据上，我们应用SimCat作为对中毒攻击的防御，例如BP，CP，FC，CLBD，HTBD，成功率减半，而仅使用20种毒药进行训练。我们发现，探测器推广以及看不见的威胁模型。最后，我们研究了我们的检测方法在自适应攻击下的性能，并通过对抗性训练…
2021-08-30 cs.CR cs.LG
Can Targeted Adversarial Examples Transfer When the Source and Target Models Have No Label Space Overlap?
Duke University（杜克大学）；Facebook AI（Facebook人工智能）
针对攻击者的源模型和目标黑盒模型可能具有不相交的标签空间和训练数据集的环境，我们设计了基于黑盒传输的有针对性的对抗攻击。这种情况与“标准”黑盒设置有很大不同，并且保证了攻击过程的独特方法。我们的方法开始与白盒和黑盒标签集之间的类对应矩阵的建设。在攻击的在线阶段，我们利用白盒分布中高度相关的代理类的表示来欺骗黑盒模型预测所需的目标类。我们的攻击是在三个复杂而具有挑战性的测试环境中进行评估的，其中源模型和目标模型在其独特的类别中有不同程度的概念重叠。最终，我们发现，在具有非重叠标签空间的模型之间，确实有可能构建有针对性的基于转移的对抗攻击！我们还分析了攻击成功对干净数据属性的敏感性。最后，我们表明，当与基于查询的方法相结合时，我们的传输攻击可以作为强大的对抗先验，显着提高查询效率和对抗成功。
2021-03-17 cs.LG
Universal, transferable and targeted adversarial attacks
Harbin Institute of Technology（哈尔滨工业大学）
深度神经网络最近被发现是脆弱的。一种设计良好的输入，称为对抗性样本，可以导致网络做出错误的预测。根据不同的场景、目标和能力，攻击的难度也不同，例如，有针对性攻击比无针对性攻击难，通用攻击比非通用攻击难，可转移攻击比不可转移攻击难。问题是：是否存在一种攻击可以满足所有这些要求？本文通过在这些条件下产生一种攻击来回答这个问题。我们学习了一个通用的映射，将源映射到对抗性示例。这些例子可以欺骗分类网络将它们全部分类到一个目标类中，并且具有很强的可移植性。我们的代码发布在：xxxxx。
2022-06-13 cs.CV cs.LG stat.ML
Identifying Adversarially Attackable and Robust Samples
University of Cambridge（剑桥大学）
本文提出样本可攻击性概念及基于深度学习的检测器，用于识别未见数据集中最易受对抗攻击的可攻击样本和最不易受影响的鲁棒样本，发现其优于不确定性度量，有助于提升样本选择效率。
2023-06-25 cs.AI cs.LG
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa（渥太华大学）；American University（美利坚大学）
计算机生成文本的检测是一个重要性迅速增加的领域，因为新生的生成模型允许有效创建引人注目的类人文本，这些文本可能被滥用于垃圾邮件，虚假信息，网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测，但尽管威胁形势不断发展，但对检测方法对对抗攻击的鲁棒性分析很少。为此，我们评估了神经和非神经方法检测计算机生成的文本的能力，对文本对抗攻击的鲁棒性，以及成功的对抗攻击对人类判断文本质量的影响。我们发现，虽然统计特征的表现不如神经特征，但统计特征提供了额外的对抗鲁棒性，可以在集成检测模型中加以利用。在这个过程中，我们发现，以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小，并确定有前途的统计功能，而不是使用。最后，我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
Adaptive Model Inversion Attacks Generalize a Privacy-Robustness Tradeoff
Dartmouth College（达特茅斯学院）
本文通过自适应攻击调整揭示标准模型反演攻击评估低估隐私泄露，并发现重建泄露与对抗鲁棒性紧密相关，提出鲁棒性可作为重建脆弱性的广泛代理。
2026-10-07 cs.CR cs.LG
Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial Attack Framework
Huazhong University of Science and Technology（华中科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对文本离散性导致视觉领域基于优化的对抗攻击方法难以直接应用于NLP的问题，提出统一框架并实例化T-PGD算法，在迁移黑盒攻击下实现更优性能与更流畅的对抗样本。
2023-06-08 cs.CL cs.CR cs.LG
Fed-Safe: Securing Federated Learning in Healthcare Against Adversarial Attacks
Harvard Medical School, Harvard University（哈佛大学哈佛医学院）
本文提出Fed-Safe方法，通过在联邦学习中引入分布式噪声，在保护隐私的同时抵御对抗攻击，并在癌症影像（病理、脑膜瘤、胶质瘤）上验证其达到与传统对抗训练相当的安全水平且需更少重训练样本。
2023-10-12 cs.CV
Reversible Adversarial Attack based on Reversible Image Transformation
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）
为了防止对人脸等图像数据的非法或未经授权的访问，确保合法用户能够使用受授权保护的数据，可逆对抗攻击技术应运而生。可逆对抗样本（RAE）同时具有攻击能力和可逆性。然而，现有技术在对抗性扰动较强时，图像失真严重，恢复失败，已不能满足应用要求。本文利用可逆图像变换技术生成RAE，实现可逆对抗攻击。实验结果表明，提出的RAE生成方案可以保证图像的不可感知的失真和原始图像可以重建的错误。而且，无论是攻击能力还是成像质量都不受扰动幅度的限制。
2021-05-25 cs.CV cs.MM eess.IV
Scalable Attribution of Adversarial Attacks via Multi-Task Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
深度神经网络（DNN）在推理阶段很容易被对抗攻击愚弄，攻击者会在原始示例中添加不可感知的扰动，即，敌对的例子。许多工作集中在对抗性检测和对抗性训练，以抵御对抗攻击。然而，很少有作品探讨对抗性示例背后的工具链，这可以帮助防御者抓住攻击发起者的线索，他们的目标，并提供针对相应攻击的最有效的防御算法。有了这样的差距，有必要开发能够识别用来生成对抗性示例的工具链的技术，这被称为对抗性归因问题（AAP）。在本文中，AAP被定义为三个签名的识别，即，{ \em攻击算法}、{ \em受害者模型}和{ \em超参数}。现有的工作将AAP转化为单一的标签分类任务，忽略了这些特征之间的关系。前者随着签名数目的增加会遇到组合爆炸问题。后者要求我们不能将AAP简单地视为单个任务问题。我们首先进行一些实验来验证对抗性示例的可归因性。此外，我们提出了一个多任务学习框架，名为多任务对抗性归因（MTAA），同时识别三个签名。MTAA包含扰动提取模块、仅对抗性提取模块和分类回归模块。该算法考虑了攻击算法与相应超参数之间的关系，利用不确定性加权损失来调整三个识别任务的权重。在MNIST和ImageNet上的实验结果表明了该框架的可行性和可扩展性，以及处理虚警的有效性。
2023-02-25 cs.AI cs.CR cs.LG
FuncFooler: A Practical Black-box Attack Against Learning-based Binary Code Similarity Detection Methods
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Shandong University（山东大学）；RIKEN（理化学研究所）
二进制代码相似性检测（BCSD）方法测量两个二进制可执行代码的相似性。近年来，基于学习的BCSD方法取得了很大的成功，在检测精度和效率上都优于传统的BCSD方法。然而，现有的研究是相当稀疏的基于学习的BCSD方法的对抗性脆弱性，在安全相关的应用中造成的危害。为了评估对抗性鲁棒性，设计了一种高效的黑盒对抗性代码生成算法FuncFocal。FuncFocal约束对抗代码1）保持程序的控制流图（CFG）不变，2）保持相同的语义。具体而言，FuncFocal连续地1）确定恶意代码中的易受攻击的候选者，2）从良性代码中选择并插入对抗性指令，以及3）纠正对抗性代码的语义副作用以满足约束。从经验上看，我们的FuncFocal可以成功地攻击三个基于学习的BCSD模型，包括SAFE，Asm2Vec和jTrans，这就质疑了基于学习的BCSD是否可取。
2022-08-26 cs.AI cs.CR cs.LG
Is AmI (Attacks Meet Interpretability) Robust to Adversarial Examples?
Google Brain（谷歌大脑）
号
2019-02-06 cs.AI cs.CR cs.LG
Adversarial attacks for mixtures of classifiers
LAMSADE（LAMSADE实验室）；CNRS（法国国家科学研究中心）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）
针对现有攻击不适用于分类器混合模型的问题，本文提出攻击的有效性和最大性两个理想属性，设计了具备二元线性场景理论保证的lattice climber attack，经实验验证了其性能。
2023-07-20 cs.LG
Understanding Robustness in Teacher-Student Setting: A New Perspective
Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）；Facebook AI Research（Facebook人工智能研究）
对抗性示例已经成为机器学习模型的一个普遍属性，其中有界对抗性扰动可能会误导模型做出任意错误的预测。这样的示例提供了一种评估机器学习模型的鲁棒性的方法，以及用于理解模型训练过程的代理。广泛的研究试图解释对抗性示例的存在，并提供提高模型鲁棒性的方法（例如对抗性训练）。虽然它们主要关注在具有预定义标签的数据集上训练的模型，但我们利用教师-学生框架并假设教师模型或Oracle为给定实例提供标签。我们在低秩输入数据的情况下扩展了Tian（2019），并表明学生专业化（训练的学生神经元与同一层的某些教师神经元高度相关）仍然发生在输入子空间内，但教师和学生节点可能在数据子空间外差异很大，我们推测这会导致对抗性示例。大量的实验表明，学生专业化与不同场景下的模型鲁棒性密切相关，包括通过标准训练，对抗训练，置信度校准对抗训练以及使用鲁棒特征数据集进行训练的学生。我们的研究可以为未来关于对抗性示例的探索以及通过有原则的数据增强来增强模型的鲁棒性提供启示。
2021-03-01 cs.AI cs.LG
Learning under random distributional shifts
Harvard Business School（哈佛商学院）；Stanford University（斯坦福大学）
本文研究随机分布偏移下的预测问题，提出结合长期结果与短期代理结果的混合方法，证明其鲁棒性，并在庇护分配和早教数据上取得显著更低的均方误差。
2023-10-30 cs.LG stat.AP stat.ME
Standard detectors aren't (currently) fooled by physical adversarial stop signs
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
对抗性示例是指在测试时被调整为在系统中显示错误标签的示例。如果存在可以欺骗检测器的对抗性例子，它们可以被用来（例如）在充满智能车辆的道路上造成严重破坏。最近，我们描述了我们在创建欺骗检测器的物理对抗性停止标志时遇到的困难。最近，Evtimov等人制作了一个物理对抗停止标志，欺骗了检测器的代理模型。在本文中，我们证明了这些物理对抗停止符号在标准配置中不会欺骗两个标准检测器（YOLO和Faster RCNN）。Evtimov等人的构造依赖于将图像裁剪到停止标志;然后调整此裁剪的大小并将其呈现给分类器。我们认为，裁剪和重绘程序在很大程度上消除了重新缩放和视角的影响。对抗攻击在重新缩放和改变视角方向的情况下是否鲁棒仍然没有定论。我们认为攻击分类器与攻击检测器是非常不同的，并且检测器的结构-必须搜索自己的限界框，并且不能非常准确地估计该框-可能使对抗模式变得困难。最后，一个物理对象上的对抗性模式，如果能够欺骗探测器，那么它在面对一系列参数失真（尺度、视角、探测器内部的框移位、照明等）时，必须是对抗性的。这种模式将具有重大的理论和实践意义。目前没有证据表明存在这种模式。
2017-10-26 cs.AI cs.CV cs.GR
Improving Generalizability and Undetectability for Targeted Adversarial Attacks on Multimodal Pre-trained Models
Southeast University（东南大学）；Johns Hopkins University（约翰霍普金斯大学）；Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；University of Melbourne（墨尔本大学）
针对多模态预训练模型定向攻击泛化性和不可检测性不足的问题，提出代理定向攻击（PTA）方法，利用多模态代理优化对抗样本，兼顾高成功率与规避检测。
2026-09-09 cs.CV
Lattice Climber Attack: Adversarial attacks for randomized mixtures of classifiers
LAMSADE, CNRS, Université Paris Dauphine - PSL（LAMSADE、CNRS、巴黎第十一大学-PSL）
针对现有攻击方法不适用于分类器随机混合模型的问题，本文提出具备有效性与极大性的lattice climber attack攻击方法，该方法在二元线性设置下有理论保证，且经实验验证性能优异。
2025-06-12 cs.LG
Adversarial Robustness of Streaming Algorithms through Importance Sampling
Google（谷歌）；MIT（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们介绍了中央机器学习和算法任务，如回归和聚类，以及他们更一般的同行，子空间嵌入，低秩近似，和coreset建设的adversarially强大的流算法。对于回归和其他数值线性代数相关的任务，我们考虑行到达流模型。我们的研究结果是基于一个简单的，但强大的，观察到许多重要性采样为基础的算法产生对抗性的鲁棒性，这是在对比素描为基础的算法，这是非常普遍的流媒体文学，但遭受对抗攻击。此外，我们表明，著名的合并和减少流的范例是adversarially强大的。由于合并和减少范例允许coreset建设在流设置，因此，我们获得强大的算法$k$ -手段，$k$ -中位数，$k$ -中心，布雷格曼聚类，投影聚类，主成分分析（PCA）和非负矩阵分解。据我们所知，这些是第一个对抗性强的结果，这些问题还不需要新的算法实现。最后，我们经验性地证实了我们的算法对各种对抗攻击的鲁棒性，并证明了相比之下，一些常见的现有算法是不鲁棒的。（摘要缩短以满足arXiv限制）
2021-10-26 cs.DS cs.LG
Enhancing Accuracy and Robustness through Adversarial Training in Class Incremental Continual Learning
KAIST（韩国科学技术院）；GIST（光州科学技术院）
本文探讨了对抗训练在类增量持续学习（CICL）中因类不平衡导致的决策边界扭曲问题，提出外部对抗训练（EAT）方法，通过辅助外部模型生成对抗样本训练目标模型，显著提升了准确性与鲁棒性。
2023-05-23 cs.LG
Volatility in Certainty (VC): A Metric for Detecting Adversarial Perturbations During Inference in Neural Network Classifiers
Electrical and Computer Engineering（电气与计算机工程）；North Carolina A\&T State University（北卡罗来纳A&T州立大学）
针对神经网络分类器推理阶段无标签场景下的对抗扰动检测问题，提出无标签指标VC，通过softmax输出离散度捕捉置信度波动，实验证明其与分类准确率强负相关，可作为实时性能预警指标。
2025-11-14 cs.AI cs.LG
Learning of Population Dynamics: Inverse Optimization Meets JKO Scheme
Applied AI Institute（应用人工智能研究所）
本文提出iJKOnet，结合逆优化与JKO方案，通过端到端对抗训练学习群体动力学，无需限制性架构，提升性能。
2026-03-02 cs.AI cs.LG stat.ML
