Benchmarking Adversarial Robustness of Image Shadow Removal with Shadow-adaptive Attacks
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Nanyang Technological University(南洋理工大学)
针对阴影图像光照不均特性,提出阴影自适应对抗攻击,调整扰动预算以提升隐蔽性,并系统评估现有阴影去除方法的鲁棒性。
2024-03-15 cs.CV
BEARD: Benchmarking the Adversarial Robustness for Dataset Distillation
School of Electronic and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院);Department of Computer Science, University of Liverpool(利物浦大学计算机系)
本文提出BEARD基准测试,用于系统评估数据集蒸馏方法的对抗鲁棒性,引入三个关键指标并分析多种攻击、IPC设置及对抗训练效果,填补了该领域安全评估的空白。
2024-11-14 cs.CV
RobFR: Benchmarking Adversarial Robustness on Face Recognition
Department of Computer Science & Technology, Tsinghua University(清华大学计算机科学与技术系)
人脸识别(FR)最近取得了实质性进展,并在标准基准上实现了高准确性。然而,它在巨大的FR应用中引起了安全问题,因为深度CNN异常容易受到对抗性示例的影响,并且在FR模型部署在安全关键场景之前仍然缺乏全面的鲁棒性评估。为了更好地理解FR上的对抗性漏洞,我们开发了一个FR上的对抗性鲁棒性评估库\textbf{RobFR},作为评估下游任务鲁棒性的参考。具体而言,RobFR涉及15个流行的自然训练的FR模型,9个具有代表性的防御机制的模型和2个商业FR API服务,使用各种对抗攻击作为重要的替代品来执行鲁棒性评估。评估是在不同的对抗性设置下进行的,包括躲避和模仿、$\ell_2$和$\ell_\infty$以及白盒和黑盒攻击。我们进一步提出了一种地标引导剪切(LGC)攻击方法,通过考虑FR的特殊特性来提高对抗性示例的可移植性。基于大规模评估,商业FR API服务在鲁棒性评估方面未能表现出可接受的性能,并得出了一些重要结论,为理解FR模型的对抗鲁棒性和设计鲁棒FR模型提供了参考模型RobFR是开源的,并维护所有可扩展模块,即,\emph{Datasets}、\emph{FR Models}、\emph{Attacks\&Defenses}和\emph{Evaluations}在\url{https://github.com/ShawnXYang/Face-Robustness-Benchm…
2021-09-29 cs.CV
A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);RealAI(瑞莱智慧);Peng Cheng Laboratory(鹏城实验室);Zhongguancun Laboratory(中关村实验室);Alibaba Group(阿里巴巴集团)
深度神经网络在对抗性样本、常见腐败和分布偏移下通常缺乏鲁棒性,这成为深度学习发展中的一个重要研究问题。虽然新的深度学习方法和鲁棒性改进技术不断被提出,但由于其快速发展、多样的噪声模式和简单的评估指标,现有方法的鲁棒性评估往往是不足的。如果没有全面的鲁棒性评估,就很难理解该领域的进展并确定有效的方法。在本文中,我们建立了一个全面的鲁棒性基准称为\textbf{ARES-Bench}的图像分类任务。在我们的基准测试中,我们评估了ImageNet上55个典型深度学习模型的鲁棒性,这些模型具有不同的架构(例如,CNN、Transformers)和学习算法(例如,正态监督训练、预训练、对抗训练)在众多对抗攻击和分布外(OOD)数据集下。以鲁棒性曲线为主要评价标准,我们进行了大规模的实验,并得出了几个重要的发现,包括:1)对于同一模型架构,对抗性鲁棒性和自然鲁棒性之间存在内在的权衡; 2)对抗性训练有效地提高了对抗性鲁棒性,特别是在Transformer架构上进行时; 3)基于更多训练数据或自监督学习的预训练显著提高了自然鲁棒性。基于ARES-Bench,我们进一步分析了ImageNet上大规模对抗训练中的训练技巧。通过相应地设计训练设置,我们实现了新的最先进的对抗鲁棒性。我们已经公开了基准测试结果和代码平台。
2023-02-28 cs.CV
SIFT-Graph: Benchmarking Multimodal Defense Against Image Adversarial Attacks With Robust Feature Graph
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对深度视觉模型因依赖像素级表示易受对抗攻击的问题,提出SIFT-Graph多模态防御框架,融合SIFT关键点与图注意力网络的鲁棒特征及传统视觉模型,有效提升对白盒攻击的鲁棒性且清洁准确率下降轻微。
2025-11-11 cs.CV
Guardians of Image Quality: Benchmarking Defenses Against Adversarial Attacks on Image Quality Metrics
MSU Institute for Artificial Intelligence(莫斯科大学人工智能研究所);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);ISP RAS Research Center for Trusted Artificial Intelligence(ISP俄罗斯科学院可信人工智能研究中心);Innopolis University(因诺波利斯大学)
本文针对图像质量评估度量面临的对抗攻击,系统评估了25种防御策略(包括对抗净化、对抗训练和认证鲁棒性)在14种攻击下的表现,建立了基准以指导未来研究。
2025-10-08 cs.CV eess.IV
Benchmarking the Physical-world Adversarial Robustness of Vehicle Detection
Beihang University(北京航空航天大学)
本文基于 CARLA 模拟器构建 DCI 数据集,系统评测三种检测模型在物理对抗攻击下的鲁棒性,发现 Yolo v6 最鲁棒、ASA 攻击最有效,并指出攻击算法改进可能接近极限。
2023-04-11 cs.CV
BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning
New York University Abu Dhabi(纽约大学阿布扎比分校)
该研究提出BRUCE基准测试框架,通过RCI与T-RCI指标分析VLMs在科学视觉-语言推理任务中随污染升级的鲁棒性退化,实现可解释的失败分析。
2026-09-01 cs.CV
RobustART: Benchmarking Robustness on Architecture Design and Training Techniques
State Key Lab of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);SenseTime(商汤科技);Berkeley Artificial Intelligence Research Lab, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学);JD Explore Academy(京东探索研究院)
深度神经网络(DNN)易受对抗性噪声的影响,这激发了模型鲁棒性的基准测试。现有的基准主要集中在评估防御,但没有全面的研究如何架构设计和训练技术影响鲁棒性。对它们之间的关系进行全面的基准测试有利于更好地理解和开发强大的DNN。因此,我们提出了RobustART,这是ImageNet上关于架构设计(49个人类设计的现成架构和来自神经架构搜索的1200多个网络)和训练技术(10多个技术,例如,数据增强)对各种噪声(对抗性噪声、自然噪声和系统噪声)的影响。广泛的实验首次证实了几个见解,例如,(1)对抗性训练对于Transformers和MLP-混合器的所有噪声类型的鲁棒性是有效的;(2)给定可比较的模型大小和对齐的训练设置,CNN> Transformers > MLP-混合器对自然和系统噪声的鲁棒性; Transformers > MLP-混合器> CNN对对抗性鲁棒性;(3)对于一些轻量级架构,增加模型大小或使用额外的数据不能提高鲁棒性。我们的基准提供:(1)用于全面鲁棒性评估的开源平台;(2)各种预训练模型,以促进鲁棒性评估;(3)更好地理解设计鲁棒DNN的机制的新视图。我们将继续为社区发展这个生态系统。
2022-01-14 cs.CV
Adversarial Robustness of Deep Sensor Fusion Models
Washington University in St. Louis(圣路易斯华盛顿大学)
我们通过实验研究了深度相机-LiDAR融合架构在自动驾驶中用于二维目标检测的鲁棒性。首先,我们发现融合模型通常比单传感器深度神经网络更准确,对单源攻击更鲁棒。此外,我们表明,在没有对抗性训练的情况下,早期融合比晚期融合更鲁棒,而在对抗性训练后两者的表现相似。然而,我们注意到,深度融合的单通道对抗性训练通常甚至对鲁棒性有害。此外,我们观察到跨通道外部性,其中单通道对抗训练降低了对其他通道攻击的鲁棒性。此外,我们观察到对抗训练中对抗模型的选择至关重要:使用限制在汽车边界框的攻击在对抗训练中更有效,并且表现出不太显著的跨通道外部性。最后,我们发现联合通道对抗训练有助于缓解上述许多问题,但不会显著提高对抗鲁棒性。
2022-04-11 cs.CV
Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
最先进的深度神经网络容易受到常见的破坏(例如,由天气变化、系统误差和处理引起的输入数据劣化、失真和干扰)。虽然在分析和提高图像理解中模型的鲁棒性方面已经取得了很大的进展,但在视频理解中的鲁棒性在很大程度上尚未探索。在本文中,我们建立了一个腐败的鲁棒性基准,迷你动力学-C和迷你SSV 2-C,它认为时间腐败超过空间腐败的图像。我们第一次尝试进行一个详尽的研究腐败的鲁棒性,建立基于CNN和基于变换器的时空模型。该研究为鲁棒模型的设计和训练提供了一定的指导:基于变换器的模型比基于CNN的模型具有更好的鲁棒性,时空模型的泛化能力意味着对时间扰动的鲁棒性;模型腐败鲁棒性(特别是时间域中的鲁棒性)随着计算成本和模型容量而增强,这可能与当前提高模型计算效率的趋势相矛盾。此外,我们发现图像相关任务的鲁棒性干预(例如,具有噪声的训练模型)可能不适用于空间-时间模型。
2022-08-22 cs.CV
Universal Adversarial Robustness of Texture and Shape-Biased Models
Imperial College London(帝国理工学院);DataSpartan Research(DataSpartan研究院)
增加深度神经网络中的形状偏差已被证明可以提高对常见损坏和噪声的鲁棒性。在本文中,我们分析的对抗性鲁棒性的纹理和形状偏置模型的普遍对抗性扰动(UAP)。我们使用UAP来评估DNN模型的鲁棒性,这些模型具有不同程度的基于形状的训练。我们发现,形状偏置模型并没有显着提高对抗鲁棒性,我们表明,纹理和形状偏置模型的集合可以提高通用的对抗鲁棒性,同时保持强大的性能。
2021-08-31 cs.CV
Benchmarking Adversarial Robustness
Tsinghua University(清华大学);RealAI
深度神经网络容易受到对抗性样本的攻击,这成为深度学习发展中最重要的研究问题之一。虽然近年来已经做了很多努力,但对对抗攻击和防御算法进行正确和完整的评估具有重要意义。在本文中,我们建立了一个全面的,严格的,连贯的基准来评估对抗图像分类任务的鲁棒性。在简要回顾了大量具有代表性的攻击和防御方法后,以两条鲁棒性曲线作为公平的评价标准,进行了大规模的实验,以充分了解这些方法的性能。根据评估结果,我们得出了几个重要的发现,并为未来的研究提供见解。
2019-12-26 cs.CR cs.CV cs.LG
ADVMEM: Adversarial Memory Initialization for Realistic Test-Time Adaptation via Tracklet-Based Benchmarking
Center of Excellence in Generative AI, KAUST, Saudi Arabia(人工智能生成技术卓越中心,KAUST,沙特阿拉伯)
该研究提出含时间依赖性的ITD基准数据集以弥补现有TTA测试的不足,并基于分析提出ADVMEM对抗性记忆初始化策略,有效提升了多种基于记忆的TTA方法在真实场景下的性能。
2025-09-02 cs.CV
Benchmarking Transferable Adversarial Attacks
The University of Sydney(悉尼大学);Suzhou Yierqi(苏州亿尔齐)
本研究首次全面回顾对抗性攻击的可迁移性,系统分类并评估多种增强方法,并引入集成十种领先方法的基准框架TAA-Beb,为跨模型架构比较分析提供标准化平台,揭示各方法的有效性与局限。
2024-02-16 cs.CV cs.LG
Benchmarking Robustness in Neural Radiance Fields
Tsinghua University(清华大学);Johns Hopkins University(约翰斯·霍普金斯大学);UC Santa Cruz(加州大学圣克鲁兹分校)
神经辐射场(NeRF)在新颖的视图合成中表现出优异的质量,这要归功于其以简洁的公式对3D对象几何形状建模的能力。然而,目前基于NeRF模型的方法依赖于具有准确相机校准的干净图像,这在现实世界中很难获得,其中数据经常受到损坏和失真的影响。在这项工作中,我们提供了第一个全面的分析的鲁棒性的NeRF为基础的新的视图合成算法中存在的不同类型的腐败。我们发现,基于NeRF的模型在存在损坏的情况下会显着退化,并且比图像识别模型对不同的损坏更敏感。此外,我们分析的鲁棒性的特征编码器在一般化的方法,合成图像使用通过卷积神经网络或变压器提取的神经特征,并发现它只有助于边际鲁棒性。最后,我们发现,标准的数据增强技术,可以显着提高识别模型的鲁棒性,没有帮助的NeRF为基础的模型的鲁棒性。我们希望我们的研究结果将吸引更多的研究人员研究基于NeRF的方法的鲁棒性,并有助于提高它们在现实世界中的性能。
2023-01-10 cs.CV
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
Adversarial Robustness of Discriminative Self-Supervised Learning in Vision
Department of Computer Engineering, Koç University(计算机工程系,科克大学)
本研究评估了七个判别式自监督模型与一个监督模型在多种视觉任务上的对抗鲁棒性,发现自监督模型在ImageNet分类和线性迁移学习中更具鲁棒性,但微调后差距缩小,分割检测中优势减弱。
2025-09-24 cs.CV
Robustness Of Saak Transform Against Adversarial Attacks
University of Southern California(南加州大学);US Army Research Laboratory(美国陆军研究实验室)
图像分类易受对抗攻击的影响。本文研究了Saak变换在高性能图像分类中对抗攻击的鲁棒性。我们开发了一个完整的基于多级Saak变换的图像分类系统。在Saak变换域中,干净图像和对抗图像在不同的光谱维度上表现出不同的分布。在每个阶段的光谱维度的选择可以被看作是一个自动去噪过程。受此观察的启发,我们仔细设计了特征提取,表示和分类策略,以提高对抗鲁棒性。广泛的实验评估证明了与知名的数据集和攻击的性能。
2019-02-07 cs.CV
Interpreting and Improving Adversarial Robustness of Deep Neural Networks with Neuron Sensitivity
Beihang University(北京航空航天大学);Beijing Advanced Innovation Center for Big Data-Based Precision Medicine(大数据精准医疗高精尖创新中心)
深度神经网络(DNN)容易受到对抗性示例的影响,其中具有不可感知扰动的输入会误导DNN得出错误的结果。尽管它们带来了潜在的风险,但对抗性示例对于深入了解DNN的弱点和盲点也很有价值。因此,DNN在对抗环境中的可解释性旨在解释其决策过程背后的原理,并进行更深入的理解,从而获得更好的实际应用。为了解决这个问题,我们试图从神经元敏感性的新角度来解释深度模型的对抗鲁棒性,神经元敏感性是通过神经元行为变化强度来衡量的。在本文中,我们首先绘制了对抗鲁棒性和神经元敏感性之间的密切联系,因为敏感神经元在对抗环境中对模型预测做出了最重要的贡献。在此基础上,我们进一步提出通过约束良性和对抗性样本之间敏感神经元的相似性来提高对抗性鲁棒性,从而稳定敏感神经元对对抗性噪声的行为。此外,我们证明了最先进的对抗训练方法通过降低神经元敏感性来提高模型的鲁棒性,这反过来又证实了对抗鲁棒性和神经元敏感性之间的紧密联系,以及使用敏感神经元构建鲁棒模型的有效性。在各种数据集上的实验表明,该算法有效地取得了优异的效果。
2020-11-30 cs.CV
CNS-Bench: Benchmarking Image Classifier Robustness Under Continuous Nuisance Shifts
Max Planck Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息学研究所,萨尔兰信息学园区);University of Freiburg(弗赖堡大学);University of Oxford(牛津大学)
提出CNS-Bench基准,利用扩散模型和LoRA生成连续干扰偏移,评估40多个分类器的OOD鲁棒性,发现模型排名随偏移变化,并识别失败点。
2025-09-25 cs.CV
RAD: A Comprehensive Dataset for Benchmarking the Robustness of Image Anomaly Detection
Huazhong University of Science and Technology(华中科技大学);School of Mechanical Science and Engineering(机械科学与工程学院)
本文提出RAD数据集,含视角、光照和模糊噪声,评估11种无监督和零样本异常检测方法,发现记忆库和合成异常辅助方法鲁棒性更强,利用基础模型知识可提升鲁棒性。
2024-07-22 cs.CV
Improving Adversarial Robustness with Self-Paced Hard-Class Pair Reweighting
University of Alberta(阿尔伯塔大学)
深度神经网络容易受到对抗攻击的攻击。在众多的防御策略中,无针对性攻击的对抗性训练是最有效的方法之一。理论上,非目标攻击中的对抗性扰动可以沿任意方向添加,并且非目标攻击的预测标签应该是不可预测的。然而,我们发现,自然不平衡的类间语义相似性,使这些硬类对成为对方的虚拟目标。本研究探讨了这种紧密耦合的类对对抗攻击的影响,并据此提出了一种对抗训练中的自定进度的权重调整策略。具体来说,我们建议在模型优化中增加硬类对损失的权重,这会促使从硬类中学习有区别的特征。我们进一步引入了一个术语来量化对抗训练中的硬类对一致性,这大大提高了模型的鲁棒性。大量的实验表明,所提出的对抗性训练方法实现了优越的鲁棒性性能超过国家的最先进的防御对广泛的对抗攻击。
2022-11-29 cs.CV
Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models
Zhejiang University(浙江大学);Shanghai Maritime University(上海海事大学);Zhejiang Gongshang University(浙江工商大学);Nanjing University of Information Science and Technology(南京信息工程大学)
针对大视觉模型对抗训练成本高、现有鲁棒微调方法效果不及全参数微调的问题,提出超对抗调优方法HyperAT,通过超网络生成不同防御的LoRA并融合,高效提升模型对抗鲁棒性,达到新的SOTA。
2024-10-08 cs.CV
Impact of Attention on Adversarial Robustness of Image Classification Models
Birla Institute of Technology and Science Pilani(比拉理工学院);Indian Institute of Information Technology Allahabad(印度信息技术学院阿拉哈巴德分校)
针对深度学习模型的对抗攻击已经引起了广泛的关注,最近的工作已经提出了对抗示例存在的解释和保护模型免受这些攻击的技术。计算机视觉中的注意力已被用于合并重要特征的集中学习,并导致准确性的提高。最近,已经提出了具有注意力机制的模型来增强对抗鲁棒性。在此背景下,这项工作旨在全面了解注意力对对抗鲁棒性的影响。本文对在CIFAR-10、CIFAR-100和Fashion MNIST数据集上训练的非注意和基于注意的图像分类模型在流行的白盒和黑盒攻击下的对抗鲁棒性进行了比较研究。实验结果表明,基于注意力的模型的鲁棒性可能取决于所使用的数据集,即分类中涉及的类的数量。与具有较少类别的数据集相比,观察到基于注意力的模型对分类表现出更好的鲁棒性。
2021-09-02 cs.CV
Exploiting Frequency Spectrum of Adversarial Images for General Robustness
Chiba University(千叶大学)
本文提出对抗幅度交换方法,通过交换干净与对抗图像的幅度谱生成新训练图像,使CNN在干净、对抗和常见损坏上获得通用鲁棒性。
2023-05-15 cs.CV
Adversarial Robustness under Long-Tailed Distribution
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);Huawei(华为);Tsinghua University(清华大学);SenseTime-CUHK Joint Lab(商汤科技-香港中文大学联合实验室);Centre of Perceptual and Interactive Intelligence(感知与交互智能中心);Shanghai AI Laboratory(上海人工智能实验室)
对抗鲁棒性最近通过揭示深度网络的脆弱性和内在特征吸引了广泛的研究。然而,现有的对抗鲁棒性研究主要集中在平衡数据集上,而现实世界的数据通常呈现长尾分布。为了将对抗鲁棒性推向更现实的场景,在这项工作中,我们研究了长尾分布下的对抗脆弱性和防御。特别是,我们首先揭示了不平衡数据对识别性能和对抗鲁棒性的负面影响,揭示了这个问题的内在挑战。然后,我们结合对抗训练框架对现有的长尾识别方法进行了系统的研究。结果表明:1)自然精度相对容易提高; 2)不可靠估计下存在鲁棒精度的伪增益; 3)边界误差限制了鲁棒精度的提高。受这些观察结果的启发,我们提出了一个干净而有效的框架RoBal,它由两个专用模块组成,一个尺度不变的分类器和数据重新平衡,通过在训练阶段的边缘工程和在推理过程中的边界调整。大量的实验表明,我们的方法优于其他国家的最先进的防御方法。据我们所知,我们是第一个解决长尾分布下的对抗鲁棒性问题的人,我们相信这将是迈向现实世界鲁棒性的重要一步。我们的代码可在https://github.com/wutong16/Adversarial_Long-Tail上获得。
2021-08-17 cs.CV
Benchmarking Adversarial Patch Selection and Location
Technion(技术学院)
我们提出PatchMap,首个空间穷举的对抗性补丁放置基准,并开发了无需梯度的分割引导放置方法,在多种架构上将攻击成功率提升8-13个百分点。
2025-08-03 cs.CR cs.CV cs.LG
Benchmarking and Analyzing Robust Point Cloud Recognition: Bag of Tricks for Defending Adversarial Examples
New Jersey Institute of Technology(新泽西理工学院);HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);HUST(华中科技大学);Rutgers University(罗格斯大学);Lehigh University(理海大学)
本文建立点云对抗鲁棒性基准,系统评估并组合现有防御技巧,提出混合训练增强方法,构建的防御框架在多种攻击下达到83.45%的平均准确率。
2023-08-10 cs.CR cs.CV cs.LG
ROOD-MRI: Benchmarking the robustness of deep learning segmentation models to out-of-distribution and corrupted data in MRI
University of Toronto(多伦多大学);Sunnybrook Research Institute(桑尼布鲁克研究所);Western University(西部大学)
深度人工神经网络(DNN)由于其在分类、分割和检测挑战方面的成功,已经成为医学图像分析的前沿。在神经图像分析中大规模部署DNN的一个主要挑战是由于扫描仪和采集协议的差异,信噪比、对比度、分辨率和伪影的存在可能会发生变化。DNN对计算机视觉中的这些分布变化非常敏感。目前,没有基准平台或框架来评估新的和现有的模型对MRI中特定分布变化的鲁棒性,并且可访问的多站点基准数据集仍然稀缺或特定于任务。为了解决这些局限性,我们提出了ROOD-MRI:一个用于对DNN对分布外(OOD)数据,损坏和MRI中伪影的鲁棒性进行基准测试的平台。该平台提供了用于使用对MRI中的分布变化进行建模的变换来生成基准测试数据集的模块、用于图像分割的新导出的基准测试度量的实现以及用于将该方法用于新模型和任务的示例。我们将我们的方法应用于几项大型研究中的海马,心室和白质高信号分割,提供海马数据集作为公开的基准。通过在这些数据集上评估现代DNN,我们证明了它们对MRI中的分布偏移和损坏非常敏感。我们表明,虽然数据增强策略可以大大提高解剖分割任务对OOD数据的鲁棒性,但使用增强的现代DNN在更具挑战性的基于病变的分割任务中仍然缺乏鲁棒性。最后,我们基准测试U网和基于transformer的模型,发现跨架构的特定类别的转换的鲁棒性的一致差异。
2022-03-11 cs.CV eess.IV
ImageNet-Patch: A Dataset for Benchmarking Machine Learning Robustness against Adversarial Patches
University of Cagliari(卡利亚里大学);University of Genova(热那亚大学);Pluribus One(普里布斯一号公司)
针对对抗补丁优化成本高、鲁棒性评估易不理想的问题,提出可跨模型泛化的ImageNet-Patch数据集,经仿射变换后可快速评估鲁棒性,已在127个模型上验证有效性并开源。
2025-01-15 cs.CR cs.CV cs.LG
Benchmarking Neural Network Robustness to Common Corruptions and Perturbations
University of California, Berkeley(加州大学伯克利分校);Oregon State University(俄勒冈州立大学)
在本文中,我们建立了严格的基准图像分类器的鲁棒性。我们的第一个基准测试,ImageNet-C,验证并扩展了腐败鲁棒性主题,同时显示哪些分类器在安全关键型应用程序中更可取。然后,我们提出了一个新的数据集称为ImageNet-P,使研究人员能够基准分类器的鲁棒性常见的扰动。与最近的鲁棒性研究不同,这个基准测试评估了常见的腐败和扰动的性能,而不是最坏情况下的对抗性扰动。我们发现,从AlexNet分类器到ResNet分类器,相对腐败鲁棒性的变化可以忽略不计。之后,我们发现如何提高腐败和扰动鲁棒性。我们甚至发现,绕过对抗防御提供了大量的共同扰动鲁棒性。我们的基准可以帮助未来的工作对网络的强大概括。
2019-03-28 cs.CV cs.LG stat.ML
IGAff: Benchmarking Adversarial Iterative and Genetic Affine Algorithms on Deep Neural Networks
Faculty of Automatic Control;Computers, National University of Science;National Institute for Research \& Development in Informatics - ICI Bucharest, Bucharest, Romania
本文提出并基准测试两种基于仿射变换和遗传算法的黑盒迭代对抗攻击算法(ATA和AGA),在多个模型和数据集上验证其有效性,准确率提升最高达8.82%。
2025-09-08 cs.CV cs.LG
Benchmarking Robustness of Deep Learning Classifiers Using Two-Factor Perturbation
本文提出一种新的深度学习分类器鲁棒性基准测试方法,构建了包含69张图像的双因子扰动数据集,并引入四象限统计可视化工具,发现双因子扰动图像能同时提升分类器的鲁棒性和准确率。
2023-06-26 cs.AI cs.CV cs.LG
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore(新加坡南洋理工大学)
在深度神经网络(DNN)的普及应用道路上,对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测,并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型,以抵抗对抗性的例子。在本文中,我们从不同的角度调查了如何理解这种有趣的属性,即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后,我们研究了常用的基准测试,并提到了理论上证明的对抗鲁棒性界限。然后,我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后,我们介绍了最近的争论的潜在成本的对抗性训练,引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami(迈阿密大学)
深度神经网络(DNN)容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略(即,噪声数据上的准确性)对抗对抗性噪声。然而,由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度(即,与通过标准方法在干净数据上训练的相同模型相比,这种现象被称为准确性和鲁棒性之间的权衡,并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用,例如医学图像分析,因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升(即,减轻或甚至避免)医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法,命名为增量边际对抗(IMA)训练,这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性,同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序,我们的方法提高了准确性和鲁棒性。我们的研究表明,我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Benchmarking Robustness of Deep Learning Classifiers Using Two-Factor Perturbation
Southeast Missouri State University(东南密苏里州立大学);University of Arkansas at Little Rock(阿肯色大学小石城分校)
深度学习(DL)分类器的准确性通常是不稳定的,因为当在对抗图像、不完美图像或扰动图像上重新测试时,它们可能会发生显著变化。本文增加了基准的DL分类器对有缺陷的图像的鲁棒性的工作的基本机构。为了衡量强大的DL分类器,以前的研究报告单因素腐败。我们创建了全面的69个基准图像集,包括一个干净的集,单因素扰动集和双因素扰动条件集。现有技术的双因子扰动包括(a)在两个序列中应用的两个数字扰动(椒盐噪声和高斯噪声),以及(b)在两个序列中应用的一个数字扰动(椒盐噪声)和一个几何扰动(旋转)。以前的研究评估DL分类器通常使用前1/前5的准确性。我们创新了一种新的二维统计矩阵来评估DL分类器的鲁棒性。此外,我们引入了一个新的可视化工具,包括最小精度,最大精度,平均精度和变异系数(CV),基准的DL分类器的鲁棒性。与单因素腐败相比,我们首先报告,使用双因素扰动图像提高了DL分类器的鲁棒性和准确性。所有源代码和相关图像集都在网站http://cslinux.semo.edu/david/data上共享,以支持未来的学术研究和行业项目。
2022-03-02 cs.AI cs.CV cs.GR
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University(西南交通大学)
卷积神经网络(CNN)在图像分类任务中已经实现了超越人类水平的准确性,并广泛应用于现实世界的环境中。然而,CNN显示出对抗性扰动的脆弱性,这些扰动是精心设计的噪声,旨在误导分类模型。为了抵御对抗性扰动,提出了对抗性训练的GAN(AT GAN),以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中,以去除模糊梯度,这可能导致在防御对抗性扰动时产生错误的感觉,并且在现有的基于GAN的对抗性防御方法中常见。此外,ATGAN采用图像到图像生成器作为数据增强,以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明,该方法不依赖于模糊梯度,并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
Benchmarking the Robustness of Deep Neural Networks to Common Corruptions in Digital Pathology
Zhejiang University(浙江大学);Westlake University(西湖大学)
在设计用于临床应用的诊断模型时,保证模型对于各种图像损坏的鲁棒性是至关重要的。在此,建立了一个易于使用的基准来评估神经网络在损坏的病理图像上的深度。具体而言,损坏的图像是通过将九种常见的损坏注入到验证图像中来生成的。此外,设计了两个分类和一个排序指标来评估腐败下的预测和置信度性能。在两个基准数据集上进行评估,我们发现:(1)各种深度神经网络模型的准确性显著下降(干净图像上的误差加倍),并且对损坏图像的置信度估计不可靠;(2)当用我们的基准替换验证集时,验证和测试误差之间的相关性较低,可以增加相关性。我们的代码可在https://github.com/superjamessyx/robustness_benchmark上获得。
2022-06-30 cs.AI cs.CV
The Adversarial AI-Art: Understanding, Generation, Detection, and Benchmarking
The University of Kansas(堪萨斯大学);University of Rochester(罗切斯特大学)
本文针对AI生成图像引发的安全问题,构建了包含14万张图像的ARIA数据集,并通过用户研究、基准测试及ResNet-50分类器,系统评估了对抗场景下AI生成图像的可检测性与可迁移性。
2024-04-22 cs.AI cs.CR cs.CV
Can LLMs Deceive CLIP? Benchmarking Adversarial Compositionality of Pre-trained Multimodal Representation via Text Updates
Seoul National University(首尔国立大学)
提出 MAC 基准,利用 LLM 生成欺骗文本以揭示 CLIP 等多模态表示的组合性漏洞,并通过拒绝采样微调的自训练方法显著提升攻击成功率与样本多样性。
2025-05-28 cs.AI cs.CL cs.CV
Benchmarking Robustness to Adversarial Image Obfuscations
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Google Ads Safety(谷歌广告安全部)
本文针对恶意用户通过图像混淆绕过自动内容审核的问题,提出基于 ImageNet 的新基准,模拟保留原意的剧烈对抗性修改,并评估多种模型与训练方法的鲁棒性。
2023-11-29 cs.CV cs.LG
Res-Bench: Benchmarking the Robustness of Multimodal Large Language Models to Dynamic Resolution Input
针对现有评估忽略多模态大语言模型动态分辨率输入鲁棒性的问题,本文提出Res-Bench基准及配套多维度鲁棒性评估指标,对主流模型开展大规模评估并分析相关影响因素。
2025-11-14 cs.CL cs.CV
Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem
University of Exeter(埃克塞特大学)
最近对深度学习鲁棒性的研究表明,视觉Transformer(ViTs)在某些扰动下优于卷积神经网络(CNN),例如,自然腐败,对抗攻击等。一些论文认为,卓越的鲁棒性ViT来自其输入图像的分割;其他人说,多头自注意(MSA)是保持鲁棒性的关键。在本文中,我们的目标是引入一个原则性和统一的理论框架,调查这样一个论点ViT的鲁棒性。我们首先从理论上证明,与自然语言处理中的Transformers不同,ViTs是Lipschitz连续的。然后,我们从柯西问题的角度从理论上分析了ViT的对抗鲁棒性,通过柯西问题我们可以量化鲁棒性如何在层之间传播。我们证明了第一层和最后一层是影响ViTs鲁棒性的关键因素。此外,基于我们的理论,我们实证表明,与现有研究的说法不同,MSA仅在弱对抗攻击下有助于ViTs的对抗鲁棒性,例如,FGSM,令人惊讶的是,MSA实际上包括模型在更强攻击下的对抗鲁棒性,例如,PGD攻击
2022-08-01 cs.CV cs.LG
Improving Ensemble Robustness by Collaboratively Promoting and Demoting Adversarial Robustness
Monash University(莫纳什大学);Defence Science and Technology Group(国防科技集团)
基于集合的对抗训练是实现对抗对抗攻击的鲁棒性的原则性方法。这种方法的一个重要技术是控制对抗性样本在集成成员之间的可转移性。在这项工作中,我们提出了一个简单而有效的策略,委员会模型之间的合奏模型进行合作。这是通过为给定样本上的每个模型成员定义的安全和不安全集合来实现的,因此有助于我们量化和规范可转移性。因此,我们提出的框架提供了灵活性,以减少对抗性的可转移性,以及促进合奏成员的多样性,这是我们的合奏方法更好的鲁棒性的两个关键因素。我们进行了广泛而全面的实验,以证明我们提出的方法优于最先进的集成基线,同时可以以近乎完美的准确度检测到各种各样的对抗性示例。我们的代码可在https://github.com/tuananhbui89/Crossing-Collaborative-Ensemble上获得。
2022-02-04 cs.CV cs.LG
Q-TART: Quickly Training for Adversarial Robustness and in-Transferability
原始的深度神经网络(DNN)性能是不够的;在现实世界中,计算负载、训练效率和对抗安全性同样重要,甚至更重要。我们建议同时解决性能,效率和鲁棒性,使用我们提出的算法Q-TART,快速训练对抗鲁棒性和不可转移性。Q-TART遵循的直觉是,对噪声高度敏感的样本会强烈影响DNN学习的决策边界,这反过来会降低DNN的性能和对抗敏感性。通过识别和删除这些样本,我们证明了改进的性能和对抗鲁棒性,同时只使用一个子集的训练数据。通过我们的实验,我们强调了Q-TART在多个数据集-DNN组合(包括ImageNet)中的高性能,并深入了解了Q-TART与现有对抗训练方法的互补行为,将鲁棒性提高了1.3%以上,同时减少了17.9%的训练时间。
2022-04-14 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick(利默里克大学);Computer Science and Information Systems(计算机科学与信息系统)
针对对抗训练存在的干净样本泛化差、类别性能失衡问题,研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性,同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad(海得拉巴印度理工学院)
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来,这与早期的努力不同,早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明,对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图,并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中,我们为这种耦合提供了一个不同的视角,并提供了一种方法,基于显着性的对抗训练(SAT),使用显着性图来提高模型的对抗鲁棒性。特别是,我们表明,使用注释,如边界框和分割掩模,已经提供了一个数据集,作为弱显着性图,足以提高对抗鲁棒性,没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法,即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型,以及如何将SAT与现有的对抗训练方法相结合,进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations
University of California, Berkeley(加州大学伯克利分校);Oregon State University(俄勒冈州立大学)
在本文中,我们建立了严格的基准图像分类器的鲁棒性。我们的第一个基准测试,ImageNet-C,验证并扩展了腐败鲁棒性主题,同时显示哪些分类器在安全关键型应用程序中更可取。与最近的鲁棒性研究不同,这个基准测试评估的是普通腐败的性能,而不是最坏情况下的对抗性腐败。我们发现,从AlexNet到ResNet分类器的相对腐败鲁棒性变化可以忽略不计,并且我们发现了增强腐败鲁棒性的方法。然后,我们提出了一个新的数据集称为图标-50,它打开了一种新的鲁棒性,表面变化鲁棒性的研究。有了这个数据集,我们评估了分类器对已知对象的新样式和已知类的意外实例的脆弱性。我们还展示了两种方法,提高表面变化的鲁棒性。我们的基准可以帮助未来的网络学习基本的类结构,也可以强大地泛化。
2019-04-27 cs.AI cs.CV cs.LG
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland(马里兰大学)
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而,在实践中,模型需要同时具有这两种类型的鲁棒性,以确保可靠性。在这项工作中,我们弥合了这一差距,并表明,事实上,对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下,通过理论和实证分析,我们表明:(i)$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;(ii)对于$\ell_\infty$对抗训练,虚假依赖只发生在虚假特征的规模大于核心特征的规模时;(iii)对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果,特别是当伪相关性在新的测试域中发生变化时。接下来,我们提出了广泛的经验证据,使用在五个基准数据集(ObjectNet,RIVAL 10,Salient ImageNet-1 M,ImageNet-9,Waterbirds)上评估的20个对抗训练模型的测试套件,对抗训练的分类器比标准训练的分类器更依赖于背景,验证了我们的理论结果。我们还表明,虚假的相关性在训练数据(当保存在测试域)可以提高对抗的鲁棒性,揭示了以前的说法,对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Benchmarking Low-Shot Robustness to Natural Distribution Shifts
Georgia Institute of Technology(佐治亚理工学院)
本文首次系统评测低样本场景下模型对自然分布偏移的鲁棒性,发现不存在普遍更鲁棒的单一模型,且现有干预方法在部分数据集上失效,呼吁社区重视该实际问题。
2023-09-23 cs.AI cs.CV cs.LG
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University(深圳大学);IBM(国际商业机器公司);University of Nottingham(诺丁汉大学)
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响,即,攻击者故意设计的机器学习模型的输入,以使模型出错。为了提高神经网络的对抗鲁棒性,对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而,对抗性训练可能过度适应特定类型的对抗攻击,并且还导致干净图像的标准准确度下降。为此,我们提出了一种新的类感知领域自适应(CADA)方法,用于对抗性防御,而不直接应用对抗性训练。具体来说,我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外,我们还将一个类感知组件引入到网络中,以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明,我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击,并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Adversarial Robustness for Unsupervised Domain Adaptation
Dept. of Computer Science, Kyung-Hee University(庆熙大学计算机科学系);Dept. of Computer Science, The University of Hong Kong(香港大学计算机科学系)
广泛的无监督领域自适应(UDA)研究已经在实践中取得了巨大的成功,通过使用深度模型学习标记源域和未标记目标域的可转移表示。然而,以前的工作集中在提高UDA模型对干净样本的泛化能力,而没有考虑对抗鲁棒性,这在现实世界的应用中是至关重要的。传统的对抗训练方法不适用于UDA的未标记目标域上的对抗鲁棒性,因为它们使用由监督损失函数生成的对抗示例来训练模型。在这项工作中,我们利用多个强大的ImageNet模型学习的中间表示来提高UDA模型的鲁棒性。我们的方法通过将UDA模型的特征与ImageNet预训练模型以及领域自适应训练所学习的鲁棒特征进行对齐来工作。它利用标记和未标记的域,并在领域自适应训练期间注入鲁棒性,而无需任何对抗性干预或标签要求。实验结果表明,与基线相比,我们的方法显着提高了对抗鲁棒性,同时在各种UDA基准上保持了干净的准确性。
2021-09-02 cs.CV cs.LG