Does Saliency-Based Training bring Robustness for Deep Neural Networks in Image Classification?
University of Davis, California(加州大学戴维斯分校)
本文研究了在线显著性引导训练方法是否能提升深度神经网络图像分类模型对对抗样本的鲁棒性,实验表明尽管模型输出具有良好可视解释性,但面对对抗样本攻击时性能反而下降。
2023-06-28 cs.AI cs.CV
Measuring Robustness to Natural Distribution Shifts in Image Classification
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);Google Brain(谷歌大脑)
我们研究了当前ImageNet模型对数据集自然变化引起的分布偏移的鲁棒性。大多数关于鲁棒性的研究集中在合成图像扰动(噪声,模拟天气伪影,对抗性示例等),这使得关于合成分布偏移的鲁棒性如何与真实数据中出现的分布偏移相关成为可能。通过对213种不同测试条件下的204个ImageNet模型进行评估,我们发现从当前合成到自然分布偏移的鲁棒性通常很少或根本没有转移。此外,大多数当前技术对我们的测试平台中的自然分布偏移不提供鲁棒性。主要的例外是在更大和更多样化的数据集上进行训练,这在很多情况下都提高了鲁棒性,但仍然远远没有缩小性能差距。我们的研究结果表明,分布偏移产生的实际数据是目前一个开放的研究问题。我们在https://modestyachts.github.io/imagenet-testbed/上提供我们的测试平台和数据作为未来工作的资源。
2020-09-14 cs.CV cs.LG stat.ML
The Role of Noisy Data in Improving CNN Robustness for Image Classification
German Aerospace Center (DLR)(德国航空航天中心(DLR));Institute for AI Safety and Security(人工智能安全与保安研究所)
本文研究了在图像分类CNN训练中引入噪声数据以提升模型鲁棒性的效果,发现少量噪声数据能显著减少测试损失并提高在失真测试条件下的准确性。
2026-01-12 cs.AI cs.CV
A Comprehensive Study of Vision Transformers in Image Classification Tasks
University of Windsor(温莎大学)
本文综述 Vision Transformers 在图像分类中的发展,梳理相关数据集、模型演进及注意力机制,并指出开放问题与未来研究方向。
2023-12-05 cs.AI cs.CV
MoireMix: A Formula-Based Data Augmentation for Improving Image Classification Robustness
National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所);Tokyo Denki University(东京电机大学);Waseda University(早稻田大学);Fundamental AI Lab, University of Technology Nuremberg(纽伦堡工业大学基础人工智能实验室);Visual Geometry Group, University of Oxford(牛津大学视觉几何组)
本文提出基于分析干涉模式的轻量数据增强方法,通过生成覆盖广泛空间频率的结构扰动,提升图像分类鲁棒性,优于传统增强方法。
2026-03-26 cs.AI cs.CV
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand(威特沃特斯兰德大学)
众所周知,来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当,并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而,最近出现了一些问题,展示了自监督表示的一些失败模式,例如非ImageNet类数据或复杂场景的性能。在本文中,我们表明,自我监督表示的基础上的实例歧视目标导致更好的表示对象,更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点,包括通过单应性近似对象视点变化,以及基于多个多视图数据集的真实世界测试。我们发现,自监督表示更强大的对象的观点,似乎编码更多的相关信息的对象,促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
Localized Adversarial Training for Increased Accuracy and Robustness in Image Classification
Ohio State University(俄亥俄州立大学);California State Polytechnic University, Pomona(加州州立理工大学波莫纳分校)
当今最先进的图像分类器无法正确分类精心操纵的对抗图像。在这项工作中,我们开发了一种新的,本地化的对抗攻击,通过不知不觉地改变正常图像的背景来生成对抗的例子。我们首先使用这种攻击来突出神经网络对图像背景变化的不必要的敏感性,然后将其用作新训练技术的一部分:局部对抗训练。通过在训练集中包含局部对抗性图像,我们能够创建一个分类器,该分类器在自然输入和对抗性输入上的损失都小于非对抗性训练的对应模型。在MNIST和CIFAR-10数据集上对我们的本地化对抗训练算法进行的评估显示,自然图像的准确性损失降低,对抗对抗输入的鲁棒性增强。
2019-09-10 cs.CR cs.CV cs.LG
A Comprehensive Study on the Robustness of Image Classification and Object Detection in Remote Sensing: Surveying and Benchmarking
Northwestern Polytechnical University(西北工业大学);The Hong Kong Polytechnic University(香港理工大学)
本研究首次全面调查并基准测试了遥感图像分类与目标检测的自然与对抗鲁棒性,构建了公开噪声数据集,通过大量实验评估主流分类与检测模型,揭示了模型弱点并为开发更鲁棒模型提供指导。
2023-09-15 cs.CV
A Comprehensive Evaluation Framework for Deep Model Robustness
Beihang University(北京航空航天大学);China Electronics Standardization Institute(中国电子技术标准化研究院);Zhongguancun Laboratory(中关村实验室);Institute of Unmanned System, Beihang University(北京航空航天大学无人系统研究院);National Key Laboratory for Complex Systems Simulation(国家复杂系统仿真重点实验室)
深度神经网络(DNN)在广泛的应用中取得了卓越的性能,但它们容易受到对抗性示例的影响,这激发了模型鲁棒性的评估和基准测试。然而,目前的评估通常使用简单的指标来研究防御的性能,这是远远没有了解这些防御方法的局限性和弱点。因此,大多数提出的防御很快就被证明是成功的攻击,这导致了攻击和防御之间的“军备竞赛”现象。为了缓解这个问题,我们建立了一个模型鲁棒性评估框架,其中包含23个全面而严格的指标,这些指标考虑了对抗学习的两个关键观点(即,数据和模型)。通过神经元覆盖和数据不可感知性,我们使用面向数据的度量来衡量测试示例的完整性;通过深入研究模型结构和行为,我们利用面向模型的度量来进一步评估对抗环境中的鲁棒性。为了充分证明我们框架的有效性,我们在CIFAR-10、SVHN和ImageNet等多个数据集上进行了大规模实验,使用我们的开源平台使用不同的模型和防御。总体而言,我们的论文提供了一个全面的评估框架,研究人员可以使用开源工具包进行全面和快速的评估,分析结果可以激发更深入的理解和进一步提高模型的鲁棒性。
2022-11-01 cs.CV
A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);RealAI(瑞莱智慧);Peng Cheng Laboratory(鹏城实验室);Zhongguancun Laboratory(中关村实验室);Alibaba Group(阿里巴巴集团)
深度神经网络在对抗性样本、常见腐败和分布偏移下通常缺乏鲁棒性,这成为深度学习发展中的一个重要研究问题。虽然新的深度学习方法和鲁棒性改进技术不断被提出,但由于其快速发展、多样的噪声模式和简单的评估指标,现有方法的鲁棒性评估往往是不足的。如果没有全面的鲁棒性评估,就很难理解该领域的进展并确定有效的方法。在本文中,我们建立了一个全面的鲁棒性基准称为\textbf{ARES-Bench}的图像分类任务。在我们的基准测试中,我们评估了ImageNet上55个典型深度学习模型的鲁棒性,这些模型具有不同的架构(例如,CNN、Transformers)和学习算法(例如,正态监督训练、预训练、对抗训练)在众多对抗攻击和分布外(OOD)数据集下。以鲁棒性曲线为主要评价标准,我们进行了大规模的实验,并得出了几个重要的发现,包括:1)对于同一模型架构,对抗性鲁棒性和自然鲁棒性之间存在内在的权衡; 2)对抗性训练有效地提高了对抗性鲁棒性,特别是在Transformer架构上进行时; 3)基于更多训练数据或自监督学习的预训练显著提高了自然鲁棒性。基于ARES-Bench,我们进一步分析了ImageNet上大规模对抗训练中的训练技巧。通过相应地设计训练设置,我们实现了新的最先进的对抗鲁棒性。我们已经公开了基准测试结果和代码平台。
2023-02-28 cs.CV
Impact of Attention on Adversarial Robustness of Image Classification Models
Birla Institute of Technology and Science Pilani(比拉理工学院);Indian Institute of Information Technology Allahabad(印度信息技术学院阿拉哈巴德分校)
针对深度学习模型的对抗攻击已经引起了广泛的关注,最近的工作已经提出了对抗示例存在的解释和保护模型免受这些攻击的技术。计算机视觉中的注意力已被用于合并重要特征的集中学习,并导致准确性的提高。最近,已经提出了具有注意力机制的模型来增强对抗鲁棒性。在此背景下,这项工作旨在全面了解注意力对对抗鲁棒性的影响。本文对在CIFAR-10、CIFAR-100和Fashion MNIST数据集上训练的非注意和基于注意的图像分类模型在流行的白盒和黑盒攻击下的对抗鲁棒性进行了比较研究。实验结果表明,基于注意力的模型的鲁棒性可能取决于所使用的数据集,即分类中涉及的类的数量。与具有较少类别的数据集相比,观察到基于注意力的模型对分类表现出更好的鲁棒性。
2021-09-02 cs.CV
A Comprehensive Study of the Robustness for LiDAR-based 3D Object Detectors against Adversarial Attacks
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学)
本文首次全面评估基于激光雷达的3D目标检测器在对抗攻击下的鲁棒性,扩展三种攻击至3D任务,分析鲁棒性与属性关系及攻击可迁移性,并提出平衡对抗焦点训练以兼顾精度与鲁棒性。
2023-10-17 cs.CV
Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Offenburg University(奥芬堡应用科学大学);University of Mannheim(曼海姆大学)
在过去的十年中,深度图像分类网络的发展主要是通过在ImageNet等标准化基准上寻找分类准确性方面的最佳性能来推动的。最近,这一焦点已经被模型鲁棒性的概念所扩展,\ie模型对数据分布中以前看不见的变化的泛化能力。虽然新的基准测试,如ImageNet-C,已经被引入来衡量鲁棒性,我们认为,固定的测试集只能捕获一小部分可能的数据变化,因此是有限的,容易产生新的过拟合的解决方案。为了克服这些缺点,我们建议直接从学习的特征空间的结构来估计模型的鲁棒性。我们引入了鲁棒性指标,这些指标是通过对来自训练分类器的潜在表示进行无监督聚类而获得的,并且在损坏的测试数据上与模型性能表现出非常高的相关性。
2021-08-19 cs.CV
RobustART: Benchmarking Robustness on Architecture Design and Training Techniques
State Key Lab of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);SenseTime(商汤科技);Berkeley Artificial Intelligence Research Lab, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学);JD Explore Academy(京东探索研究院)
深度神经网络(DNN)易受对抗性噪声的影响,这激发了模型鲁棒性的基准测试。现有的基准主要集中在评估防御,但没有全面的研究如何架构设计和训练技术影响鲁棒性。对它们之间的关系进行全面的基准测试有利于更好地理解和开发强大的DNN。因此,我们提出了RobustART,这是ImageNet上关于架构设计(49个人类设计的现成架构和来自神经架构搜索的1200多个网络)和训练技术(10多个技术,例如,数据增强)对各种噪声(对抗性噪声、自然噪声和系统噪声)的影响。广泛的实验首次证实了几个见解,例如,(1)对抗性训练对于Transformers和MLP-混合器的所有噪声类型的鲁棒性是有效的;(2)给定可比较的模型大小和对齐的训练设置,CNN> Transformers > MLP-混合器对自然和系统噪声的鲁棒性; Transformers > MLP-混合器> CNN对对抗性鲁棒性;(3)对于一些轻量级架构,增加模型大小或使用额外的数据不能提高鲁棒性。我们的基准提供:(1)用于全面鲁棒性评估的开源平台;(2)各种预训练模型,以促进鲁棒性评估;(3)更好地理解设计鲁棒DNN的机制的新视图。我们将继续为社区发展这个生态系统。
2022-01-14 cs.CV
RAD: A Comprehensive Dataset for Benchmarking the Robustness of Image Anomaly Detection
Huazhong University of Science and Technology(华中科技大学);School of Mechanical Science and Engineering(机械科学与工程学院)
本文提出RAD数据集,含视角、光照和模糊噪声,评估11种无监督和零样本异常检测方法,发现记忆库和合成异常辅助方法鲁棒性更强,利用基础模型知识可提升鲁棒性。
2024-07-22 cs.CV
Robustness Of Saak Transform Against Adversarial Attacks
University of Southern California(南加州大学);US Army Research Laboratory(美国陆军研究实验室)
图像分类易受对抗攻击的影响。本文研究了Saak变换在高性能图像分类中对抗攻击的鲁棒性。我们开发了一个完整的基于多级Saak变换的图像分类系统。在Saak变换域中,干净图像和对抗图像在不同的光谱维度上表现出不同的分布。在每个阶段的光谱维度的选择可以被看作是一个自动去噪过程。受此观察的启发,我们仔细设计了特征提取,表示和分类策略,以提高对抗鲁棒性。广泛的实验评估证明了与知名的数据集和攻击的性能。
2019-02-07 cs.CV
MVI-Bench: A Comprehensive Benchmark for Evaluating Robustness to Misleading Visual Inputs in LVLMs
Department of Computer Science, University of Illinois Chicago, Chicago, USA;School of Computer Science \& Engineering, Southeast University, Nanjing, China;Guohao School, Tongji University, Shanghai, China
针对现有鲁棒性基准忽视误导性视觉输入的问题,提出MVI-Bench基准,基于视觉基元的三级层次(视觉概念、视觉属性、视觉关系)构建6个类别1248个VQA实例,并引入MVI-Sensitivity指标进行细粒度评估,揭示18个LVLM的显著脆弱性。
2026-07-20 cs.CV
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University(亚利桑那州立大学)
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题,基于ImageNet数据集通过白盒、黑盒攻击实验,分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China(中国科学技术大学)
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点,通过聚类评估解释鲁棒性,并提出调整解释损失景观的训练方法,发现两者并不强相关。
2026-06-08 cs.CV cs.LG
A Comparison for Anti-noise Robustness of Deep Learning Classification Methods on a Tiny Object Image Dataset: from Convolutional Neural Network to Visual Transformer and Performer
Northeastern University(东北大学);University of Luebeck(吕贝克大学)
随着深度学习的快速发展,图像分类取得了前所未有的进步。然而,微小目标图像的分类仍然没有得到很好的研究。本文首先简要回顾了深度学习中卷积神经网络和视觉Transformer的发展,并介绍了常规噪声和对抗攻击的来源和发展。然后利用卷积神经网络和Visual Transformer的各种模型,在微小物体(精子和杂质)的图像数据集上进行了一系列实验,比较实验结果中的各种评价指标,得到性能稳定的模型。最后,讨论了微小目标分类中存在的问题,并对微小目标分类的未来进行了展望。
2021-06-09 cs.CV
MMPerspective: Do MLLMs Understand Perspective? A Comprehensive Benchmark for Perspective Perception, Reasoning, and Robustness
University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学)
MMPerspective通过10个任务评估多模态大语言模型在视角感知、推理和鲁棒性方面的能力,揭示其在空间一致性维持和组合推理上的局限性。
2025-11-25 cs.CV
Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation
Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院)
针对现有NAS仅考虑$l_{\infty}$范数噪声导致鲁棒性不足的问题,提出ES-CRNA-ME方法,通过多类型评估、相关性分析及多保真度在线代理,高效搜索全面鲁棒架构,在CIFAR10和CIFAR100上验证有效性。
2023-05-12 cs.CV
EasyRobust: A Comprehensive and Easy-to-use Toolkit for Robust and Generalized Vision
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Tsinghua University(清华大学)
针对深度神经网络视觉模型易受对抗攻击、分布偏移影响的鲁棒性问题,研究者推出易用工具包EasyRobust,覆盖两类鲁棒性的训练、评估与分析,已开源以推动相关研究与落地。
2025-03-21 cs.CV
VCR-Bench: A Modular Open-Source Benchmark for Video Classification Robustness
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
VCR-Bench是一个模块化开源基准框架,标准化视频分类鲁棒性评估,整合30个模型、14种攻击和10种防御,在Kinetics-400上报告多维度指标。
2026-10-08 cs.CV
Enhancing Pneumonia Diagnosis and Severity Assessment through Deep Learning: A Comprehensive Approach Integrating CNN Classification and Infection Segmentation
Sri Vasavi Engineering College(斯里瓦萨维工程学院)
本研究针对肺炎诊断与严重程度评估问题,提出整合CNN分类(考虑COVID-19)与深度学习感染分割的双管齐下方法,提升检测准确性和效率,为医疗人员提供更细致的诊断依据以改善治疗效果。
2025-02-10 cs.CV
Causal Interpretability for Adversarial Robustness: A Hybrid Generative Classification Approach
organization= Department of Automotive Engineering, Clemson University , addressline= 4 Research Drive , city= Greenville , postcode= 29607 , state= South Carolina , country= USA;organization= Department of Computer Science, Physics \& Engineering, Benedict College , addressline= 1600 Harden Street , city= Columbia , citysep= , postcode= 29204 , state= South Carolina , country= USA;organization= Department of Computer;Cyber Sciences, Dakota State University , addressline= 820 N Washington Avenue , city= Madison , citysep= , postcode= 57042 , state= South Dakota , country= USA;organization= School of Computing, Clemson University , addressline= 821 McMillan Road , city= Clemson , postcode= 29634 , state= South Carolina , country= USA
本文提出一种混合生成分类方法,通过结合判别特征和生成模型,提升图像分类模型的对抗鲁棒性和可解释性。
2025-12-05 cs.CV
Comprehensive Robustness Analysis of LiDAR-based 3D Object Detection in Autonomous Driving
Institute for TMDT, University of Wuppertal, Germany(TMDT研究所,乌尔姆大学,德国);IKB Faculty of Science, University of British Columbia, Canada(科学学院,不列颠哥伦比亚大学,加拿大)
针对LiDAR-only 3D物体检测模型对抗鲁棒性研究不足的问题,提出一个综合评估框架,通过结构因子(点云密度、定位)和预测因子(误分类、定位误差、自车距离)分析,发现高容量体素检测器比支柱检测器更易受结构化坐标扰动,非锚点检测器鲁棒性差。
2026-07-03 cs.CV
A comprehensive overview of deep learning techniques for 3D point cloud classification and semantic segmentation
University of Nevada, Reno(内华达大学雷诺分校)
本文综述面向3D点云形状分类与语义分割的深度学习方法,总结点云处理的独特挑战、最新进展及未来研究方向。
2024-05-20 cs.CV
Analysis Dictionary Learning based Classification: Structure for Robustness
North Carolina State University(北卡罗来纳州立大学);Raytheon Integrated Defense Systems(雷神综合防御系统公司)
提出了一种判别式结构化分析字典的分类任务。在传统的分析字典学习中引入子空间并结构,以提高判别能力。一个简单的分类器也同时被纳入制定功能,以确保更完整的一致性分类。该算法的解是有效地获得了线性交替方向法的乘子。此外,分布式结构化分析字典学习也提出了解决大规模数据集。它可以通过不同的机器/核/线程对结构化分析字典进行独立的分组(分类)训练,从而避免了高的计算成本。在分布式方法中,一致性结构化分析字典和全局分类器联合学习,以保证分类的区分能力和效率。实验表明,我们的方法实现了可比的或更好的性能比国家的最先进的算法在各种视觉分类任务。此外,训练和测试的计算复杂性也大大降低。
2019-06-27 cs.CV
Amalgamating Knowledge towards Comprehensive Classification
Zhejiang University(浙江大学);Stevens Institute of Technology(史蒂文斯理工学院)
随着深度学习的快速发展,已经有前所未有的大量训练过的深度网络模型可供在线使用。重复使用这些训练过的模型可以显著降低从头开始训练新模型的成本,如果不是完全不可行的话,因为用于训练原始网络的注释通常不向公众提供。本文提出研究一种新的模型重用任务,我们称之为\emph{knowledge amalgamation}。给定多个经过训练的教师网络,每个网络专门处理不同的分类问题,知识融合的目标是学习一个能够处理综合分类的轻量级学生模型。我们假设除了教师模型的输出之外没有其他注释可用,因此专注于从多个教师中提取和合并知识。为此,我们提出了一个试点两步战略,以解决知识融合的任务,通过学习第一个紧凑的功能表示教师,然后在一个分层的方式,以建立学生模型的网络参数。我们将这种方法应用于四个公共数据集,并获得了非常令人鼓舞的结果:即使没有任何人工注释,所获得的学生模型也能够处理综合分类任务,并且在大多数情况下,在单个子任务中表现优于教师。
2018-12-03 cs.CV
In-Model Merging for Enhancing the Robustness of Medical Imaging Classification Models
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·扎耶德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对医学影像分类模型鲁棒性提升需求,首次提出模型内合并(InMerge)方法,通过训练时合并单CNN深层相似卷积核增强鲁棒性,在4个数据集上验证其有效性,性能优于常规训练模型。
2025-05-16 cs.CV
FROD: Robust Object Detection for Free
Sony AI(索尼人工智能研究所);Kyung-Hee University(庆熙大学)
本文提出FROD方法,通过修改对抗性训练的分类主干网络并引入模仿损失与延迟对抗性训练,在不增加计算开销的情况下显著提升了目标检测器的对抗鲁棒性。
2023-08-03 cs.CV
LR0.FM: Low-Res Benchmark and Improving Robustness for Zero-Shot Classification in Foundation Models
University of Central Florida(佛罗里达中央大学);IIIT Guwahati(古瓦哈提理工学院)
该研究提出LR0.FM基准评估低分辨率对视觉语言基础模型零样本分类的影响,设计加权聚合鲁棒性指标,发现模型大小、预训练数据质量等与鲁棒性的关联,并提出LR-TK0策略在不改动预训练权重的前提下增强模型低分辨率鲁棒性。
2025-05-18 cs.CV
Explainability and Robustness of Deep Visual Classification Models
在计算机视觉领域,卷积神经网络(CNN)在20世纪80年代首次提出,已经成为标准的视觉分类模型。最近,作为CNN的替代方案,已经提出了胶囊网络(CapsNets)和视觉Transformer(ViTs)。CapsNet受到人脑信息处理的启发,被认为比CNN具有更多的归纳偏差,而ViT被认为比CNN具有更少的归纳偏差。所有这三种分类模型都受到了极大的关注,因为它们可以作为各种下游任务的骨干。然而,这些模型远非完美。正如社区指出的那样,标准深度神经网络(DNN)有两个弱点。DNN的局限性之一是缺乏可解释性。即使他们可以在图像分类任务中达到或超过人类专家的性能,基于DNN的决策也很难理解。然而,在许多现实世界的应用中,需要解释各个决策。DNN的另一个局限性是对抗性脆弱性。具体地说,输入的微小和不可感知的扰动可能会误导DNN。深度神经网络的脆弱性对当前的视觉分类模型提出了挑战。其潜在威胁可能导致不可接受的后果。此外,研究模型对抗脆弱性可以更好地理解底层模型。我们的研究旨在解决DNN的两个局限性。具体来说,我们专注于深度视觉分类模型,特别是每个分类模型的核心构建部分,例如CapsNets中的动态路由和ViTs中的自我注意模块。
2023-01-03 cs.CV
Improved Robustness to Open Set Inputs via Tempered Mixup
Paige(Paige 公司);Cornell Tech(康奈尔科技);Rochester Institute of Technology(罗切斯特理工学院)
监督分类方法通常假设评估数据是从与训练数据相同的分布中提取的,并且所有类别都存在用于训练。然而,现实世界的分类器必须处理远离训练分布的输入,包括来自未知类别的样本。开集鲁棒性是指能够正确地将来自以前未见过的类别的样本标记为新的,并避免高置信度,不正确的预测。现有的方法集中在新的推理方法,独特的训练架构,或补充训练数据与额外的背景样本。在这里,我们提出了一种简单的正则化技术,可以很容易地应用于现有的卷积神经网络架构,在没有背景数据集的情况下提高开集鲁棒性。我们的方法在开集分类基线上取得了最先进的结果,并且很容易扩展到大规模的开集分类问题。
2020-09-10 cs.CV
Probabilistic Robustness in Medical Image Classification
WMG, University of Warwick(华威大学制造工程学院)
研究医学图像分类中概率鲁棒性,构建自然损坏设置并在数据集上评估常用深度学习模型,为评估模型可信度提供统计视角,支持其在医学成像应用中更可靠部署。
2026-07-07 cs.CV eess.IV
A Comprehensive Study of Alzheimer's Disease Classification Using Convolutional Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
已经开发了大量的深度学习模型,用于从大脑MRI扫描中进行阿尔茨海默病分类。这些模型中的许多都具有很高的性能,三级分类准确率高达95%。然而,这些研究通常会在数据集的不同子集上训练的模型之间进行性能比较,或者使用不同的成像预处理技术,从而难以客观地评估模型性能。此外,这些工作中的许多工作都没有提供细节,如超参数,使用的特定MRI扫描或其源代码,因此很难复制他们的实验。为了解决这些问题,我们提出了一个全面的研究的一些深度学习方法和架构上的全套图像可从ADNI。我们发现,(1)使用3D模型的分类在我们的设置中提高了1%,代价是显著更长的训练时间和更多的计算能力,(2)对于我们的数据集,预训练在模型性能上产生了最小的($<0.5\%$)改进,(3)最流行的卷积神经网络模型在相互比较时产生了类似的性能。最后,我们简要比较了两个图像预处理程序:FreeSurfer和Clinica的效果,发现与FreeSurfer图像相比,Clinica的空间归一化和分割输出将模型预测的准确性从63%提高到89%。
2019-04-16 cs.CV
Improve Adversarial Robustness via Weight Penalization on Classification Layer
Yantai University(烟台大学);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所)
众所周知,深度神经网络容易受到对抗攻击的攻击。最近的研究表明,设计良好的分类部分可以导致更好的鲁棒性。然而,在这方面仍有很大的改进空间。在本文中,我们首先证明,从几何的角度来看,一个神经网络的鲁棒性是等价的分类器的权重的一些角度的边缘条件。然后我们解释了为什么ReLU类型函数不是这个框架下激活的好选择。这些发现揭示了现有方法的局限性,并引导我们开发一种新的轻量级惩罚的防御方法,这是简单的,具有良好的可扩展性。在多个基准数据集上的实验结果表明,该方法可以有效地提高网络的鲁棒性,而不需要太多的额外计算,同时保持较高的分类精度干净的数据。
2020-10-08 cs.CV cs.LG
Robust Classification with Convolutional Prototype Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence of Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
卷积神经网络(CNN)已广泛用于图像分类。尽管准确率很高,但CNN已经被证明很容易被一些对抗性的例子所欺骗,这表明CNN对于模式分类来说不够鲁棒。在本文中,我们认为CNN缺乏鲁棒性是由softmax层造成的,softmax层是一个完全区分的模型,并且基于封闭世界的假设(即,有固定数量的类别)。为了提高鲁棒性,我们提出了一种新的学习框架,称为卷积原型学习(CPL)。使用原型的优点是它可以很好地处理开放世界识别问题,从而提高鲁棒性。在CPL的框架下,设计了多种分类准则对网络进行训练。此外,原型损失(PL)被提出作为一个正则化,以提高类内紧凑性的特征表示,它可以被看作是一个生成模型的基础上高斯假设的不同类别。在多个数据集上的实验表明,CPL可以获得与传统CNN相当甚至更好的结果,并且从鲁棒性的角度来看,CPL在拒绝和增量类别学习任务中都表现出很大的优势。
2018-05-09 cs.CV
MedMNIST-C: Comprehensive benchmark and improved classifier robustness by simulating realistic image corruptions
University of Bamberg(班贝格大学)
本文提出了开源基准数据集MedMNIST-C,涵盖12个数据集和9种成像模态,通过模拟真实图像损坏评估算法鲁棒性,并利用领域知识进行针对性数据增强,显著提升了医学图像分类器的鲁棒性。
2024-07-23 cs.CV cs.LG eess.IV
On Evaluating Adversarial Robustness of Chest X-ray Classification: Pitfalls and Best Practices
University of Luxembourg(卢森堡大学)
对抗性攻击的脆弱性是深度神经网络的一个众所周知的弱点。虽然大多数研究都集中在使用ImageNet和CIFAR等标准化基准的自然图像上,但很少有研究考虑现实世界的应用,特别是在医疗领域。我们的研究表明,与以前的说法相反,胸部X射线分类的鲁棒性更难评估,并导致基于数据集,架构和鲁棒性度量的非常不同的评估。我们认为,以前的研究没有考虑到医疗诊断的特殊性,如疾病的共同发生,标签(领域专家)的分歧,攻击的威胁模型和每次成功攻击的风险影响。在本文中,我们讨论了方法学基础,回顾了陷阱和最佳实践,并提出了新的方法学考虑,用于评估胸部X射线分类模型的鲁棒性。我们对3个数据集、7个模型和18种疾病的评估是对胸部X射线分类模型鲁棒性的最大评估。
2022-12-15 cs.CV cs.LG eess.IV
PointCert: Point Cloud Classification with Deterministic Certified Robustness Guarantees
Duke University(杜克大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
点云分类是自动驾驶和增强现实等许多安全关键型应用的重要组成部分。然而,点云分类器容易受到不利扰动的点云。针对对抗性点云的现有认证防御受到一个关键限制:它们的认证鲁棒性保证是概率性的,即,它们以某种概率产生不正确的经认证的鲁棒性保证。在这项工作中,我们提出了一个通用的框架,即PointCert,它可以将任意点云分类器转换为具有确定性保证的对抗性点云的可证明鲁棒性。当任意添加、删除和/或修改的点的数量小于阈值时,PointCert可证明为点云预测相同的标签。此外,我们提出了多种方法来优化PointCert在三个应用场景中的认证鲁棒性保证。我们在ModelNet和ScanObjectNN基准数据集上系统地评估了PointCert。我们的研究结果表明,PointCert大大优于国家的最先进的认证防御,即使他们的鲁棒性保证是概率。
2023-03-03 cs.AI cs.CR cs.CV
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department(多特尔研究与创新中心,人工智能部门);TRAIL – Trusted AI Labs(TRAIL——可信AI实验室)
研究安全关键应用中分类器的稳健性与可靠性,通过选择性分类视角探讨差距,引入统一基准,提出证据对抗训练方法,提升稳健性与不确定性权衡,优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);Biomedical Engineering, RIT(罗切斯特理工学院生物医学工程系)
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响,发现DermNet数据集最具挑战性但更鲁棒,并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Testing the robustness of attribution methods for convolutional neural networks in MRI-based Alzheimer's disease classification
Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Berlin Institute of Health (BIH)(柏林健康研究所)
归因方法是一种易于使用的工具,用于调查和验证机器学习模型。文献中提出了多种方法,但尚不清楚哪种方法最适合特定任务。在这项研究中,我们测试了四种属性方法的鲁棒性,即梯度 * 输入,引导反向传播,逐层相关传播和遮挡,用于阿尔茨海默病分类的任务。我们使用相同的训练设置反复训练卷积神经网络(CNN),以分离阿尔茨海默病患者和健康对照的结构MRI数据。之后,我们为测试数据中的每个受试者制作了归因图,并在模型和归因方法之间进行了定量比较。我们表明,视觉比较是不够的,一些广泛使用的归因方法产生高度不一致的结果。
2019-09-19 cs.CV eess.IV
Enhance CNN Robustness Against Noises for Classification of 12-Lead ECG with Variable Length
University of Miami(迈阿密大学)
心电图(ECG)是监测心血管系统状况的最广泛使用的诊断工具。深度神经网络(DNN)已在许多研究实验室中开发,用于自动解释ECG信号,以识别患者心脏的潜在异常。研究表明,如果数据量足够大,DNN的分类准确度可以达到人类专家心脏病专家的水平。然而,尽管DNN在分类准确性方面表现出色,但已经表明DNN非常容易受到对抗性噪声的影响,这些噪声是DNN输入的细微变化,并导致具有高置信度的错误类别标签预测。因此,提高DNN对对抗性噪声的鲁棒性对于ECG信号分类是具有挑战性和必要性的,这是一个生命攸关的应用。在这项工作中,我们设计了一个CNN的12导联心电图信号的分类与可变长度,我们采用了三种防御方法,以提高这个CNN的鲁棒性,这个分类任务。本研究中的ECG数据非常具有挑战性,因为样本量有限,并且每个ECG记录的长度在很大范围内变化。评估结果表明,我们定制的CNN达到了令人满意的F1得分和平均准确度,与CPSC 2018 ECG分类挑战中的前6名条目相当,并且防御方法增强了我们的CNN对对抗性噪声和白噪声的鲁棒性,并且在干净数据上的准确度降低最小。
2020-11-30 cs.CV cs.LG eess.SP
Evaluating Adversarial Robustness on Document Image Classification
Credit Agricole S.A(法国农业信贷银行)
针对现有对抗攻防研究多聚焦普通图像、较少涉及文档图像的问题,该研究将三类无目标对抗攻击应用于文档与自然数据,评估三种防御手段对两种模型在文档图像分类任务上的鲁棒性影响,填补了相关研究空白。
2023-05-01 cs.AI cs.CV
Improve robustness of DNN for ECG signal classification:a noise-to-signal ratio perspective
University of Miami(迈阿密大学)
心电图(ECG)是监测心血管系统状况的最广泛使用的诊断工具。深度神经网络(DNN)已在许多研究实验室中开发,用于自动解释ECG信号,以识别患者心脏的潜在异常。研究表明,如果数据量足够大,DNN的分类精度可以达到人类专家心脏病专家的水平。基于DNN的自动ECG诊断系统将是缺乏人类专家心脏病专家的发展中国家患者的负担得起的解决方案。然而,尽管DNN在分类准确性方面表现出色,但已经表明DNN非常容易受到对抗性攻击:DNN输入的细微变化可能导致高置信度的错误分类输出。因此,提高用于ECG信号分类的DNN的对抗鲁棒性是具有挑战性和必要的,这是一个生命关键的应用。在这项工作中,我们提出了从信噪比(NSR)的角度来提高DNN的鲁棒性,并开发了两种方法来最小化训练过程中的NSR。我们在PhysionNets MIT-BIH数据集上对所提出的方法进行了评估,结果表明,我们提出的方法增强了对PGD对抗攻击和SPSA攻击的鲁棒性,并且在干净数据上的准确性变化最小。
2021-04-15 cs.CV cs.LG eess.SP
Investigating Calibration and Corruption Robustness of Post-hoc Pruned Perception CNNs: An Image Classification Benchmark Study
Continental AG(大陆集团);University of Lübeck(吕贝克大学);TU Dortmund(多特蒙德工业大学)
本文研究了图像分类中事后CNN剪枝在性能、不确定性校准与自然损坏鲁棒性之间的权衡,发现剪枝能同步提升这三项指标,证明安全性与鲁棒性可兼得。
2024-05-31 cs.AI cs.CV
Memory Classifiers: Two-stage Classification for Robustness in Machine Learning
University of Pennsylvania(宾夕法尼亚大学);Perelman School of Medicine(佩雷尔曼医学院);Wharton School of Business(沃顿商学院)
机器学习模型的性能在数据的分布偏移下会显著降低。我们提出了一种新的分类方法,它可以提高鲁棒性分布偏移,通过结合专家知识的“高层次”的数据结构与标准分类。具体来说,我们引入两阶段分类器称为记忆分类器。首先,它们识别原型数据点--内存--以聚类训练数据。该步骤基于在专家指导下设计的特征;例如,对于图像数据,可以使用数字图像处理算法来提取特征。然后,在每个聚类中,我们通过深度神经网络等标准模型,基于更精细的区分特征学习局部分类器。我们建立了记忆分类器的泛化界。实验结果表明,该方法可以提高图像数据集的泛化能力,并对图像数据集的分布偏移具有较好的鲁棒性.我们展示了超越标准数据增强技术的改进。
2022-08-29 cs.AI cs.CV cs.LG
A Regularization Method to Improve Adversarial Robustness of Neural Networks for ECG Signal Classification
University of Miami(迈阿密大学)
心电图(ECG)是最广泛使用的监测人类心脏状况的诊断工具。通过使用深度神经网络(DNN),ECG信号的解释可以完全自动化,以便在几分之一秒内识别患者心脏中的潜在异常。研究表明,给定足够大的训练数据量,用于ECG分类的DNN准确性可以达到人类专家心脏病专家水平。然而,尽管DNN在分类准确性方面表现出色,但DNN非常容易受到对抗性噪声的影响,这些噪声是DNN输入中的细微变化,并可能导致错误的类别标签预测。提高DNN对对抗性噪声的鲁棒性是具有挑战性和必要性的,对抗性噪声对生命至关重要的应用构成威胁。在这项工作中,我们提出了一种正则化方法,以提高DNN的鲁棒性的噪声信号比(NSR)的角度为ECG信号分类的应用。我们在PhysioNet MIT-BIH数据集和CPSC 2018 ECG数据集上评估了我们的方法,结果表明,我们的方法可以大大增强DNN对对抗攻击产生的对抗性噪声的鲁棒性,并且在干净数据上的准确性变化最小。
2022-03-15 cs.AI cs.CV cs.LG
VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models
University of Edinburgh, UK(爱丁堡大学)
VLM-RobustBench评估了视觉语言模型在不同图像失真下的鲁棒性,发现低严重性空间扰动对性能影响更大,提示需改进鲁棒性评估和训练方法。
2026-03-06 cs.AI cs.CV
Revisiting lp-constrained Softmax Loss: A Comprehensive Study
University of Malta(马耳他大学)
规范化是任何机器学习任务的重要过程,因为它控制数据的属性并影响模型的整体性能。然而,到目前为止,特定形式的规范化的影响已经在有限的特定领域的分类任务,而不是在一般的方式进行了调查。由于缺乏这样一个全面的研究,在本文中,我们研究了在概念验证分类问题和现实世界流行的图像分类任务中,lp约束的softmax损失分类器在不同范数阶数、量级和数据维度上的性能。实验结果表明,LP约束的softmax损失分类器不仅可以实现更准确的分类结果,但同时,似乎不太容易过拟合。核心研究结果适用于测试的三种流行的深度学习架构和八个数据集,并表明lp归一化是图像分类在性能和收敛方面的推荐数据表示实践,并防止过拟合。
2022-06-20 cs.CV cs.LG
NIC-RobustBench: A Comprehensive Open-Source Toolkit for Neural Image Compression and Robustness Analysis
MSU Institute for Artificial Intelligence(莫斯科人工智能研究所);Lomonosov Moscow State University(洛蒙诺索夫莫斯科国立大学);ISP RAS Research Center for Trusted Artificial Intelligence(可信人工智能研究信息与计算中心);Innopolis University(因诺波利斯大学)
NIC-RobustBench是一个开源工具包,用于评估神经图像压缩在对抗性环境下的鲁棒性,通过集成多种攻击和防御策略,提供对现代压缩方法的全面实证研究。
2026-03-01 cs.CV cs.MM eess.IV