Improving Viewpoint Robustness for Visual Recognition via Adversarial Training
Beihang University(北京航空航天大学);Tsinghua University(清华大学);OPPO Intellisense and Interaction Research Department(OPPO感知与交互研究部)
针对视觉识别中视角变化影响预测的问题,提出视角不变对抗训练VIAT方法,构建ImageNet-V+数据集,并提出可证明鲁棒性方法ViewRS,显著提升了图像分类器的视角鲁棒性。
2023-07-21 cs.CV
Shape Bias and Robustness Evaluation via Cue Decomposition for Image Classification and Segmentation
University of Wuppertal(伍珀塔尔大学)
本文提出不依赖 AI 的形状与纹理线索分解方法及相应评估指标,用于图像分类和语义分割 DNN 的形状偏好与图像损坏鲁棒性评估,并在 Cityscapes、ADE20k 上首次分析分割模型偏好。
2025-03-16 cs.CV
Integrating Scene Text and Visual Appearance for Fine-Grained Image Classification
Huazhong University of Science and Technology (HUST)(华中科技大学);EPITA Research and Development Laboratory(EPITA研发实验室);University of Rochester(罗切斯特大学)
自然图像中的文本包含丰富的语义,通常与对象或场景高度相关。在本文中,我们专注于充分利用场景文本的视觉理解的问题。其主要思想是将单词表示和深度视觉特征结合到一个全局可训练的深度卷积神经网络中。首先,通过场景文本阅读系统获得识别的单词。然后,我们将识别出的单词的词嵌入和深度视觉特征结合到一个单一的表示中,该表示由卷积神经网络进行优化,用于细粒度的图像分类。在我们的框架中,注意力机制被用来揭示每个识别词与给定图像之间的相关性,这进一步提高了识别性能。我们在两个数据集上进行了实验:Con-Text数据集和饮料瓶数据集,分别用于商业场所和饮料瓶的细粒度分类。实验结果一致表明,所提出的方法相结合的文本和视觉线索显着优于分类只有视觉表示。此外,我们已经表明,学习的表示提高了饮料瓶图像的检索性能的大幅度提高,使其在产品搜索中有潜在的用途。
2017-05-30 cs.CV
A Novel Plug-in Module for Fine-Grained Visual Classification
National Taiwan Normal University(台湾师范大学)
视觉分类可以分为粗粒度分类和细粒度分类。粗粒度分类表示具有很大程度的不相似性的类别,例如猫和狗的分类,而细粒度分类表示具有很大程度的相似性的分类,例如猫种、鸟种和车辆的品牌或型号。与粗粒度视觉分类不同,细粒度视觉分类往往需要专业专家对数据进行标注,这使得数据更加昂贵。为了应对这一挑战,许多方法提出自动找到最具鉴别力的区域,并使用局部特征来提供更精确的特征。这些方法只需要图像级注释,从而降低了注释的成本。然而,这些方法中的大多数都需要两阶段或多阶段架构,并且无法进行端到端训练。因此,我们提出了一种新的插件模块,可以集成到许多常见的骨干,包括基于CNN或基于变压器的网络,以提供强歧视性的地区。插件模块可以输出像素级特征图并融合过滤后的特征,以增强细粒度的视觉分类。实验结果表明,该插件模块在CUB 200 -2011和NABIrds上的识别准确率分别达到92.77%和92.83%,明显优于现有方法.我们已经在Github https://github.com/chou141253/FGVC-PIM.git上发布了我们的源代码。
2022-02-08 cs.AI cs.CV
Do Center Biases Propagate? Robustness of Pathology Foundation Models in Whole-Slide Image Classification
Universitat Politècnica de València (UPV)(瓦伦西亚理工大学);Artikode Intelligence S.L.(Artikode Intelligence 有限公司)
本研究评估病理学基础模型在全切片图像分类中是否传播中心偏差,通过受控实验和AUCC指标发现中心信息会传播且鲁棒性依赖模型与聚合策略,ComBat效果不一致。
2026-09-24 cs.AI cs.CV
Understanding Robustness of Transformers for Image Classification
Google Research(谷歌研究院)
深度卷积神经网络(CNN)长期以来一直是计算机视觉任务的首选架构。最近,像视觉Transformer(ViT)这样基于Transformer的架构已经在图像分类方面与ResNets相匹配,甚至超过了ResNets。然而,Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中,我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究,并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现,当用足够多的数据进行预训练时,ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现,Transformers是强大的删除几乎任何单一的层,虽然从后面的层激活是高度相关的彼此,他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
Does Saliency-Based Training bring Robustness for Deep Neural Networks in Image Classification?
University of Davis, California(加州大学戴维斯分校)
本文研究了在线显著性引导训练方法是否能提升深度神经网络图像分类模型对对抗样本的鲁棒性,实验表明尽管模型输出具有良好可视解释性,但面对对抗样本攻击时性能反而下降。
2023-06-28 cs.AI cs.CV
Measuring Robustness to Natural Distribution Shifts in Image Classification
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);Google Brain(谷歌大脑)
我们研究了当前ImageNet模型对数据集自然变化引起的分布偏移的鲁棒性。大多数关于鲁棒性的研究集中在合成图像扰动(噪声,模拟天气伪影,对抗性示例等),这使得关于合成分布偏移的鲁棒性如何与真实数据中出现的分布偏移相关成为可能。通过对213种不同测试条件下的204个ImageNet模型进行评估,我们发现从当前合成到自然分布偏移的鲁棒性通常很少或根本没有转移。此外,大多数当前技术对我们的测试平台中的自然分布偏移不提供鲁棒性。主要的例外是在更大和更多样化的数据集上进行训练,这在很多情况下都提高了鲁棒性,但仍然远远没有缩小性能差距。我们的研究结果表明,分布偏移产生的实际数据是目前一个开放的研究问题。我们在https://modestyachts.github.io/imagenet-testbed/上提供我们的测试平台和数据作为未来工作的资源。
2020-09-14 cs.CV cs.LG stat.ML
Visual Robustness Benchmark for Visual Question Answering (VQA)
Islamic University of Technology(伊斯兰科技大学)
针对VQA模型视觉鲁棒性研究不足的问题,提出首个含21.3万张增强图像的大规模视觉鲁棒性基准及可聚合的评估指标,实验揭示了模型规模、性能与鲁棒性的关联,指明模型开发需平衡性能与鲁棒性。
2024-10-29 cs.CV
MVI-Bench: A Comprehensive Benchmark for Evaluating Robustness to Misleading Visual Inputs in LVLMs
Department of Computer Science, University of Illinois Chicago, Chicago, USA;School of Computer Science \& Engineering, Southeast University, Nanjing, China;Guohao School, Tongji University, Shanghai, China
针对现有鲁棒性基准忽视误导性视觉输入的问题,提出MVI-Bench基准,基于视觉基元的三级层次(视觉概念、视觉属性、视觉关系)构建6个类别1248个VQA实例,并引入MVI-Sensitivity指标进行细粒度评估,揭示18个LVLM的显著脆弱性。
2026-07-20 cs.CV
Double Visual Defense: Adversarial Pre-training and Instruction Tuning for Improving Vision-Language Model Robustness
UC Santa Cruz(加州大学圣克鲁兹分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出“双重视觉防御”方法,通过大规模对抗性视觉-语言预训练和对抗性视觉指令微调,分别得到$Δ$CLIP和$Δ^2$LLaVA模型,显著提升了视觉-语言模型在图像分类、图像描述和视觉问答等任务上的对抗鲁棒性。
2025-04-07 cs.CV
Adversarial Robustness for Visual Grounding of Multimodal Large Language Models
Tsinghua University(清华大学);Tencent Security Platform(腾讯安全平台);Peng Cheng Laboratory(鹏城实验室)
该研究针对多模态大语言模型视觉定位的对抗鲁棒性空白,以指代表达理解为任务提出三种对抗攻击范式,实验验证其攻击有效性,为新型攻击设计和鲁棒性提升提供了新视角与强基线。
2024-05-16 cs.CV
Impact of Attention on Adversarial Robustness of Image Classification Models
Birla Institute of Technology and Science Pilani(比拉理工学院);Indian Institute of Information Technology Allahabad(印度信息技术学院阿拉哈巴德分校)
针对深度学习模型的对抗攻击已经引起了广泛的关注,最近的工作已经提出了对抗示例存在的解释和保护模型免受这些攻击的技术。计算机视觉中的注意力已被用于合并重要特征的集中学习,并导致准确性的提高。最近,已经提出了具有注意力机制的模型来增强对抗鲁棒性。在此背景下,这项工作旨在全面了解注意力对对抗鲁棒性的影响。本文对在CIFAR-10、CIFAR-100和Fashion MNIST数据集上训练的非注意和基于注意的图像分类模型在流行的白盒和黑盒攻击下的对抗鲁棒性进行了比较研究。实验结果表明,基于注意力的模型的鲁棒性可能取决于所使用的数据集,即分类中涉及的类的数量。与具有较少类别的数据集相比,观察到基于注意力的模型对分类表现出更好的鲁棒性。
2021-09-02 cs.CV
Assessing Visually-Continuous Corruption Robustness of Neural Networks Relative to Human Performance
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
本文提出视觉连续损坏鲁棒性 VCR 及人类感知指标,通过 7,718 名参与者和多类鲁棒模型实验,揭示现有基准遗漏的神经网络鲁棒性缺陷及更大的人机差距。
2024-02-29 cs.CV
Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Offenburg University(奥芬堡应用科学大学);University of Mannheim(曼海姆大学)
在过去的十年中,深度图像分类网络的发展主要是通过在ImageNet等标准化基准上寻找分类准确性方面的最佳性能来推动的。最近,这一焦点已经被模型鲁棒性的概念所扩展,\ie模型对数据分布中以前看不见的变化的泛化能力。虽然新的基准测试,如ImageNet-C,已经被引入来衡量鲁棒性,我们认为,固定的测试集只能捕获一小部分可能的数据变化,因此是有限的,容易产生新的过拟合的解决方案。为了克服这些缺点,我们建议直接从学习的特征空间的结构来估计模型的鲁棒性。我们引入了鲁棒性指标,这些指标是通过对来自训练分类器的潜在表示进行无监督聚类而获得的,并且在损坏的测试数据上与模型性能表现出非常高的相关性。
2021-08-19 cs.CV
Towards Evaluating the Robustness of Visual State Space Models
Mohamed Bin Zayed University of AI(Mohamed Bin Zayed人工智能大学);Center of Secure Cyber-Physical Security Systems(安全的网络物理安全系统中心);Linköping University(林波伊大学);Australian National University(澳大利亚国立大学)
本文全面评估了视觉状态空间模型(VSSMs)在遮挡、图像结构、常见损坏和对抗攻击等多种扰动下的鲁棒性,并与Transformer和CNN等架构进行比较,揭示了其优势和局限性。
2026-06-03 cs.CV
An Evoked Potential-Guided Deep Learning Brain Representation For Visual Classification
University of Tasmania(塔斯马尼亚大学)
视觉分类的新视角旨在从人脑活动中解码视觉对象的特征表示。从大脑皮层记录脑电信号(EEG)已被视为理解图像分类任务的认知过程的流行方法。在这项研究中,我们提出了一个由视觉诱发电位引导的深度学习框架,称为事件相关电位(ERP)-长短期记忆(LSTM)框架,由EEG信号提取用于视觉分类。具体而言,我们首先从多个EEG通道中提取ERP序列来响应图像刺激相关信息。然后,我们训练了一个LSTM网络来学习视觉对象的特征表示空间以进行分类。在实验中,10名受试者被记录了来自6个类别的图像数据集的超过50,000次EEG试验,包括总共72个样本。我们的研究结果表明,我们提出的ERP-LSTM框架可以实现分类准确率的跨主题66.81%和27.08%的类别(6类)和样本(72类),分别。我们的结果优于使用现有的视觉分类框架,通过提高12.62% -53.99%的分类准确率。我们的研究结果表明,解码的视觉诱发电位从脑电信号是一种有效的策略,学习歧视性的大脑表示的视觉分类。
2020-06-27 cs.CV
VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness
University of Bucharest(布加勒斯特大学)
本文介绍罗马尼亚语视觉语音识别数据集VSRo-200,通过伪标签和人工转录注释样本,建立低资源视觉语音识别基准。研究监督质量影响,评估域转移鲁棒性及噪声下视听语音识别,证明其表示可转移至其他基准,为相关研究提供新测试平台。
2026-07-10 cs.CV
T-VSS: Test-Time Visual Subspace Steering for Adversarial Robustness of Vision-Language Models
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
提出T-VSS方法,通过在视觉特征空间中构建样本特定的低秩子空间并学习共享特征校正,直接适应受攻击特征,提升视觉语言模型的对抗鲁棒性,同时保持清洁准确率和效率。
2026-08-17 cs.CV
Robustness Of Saak Transform Against Adversarial Attacks
University of Southern California(南加州大学);US Army Research Laboratory(美国陆军研究实验室)
图像分类易受对抗攻击的影响。本文研究了Saak变换在高性能图像分类中对抗攻击的鲁棒性。我们开发了一个完整的基于多级Saak变换的图像分类系统。在Saak变换域中,干净图像和对抗图像在不同的光谱维度上表现出不同的分布。在每个阶段的光谱维度的选择可以被看作是一个自动去噪过程。受此观察的启发,我们仔细设计了特征提取,表示和分类策略,以提高对抗鲁棒性。广泛的实验评估证明了与知名的数据集和攻击的性能。
2019-02-07 cs.CV
A Vanilla Multi-Task Framework for Dense Visual Prediction Solution to 1st VCL Challenge -- Multi-Task Robustness Track
University of Science and Technology of China(中国科学技术大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Peking University(北京大学)
本文提出普通多任务框架UniNet,融合DETR3D、Mask2Former和BinsFormer,以InternImage-L为骨干,在SHIFT验证集上取得49.6总分,为稠密视觉预测多任务学习提供参考。
2024-02-27 cs.CV
Evaluation of the Robustness of Visual SLAM Methods in Different Environments
University of Tartu(塔尔图大学)
确定传感器相对于其周围环境的位置和方向,同时映射传感器周围的环境或同时定位与地图构建正在迅速成为嵌入式视觉的重要进步,具有大量不同的可能应用。本文对最新的开源SLAM算法进行了全面的比较,主要关注它们在不同环境中的性能。所选择的算法进行了评估,共同公开可用的数据集和推理的结果相对于数据集的环境。这是我们在越野场景中测试方法的主要目标的第一阶段。
2020-09-11 cs.CV
Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models
The University of Tokyo(东京大学);National Institute of Informatics(日本信息处理研究所);The University of Tokyo, National Institute of Informatics(东京大学、日本信息处理研究所)
研究针对视觉语言模型对抗攻击问题,提出质量文本引导的对抗微调方法QT-AFT,利用高质量字幕提升视觉编码器对抗鲁棒性,在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率,并揭示了语言增强视觉鲁棒性的关键见解。
2026-07-27 cs.CV
Efficient Audio-Visual Fusion for Video Classification
University of Surrey(萨里大学)
提出Attend-Fusion高效音视频融合方法,在YouTube-8M数据集上以更低模型复杂度实现与较大基线模型相当的性能。
2024-11-08 cs.CV
RoboStressBench: Benchmarking VLM Robustness to Physical Visual Stress in Embodied Scenes
HKUST(GZ)(香港科技大学(广州))
本文提出RoboStressBench,从逆图形学角度将视觉压力分解为材质、视角、光照和几何四个物理维度,系统评估VLM在真实物理压力下的鲁棒性,并引入压力感知求解器提升高压力场景下的性能。
2026-05-30 cs.CV
Fast Wavelet-Based Visual Classification
Ecole Polytechnique(巴黎综合理工学院);Massachusetts Institute of Technology(麻省理工学院)
我们研究了一种生物学动机的方法来快速视觉分类,直接受到Serre等人最近工作的启发。具体来说,权衡生物学准确性和计算效率,我们探索使用小波和grouplet样变换来并行调节视觉皮层V1和V2细胞,交替使用最大操作来实现尺度和平移不变性。在学习过程中应用特征选择过程以加速识别。我们引入了一个简单的注意力反馈机制,显着提高识别和鲁棒性在多对象场景。在实验中,该算法在目标识别、纹理和卫星图像分类、语言识别和声音分类上达到或超过了最先进的成功率。
2008-06-08 cs.CV
Real-Time Visual Tracking: Promoting the Robustness of Correlation Filter Learning
University of Kansas(堪萨斯大学);Boston University(波士顿大学);China Unicom Research Institute(中国联通研究院);Tsinghua University(清华大学)
基于相关滤波的跟踪模型在实时的【形】跟踪中取得了很大的成功,但现有的相关滤波模型存在函数丢失的问题,不能可靠地响应遮挡和光照变化引起的外观变化。本研究旨在提升相关滤波器学习的鲁棒性。通过利用滤波器响应的各向异性,提出了三个稀疏相关的损失函数,以减轻以前的方法的过拟合问题,提高整体跟踪性能。因此,实现了三个实时的【形】跟踪器。在各种具有挑战性的情况下进行的大量实验表明,通过所设计的损失函数,学习相关滤波器的鲁棒性得到了极大的提高。此外,该研究还从实验的角度揭示了不同的损失函数对跟踪性能的影响。一个重要的结论是,在连续帧中的滤波器的峰值的灵敏度是一致的跟踪性能。这对于设计用于视觉跟踪的鲁棒相关滤波器是一个有用的参考准则。
2016-09-09 cs.CV
A Comparison for Anti-noise Robustness of Deep Learning Classification Methods on a Tiny Object Image Dataset: from Convolutional Neural Network to Visual Transformer and Performer
Northeastern University(东北大学);University of Luebeck(吕贝克大学)
随着深度学习的快速发展,图像分类取得了前所未有的进步。然而,微小目标图像的分类仍然没有得到很好的研究。本文首先简要回顾了深度学习中卷积神经网络和视觉Transformer的发展,并介绍了常规噪声和对抗攻击的来源和发展。然后利用卷积神经网络和Visual Transformer的各种模型,在微小物体(精子和杂质)的图像数据集上进行了一系列实验,比较实验结果中的各种评价指标,得到性能稳定的模型。最后,讨论了微小目标分类中存在的问题,并对微小目标分类的未来进行了展望。
2021-06-09 cs.CV
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China(中国科学技术大学)
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点,通过聚类评估解释鲁棒性,并提出调整解释损失景观的训练方法,发现两者并不强相关。
2026-06-08 cs.CV cs.LG
ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
ProSAM通过变分提示编码器预测多元提示分布,避免生成不稳定区域提示,从而增强基于SAM的视觉参考分割的鲁棒性,并在Pascal-5$^i$和COCO-20$^i$数据集上超越现有方法。
2025-08-03 cs.CV
MetaRA: Metamorphic Robustness Assessment for Multimodal Large Language Model-based Visual Question Answering Systems
School of Computer Science and Engineering, Macau University of Science and Technology, Macao SAR(澳门科学技术大学计算机科学与工程学院);Hubei Key Laboratory of Transportation Internet of Things, School of Computer Science and Artificial Intelligence, Wuhan University of Technology(湖北省交通物联网重点实验室,武汉理工大学)
本文提出MetaRA,一种基于元形态测试的框架,用于评估多模态大语言模型基于视觉问答系统的鲁棒性,通过生成受控的图像-问题输入变体,揭示模型在语言扰动、视觉线索依赖和多模态推理中的弱点。
2026-05-19 cs.CV
A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);RealAI(瑞莱智慧);Peng Cheng Laboratory(鹏城实验室);Zhongguancun Laboratory(中关村实验室);Alibaba Group(阿里巴巴集团)
深度神经网络在对抗性样本、常见腐败和分布偏移下通常缺乏鲁棒性,这成为深度学习发展中的一个重要研究问题。虽然新的深度学习方法和鲁棒性改进技术不断被提出,但由于其快速发展、多样的噪声模式和简单的评估指标,现有方法的鲁棒性评估往往是不足的。如果没有全面的鲁棒性评估,就很难理解该领域的进展并确定有效的方法。在本文中,我们建立了一个全面的鲁棒性基准称为\textbf{ARES-Bench}的图像分类任务。在我们的基准测试中,我们评估了ImageNet上55个典型深度学习模型的鲁棒性,这些模型具有不同的架构(例如,CNN、Transformers)和学习算法(例如,正态监督训练、预训练、对抗训练)在众多对抗攻击和分布外(OOD)数据集下。以鲁棒性曲线为主要评价标准,我们进行了大规模的实验,并得出了几个重要的发现,包括:1)对于同一模型架构,对抗性鲁棒性和自然鲁棒性之间存在内在的权衡; 2)对抗性训练有效地提高了对抗性鲁棒性,特别是在Transformer架构上进行时; 3)基于更多训练数据或自监督学习的预训练显著提高了自然鲁棒性。基于ARES-Bench,我们进一步分析了ImageNet上大规模对抗训练中的训练技巧。通过相应地设计训练设置,我们实现了新的最先进的对抗鲁棒性。我们已经公开了基准测试结果和代码平台。
2023-02-28 cs.CV
Fine-Grained Visual Classification of Aircraft
TTI Chicago(丰田工业大学芝加哥分校);University of Oulu(奥卢大学);École Centrale Paris(巴黎中央理工学院);University of Oxford(牛津大学)
本文介绍了FGVC-Aircraft,这是一个新的数据集,包含10,000张飞机图像,跨越100个飞机模型,以三级层次结构组织。在更精细的层面上,模型之间的差异往往很细微,但总是可以在视觉上测量,这使得视觉识别具有挑战性,但也是可能的。通过定义相应的分类任务和评估协议,得到了一个基准,并给出了基准结果。这个数据集的构建是通过飞机爱好者的工作实现的,这一策略可以扩展到其他对象类的研究。与细粒度视觉分类(FGVC)中通常考虑的域(例如动物)相比,飞机是刚性的,因此不易变形。然而,它们呈现出其他有趣的变化模式,包括目的、大小、名称、结构、历史风格和品牌。
2013-06-21 cs.CV
A Comprehensive Study on the Robustness of Image Classification and Object Detection in Remote Sensing: Surveying and Benchmarking
Northwestern Polytechnical University(西北工业大学);The Hong Kong Polytechnic University(香港理工大学)
本研究首次全面调查并基准测试了遥感图像分类与目标检测的自然与对抗鲁棒性,构建了公开噪声数据集,通过大量实验评估主流分类与检测模型,揭示了模型弱点并为开发更鲁棒模型提供指导。
2023-09-15 cs.CV
Interpretable Attention Guided Network for Fine-grained Visual Classification
Beihang University(北京航空航天大学);Shenzhen Academy of Aerospace Technology(深圳航天技术研究院)
细粒度视觉分类(FGVC)是一项具有挑战性的任务,但比传统的分类任务更重要。它需要区分不同的子类与本质上微妙的类内对象的变化。以前的工作集中在提高特征表示能力,使用多粒度和歧视性的区域的基础上的注意力策略或包围盒。然而,这些方法高度依赖于缺乏可解释性的深度神经网络。我们提出了一个可解释的注意力引导网络(IAGN)细粒度的视觉分类。我们的方法的贡献包括:i)一个注意力引导框架,可以引导网络以可解释的方式提取区分区域; ii)一个渐进的训练机制,可以逐步提取知识,融合各种粒度的特征; iii)第一个可解释的FGVC方法,在几个标准的FGVC基准数据集上具有竞争力的性能。
2021-03-09 cs.CV
Fine-Grained Visual Classification with Efficient End-to-end Localization
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
术语细粒度视觉分类(FGVC)是指分类任务,其中类非常相似,分类模型需要能够找到细微的差异以做出正确的预测。最先进的方法通常包括一个定位步骤,旨在通过定位输入图像的相关部分来帮助分类网络。然而,这通常需要多次迭代或通过完整的分类网络或复杂的训练计划。在这项工作中,我们提出了一个有效的本地化模块,可以与分类网络融合在一个端到端的设置。一方面,该模块通过从分类网络回流的梯度来训练。另一方面,引入了两个自监督的损失函数来提高定位精度。我们在三个基准数据集CUB 200 -2011,斯坦福汽车和FGVC-Aircraft上评估了新模型,并能够实现具有竞争力的识别性能。
2020-05-11 cs.CV
Feature sampling and partitioning for visual vocabulary generation on large action classification datasets
Oxford Brookes University(牛津布鲁克斯大学);University of Oxford(牛津大学)
动作识别的最新趋势是更大的数据集,越来越多的动作类和更大的视觉词汇表。目前,在具有挑战性的视频数据中,最先进的人类动作分类是基于视觉词袋管道,其中时空特征被全局聚合以形成直方图。选择的策略来采样特征和构建视觉词汇对性能至关重要,实际上往往主导性能。在这项工作中,我们提供了一个关键的评估各种方法来建立一个词汇,并表明良好的词汇确实有显着的影响。通过策略性地对特征进行子采样和分区,我们能够使用相对较小的视觉词汇在5个主要动作识别数据集上实现最先进的结果。
2014-05-29 cs.CV
Multi-source Domain Adaptation for Visual Sentiment Classification
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校)
现有的视觉情感分类的领域自适应方法通常是在单源场景下研究的,其中从足够标记数据的源域学习的知识被转移到松散标记或未标记数据的目标域。然而,在实际应用中,来自单个源域的数据通常具有有限的量,并且难以覆盖目标域的特征。在本文中,我们提出了一种新的多源领域自适应(MDA)的方法,称为多源情感生成对抗网络(MSGAN),视觉情感分类。为了处理来自多个源域的数据,它学习找到一个统一的情感潜在空间,其中来自源域和目标域的数据共享类似的分布。这是通过端到端方式的周期一致性对抗学习来实现的。在四个基准数据集上进行的大量实验表明,MSGAN在视觉情感分类方面明显优于最先进的MDA方法。
2020-01-12 cs.CV
Visual Transformer for Soil Classification
Indian Institute Of Information Technology, Lucknow(印度理工学院勒克瑙分校)
我们的粮食安全建立在土壤的基础上。如果土壤不健康,农民将无法为我们提供纤维,食物和燃料。准确预测土壤类型有助于规划土壤的使用,从而提高生产力。这项研究采用了最先进的Visual Transformers,并与SVM、Alexnet、Resnet和CNN等不同模型进行了性能比较。此外,本研究还着重于区分不同的视觉Transformers架构。对于土壤类型的分类,数据集由4种不同类型的土壤样本组成,如冲积,红色,黑色和粘土。Visual Transformer模型在测试和训练准确率方面优于其他模型,训练时达到98.13%,测试时达到93.62%。Visual Transformer的性能超过其他型号至少2%。因此,新颖的视觉Transformers可用于计算机视觉任务,包括土壤分类。
2022-09-07 cs.CV
Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester(罗切斯特大学)
在本文中,我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频,视觉,以及这两种形式,以探索视听整合是否仍然加强感知,以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互,我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击,我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明,视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性,反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
EEG-ConvTransformer for Single-Trial EEG based Visual Stimuli Classification
Indian Institute of Technology Ropar(印度理工学院罗巴尔分校)
不同类别的视觉刺激会激活人脑中不同的反应。这些信号可以用EEG捕获以用于诸如脑机接口(BCI)的应用中。然而,由于EEG的低信噪比,单次试验数据的准确分类是具有挑战性的。这项工作介绍了一个EEG-ConvTransformer网络,是基于多头自我注意。与其他Transformers不同,该模型采用了自注意力来捕获区域间的相互作用。它进一步扩展到将具有多头注意力的附加卷积滤波器作为单个模块来学习时间模式。实验结果表明,EEG-ConvTransformer在五个不同的视觉刺激分类任务中实现了比最先进的技术更高的分类精度。最后,头间多样性的定量分析也显示了表征子空间的低相似性,强调了多头注意力的隐含多样性。
2021-07-08 cs.CV
Joint Visual Denoising and Classification using Deep Learning
SUNY at Buffalo(纽约州立大学布法罗分校);University of Electronic Science and Technology of China(电子科技大学)
视觉恢复和识别传统上是以流水线方式解决的,即先去噪后分类。相反,观察两个任务之间的相关性,例如更清晰的图像将导致更好的分类和副签证,我们提出了一个手写图像视觉恢复和识别的联合框架,灵感来自深度自动编码器和多模态学习的进步。我们的模型是一个3通道的深度架构,具有由多个输入和输出共享的隐藏层表示,每个分支可以由多层深度模型组成。因此,可以通过非线性映射使用共享表示来统一视觉恢复和分类,并且可以通过反向传播来学习模型参数。使用被结构化噪声破坏的MNIST和USPS数据,所提出的框架在分类方面比单独的管道好至少20%,并且恢复的图像更清晰。噪声模型和可重现的源代码可在{ \url{https://github.com/ganggit/jointmodel} }获得。
2016-12-04 cs.CV
Cross-Modal Image Fusion Theory Guided by Subjective Visual Attention
Northwestern Polytechnical University(西北工业大学)
人类视觉感知系统在各种图像处理任务中具有很强的鲁棒性和上下文感知能力。这种鲁棒性和上下文感知的感知能力与人类视觉感知系统的多任务辅助学习和主观注意的特性密切相关。为了提高图像融合任务的鲁棒性和上下文感知能力,提出了一种主观注意引导的多任务辅助学习图像融合理论。图像融合理论将人脑的主观任务意图和先验知识有效地统一起来。为了实现我们提出的图像融合理论,我们首先分析了多任务辅助学习的机理,构建了一个多任务辅助学习网络。其次,基于人类视觉注意感知机制,在多任务辅助学习网络的基础上,引入了主观任务引导的人类视觉注意网络。通过主观注意任务模型引入主观意图,使网络能够根据主观意图进行图像融合。最后,为了验证本文所提出的图像融合理论的优越性,在组合视觉系统图像数据集上进行了实验,并对红外和可见光图像数据集进行了实验验证。实验结果表明,我们的融合理论在上下文感知和鲁棒性方面优于最新技术。
2019-12-23 cs.CV
On The Robustness of Foundational 3D Medical Image Segmentation Models Against Imprecise Visual Prompts
University of California, San Diego(加州大学圣地亚哥分校)
本研究探讨了基础3D医学图像分割模型在面对不精确视觉提示时的鲁棒性,通过实验揭示了模型对视觉形状和空间线索的依赖性及扰动的抗性。
2026-01-23 cs.CV eess.IV
VCR-Bench: A Modular Open-Source Benchmark for Video Classification Robustness
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
VCR-Bench是一个模块化开源基准框架,标准化视频分类鲁棒性评估,整合30个模型、14种攻击和10种防御,在Kinetics-400上报告多维度指标。
2026-10-08 cs.CV
iCAR: Bridging Image Classification and Image-text Alignment for Visual Recognition
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
图像分类是根据预定义的类别对图像进行分类的方法,在过去的十年中,它一直是视觉表示学习的主要方法。然而,通过图文对齐的视觉学习已经显示出有前途的性能,特别是对于zero-shot识别。我们认为这两个学习任务是互补的,并建议将它们结合起来,以更好地进行视觉学习。我们提出了一种具有三种适应性的深度融合方法,可以有效地桥接两个学习任务,而不是通过朴素的多任务学习进行浅融合。首先,我们修改了以前的常见做法,在图像分类,线性分类器,余弦分类器,表现出相当的性能。其次,我们将图像分类问题从学习参数类别分类器权重转换为学习文本编码器作为Meta网络来生成类别分类器权重。所学习的文本编码器在图像分类和图文对齐之间共享。第三,我们丰富每个类名称的描述,以避免类之间的混淆,使分类方法更接近图文对齐。我们证明了这种深度融合方法在各种视觉识别任务和设置上比个体学习或浅融合方法表现更好,从zero-shot/Few-Shot图像分类,如Kornblith 12数据集基准,到动作识别,语义分割和目标检测的下游任务,在微调和开放词汇设置中。该代码将在https://github.com/weiyx16/iCAR上提供。
2022-04-22 cs.CV
Causal Interpretability for Adversarial Robustness: A Hybrid Generative Classification Approach
organization= Department of Automotive Engineering, Clemson University , addressline= 4 Research Drive , city= Greenville , postcode= 29607 , state= South Carolina , country= USA;organization= Department of Computer Science, Physics \& Engineering, Benedict College , addressline= 1600 Harden Street , city= Columbia , citysep= , postcode= 29204 , state= South Carolina , country= USA;organization= Department of Computer;Cyber Sciences, Dakota State University , addressline= 820 N Washington Avenue , city= Madison , citysep= , postcode= 57042 , state= South Dakota , country= USA;organization= School of Computing, Clemson University , addressline= 821 McMillan Road , city= Clemson , postcode= 29634 , state= South Carolina , country= USA
本文提出一种混合生成分类方法,通过结合判别特征和生成模型,提升图像分类模型的对抗鲁棒性和可解释性。
2025-12-05 cs.CV
STAR: Noisy Semi-Supervised Transfer Learning for Visual Classification
Concordia University(康考迪亚大学);Décathlon(迪卡侬)
半监督学习(SSL)已被证明可以有效地利用大规模未标记数据来减轻对标记数据的依赖,以便学习更好的模型用于视觉识别和分类任务。然而,最近的SSL方法依赖于数十亿规模的未标记图像数据才能很好地工作。这对于在运行时间、存储器和数据采集方面具有相对较少的未标记数据的任务变得不可行。为了解决这个问题,我们提出了嘈杂的半监督迁移学习,一种有效的SSL方法,集成了迁移学习和自我训练与嘈杂的学生到一个单一的框架,这是专为任务,可以利用未标记的图像数据的规模上千。我们评估我们的方法在二进制和多类分类任务,其目标是确定图像是否显示人们练习运动或运动类型,以及从流行的瑜伽姿势池中识别姿势。大量的实验和消融研究表明,通过利用未标记的数据,我们提出的框架显着提高了视觉分类,特别是在多类分类设置相比,国家的最先进的方法。此外,结合迁移学习不仅提高了分类性能,而且还需要减少6倍的计算时间和5倍的内存。我们还表明,我们的方法提高了视觉分类模型的鲁棒性,即使没有专门优化对抗鲁棒性。
2021-08-18 cs.CV
Can Text-to-image Model Assist Multi-modal Learning for Visual Recognition with Visual Modality Missing?
University of Southern California(南加州大学)
本文提出多模态学习框架GTI-MM,利用文本到图像模型生成合成图像填补缺失的视觉模态数据,实验证明该方法有效提升了视觉模态缺失场景下的数据效率与模型鲁棒性。
2024-02-14 cs.CV
Visual Objects Classification with Sliding Spatial Pyramid Matching
University of Tunku Abdul Rahman(东姑阿都拉曼大学)
我们提出了一种仅使用单一特征的视觉对象分类方法,即转换的彩色SIFT与空间金字塔匹配(SPM)的变体,我们称之为滑动空间金字塔匹配(SSPM),使用线性回归(由LINEAR提供)的集合进行训练,以获得Caltech-101上83.46%的最新结果。SSPM是SPM的一个特殊版本,其中不是将图像划分为K个区域,而是以固定步长围绕图像滑动固定大小的子窗口。对于每个子窗口,生成视觉单词的直方图。为了获得视觉词汇,我们从训练集中随机挑选N个样本,并使用软非线性映射方法对其进行编码,而不是执行K-means聚类。然后,我们训练了15个模型,每个模型都有不同的视觉单词大小和线性回归。然后将所有15个模型平均在一起以形成单个强模型。
2012-12-18 cs.CV
Deep Learning Human Mind for Automated Visual Classification
University of Central Florida(中佛罗里达大学)
如果我们能够有效地阅读思想,并将人类的视觉能力转移到计算机视觉方法中,那会怎么样?在本文中,我们的目标是通过开发第一个由人脑信号驱动的视觉对象分类器来解决这个问题。特别是,我们采用脑电数据诱发的视觉对象刺激结合递归神经网络(RNN)学习一个有区别的大脑活动流形的视觉类别。之后,我们训练一个基于卷积神经网络(CNN)的回归器,将图像投影到学习的流形上,从而有效地允许机器采用基于人脑的特征进行自动视觉分类。我们使用32通道EEG记录7名受试者的大脑活动,同时查看40个ImageNet对象类的图像。所提出的基于RNN的使用脑信号区分对象类别的方法达到了约40%的平均准确度,这优于试图学习EEG视觉对象表示的现有方法。至于自动对象分类,我们的人脑驱动方法在ImageNet和CalTech 101上获得了与强大的CNN模型相当的竞争性能,从而证明了其分类和泛化能力。这给了我们一个真正的希望,人类的思想确实可以被读取并转移到机器上。
2019-10-22 cs.CV
Adversarial Robustness of Visual Dialog
Tianjin University of Technology(天津理工大学);Heriot Watt University(赫瑞瓦特大学)
对抗鲁棒性评估机器学习模型的最坏情况性能,以确保其安全性和可靠性。这项研究是第一个调查的鲁棒性视觉接地对话模型对文本攻击。这些攻击代表了一种最坏的情况,即输入问题包含一个同义词,导致之前正确的模型返回错误的答案。使用这种情况下,我们首先要了解多模态输入组件如何有助于模型的鲁棒性。我们的研究结果表明,对对话历史进行编码的模型更鲁棒,并且当对历史发起攻击时,模型预测变得更加不确定。这与先前的工作相反,该工作发现对话历史对于该任务的模型性能可以忽略不计。我们还评估了如何生成对抗性测试示例,这些示例成功地欺骗了模型,但用户/软件设计者仍然无法检测到。我们发现,文本,以及视觉环境是很重要的,以产生合理的最坏情况。
2022-07-06 cs.CV cs.MM
Unveiling the Lack of LVLM Robustness to Fundamental Visual Variations: Why and Path Forward
Hong Kong University of Science and Technology(香港理工大学)
本文提出V$^2$R-Bench基准框架,系统评估21个LVLM对位置、尺度、方向和上下文等基本视觉变化的鲁棒性,揭示其脆弱性源于流水线架构误差累积和多模态对齐不足,指出未来需架构创新。
2025-06-02 cs.AI cs.CV
LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models
Singapore Management University(新加坡管理大学);Princeton University(普林斯顿大学);Fudan University(复旦大学)
提出LIBERO-VPro基准,系统评估机器人基础模型在视觉扰动下的闭环鲁棒性,揭示名义性能掩盖的视觉基础弱点,并表明鲁棒性多维且依赖架构。
2026-09-22 cs.CV cs.RO