Convolutional Low-Resolution Fine-Grained Classification
成功的细粒度图像分类方法学习视觉相似（子）类之间的细微细节，但如果由于低分辨率而丢失细节，则问题变得更具挑战性。受最近卷积神经网络（CNN）架构在图像分类中的成功鼓舞，我们提出了一种新的分辨率感知深度模型，该模型以端到端的方式将卷积图像超分辨率和卷积细粒度分类结合到单个模型中。在Stanford Cars和Caltech-UCSD Birds 200 - 2011基准上进行的大量实验表明，该模型在对低分辨率图像中的细粒度对象类进行分类方面始终优于传统的卷积网络。
2017-10-16 cs.CV
Compare More Nuanced:Pairwise Alignment Bilinear Network For Few-shot Fine-grained Learning
University of Technology Sydney（悉尼科技大学）
人类的认知能力是逐步发展的。通常，孩子们在有限的监督下学会区分从粗到细的各种物体。受这种学习过程的启发，我们提出了一个简单而有效的模型，用于Few-Shot Fine-Grained（FSFG）识别，试图利用元学习来解决具有挑战性的细粒度识别任务。所提出的方法，称为成对对齐双线性网络（PABN），是一个端到端的深度神经网络。与传统的用于细粒度分类的深度双线性网络不同，该网络采用自双线性池来捕获图像的细微特征，该模型使用一种新的成对双线性池来比较基础图像和查询图像之间的细微差异，以学习深度距离度量。为了匹配基本图像特征与查询图像特征，我们在提出的成对双线性池之前设计了特征对齐损失。在四个细粒度分类数据集和一个通用的Few-Shot数据集上的实验结果表明，该模型的性能优于现有的Few-Shot细粒度方法和一般的Few-Shot方法.
2019-04-11 cs.CV
FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究所）
本文提出FIKA-Bench，一个包含311个公开来源和现实实例的细粒度知识获取基准，通过过滤和审计确保实例质量，评估最新多模态模型和代理发现细粒度识别任务仍具挑战性，需改进代理设计以提升知识获取能力。
2026-05-19 cs.CV
Progressively Exploring and Exploiting Inference Data to Break Fine-Grained Classification Barrier
School of Software, Shandong University（软件学院，山东大学）
本文提出了一种新的学习范式，通过逐步探索和利用推理数据，突破细粒度分类的瓶颈，提升模型对动态语义变化的适应能力。
2026-03-02 cs.CV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China（信息科学与工程学院，中国海洋大学）
本文提出LoDisc，一种自监督全局-局部对比学习框架，通过局部判别前置任务增强细粒度特征，提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
Towards Privacy-Preserving Fine-Grained Visual Classification via Hierarchical Learning from Label Proportions
PRIS, Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
针对隐私敏感场景下细粒度视觉分类依赖实例标签的问题，提出LHFGLP框架，利用标签比例学习范式并结合分层稀疏字典学习与分层比例损失，在三个数据集上显著提升了分类性能。
2025-05-29 cs.CV
Semantic Bilinear Pooling for Fine-Grained Recognition
University of Science and Technology Beijing（北京科技大学）
当然，细粒度识别，例如，车辆识别或鸟类分类具有特定的层次标签，其中细类别总是比粗类别更难分类。然而，大多数最近的基于深度学习的方法忽略了细粒度对象的语义结构，并且没有利用传统的细粒度识别技术（例如，从粗到细的分类）。在本文中，我们提出了一个新的框架与两个分支网络（粗分支和细分支），即，语义双线性池，用于使用分层标签树进行细粒度识别。该框架可以自适应地从层次结构中学习语义信息。具体而言，我们设计了一个广义交叉熵损失的训练所提出的框架，充分利用语义先验，通过考虑相邻水平之间的相关性，扩大不同的粗类样本之间的距离。此外，我们的方法在测试时只利用精细分支，因此不会增加测试时间的开销。实验结果表明，我们提出的方法在四个公共数据集上达到了最先进的性能。
2021-11-25 cs.CV
The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition
Stanford University（斯坦福大学）；Zoox；Google（谷歌）
目前的细粒度识别方法如下：首先，招募专家来注释图像数据集，还可以选择以零件注释和边界框的形式收集更多的结构化数据。其次，利用这些数据训练模型。为了解决细粒度识别的目标，我们引入了一种替代方法，利用来自网络的免费噪声数据和简单通用的识别方法。这种方法在性能和可伸缩性方面都有好处。我们在四个细粒度数据集上证明了它的有效性，大大超过了现有的技术水平，甚至没有手动收集一个标签，并且还显示了扩展到10，000多个细粒度类别的第一个结果。量化，我们在CUB-200-2011上达到了92.3%的前1准确率，在Birdsnap上达到了85.4%，在FGVC-Aircraft上达到了93.4%，在Stanford Dogs上达到了80.8%，而没有使用他们的注释训练集。我们将我们的方法与扩展细粒度数据集的主动学习方法进行比较。
2016-10-18 cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University（南京大学）
细粒度图像识别是一个具有挑战性的计算机视觉问题，这是由于高度相似的从属类别引起的小的类间变化，以及姿态、尺度和旋转的大的类内变化。在本文中，我们提出了一种新的端到端Mask-CNN模型，没有完全连接的层，用于细粒度识别。基于细粒度图像的部分注释，所提出的模型由一个完全卷积的网络组成，以定位有区别的部分（例如，头部和躯干），更重要的是，生成对象/部分掩模，用于选择有用和有意义的卷积描述符。之后，构建一个四流Mask-CNN模型，用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比，所提出的Mask-CNN模型具有最少的参数数量，最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval
Nanjing University（南京大学）
为ImageNet分类任务预训练的深度卷积神经网络模型已成功应用于其他领域的任务，例如纹理描述和对象建议生成，但这些任务需要对新领域中的图像进行注释。在本文中，我们专注于一个新的和具有挑战性的任务，在纯无监督设置：细粒度的图像检索。即使有图像标签，细粒度的图像也很难分类，更不用说无监督检索任务了。我们提出了选择性卷积描述符聚合（SCDA）方法。SCDA首先在细粒度图像中定位主要对象，这一步骤丢弃了噪声背景并保留了有用的深度描述符。然后使用我们发现的最佳实践将所选描述符聚合并降维为短特征向量。SCDA是无监督的，不使用图像标签或限界框注释。在六个细粒度数据集上的实验证实了SCDA在细粒度图像检索中的有效性。此外，可视化的SCDA功能表明，他们对应的视觉属性（即使是微妙的），这可能解释SCDA的高平均精度在细粒度检索。此外，在一般的图像检索数据集，SCDA实现了可比的检索结果与国家的最先进的一般图像检索方法。
2017-07-13 cs.CV
Fully Convolutional Attention Networks for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别是具有挑战性的，因为它的微妙的局部类间差异与大的类内变化，如姿势。解决这一问题的关键是对区分性部分进行局部化，以提取姿态不变特征。然而，获得地面实况零件注释可能是昂贵的。此外，很难为许多细粒度的类定义部件。这项工作介绍了全卷积注意力网络（FCANs），一个强化学习框架，以最佳的局部判别区域适应不同的细粒度域。与以前的方法相比，我们的方法具有三个优点：1）弱监督强化学习过程不需要昂贵的部分注释; 2）全卷积架构加速了训练和测试; 3）贪婪奖励策略加速了学习的收敛。我们证明了我们的方法的有效性与广泛的实验上四个具有挑战性的细粒度基准数据集，包括CUB-200-2011，斯坦福狗，斯坦福汽车和食品-101。
2017-03-21 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）；Indiana University（印第安纳大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题，基于生成对抗网络（GANs）的现成图像生成技术可以创建额外的训练图像。然而，这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中，我们提出了一个元学习框架，将生成的图像与原始图像相结合，从而使生成的“混合”训练图像改善了一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。我们的实验表明，一致的改善基线上一杆细粒度图像分类基准。此外，我们的分析表明，与原始图像和GAN生成的图像相比，增强图像具有更大的多样性。
2022-04-22 cs.CV
Fine-grained pose prediction, normalization, and recognition
姿态变化和外观上的细微差异是细粒度分类的关键挑战。虽然深度网络显着改善了一般识别，但许多细粒度识别方法依赖于将网络锚定到零件以提高准确性。识别零件以找到对应折扣构成变化，以便可以根据外观调整特征。为此，以前的方法已经研究了如何找到零件和提取姿势规范化的功能。这些方法通常将细粒度识别分为几个阶段，首先使用手工设计和粗定位的建议特征定位零件，然后分别学习以推断的零件位置为中心的深度描述符。我们将这些步骤统一到一个由关键点位置和类标签监督的端到端可训练网络中，该网络通过完全卷积网络定位零件，以集中学习细粒度分类任务的特征表示。在流行的CUB200数据集上的实验表明，我们的方法是最先进的，并建议继续发挥强监管的作用。
2015-11-22 cs.CV
Simultaneous Region Localization and Hash Coding for Fine-grained Image Retrieval
Sun Yat-Sen University（中山大学）
细粒度图像散列算法由于其区分区域定位和散列代码生成的困难而成为一个具有挑战性的问题。大多数现有的深度哈希方法独立地解决这两个任务。而这两项任务是相互关联的，可以相互加强。在本文中，我们提出了一种深度细粒度哈希，同时本地化的判别区域，并产生有效的二进制代码。该方法由区域定位模块和哈希编码模块组成。区域定位模块旨在向散列编码模块提供信息区域。哈希编码模块的目的是生成有效的二进制代码，并为学习更好的定位器提供反馈。此外，为了更好地捕捉细微差异，在不需要边界框/部分注释的情况下学习不同层的多尺度区域。在两个公开的基准细粒度数据集上进行了大量的实验。结果表明，我们的方法相对于其他细粒度哈希算法的性能显着改善。
2019-11-19 cs.CV
Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics
Peking University（北京大学）；Renmin University of China（中国人民大学）；Queen Mary University of London（伦敦玛丽女王大学）
细粒度图像分类的目标是区分具有细微差别的图像，这是一个具有挑战性的任务，由于两个主要问题：缺乏足够的训练数据的每一个类和难以学习的歧视性特征表示。在本文中，为了解决这两个问题，我们提出了一个两阶段的框架，识别图像从看不见的细粒度类，即zero-shot细粒度分类。在第一个特征学习阶段，我们使用细粒度类之间的层次语义结构来微调深度卷积神经网络，以提取有区别的深度视觉特征。同时，在深度卷积神经网络中引入领域自适应结构，以避免从训练数据到测试数据的域移位。在第二个标签推理阶段，语义有向图构造的细粒度类的属性。基于此图，我们开发了一个标签传播算法来推断未见过的类中的图像的标签。在两个基准数据集上的实验结果表明，我们的模型优于最先进的零样本学习模型。此外，我们的特征学习模型获得的特征也产生显着的收益时，他们被用于其他零样本学习模型，这表明我们的模型在zero-shot细粒度分类的灵活性。
2017-07-04 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Combining Discrepancy-Confusion Uncertainty and Calibration Diversity for Active Fine-Grained Image Classification
Jilin University（吉林大学）
研究针对细粒度图像分类中可靠评估样本信息难的问题，提出DECERN方法，结合差异-混淆不确定性和校准多样性来衡量样本信息，经加权聚类和校准多样性，提升主动学习性能。
2026-07-07 cs.CV
Embedding Label Structures for Fine-Grained Feature Representation
UNC Charlotte（北卡罗来纳大学夏洛特分校）；NEC Lab America（NEC美国实验室）
最近的卷积神经网络（CNN）算法大大推进了细粒度图像分类，其目的是区分从属类之间的细微差异。然而，以前的研究很少关注学习细粒度和结构化的特征表示，该特征表示能够在不同的相关性级别上定位相似的图像，例如，发现同一品牌或同一型号的汽车，这两者都需要很高的精度。在本文中，我们提出了两个主要的贡献来解决这个问题。1)设计了一个多任务学习框架，通过联合优化分类和相似性约束来有效地学习细粒度特征表示。2)为了对多级相关性进行建模，通过泛化三元组损失，将诸如层次或共享属性的标签结构无缝地嵌入到框架中。在三个细粒度数据集上进行了广泛而深入的实验，即，Stanford car、car-333和food数据集，这些数据集包含分层标签或共享属性。我们提出的方法已经实现了非常有竞争力的性能，即，最先进的分类准确率。更重要的是，它显着优于以前的细粒度特征表示的图像检索在不同级别的相关性。
2016-03-11 cs.CV
Learning Cross-Image Object Semantic Relation in Transformer for Few-Shot Fine-Grained Image Classification
Fudan University（复旦大学）；Oracle Health and AI（甲骨文健康与人工智能部门）；Shanghai AI Laboratory（上海人工智能实验室）
Few-Shot细粒度学习旨在将查询图像分类到具有细粒度差异的一组支持类别中的一个。虽然通过深度神经网络学习不同对象的局部差异已经取得了成功，但如何在基于transformer的架构中利用查询支持的跨图像对象语义关系，在Few-Shot细粒度场景中仍然探索不足。在这项工作中，我们提出了一个基于transformer的双螺旋模型，即HelixFormer，实现跨图像对象语义关系挖掘的双向和对称的方式。HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）每个分支内的表示增强过程（REP）。通过所设计的RMP，每个分支可以提取细粒度的对象级跨图像语义关系映射（CSRMs）从其他分支的信息，确保更好的跨图像的交互语义相关的局部对象区域。此外，在CSRMs的帮助下，开发的REP可以加强每个分支中发现的语义相关局部区域的提取特征，提高模型区分细粒度对象的细微特征差异的能力。在五个公开的细粒度基准上进行的大量实验表明，HelixFormer可以有效地增强跨图像对象语义关系匹配，以识别细粒度对象，在1-shot和5-shot场景下实现比大多数最先进的方法更好的性能。我们的代码可在：https://github.com/JiakangYuan/HelixFormer
2022-07-02 cs.CV
ExchNet: A Unified Hashing Network for Large-Scale Fine-Grained Image Retrieval
Graduate School of IPS, Waseda University（早稻田大学信息生产系统研究生院）；Megvii Research Nanjing, Megvii Technology（旷视科技南京研究院）
从大规模细粒度数据集中检索内容相关图像可能会遇到难以忍受的缓慢查询速度和高度冗余的存储成本，这是由于高维实值嵌入的目的是区分细粒度对象的细微视觉差异。在本文中，我们研究了新的细粒度哈希主题，以生成细粒度图像的紧凑二进制代码，利用哈希学习的搜索和存储效率来缓解上述问题。具体来说，我们提出了一个统一的端到端的可训练网络，称为ExchNet。基于注意力机制和提出的注意力约束，该方法首先获得局部和全局特征，分别表示对象的局部和整体细粒度对象。此外，为了保证这些部分级特征在图像之间的区分能力和语义一致性，我们设计了一种局部特征对齐方法，通过执行特征交换操作。然后，采用另一种学习算法来优化整个ExchNet，然后生成最终的二进制哈希码。通过大量的实验验证，我们的建议始终优于国家的最先进的通用散列方法在五个细粒度的数据集，这表明我们的有效性。与其他近似最近邻算法相比，ExchNet算法实现了最佳的加速和存储缩减，体现了其高效性和实用性。
2020-08-04 cs.CV
Mining Discriminative Triplets of Patches for Fine-Grained Classification
University of Maryland, College Park（马里兰大学帕克分校）；Comcast Labs DC（康卡斯特DC实验室）
细粒度分类涉及基于高度局部化区域中的细微差异来区分相似的子类别;因此，区分区域的准确定位仍然是一个重大挑战。我们描述了一个基于补丁的框架来解决这个问题。我们引入三元组的补丁几何约束，以提高补丁定位的准确性，并自动挖掘判别几何约束的三元组分类。所得到的方法只需要对象边界框。使用四个公开的细粒度数据集证明了它的有效性，在这些数据集上，它的性能优于或达到了与最先进的分类相当的性能。
2016-05-04 cs.CV
Geo-Aware Networks for Fine-Grained Recognition
Google Research（谷歌研究院）
细粒度识别通过细微的视觉差异来区分类别。为了区分这些具有挑战性的视觉类别，利用其他信息是有帮助的。地理位置是一个丰富的额外信息来源，可用于提高细粒度分类的准确性，但一直没有得到充分的研究。我们对这一领域的贡献是双重的。首先，据我们所知，这是第一篇论文，系统地研究了各种方法，将地理定位信息纳入细粒度的图像分类，通过使用地理定位先验，后处理或功能调制。其次，为了克服没有细粒度数据集具有完整地理位置信息的情况，我们通过为现有流行数据集提供补充信息来发布两个具有地理位置的细粒度数据集- iNaturalist和YFCC 100 M。通过利用地理位置信息，我们将iNaturalist中的top-1准确率从70.1%提高到79.0%，以获得强大的基线图像模型。比较几个模型，我们发现最好的性能是通过后处理模型实现的，该模型消耗了仅图像基线的输出以及地理位置。然而，对于资源受限的模型（MobileNetV 2），通过像素和地理位置联合训练的特征调制模型的性能更好：准确率从59.6%提高到72.2%。我们的工作为将地理位置信息纳入服务器和设备上的细粒度识别模型提供了有力的支持。
2019-09-04 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University（康奈尔大学）
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别（例如，鸟类）仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示：首先定位每个图像中的语义部分，然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类，我们表明，他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下，姿势归一化将浅层和深层架构的准确度提高了10到20个百分点，更好地推广到新领域，并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
Part Localization using Multi-Proposal Consensus for Fine-Grained Categorization
我们提出了一个简单的深度学习框架来同时预测关键点位置及其各自的活力，并使用它们来实现最先进的细粒度分类性能。我们表明，通过条件的预测对象的建议与足够的图像支持，我们的方法可以做得很好，没有复杂的空间推理。相反，对离群值具有鲁棒性的推理方法产生了关键点定位的最新技术。我们证明了我们精确的关键点定位和可见性预测对细粒度鸟类识别任务的有效性，有和没有地面实况鸟类边界框，并优于现有的最先进的方法超过2%。
2015-07-22 cs.CV
Mask Guided Attention For Fine-Grained Patchy Image Classification
Griffith University（格里菲斯大学）
在这项工作中，我们提出了一种新的掩模引导注意力（MGA）的细粒度的补丁图像分类方法。细粒度斑片图像分类的关键挑战在于两个方面，即对象之间的超细粒度类别间差异和可用于训练的数据很少。这促使我们考虑使用更有用的监督信号来训练有限的训练样本内的判别模型。具体而言，所提出的MGA集成了预训练的语义分割模型，该模型产生辅助监督信号，即，不完整的注意力掩模，从而实现区分性表示学习。补丁注意力掩模驱动分类器滤除图像的不重要部分（例如，不同类别之间的共同特征），这增强了MGA对细粒度斑块图像分类的鲁棒性。我们验证了我们的方法在三个公开的补丁图像数据集的有效性。实验结果表明，我们的MGA方法在三个数据集上取得了优异的性能相比，国家的最先进的方法。此外，我们的消融研究表明，MGA提高了2.25%和2%的准确度上的cultureVein和BtfPIS数据集，表明其实用性解决细粒度的斑块图像分类。
2021-09-22 cs.CV
Enhancing Fine-Grained Classification for Low Resolution Images
IIIT-Delhi（德里印度理工学院）；IIT Jodhpur（印度理工学院焦特布尔分校）
低分辨率细粒度分类对于在诸如监视和移动摄影的距离处捕获数据的应用具有广泛的适用性。虽然高分辨率图像的细粒度分类受到了极大的关注，但对低分辨率图像的关注有限。这些图像遭受有限的信息内容的固有挑战，并没有用于子类别分类的精细细节。这导致在视觉上相似的类的样本之间的低类间变化。为了应对这些挑战，本研究提出了一种新的属性辅助损失，它利用辅助信息来学习判别特征进行分类。所提出的损失函数使模型能够学习类特定的判别特征，同时结合属性级可分性。在具有不同模型的多个数据集上进行评估，分辨率从32x32到224x224不等。不同的实验证明了所提出的attributeassisted损失的低分辨率细粒度分类的有效性。
2021-05-01 cs.CV
You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出一种组合性框架，利用预训练CLIP模型结合草图与文本进行细粒度图像检索，实现更精确查询并扩展至组合检索、域属性转移和细粒度生成等新应用。
2024-03-20 cs.CV
Fine-grained visual recognition with salient feature detection
Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）
基于计算机视觉的细粒度识别近年来受到了广泛的关注。现有的工作集中在歧视性的部分定位和特征学习。在本文中，为了提高细粒度识别的性能，我们试图精确地定位尽可能多的显著部分的对象。然后，我们计算出的分类概率，可以通过使用单独的部分对象分类。最后，在CUB 200 -2011鸟类数据集上，通过提取各部分的有效特征并将其组合，然后输入分类器进行识别，获得了比现有算法更高的准确率。
2018-08-14 cs.CV
SEMICON: A Learning-to-hash Solution for Large-scale Fine-grained Image Retrieval
Nanjing University of Science and Technology（南京理工大学）；Xidian University（西安电子科技大学）；Nanjing University（南京大学）
在本文中，我们提出了抑制增强掩模的注意力和交互式通道transformatiON（SEMICON）学习二进制哈希码处理大规模的细粒度图像检索任务。在SEMICON中，我们首先开发了一个基于抑制增强掩模（SEM）的注意力动态定位有区别的图像区域。更重要的是，不同于现有的注意力机制简单地擦除先前的判别区域，我们的SEM是发展到抑制这些区域，然后发现其他互补区域，通过考虑激活区域之间的关系，在一个阶段一个阶段的方式。在每个阶段中，交互式通道转换（ICON）模块随后被设计为利用参与激活张量的通道之间的相关性。由于通道通常可以对应于细粒度对象的部分，因此部分相关性也可以相应地建模，这进一步提高了细粒度检索的准确性。此外，为了计算经济，ICON是通过一个有效的两步过程实现的。最后，我们的SEMICON的哈希学习由全局和局部级别的分支组成，以更好地表示细粒度对象，然后生成显式对应于多个级别的二进制哈希代码。五个基准细粒度数据集上的实验表明，我们的竞争方法的优越性。
2022-09-28 cs.CV
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而，不利用任何明确的部分信息，他们不能准确地找到多个独特的区域。在这项工作中，我们引入了一个属性引导的注意力定位方案，局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略，我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明，该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
MixFace: Improving Face Verification Focusing on Fine-grained Conditions
Korea University of Technology and Education (KOREATECH)（韩国技术教育大学）
由于CNN的快速发展，人脸识别的性能对于公共基准数据集（如LFW，CFP-FP和CFDB）已经饱和。然而，由于缺乏这样的数据集，各种细粒度条件下的人脸对FR模型的影响还没有被研究。本文分析了他们的影响，在不同的条件和损失函数使用K-FACE，最近推出的FR数据集与细粒度的条件。我们提出了一种新的损失函数，混合面，结合分类和度量损失。在各种基准数据集上的实验证明了MixFace在有效性和鲁棒性方面的优越性。
2022-06-19 cs.CV
Fine-grained Categorization -- Short Summary of our Entry for the ImageNet Challenge 2012
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
在本文中，我们解决了狗品种的视觉分类问题，这是一个令人惊讶的挑战性任务，由于同时存在低的类间距离和高的类内方差。我们的方法结合了我们社区中众所周知的几种技术，但通常不用于细粒度识别：（1）自动分割，（2）有效的部分检测，以及（3）多个特征的组合。特别是，我们证明了嵌入在现成的识别管道中的简单头部检测器可以显着提高识别精度，突出了细粒度识别任务的部分功能的重要性。使用我们的方法，我们在斯坦福狗数据集上实现了24.59%的平均精度性能。
2013-10-17 cs.CV
Few-shot Fine-grained Image Classification via Multi-Frequency Neighborhood and Double-cross Modulation
Northeastern University（东北大学）；Xiangtan University（湘潭大学）
传统的细粒度图像分类通常依赖于带有注释的地面实况的大规模训练样本。然而，一些子类别在现实世界的应用中几乎没有可用的样本，并且当前的Few-Shot模型仍然难以区分细粒度类别之间的细微差异。为了解决这一问题，我们提出了一种新的Few-Shot细粒度图像分类网络（FicNet）使用多频邻域（MFN）和双交叉调制（DCM）。MFN同时关注空间域和频域，以捕获多频结构表示，从而减少外观和背景变化对类内距离的影响。DCM由双交叉分量和双3D交叉注意分量组成。该方法通过分别考虑全局上下文信息和类间关系对表示进行调整，使支持样本和查询样本响应相同的部分，并准确识别细微的类间差异。在三个细粒度基准数据集上对两个Few-Shot任务进行了综合实验，验证了FicNet方法与现有方法相比具有优异的性能。特别是在“Caltech-UCCD Birds”和“Stanford Cars”两个数据集上的实验，分类准确率分别为93.17%和95.36%。它们甚至高于一般的细粒度图像分类方法所能达到的分类精度。
2022-10-26 cs.CV
FineCIR: Explicit Parsing of Fine-Grained Modification Semantics for Composed Image Retrieval
School of Software, Shandong University（山东大学软件学院）；School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）；School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
针对现有CIR数据集粗粒度文本导致检索不精确的问题，提出FineCIR框架，通过显式解析修改文本并构建细粒度数据集，显著提升检索精度。
2025-03-27 cs.AI cs.CV
A Large-Scale Car Dataset for Fine-Grained Categorization and Verification
The Chinese University of Hong Kong（香港中文大学）
更新于24/09/2015：此更新提供了对CompCars的监督数据进行细粒度分类的初步实验结果。更新的数据集中提供了训练/测试拆分。详见第6节。
2015-09-24 cs.AI cs.CV
FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval
Shandong University（山东大学）；City University of Hong Kong（香港城市大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shandong Jianzhu University（山东建筑大学）
本研究针对MLLMs在复杂图像检索任务中细粒度建模不足的问题，提出自动化细粒度多模态五元组数据集构建流程与两阶段微调策略，在零样本设置下于五个数据集上取得优于现有方法的性能。
2026-07-31 cs.CV cs.IR
microCLIP: Unsupervised CLIP Adaptation via Coarse-Fine Token Fusion for Fine-Grained Image Classification
Mohamed Bin Zayed University of Artificial Intelligence（莫莫德·本·扎耶德人工智能大学）；Alexandria University（亚历山大大学）；IIT Delhi（德里理工学院）
针对CLIP依赖全局粗特征导致细粒度分类性能受限的问题，提出microCLIP自训练框架，通过TokenFusion模块的SOAP实现粗细令牌融合，结合双头LLM分类器与动态知识聚合稳定适配，在13个细粒度基准上平均准确率提升2.90%。
2025-10-02 cs.AI cs.CV
Fine-Grained Image Analysis with Deep Learning: A Survey
Nanjing University of Science and Technology（南京理工大学）；University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）；Nanjing University（南京大学）；Peking University（北京大学）；University of Copenhagen（哥本哈根大学）；Pioneer Centre for AI（先锋人工智能中心）
细粒度图像分析（FGIA）是计算机视觉和模式识别中的一个长期存在的基本问题，并支撑着各种现实世界的应用。FGIA的任务目标是从从属类别中分析视觉对象，例如，鸟类或汽车模型。细粒度图像分析所固有的小类间和大类内变化使其成为一个具有挑战性的问题。利用深度学习的进步，近年来我们目睹了由深度学习驱动的FGIA取得的显着进展。在本文中，我们提出了一个系统的调查，这些进展，我们试图重新定义和扩大领域的FGIA巩固两个基本的细粒度的研究领域-细粒度的图像识别和细粒度的图像检索。此外，我们还审查了FGIA的其他关键问题，如公开可用的基准数据集和相关的特定领域的应用程序。最后，我们强调了几个研究方向和开放的问题，需要进一步探索的社会。
2021-11-19 cs.CV cs.LG
A Novel Plug-in Module for Fine-Grained Visual Classification
National Taiwan Normal University（台湾师范大学）
视觉分类可以分为粗粒度分类和细粒度分类。粗粒度分类表示具有很大程度的不相似性的类别，例如猫和狗的分类，而细粒度分类表示具有很大程度的相似性的分类，例如猫种、鸟种和车辆的品牌或型号。与粗粒度视觉分类不同，细粒度视觉分类往往需要专业专家对数据进行标注，这使得数据更加昂贵。为了应对这一挑战，许多方法提出自动找到最具鉴别力的区域，并使用局部特征来提供更精确的特征。这些方法只需要图像级注释，从而降低了注释的成本。然而，这些方法中的大多数都需要两阶段或多阶段架构，并且无法进行端到端训练。因此，我们提出了一种新的插件模块，可以集成到许多常见的骨干，包括基于CNN或基于变压器的网络，以提供强歧视性的地区。插件模块可以输出像素级特征图并融合过滤后的特征，以增强细粒度的视觉分类。实验结果表明，该插件模块在CUB 200 -2011和NABIrds上的识别准确率分别达到92.77%和92.83%，明显优于现有方法.我们已经在Github https://github.com/chou141253/FGVC-PIM.git上发布了我们的源代码。
2022-02-08 cs.AI cs.CV
SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data
The University of Sydney（悉尼大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
事实证明，数据混合增强在训练深度模型方面是有效的。目前的混合标记方法主要是基于图像像素的混合比例。由于细粒度图像的主要鉴别信息通常位于细微区域，因此在细粒度识别中，沿着这条线的方法容易产生严重的标签噪声。在本文中，我们提出了一种新的计划，称为语义比例混合（SnapMix），它利用类激活映射（CAM），以减少标签噪声在增加细粒度的数据。SnapMix通过估计其内在语义组成来为混合图像生成目标标签，并允许非对称混合操作，并确保合成图像和目标标签之间的语义对应。实验表明，我们的方法始终优于现有的混合为基础的方法在各种数据集和不同的网络深度。此外，通过整合中级功能，SnapMix实现了顶级性能，证明了其作为细粒度识别的坚实基线的潜力。我们的代码可在https://github.com/Shaoli-Huang/SnapMix.git上获得。
2020-12-09 cs.CV cs.LG
KFWC: A Knowledge-Driven Deep Learning Model for Fine-grained Classification of Wet-AMD
Beijing University of Posts and Telecommunications（北京邮电大学）；Hebei Eye Hospital（河北省眼科医院）
使用深度神经网络的自动诊断可以帮助眼科医生检测致盲性眼病湿性黄斑变性（AMD）。湿性AMD有两种相似的亚型，新生血管性AMD和息肉状脉络膜血管（PCV）。然而，由于数据收集的困难和图像之间的相似性，大多数研究只实现了湿AMD的粗粒度分类，而不是湿AMD亚型的细粒度分类。为了解决这个问题，在本文中，我们提出了一个知识驱动的细粒度湿AMD分类模型（KFWC），分类细粒度的疾病数据不足。通过将输入图像的10个病变体征的先验知识引入KFWC，我们的目标是通过多标签分类预训练来加速KFWC，以在细粒度疾病分类任务中定位决定性的图像特征，从而实现更好的分类。同时，KFWC还可以提供良好的可解释性，并有效地减轻了湿性AMD细粒度疾病分类领域的数据收集和注释压力。实验证明了KFWC的有效性，其AU-ROC评分达到99.71%，并且与数据驱动的w/o Knowledge和眼科医生相比有相当大的改善，其比率超过最强基线6.69%，超过眼科医生4.14%。
2021-12-23 cs.CV eess.IV
Data-driven Meta-set Based Fine-Grained Visual Classification
Nanjing University of Science and Technology（南京理工大学）；University of Adelaide（阿德莱德大学）
构建细粒度的图像数据集通常需要特定领域的专家知识，这对于众包平台注释者来说并不总是可用的。因此，直接从Web图像中学习成为细粒度视觉识别的替代方法。然而，网络训练集中的标签噪声会严重降低模型性能。为此，我们提出了一种基于数据驱动元集的方法来处理有噪声的Web图像进行细粒度识别。具体地说，引导少量的清洁元集，我们训练的选择网络在元学习的方式来区分内和外的分布噪声图像。为了进一步提高模型的鲁棒性，我们还学习了一个标签网络来校正分布中噪声数据的标签。通过这种方式，我们提出的方法可以减轻由分布外噪声造成的有害影响，并适当地利用分布内噪声样本进行训练。在三个常用的细粒度数据集上进行的大量实验表明，我们的方法远远优于最先进的噪声鲁棒方法。
2020-08-06 cs.CV cs.MM
Self-Supervised Learning for Fine-Grained Image Classification
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
细粒度图像分类涉及识别具有非常微妙的区分特征的类的不同子类别。细粒度数据集通常提供限界框注释以及类标签，以帮助分类过程。然而，构建具有此类注释的大规模数据集是一项艰巨的任务。此外，这种广泛的注释非常耗时，并且通常需要专业知识，这是构建大型数据集的巨大瓶颈。另一方面，自监督学习（SSL）利用免费提供的数据来生成充当标签的监督信号。通过对大量未标记数据执行一些借口任务来学习的特征被证明对多个下游任务非常有帮助。我们的想法是利用自我监督，使模型学习细粒度图像类的有用表示。实验采用了3种模型：以拼图为借口的任务、对抗学习（SRGAN）和基于对比学习（Simplified）的模型。学习的特征用于下游任务，例如细粒度图像分类。我们的代码可在http://github.com/rush2406/Self-Supervised-Learning-for-Fine-grained-Image-Classification上获得
2021-07-29 cs.AI cs.CV cs.LG
Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification
Tsinghua University（清华大学）
注意力机制在细粒度视觉识别任务中表现出巨大的潜力。在本文中，我们提出了一个反事实的注意学习方法来学习更有效的注意因果推理的基础上。与大多数现有的方法，学习视觉注意力的基础上，传统的可能性，我们建议学习的注意力与反事实的因果关系，这提供了一个工具来衡量的注意力质量和一个强大的监督信号，以指导学习过程。具体来说，我们通过反事实干预来分析学习到的视觉注意力对网络预测的影响，并最大限度地提高效果，以鼓励网络学习更多有用的注意力，用于细粒度图像识别。从经验上讲，我们评估了我们的方法在广泛的细粒度识别任务中的注意力起着至关重要的作用，包括细粒度图像分类，人的重新识别，车辆重新识别。所有基准测试的一致性改进证明了我们的方法的有效性。代码可在https://github.com/raoyongming/CAL上获得
2021-10-26 cs.AI cs.CV cs.LG
Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling
Bayer AG（拜耳股份公司）
本文介绍了对比重建，ConRec -一种自监督学习算法，通过联合优化对比和自重建损失来获得图像表示。我们展示了最先进的对比学习方法（例如Simplified）在其表示中捕获细粒度视觉特征方面存在缺陷。ConRec通过添加（1）自我重建任务和（2）对比学习任务中的注意力机制扩展了Simplified框架。这是通过应用具有两个头的简单编码器-解码器架构来实现的。我们表明，这两个扩展有助于改善图像的矢量表示与细粒度的视觉特征。结合这些概念，ConRec在细粒度分类数据集上的性能优于Simplified和Simplified with Attention-Pooling。
2022-02-22 cs.AI cs.CV cs.LG
Holistic Fine-grained GGS Characterization: From Detection to Unbalanced Classification
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
最近的研究表明，全球性肾小球硬化症（GGS）的IgA肾病，老龄化和终末期肾病的诊断和预后价值。然而，对多种GGS亚型（例如，陈旧的、凝固的和消失的肾小球硬化症）通常是资源广泛的手动过程。很少有自动方法（如果有的话）被开发来弥合这种分析的差距。在本文中，我们提出了一个整体的管道来量化GGS（检测和分类）从整个幻灯片图像在一个完全自动的方式。此外，我们还对GGS的子类型进行了细粒度的分类。我们的研究发布了用于细粒度GGS表征的开源定量分析工具，同时解决了不平衡分类和集成检测和分类的技术挑战。
2022-01-31 cs.CV eess.IV q-bio.QM
FineTag: Multi-attribute Classification at Fine-grained Level in Images
Cortexica Vision Systems（Cortexica视觉系统公司）
在本文中，我们解决的细粒度的属性的实例作为一个“多属性分类”的问题的提取。为此，我们提出了一个端到端的架构，采用双线性卷积神经网络与成对排序损失。这是第一次这样的架构是适用于细粒度的属性分类问题。我们比较了所提出的方法与竞争力的深度卷积神经网络基线。大量的实验表明，所提出的方法达到/优于性能的比较基线的参数数量显着减少（$40\times$少）。我们在CUB 200鸟类数据集上展示了我们的方法，该数据集的注释在这项工作中适用于细粒度级别的多属性分类。
2018-10-25 cs.CV
Lens3D: Target-Conditioned Visual Foveation for Fine-Grained 3D Understanding
Zhejiang University（浙江大学）；LIGHTSPEED
Lens3D通过外部视觉辅助和知识迁移，提升3D大语言模型对细粒度目标的理解，显著改善描述能力并保持原有性能。
2026-10-06 cs.CV
Cascading Hierarchical Networks with Multi-task Balanced Loss for Fine-grained hashing
Guangdong Polytechnic Normal University（广东技术师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
随着互联网时代细粒度图像数量的爆炸式增长，如何从大规模的细粒度图像中进行快速有效的检索成为一个具有挑战性的问题。在众多的检索方法中，散列法因其效率高、占用存储空间小而被广泛使用。由于细粒度图像的特点，造成了类间方差小、类内方差大等困难，使得细粒度散列比传统散列更具挑战性。为了提高细粒度散列的检索精度，我们提出了一个级联网络来学习紧凑和高度语义的散列代码，并介绍了注意力引导的数据增强方法。我们将此网络称为级联分层数据增强网络。我们还提出了一种新的方法来协调平衡多任务学习的损失。我们在一些常见的细粒度视觉分类数据集上做了大量的实验。实验结果表明，我们提出的方法优于几种最先进的哈希方法，可以有效提高细粒度检索的准确性。源代码是公开的：https://github.com/kaiba007/FG-CNET。
2023-03-20 cs.CV
Fine-Grained Open-Vocabulary Object Detection with Fined-Grained Prompts: Task, Dataset and Benchmark
department of software engineering, Northeastern University, China（软件工程系，东北大学，中国）
本文提出3F-OVD任务，扩展细粒度监督目标检测至开放词汇场景，引入NEU-171K数据集，并提出简单有效的后处理技术。
2026-06-24 cs.CV
Adversarial Learning for Fine-grained Image Search
University of Washington（华盛顿大学）；eBay Inc.（eBay公司）
细粒度的图像搜索仍然是一个具有挑战性的问题，由于在捕捉细微的差异，无论姿态变化的对象从细粒度的类别。在实践中，具有新的细粒度类别的动态库存为这一挑战增加了另一个维度。在这项工作中，我们提出了一个端到端的网络，称为FGGAN，通过隐式地学习从多视图图像的几何变换来学习区分表示，以进行细粒度图像搜索。我们集成了一个生成对抗网络（GAN），它可以自动处理复杂的视图和姿势变化，通过将它们转换为规范视图，而无需任何预定义的转换。此外，在开集场景中，我们的网络能够更好地匹配来自不可见和未知细粒度类别的图像。在两个公共数据集和一个新收集的数据集上进行的广泛实验表明，所提出的FGGAN在闭集和开集场景中都具有出色的鲁棒性能，与基线相比，相对提高了10%。
2018-07-06 cs.CV
Grafit: Learning fine-grained image representations with coarse labels
Facebook AI Research（Facebook人工智能研究院）；Sorbonne University（索邦大学）
本文解决了学习比训练标签提供的表示更精细的表示的问题。这使得细粒度的类别检索的图像在一个集合中标注粗糙的标签。我们的网络是用最近邻分类器目标和受自监督学习启发的实例丢失来学习的。通过联合利用粗标签和底层的细粒度潜在空间，它显着提高了类别级检索方法的准确性。我们的策略优于所有竞争的方法检索或分类图像在一个更细的粒度比在训练时间。它还提高了迁移学习任务到细粒度数据集的准确性，从而在iNaturalist-2018等五个公共基准上建立了最新的技术水平。
2020-11-25 cs.CV
FITA: Fine-grained Image-Text Aligner for Radiology Report Generation
The Hong Kong University of Science and Technology（香港科技大学）
本文提出FITA方法，通过图像特征细化器、文本特征细化器和对比对齐器实现放射学图像与文本的细粒度对齐，并在基准上超越现有方法。
2024-05-02 cs.CV
FG-SGL: Fine-Grained Semantic Guidance Learning via Motion Process Decomposition for Micro-Gesture Recognition
Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Oulu（奥卢大学）
本文提出FG-SGL框架，通过整合细粒度和类别级语义引导视觉-语言模型感知局部微手势运动，利用细粒度文本数据和多级对比优化策略提升微手势识别性能。
2026-03-17 cs.CV
