3D Pose Estimation for Fine-Grained Object Categories
University of Maryland, College Park（马里兰大学帕克分校）；Baidu, Inc.（百度公司）
现有的对象姿态估计数据集与通用对象类型相关，并且到目前为止还没有用于细粒度对象类别的数据集。在这项工作中，我们引入了一个新的大型数据集基准姿态估计细粒度的对象，由于最近的二维和三维细粒度数据的可用性。具体来说，我们通过为每个子类别找到细粒度的3D CAD模型并使用3D姿态手动注释图像中的每个对象来增强两个流行的细粒度识别数据集（StanfordCars和CompCars）。我们表明，有足够的训练数据，一个完整的透视模型与连续的参数可以估计单独使用2D外观信息。我们通过基于Faster/Mask R-CNN的框架来实现这一点。这超越了以前的工作类别级姿态估计，仅估计离散/连续的视角角度或恢复旋转矩阵往往与关键点的帮助。此外，随着细粒度的3D模型可用，我们将一个密集的3D表示命名为位置字段到基于CNN的姿态估计框架，以进一步提高性能。新数据集可在www.umiacs.umd.edu/~wym/3dpose.html上获得
2018-11-07 cs.CV
A Compositional Feature Embedding and Similarity Metric for Ultra-Fine-Grained Visual Categorization
Griffith University（格里菲斯大学）
细粒度视觉分类（FGVC）是近年来发展起来的一种分类方法，其目标是以较小的类间方差对目标进行分类。然而，超细粒度的视觉分类（超FGVC），其目标是识别具有极其相似的模式的子类，并没有得到太多的关注。在超FGVC数据集中，随着粒度的下降，每个类别的样本总是稀缺的，这将导致过拟合问题。此外，不同类别之间的差异太微妙，即使是专业专家也无法区分。针对这些问题，提出了一种新的组合特征嵌入和相似性度量（CECS）。具体来说，在组成特征嵌入模块中，我们在原始输入图像中随机选择补丁，然后将这些补丁替换为来自不同类别的图像的补丁或屏蔽掉。然后利用替换后的图像对原始输入图像进行增强，可以提供更多样的样本，从而在很大程度上缓解了由于训练样本有限而导致的过拟合问题。此外，不同样本的学习迫使模型不仅学习最具区分力的特征，而且学习剩余区域中的其他信息特征，从而增强模型的泛化能力和鲁棒性。在组合相似性度量模块中，提出了一种新的相似性度量方法，通过缩小类内距离和扩大类间距离来提高分类性能。两个ultra-FGVC数据集和一个FGVC数据集与最近的基准方法的实验结果一致表明，所提出的CECS方法达到了最先进的性能。
2021-10-27 cs.CV
Visualizing and Describing Fine-grained Categories as Textures
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们分析了如何从最近的FGVC挑战类别可以描述其纹理内容。其动机是，鸟类或蝴蝶物种之间的细微差异通常可以用与它们相关的纹理来描述，并且几个性能最好的网络受到基于纹理表示的启发。这些表示的特点是二阶滤波器激活的无序池化，例如双线性CNN和iNaturalist 2018挑战赛的获胜者。具体来说，对于每个类别，我们（i）通过获得输入x来可视化“最大图像”，该输入x根据基于纹理的深度网络最大化特定类别的概率，以及（ii）使用一组纹理属性自动描述最大图像。纹理字幕的模型是在我们正在进行的收集基于DTD数据集的可描述纹理数据集的工作中训练的。这些可视化表示纹理的哪些方面对于每个类别最具区别性，而描述则提供了基于语言的解释。
2019-07-02 cs.CV
Fine-Grained 3D Shape Classification with Hierarchical Part-View Attentions
Tsinghua University（清华大学）；University of Maryland, College Park（马里兰大学帕克分校）
细粒度三维形状分类对于形状理解和分析具有重要意义，是一个具有挑战性的研究课题。然而，由于缺乏细粒度的三维形状基准，细粒度的三维形状分类的研究很少被探索。为了解决这个问题，我们首先引入了一个新的3D形状数据集（名为FG 3D数据集），该数据集具有细粒度的类标签，包括飞机，汽车和椅子三个类别。每个类别都由细粒度级别的几个子类别组成。根据我们在这个细粒度数据集下的实验，我们发现最先进的方法受到同一类别中子类别之间的小方差的限制。为了解决这个问题，我们进一步提出了一种新的细粒度的三维形状分类方法FG 3D-Net捕获细粒度的局部细节的三维形状从多个渲染视图。具体地说，我们首先训练一个区域建议网络（RPN），在一般语义部分检测的基准下检测多个视图中的一般语义部分。然后，我们设计了一个层次化的零件视图注意力聚合模块，通过聚合一般语义的零件特征来学习全局形状表示，从而保留了3D形状的局部细节。部分视图注意模块分层利用部分级和视图级的注意力，以增加我们的功能的可辨别性。部分级注意突出每个视图中的重要部分，而视图级注意突出同一对象的所有视图中的区别性视图。此外，我们还集成了一个递归神经网络（RNN）来捕获来自不同视点的序列视图之间的空间关系。在细粒度的3D形状数据集上的实验结果表明，该方法优于其他最先进的方法。
2020-12-28 cs.CV
RGB-D Individual Segmentation
细粒度识别任务处理子类别分类问题，这对于现实世界的应用是重要的。在这项工作中，我们特别感兴趣的分割任务上的\emph{finest-grained}水平，这是专门命名为“个人分割”。个体层次上的分割问题表现出一些新的特点，单个目标的训练数据有限，背景未知，深度难以利用。为了解决这些新问题，我们提出了一个“上下文感知较少”（CoLA）流水线，它产生具有较少背景上下文的RGB-D对象为主的图像，并使用3D信息进行尺度感知训练和测试。大量实验表明，所提出的CoLA策略在YCB-Video数据集和我们提出的Supermarket-10 K数据集上的性能大大优于基线方法。代码，训练模型和新数据集将与本文一起发布。
2019-11-11 cs.CV
Fine-Grained Representation Learning and Recognition by Exploiting Hierarchical Semantic Embedding
Sun Yat-sen University（中山大学）；South China Agricultural University（华南农业大学）；University of Electronic Science and Technology of China（电子科技大学）；Guilin University of Electronic Technology（桂林电子科技大学）
对象类别固有地形成具有不同概念抽象级别的层次结构，特别是对于细粒度的类别。例如，鸟类（Aves）可以根据目、科、属和种的四级层次结构进行分类。这种层次结构编码了不同层次的各种类别之间的丰富相关性，可以有效地规范语义空间，从而使预测更少歧义。然而，以往的细粒度图像识别的研究主要集中在某一级别的类别，往往忽略了这种相关性信息。在这项工作中，我们研究同时预测的层次结构中的不同级别的类别，并通过开发一种新的层次语义嵌入（HSE）框架，将这种结构化的相关信息集成到深层神经网络。具体地，HSE框架从最高到最低顺序地预测层次结构中的每个级别的类别得分向量。在每一层，它将更高级别的预测得分向量作为先验知识来学习更细粒度的特征表示。在训练过程中，还使用较高级别的预测得分向量作为相应子类别的软目标来正则化标签预测。为了评估所提出的框架，我们用四级类别层次结构组织加州理工学院-加州大学圣地亚哥分校鸟类数据集的200种鸟类，并构建了一个也涵盖四级类别的大规模蝴蝶数据集。在这两个数据集和新发布的VegFru数据集上进行的大量实验证明了我们的HSE框架优于基线方法和现有竞争对手。
2018-08-14 cs.CV
Asymmetric Cross-Modal Fine-Grained Visual Categorization: ACF-Net and the BirdPro Benchmark
Great Bay University（大湾区大学）
针对非对称跨模态细粒度视觉分类的挑战，提出ACF-Net框架并构建BirdPro基准，实验显示其在融合与不匹配设置中均优于基线方法。
2026-08-27 cs.CV
Can Current AI Models Count What We Mean, Not What They See? A Benchmark and Systematic Evaluation
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；Stony Brook University（石溪大学）
本文提出PairTally基准数据集，用于评估细粒度意图驱动的视觉计数能力，发现当前最先进模型在视觉模糊场景下仍难以可靠计数用户意图所指的物体。
2025-09-17 cs.CV
Fine-Grained VR Sketching: Dataset and Insights
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
我们提出了第一个细粒度数据集的1,497个3D VR草图和3D形状对的椅子类别具有很大的形状多样性。我们的数据集支持草图社区最近的细粒度数据分析趋势，并将其扩展到积极发展的3D领域。我们主张最方便的素描方案，其中草图由稀疏的线条组成，不需要任何素描技巧，事先培训或耗时准确的绘图。然后，我们第一次研究了细粒度3D VR草图到3D形状检索的场景，作为一种新颖的VR草图应用程序和一个试验场，以推动通用的见解，为未来的研究提供信息。通过在这个新问题上仔细选择设计因素的组合进行实验，我们得出了重要的结论，以帮助后续工作。我们希望我们的数据集能够实现其他新的应用，特别是那些需要细粒度角度的应用，例如细粒度3D形状重建。该数据集可在tinyurl.com/VRSketch3DV21上获得。
2022-09-20 cs.CV
A Task-aware Dual Similarity Network for Fine-grained Few-shot Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Leicester（莱斯特大学）
细粒度少样本学习的目标是通过学习少量标记样本来识别同一超类别下的子类别。最近的方法大多采用单一的相似性度量，即，单独的全球或局部措施。然而，对于具有高类内方差和低类间方差的细粒度图像，探索全局不变特征和区分性局部细节是非常必要的。在本文中，我们提出了一个任务感知的双重相似性网络（TDSNet），它适用于全球的功能和本地补丁，以达到更好的性能。具体地说，采用局部特征增强模块来激活具有强鉴别力的特征。此外，任务感知注意利用整个任务中的重要补丁。最后，通过全局特征和判别性局部补丁得到的类原型都被用于预测。在三个细粒度数据集上的实验表明，与其他最先进的算法相比，本文提出的TDSNet具有很好的性能。
2022-10-22 cs.CV
PhyCheck: Fine-Grained Evidence-Grounded Dataset for Physical Law Understanding in Video-LLMs
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科技创新中心）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出PhyCheck数据集，通过粗粒度、细粒度及诊断子集提升视频大语言模型的物理规律理解，实验证实其训练效果，同时指出当前模型难以整合因果条件的问题。
2026-08-06 cs.AI cs.CV
Part-based R-CNNs for Fine-grained Category Detection
University of California, Berkeley（加州大学伯克利分校）
语义部分本地化可以通过显式隔离与特定对象部分相关联的细微外观差异来促进细粒度分类。已经提出了用于姿势归一化表示的方法，但是由于目标检测的困难，通常在测试时假定限界框注释。我们提出了一个细粒度分类模型，通过利用自下而上区域建议计算的深度卷积特征来克服这些限制。我们的方法学习整个对象和部分检测器，在它们之间强制执行学习的几何约束，并从姿势规范化表示中预测细粒度的类别。加州理工大学-加州大学圣地亚哥分校的鸟类数据集上的实验证实，我们的方法优于国家的最先进的细粒度分类方法在端到端的评估，而不需要在测试时的限界框。
2014-07-15 cs.CV
Learning Contrastive Self-Distillation for Ultra-Fine-Grained Visual Categorization Targeting Limited Samples
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
本文提出CSDNet框架，通过对比学习与自蒸馏相结合，在实例、特征和logit预测三个层面增强模型对有限样本超细粒度视觉分类的判别能力，实验证明其性能优于现有方法。
2024-02-25 cs.CV cs.MM
Improving Apparel Detection with Category Grouping and Multi-grained Branches
McGill University（麦吉尔大学）；Amazon（亚马逊）
训练一个准确的物体检测器是昂贵和耗时的。一个主要原因在于费力的标记过程，即，注释每个图像中所有实例的类别和限界框信息。在本文中，我们研究了在没有额外标记的情况下提高深度对象检测器性能的方法。我们首先探索将具有高度视觉和语义相似性的现有类别组合在一起作为一个超类别（或超类）。然后，我们研究了如何利用这种层次类别的知识来使用多粒度RCNN顶部分支更好地检测对象。在DeepFashion 2和OpenImagesV 4-Clothing上的实验结果表明，所提出的具有多粒度分支的检测头可以将DeepFashion 2的整体性能提高2.3 mAP，将OpenImagesV 4-Clothing的整体性能提高2.5 mAP，而无需额外的耗时注释。更重要的是，具有较少训练样本的类往往更多地受益于所提出的具有超类分组的多粒度头部。特别是，对于DeepFashion 2和OpenImagesV 4-Clothing，我们分别将最后30%类别的mAP（就训练样本数量而言）提高了2.6和4.6。
2021-01-17 cs.CV
XCon: Learning with Experts for Fine-grained Category Discovery
Tongji University（同济大学）；University of Edinburgh（爱丁堡大学）；LunarAI
本文研究了广义类别发现（GCD）问题，即利用可见类集合中的信息对未标记图像进行聚类，其中未标记图像既包含可见类，也包含未标记类。可见的类可以被看作是类的隐式标准，这使得这种设置不同于无监督聚类，其中聚类标准可能是模糊的。我们主要关注的问题，发现细粒度的数据集内的类别，因为它是类别发现的最直接的应用之一，即帮助专家发现新的概念，在未标记的数据集内使用所看到的类所提出的隐式标准。现有的广义类别发现方法利用对比学习来学习表示，但是大的类间相似性和类内方差对方法提出了挑战，因为反例可能包含用于识别类别的不相关线索，因此算法可能收敛到局部最小值。我们提出了一种新的方法，称为专家对比学习（XCon），以帮助该模型挖掘有用的信息，从图像的数据集划分为子数据集使用k均值聚类，然后执行对比学习的每个子数据集学习细粒度的判别功能。在细粒度数据集上的实验表明，与以往的最佳方法相比，该方法的性能有了明显的提高，表明了该方法的有效性。
2022-08-03 cs.CV
MGCA-Net: Multi-Grained Category-Aware Network for Open-Vocabulary Temporal Action Localization
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
提出MGCA-Net解决开放词汇表时间动作定位问题，含定位器、动作存在预测器、传统分类器和粗细分类器，通过多粒度类别感知提升定位性能，在多个基准测试中达最优。
2026-07-07 cs.CV
Attribute-Aware Attention Model for Fine-grained Representation Learning
Peking University（北京大学）
如何学习一个具有区分性的细粒度表示是计算机视觉应用中的一个关键问题，如人物再识别、细粒度分类、细粒度图像检索等。以往的方法大多集中在学习度量或集成以获得更好的全局表示，但通常缺乏局部信息。基于上述考虑，我们提出了一种新的属性感知注意力模型（$A^3M$），它可以学习本地属性表示和全局类别表示在一个端到端的方式。该模型包含两个注意模型：属性引导注意模型利用属性信息帮助选择不同区域的类别特征，类别引导注意模型利用类别线索帮助选择不同属性的局部特征。通过这种属性-类别互惠的过程，局部和全局特征相互受益。最后，得到的特征包含更多的图像识别的内在信息，而不是噪声和无关的功能。在Market-1501、CompCars、CUB-200-2011和CARS 196上进行的大量实验证明了我们的$A^3M$的有效性。代码可在https://github.com/iamhankai/attribute-aware-attention上获得。
2019-12-20 cs.CV
Language-driven Fine-grained Retrieval
The University of Queensland（昆士兰大学）
LaFG通过将类别名称转换为属性级监督，利用语言模型和视觉-语言模型生成属性描述并聚类属性词汇，以提升细粒度图像检索的性能和泛化能力。
2025-12-06 cs.CV
Generate, Refine, and Encode: Leveraging Synthesized Novel Samples for On-the-Fly Fine-Grained Category Discovery
Hefei University of Technology（合肥工业大学）；University of Trento（特伦托大学）；Helmholtz AI（海德堡人工智能研究所）
针对在线类别发现中标注知识不足的问题，本文提出DiffGRE框架，通过扩散生成、多样性精炼和半监督编码注入合成样本知识，提升细粒度场景下已知与未知类别的在线发现能力。
2025-07-05 cs.CV
From Glance to Focus: Mitigating Recognition Laziness in MLLMs for Fine-Grained Recognition
College of Computer Science, Sichuan University（四川大学计算机学院）；School of Artificial Intelligence, Sichuan University（四川大学人工智能学院）；Tianfu Jincheng Laboratory（天府锦城实验室）
本文针对MLLMs在细粒度视觉识别中存在的FGVR惰性问题，提出无需训练的LIVE框架，通过优化候选列表与识别引导，在13个基准上验证了其对24种SOTA方法的有效性与泛化性。
2026-10-12 cs.CV
FG-SGL: Fine-Grained Semantic Guidance Learning via Motion Process Decomposition for Micro-Gesture Recognition
Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Oulu（奥卢大学）
本文提出FG-SGL框架，通过整合细粒度和类别级语义引导视觉-语言模型感知局部微手势运动，利用细粒度文本数据和多级对比优化策略提升微手势识别性能。
2026-03-17 cs.CV
CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
我们提出了变分生成对抗网络，一个通用的学习框架，它结合了变分自动编码器与生成对抗网络，用于合成细粒度类别中的图像，例如类别中特定人员或对象的面部。我们的方法将图像建模为概率模型中的标签和潜在属性的组合。通过改变输入到生成模型中的细粒度类别标签，我们可以在特定类别中生成图像，并在潜在属性向量上随机抽取值。我们的方法有两个新颖的方面。首先，我们对判别和分类器网络采用交叉熵损失，但对生成网络采用平均差异目标。这种非对称损失函数使得GAN训练更加稳定。其次，我们采用一个编码器网络来学习潜在空间和真实图像空间之间的关系，并使用成对的特征匹配来保持生成图像的结构。我们用人脸、花卉和鸟类的自然图像进行了实验，并证明了所提出的模型能够生成具有细粒度类别标签的逼真和多样化的样本。我们进一步表明，我们的模型可以应用于其他任务，如图像修补，超分辨率和数据增强，以训练更好的人脸识别模型。
2017-10-12 cs.CV
Prototypical Hash Encoding for On-the-Fly Fine-Grained Category Discovery
University of Trento（特伦托大学）；Hefei University of Technology（合肥工业大学）
针对实时类别发现中哈希编码区分能力弱、对细粒度类别敏感度高的问题，提出包含类别感知原型生成和判别式类别编码的原型哈希编码框架，显著提升了分类准确率。
2024-12-09 cs.CV
FGAseg: Fine-Grained Pixel-Text Alignment for Open-Vocabulary Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
FGAseg通过像素级对齐模块和类别信息补充模块，利用跨模态注意力与可优化伪掩码细化CLIP的粗粒度对齐，从而增强开放词汇语义分割中的细粒度像素-文本对齐和类别边界信息，并在多个基准上超越现有方法。
2025-01-03 cs.CV
Grafit: Learning fine-grained image representations with coarse labels
Facebook AI Research（Facebook人工智能研究院）；Sorbonne University（索邦大学）
本文解决了学习比训练标签提供的表示更精细的表示的问题。这使得细粒度的类别检索的图像在一个集合中标注粗糙的标签。我们的网络是用最近邻分类器目标和受自监督学习启发的实例丢失来学习的。通过联合利用粗标签和底层的细粒度潜在空间，它显着提高了类别级检索方法的准确性。我们的策略优于所有竞争的方法检索或分类图像在一个更细的粒度比在训练时间。它还提高了迁移学习任务到细粒度数据集的准确性，从而在iNaturalist-2018等五个公共基准上建立了最新的技术水平。
2020-11-25 cs.CV
Adaptive Part Learning for Fine-Grained Generalized Category Discovery: A Plug-and-Play Enhancement
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Wuhan University（武汉大学）；Sun Yat-sen University（中山大学）
针对广义类别发现中全局表示判别性与泛化性难以兼顾的问题，提出自适应部件学习（APL），利用可学习部件查询和DINO先验生成部件，结合全最小对比损失，即插即用地提升细粒度数据集性能。
2025-07-09 cs.CV
Generalized Fine-Grained Category Discovery with Multi-Granularity Conceptual Experts
Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
针对广义类别发现中多粒度概念利用不足、需预知道类别数的问题，提出含动态概念对比学习和多粒度专家协作学习的MGCE框架，可自动估计类别数，在9个细粒度基准上取得SOTA，新类准确率提升显著。
2025-09-30 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems（Cortexica视觉系统公司）
DeepFashion是一个广泛使用的服装数据集，包含50个类别和超过20万张图像，其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别，虽然它提供了全面的注释，但属性分布不平衡且重复，特别是对于训练细粒度属性识别模型。在这项工作中，我们通过分别关注每个类别，为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后，我们删除非常稀缺的属性并合并每个类别中的重复属性，然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别，并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Learning to Align Generative Appearance Priors for Fine-grained Image Retrieval
The University of Queensland, Australia（昆士兰大学，澳大利亚）；The University of Adelaide, Australia（阿德莱德大学，澳大利亚）
本文提出GAPan网络，通过生成外观先验对齐方法，改进细粒度图像检索的泛化能力，提升对未见类别的检索性能。
2026-05-11 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Fourier Self-Supervision for Fine-Grained Generalized Category Discovery
University of Amsterdam（阿姆斯特丹大学）；University of Technology Nuremberg（纽伦堡工业大学）
提出傅里叶自监督学习，通过双频率过滤策略优化特征空间，在多细粒度数据集上实现优于现有方法的广义类别发现性能。
2026-08-11 cs.AI cs.CV cs.LG
Learning Tuple Compatibility for Conditional OutfitRecommendation
Stony Brook University（石溪大学）；BUPT（北京邮电大学）；eBay Inc.（eBay公司）；JPMorgan Chase（摩根大通）；Vipshop Inc.（唯品会公司）
服装推荐需要回答一些具有挑战性的服装兼容性问题，如“哪双靴子和书包与我的牛仔裤和毛衣相配？”'.它比传统的相似性搜索更复杂，不仅需要考虑视觉美学，还需要考虑时尚物品内在的细粒度和多类别特性。一些现有的方法通过顺序模型或学习项目之间的成对距离来解决这个问题。然而，大多数的方法在定义服装兼容性时只考虑了粗略的类别信息，而忽略了实际应用中经常需要的细粒度类别信息。为了更好地定义时尚的兼容性，更灵活地满足不同的需求，我们提出了一个新的问题，学习多个元组（每个元组由一个项目和类别对）之间的兼容性，并推荐时尚项目的类别选择从客户。我们的贡献包括：1）设计了一个混合类别注意力网络（MCAN），它将细粒度和粗粒度的类别信息集成到推荐中，并学习了时尚元组之间的兼容性。MCAN可以根据需要明确有效地生成多样化和可控的建议。2)贡献了一个新的数据集IQON，它遵循东方文化，可用于测试推荐系统的泛化能力。我们在参考数据集Polyvore和我们的数据集IQON上进行的大量实验表明，我们的方法显着优于最先进的推荐方法。
2020-08-18 cs.CV
Progressive Co-Attention Network for Fine-grained Visual Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
细粒度视觉分类旨在识别属于同一类别内的多个子类别的图像。这是一项具有挑战性的任务，因为高度混淆的类别之间存在固有的微妙变化。大多数现有的方法仅将单个图像作为输入，这可能限制模型从不同图像中识别对比线索的能力。本文提出了一种有效的方法--渐进式共同注意力网络（PCA-Net）来解决这个问题。具体来说，我们通过鼓励同类图像对内的特征通道之间的相互作用来计算通道相似性，以捕获共同的判别特征。考虑到互补信息对识别也至关重要，我们删除了通道相互作用增强的突出区域，以迫使网络专注于其他有区别的区域。该模型在三个细粒度视觉分类基准数据集上取得了有竞争力的结果：CUB-200-2011，Stanford Cars和FGVC Aircraft。
2021-08-30 cs.CV
SelEx: Self-Expertise in Fine-Grained Generalized Category Discovery
University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
本文提出SelEx方法，通过结合无监督与有监督的自我专长策略及层次化伪标签，在细粒度广义类别发现中优于现有技术，有效发现新类别并分类已知类别。
2024-11-10 cs.AI cs.CV cs.LG
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而，类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中，我们提出了利用类内方差的三元组网络的度量学习，以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组，我们形成了跨不同类别以及不同组的三重样本，这被称为组敏感的三重样本采样（GS-TRS）。相应地，通过将类内方差与GS-TRS相结合来增强三元组损失函数，这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明，所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
FiGO: Fine-Grained Object Counting without Annotations
Simon Fraser University（西蒙 Fraser 大学）
FiGO是一种无需标注的细粒度物体计数方法，通过生成合成示例和学习紧凑概念嵌入，实现对细粒度类别的准确计数。
2025-12-23 cs.CV
Fine-grained Retrieval Prompt Tuning
International School of Information Science & Engineering, Dalian University of Technology（大连理工大学国际信息科学与工程学院）；Huawei Cloud & AI（华为云与人工智能）；College of Computer and Engineering, Shandong University of Science and Technology（山东科技大学计算机与工程学院）；SenseTime Computer Vision Research Group, The University of Sydney（悉尼大学商汤计算机视觉研究组）
细粒度对象检索的目的是学习区分表示来检索视觉上相似的对象。然而，现有的表现最好的作品通常在语义嵌入空间上施加成对的相似性，或者设计一个局部化子网络，以在有限的数据场景中不断微调整个模型，从而导致收敛到次优解。在本文中，我们开发了细粒度检索提示微调（FRPT），它引导一个冻结的预训练模型执行细粒度的检索任务，从样本提示和特征适应的角度。具体而言，FRPT只需要在提示和自适应中学习更少的参数，而不是对整个模型进行微调，从而解决了因微调整个模型而导致的收敛到次优解的问题。从技术上讲，引入区分扰动提示（DPP），将其视为一种样本提示过程，通过内容感知的非均匀采样操作，放大甚至夸大了某些对类别预测有贡献的区分元素。通过这种方式，DPP可以使在扰动提示辅助下的细粒度检索任务接近原始预训练期间已解决的任务。因此，它保留了从输入样本中提取的表示的泛化和区分。此外，提出了一种特定于类别的感知头，并将其视为特征自适应，该特征自适应使用类别引导的实例归一化来消除预训练模型提取的特征中的物种差异。从而使得优化后的特征只包含子类别之间的差异。大量的实验表明，我们的FRPT与较少的可学习参数实现了最先进的性能在三个广泛使用的细粒度数据集。
2023-03-06 cs.CV
Democratizing Fine-grained Visual Recognition with Large Language Models
University of Trento（特伦托大学）；University of Aberdeen（阿伯丁大学）；Hefei University of Technology（合肥工业大学）；University of Leeds（利兹大学）；University of Nottingham（诺丁汉大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
针对细粒度视觉识别依赖专家标注的瓶颈，提出无需训练的FineR方法，通过提取图像部件级视觉属性为文本输入大语言模型，利用其世界知识推理细粒度类别，性能优于现有模型且适用于新领域。
2024-03-10 cs.CV
Re-rank Coarse Classification with Local Region Enhanced Features for Fine-Grained Image Recognition
ByteDance AI Lab（字节跳动人工智能实验室）
细粒度图像识别是非常具有挑战性的，由于难以捕捉语义的全局特征和歧视性的局部特征。同时，这两个特征不易整合，甚至在同时使用时会发生冲突。在本文中，提出了一种基于检索的粗到细的框架，其中我们通过使用局部区域增强嵌入特征来重新排名TopN分类结果，以提高Top1的准确性（基于正确类别通常驻留在TopN结果中的观察）。为了获得区分细粒度图像的判别区域，我们引入了一种弱监督的方法来训练一个只使用图像级标签的盒生成分支。此外，为了学习更有效的语义全局特征，我们在自动构建的层次类别结构上设计了多级损失。实验结果表明，我们的方法达到了最先进的性能在三个基准：CUB-200-2011，斯坦福汽车，和FGVC飞机。此外，可视化和分析提供了更好的理解。
2021-02-19 cs.CV
ELFIS: Expert Learning for Fine-grained Image Recognition Using Subsets
细粒度视觉识别（FGVR）解决了区分高度相似类别的问题。FGVR的主要方法之一，即子集学习，试图利用现有类分类法的信息来提高深度神经网络的性能。然而，这些方法依赖于手工构建的层次结构的存在，这些层次结构不一定是模型的最佳选择。在本文中，我们提出了ELFIS，一个专家学习框架FGVR的聚类类别的数据集到元类别使用两个小册子固有的词汇和模型特定的信息。一组基于神经网络的专家集中训练的元类别，并集成到一个多任务框架。广泛的实验表明，使用CNN和基于transformer的网络，SoTA FGVR基准测试的准确度提高了1.3%。总体而言，所获得的结果证明ELFIS可以应用于任何分类模型之上，从而能够获得SoTA结果。源代码将很快公开。
2023-03-16 cs.CV
Cascade one-vs-rest detection network for fine-grained recognition without part annotations
细粒度识别是一项具有挑战性的任务，由于类内的小方差。大多数性能最好的细粒度识别方法利用对象的部分来获得更好的性能。因此，需要在计算上极其昂贵的部件注释。在本文中，我们提出了一种新的级联深度CNN检测框架，用于细粒度识别，该框架经过训练可以检测整个对象而不考虑部分。然而，目前大多数性能最好的检测网络使用N+1类（N个对象类别加上背景）softmax损失，并且具有更多训练样本的背景类别主导了特征学习过程，因此特征对于具有较少样本的对象类别并不好。为了弥补这一差距，我们引入了级联结构来消除背景，并利用一个与休息损失，以捕捉不同的下属类别之间的更微小的差异。实验表明，我们提出的识别框架在CUB-200-2011 Bird数据集上实现了与最先进的，无部分的，细粒度的识别方法相当的性能。此外，我们的方法甚至优于大多数基于部分的方法，而在训练阶段不需要部分注释，并在测试阶段是免费的任何注释。
2017-08-23 cs.CV
Reasoning about Fine-grained Attribute Phrases using Reference Games
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个框架，学习使用属性短语来描述实例之间的细粒度视觉差异。属性短语捕捉对象的区别方面（例如，“鼻子上的螺旋桨”或飞机的“机翼附近的门”）。一个类别内的语义可以由一组这些短语来描述，并且它们共同地跨越了一个类别的语义属性的空间。我们收集了一个大型的数据集，这样的短语，要求注释者描述几个视觉上的差异，在一个类别内的一对实例。然后，我们学习在说话者和听者之间的“参考游戏”的背景下描述这些短语并将其与图像联系起来。说话者的目标是描述图像的属性，使听者能够在一对图像中正确识别它。以成对的方式收集的数据提高了说话者生成的能力，以及听者解释视觉描述的能力。此外，由于属性短语的组合性，经过训练的听众可以解释在图像检索训练期间未看到的描述，并且扬声器可以生成基于属性的解释，用于先前未看到的类别之间的差异。我们还表明，将图像嵌入到来自听众的属性短语的语义空间中，与FGVC飞机数据集上现有的基于属性的表示相比，准确性提高了20%。
2017-08-29 cs.CV
Fine-grained Classification via Categorical Memory Networks
Australian National University（澳大利亚国立大学）
出于利用跨类共享模式的愿望，我们提出了一个简单而有效的类特定的内存模块，用于细粒度的特征学习。存储器模块将每个类别的原型特征表示存储为移动平均值。我们假设，每个类别的相似性的组合本身就是一个有用的判别线索。为了检测这些相似性，我们使用注意力作为查询机制。关于每个类原型的注意力分数被用作权重，以通过加权和来组合原型，从而为给定输入产生唯一定制的响应特征表示。将原始特征和响应特征相结合以产生用于分类的增强特征。我们将我们的类特定记忆模块集成到标准的卷积神经网络中，产生分类记忆网络。我们的内存模块显著提高了基准CNN的准确性，在四个基准测试中实现了具有竞争力的准确性，包括CUB-200-2011，斯坦福汽车，FGVC飞机和NABirds。
2020-12-12 cs.CV
Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding
Leiden University（莱顿大学）
本文提出零样本分类器编辑方法，通过细粒度视频理解提升分类精度，优于视觉-语言基线。
2026-02-18 cs.CV cs.LG
UniDGF: A Unified Detection-to-Generation Framework for Hierarchical Object Visual Recognition
Kuaishou Technology（快手科技）
UniDGF提出了一种检测到生成框架，通过生成语义标记提升层次物体视觉识别的细粒度区分和属性识别能力。
2025-11-20 cs.CV
Count Anything at Any Granularity
School of Artificial Intelligence, Shanghai Jiao Tong University, China（人工智能学院，上海交通大学，中国）；CMIC, Shanghai Jiao Tong University, China（计算机医学研究所，上海交通大学，中国）
本文提出多粒度计数框架，通过显式定义计数粒度解决开放世界计数问题，构建了最大的标注数据集KubriCount，并训练了HieraCount模型提升计数精度与泛化能力。
2026-05-11 cs.CV
Res-VMamba: Fine-Grained Food Category Visual Classification Using Selective State Space Models with Deep Residual Learning
National Taiwan University（台湾大学）；University of Liverpool（利物浦大学）；Dongguan People’s Hospital（东莞市人民医院）；Shenzhen People’s Hospital（深圳市人民医院）
本文提出Res-VMamba，将残差学习引入VMamba以融合全局与局部状态特征，并在CNFOOD-241上无预训练达到79.54%准确率，树立食品识别新基准。
2024-09-06 cs.AI cs.CV
Fine-Grained Crowd Counting
City University of Hong Kong（香港城市大学）
目前的人群计数算法只关注图像中的人数，缺乏低层次的人群细粒度信息。对于许多实际应用，图像中的总人数不如每个子类别中的人数有用。例如，在一个示例中，知道排队等候或浏览的人数可以帮助零售商店;知道站立/坐下的人数可以帮助餐馆/餐馆;知道暴力/非暴力的人数可以帮助警察管理人群。在本文中，我们提出了细粒度的人群计数，它区分人群到类别的基础上的低级别的行为属性（例如站/坐或暴力行为），然后计算每个类别中的人数。为了使这一领域的研究成为可能，我们构建了一个新的数据集，其中包含四个真实世界的细粒度计数任务：在人行道上行驶的方向，站立或坐着，排队或不排队，以及是否表现出暴力行为。由于不同人群类别的外观特征相似，因此细粒度人群计数的挑战是有效地利用上下文信息来区分类别。我们提出了一个两个分支的架构，包括一个密度图估计分支和一个语义分割分支。我们提出了两个改进策略，以提高这两个分支的预测。首先，为了编码上下文信息，我们提出了由密度图预测引导的特征传播，这消除了传播过程中背景特征的影响。其次，我们提出了一个互补的注意力模型，以共享两个分支之间的信息。实验结果证实了该方法的有效性。
2020-07-13 cs.CV
Foundation Model Insights and a Multi-Model Approach for Superior Fine-Grained One-shot Subset Selection
National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University, China（国家多媒体软件工程研究中心、人工智能研究院、计算机科学学院、武汉大学，中国）；Hubei Key Laboratory of Multimedia（湖北省多媒体关键实验室）；The University of Tokyo, Japan（东京大学，日本）；National Institute of Informatics, Japan（日本信息处理学会）；School of Computer Science（计算机科学学院）；Technology, Wuhan University of Science（科技，武汉科技大学）
针对一次性子集选择中传统信息提取器依赖数据集的局限，本文提出RAM-APL方法，利用多个基础模型的互补优势，在细粒度图像数据集上实现了最先进的子集选择性能。
2025-06-27 cs.CV cs.LG
Instance Retrieval at Fine-grained Level Using Multi-Attribute Recognition
Cortexica Vision Systems Limited（Cortexica视觉系统有限公司）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；the University of Adelaide（阿德莱德大学）
在本文中，我们提出了一种方法，例如排名和检索细粒度级别的基础上提取的多属性识别模型，这是不依赖于地标信息或部分基于注释的全局特征。此外，我们通过采用双线性CNN使多属性识别模型更小（在参数数量方面），使这种架构适合于移动设备应用。在DeepFashion In-Shop Clothes Retrieval和CUB 200数据集的Dress类别上进行的实验表明，细粒度级别的实例检索结果对于这些数据集是有希望的，特别是在纹理和颜色方面。
2018-11-07 cs.CV
AnomalyCraft-700K: Component-Level Controllable and Verifiable Synthetic Anomalies for Fine-Grained Video Anomaly Understanding
Northwestern Polytechnical University（西北工业大学）；Singapore Management University（新加坡管理大学）
提出AnomalyCraft-700K，一个包含4万视频和70万标注的组件可控合成异常数据集，通过三阶段流水线生成细粒度异常事件并验证跨模态对齐，有效提升视频异常理解性能。
2026-09-09 cs.CV
Fine-grained Recognition with Learnable Semantic Data Augmentation
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）
本文提出一种可学习的语义数据增强方法，通过在特征层面沿语义方向平移图像特征来生成多样化样本，以解决细粒度识别中判别性区域丢失问题，并在多个基准上显著提升分类网络的泛化性能。
2023-09-01 cs.CV
Fine-Grained Classification via Mixture of Deep Convolutional Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology (QUT)（昆士兰科技大学）；University of Queensland（昆士兰大学）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一种用于细粒度图像分类的新型深度卷积神经网络（DCNN）系统，称为DCNN的混合（MixDCNN）。细粒度图像分类问题的特征在于大的类内变化和小的类间变化。为了克服这些问题，我们提出的MixDCNN系统将图像划分为K个相似图像子集，并为每个子集学习专家DCNN。来自K个DCNN中的每一个的输出被组合以形成单个分类决策。与以前的技术相比，我们提供了一种公式来同时执行K个DCNN的联合端到端训练。在使用两种网络结构（AlexNet和GoogLeNet）的三个数据集上进行的大量实验表明，所提出的MixDCNN系统始终优于其他方法。它提供了12.7%的相对改进，并在两个数据集上实现了最先进的结果。
2015-11-30 cs.CV
Subtoken Vision Transformer for Fine-grained Recognition
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究针对细粒度视觉识别提出SubViT方法，通过多子词表示有区别补丁并结合全局上下文，采用两阶段训练策略。在多个数据集上评估，提升了新类别准确率，增加少量延迟和FLOP，减少了相对于Retina Patch的延迟，证明了更广泛适用性。
2026-10-02 cs.CV
