MMS-VPR: A Fine-Grained Multimodal Street-Level Visual Place Recognition Dataset and Evaluation Benchmark for Dense Pedestrian Environments
The University of Auckland（奥克兰大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区）
MMS-VPR提出一个大规模多模态数据集和基准，用于行人环境中的街道级视觉地点识别，整合了多模态数据和统一评估平台。
2026-09-22 cs.AI cs.CV cs.LG
CLUENER2020: Fine-grained Named Entity Recognition Dataset and Benchmark for Chinese
CLUE Organization（CLUE组织）
在本文中，我们介绍了NER数据集从CLUE组织（CLUE2020），一个定义良好的细粒度数据集的命名实体识别在中国。2020年的CLUCITY包含10个类别。除了个人、组织和位置等常见标签外，它还包含更多不同的类别。它比目前其他中国NER数据集更具挑战性，可以更好地反映现实世界的应用。为了进行比较，我们实施了几个最先进的基线作为序列标记任务，并报告了人类的表现及其分析。为了促进未来对中国细粒度NER的工作，我们发布了我们的数据集，基线和排行榜。
2020-01-20 cs.CL cs.IR cs.LG
3D Pose Estimation for Fine-Grained Object Categories
University of Maryland, College Park（马里兰大学帕克分校）；Baidu, Inc.（百度公司）
现有的对象姿态估计数据集与通用对象类型相关，并且到目前为止还没有用于细粒度对象类别的数据集。在这项工作中，我们引入了一个新的大型数据集基准姿态估计细粒度的对象，由于最近的二维和三维细粒度数据的可用性。具体来说，我们通过为每个子类别找到细粒度的3D CAD模型并使用3D姿态手动注释图像中的每个对象来增强两个流行的细粒度识别数据集（StanfordCars和CompCars）。我们表明，有足够的训练数据，一个完整的透视模型与连续的参数可以估计单独使用2D外观信息。我们通过基于Faster/Mask R-CNN的框架来实现这一点。这超越了以前的工作类别级姿态估计，仅估计离散/连续的视角角度或恢复旋转矩阵往往与关键点的帮助。此外，随着细粒度的3D模型可用，我们将一个密集的3D表示命名为位置字段到基于CNN的姿态估计框架，以进一步提高性能。新数据集可在www.umiacs.umd.edu/~wym/3dpose.html上获得
2018-11-07 cs.CV
LoFi: Location-Aware Fine-Grained Representation Learning for Chest X-ray
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出LoFi，通过联合优化sigmoid、标注和位置感知标注损失，提升胸部X光的检索和短语接地性能，实验表明在MIMIC-CXR和PadChest-GR数据集上表现优异。
2026-04-24 cs.AI cs.CV
Fine-grained Hand Gesture Recognition in Multi-viewpoint Hand Hygiene
Willogy；AIOZ；Blood Transfusion Hematology Hospital（输血血液病医院）
本文提供了一个新的高质量的数据集，手卫生系统中的手势识别，命名为“MFH”。一般来说，目前的数据集并不集中在：（i）细粒度的动作;（ii）不同视点之间的数据不匹配，这是在现实的设置下可用。为了解决上述问题，建议MFH数据集包含由6个非重叠位置中的不同相机视图获得的总共731147个样本。此外，每个样本都属于世界卫生组织（WHO）提出的七个步骤之一。作为一个小小的贡献，受到细粒度图像识别和分布自适应的启发，本文建议使用自监督学习方法来处理这些问题。在基准MFH数据集上的大量实验表明，所介绍的方法在准确性和宏F1分数方面都具有竞争力的性能。代码和MFH数据集可在https://github.com/willogy-team/hand-gesture-recognition-smc2021上获得。
2021-09-07 cs.CV
Solutions for Fine-grained and Long-tailed Snake Species Recognition in SnakeCLEF 2022
Ant Group（蚂蚁集团）
自动蛇种识别非常重要，因为它具有巨大的潜力，可以帮助降低蛇咬伤造成的死亡和残疾。我们在SnakeCLEF 2022中介绍了我们的解决方案，用于在重长尾类分布上进行细粒度蛇物种识别。首先，一个网络架构的设计，以提取和融合功能，从多个模态，即从视觉模态和语言模态的地理位置信息的照片。然后，基于logit调整的方法进行了研究，以减轻严重的类不平衡所造成的影响。其次，提出了一种监督学习和自监督学习相结合的方法，以充分利用数据集，包括标记的训练数据和未标记的测试数据。最后，后处理策略，如多尺度和多作物测试时间增加，位置过滤和模型集成，以提高性能。通过几种不同型号的合奏，在最终排行榜上获得了82.65%的私人评分，排名第三。
2022-07-04 cs.CV
FGSD: A Dataset for Fine-Grained Ship Detection in High Resolution Satellite Images
Intelligent System Lab, Beijing University of Posts
利用高分辨率遥感图像进行船舶检测是海洋水面整治的重要任务。复杂的背景和特殊的视角使得船舶检测在一定程度上依赖于高质量的数据集。然而，在现有的船舶检测数据集上，对船舶进行精确分类和精确定位的工作很少。为了进一步推动船舶检测的研究，本文提出了一种新的细粒度船舶检测数据集FGSD。该数据集收集了来自世界各地多个大型港口的高分辨率遥感图像，其中包含船舶样本。船舶样本进行了精细的分类和注释水平和旋转的边界框。为了进一步细化数据集的信息，提出了一种新的船舶姿态表示方法。对于未来的研究，码头作为一个新的类在数据集中进行了注释。此外，FGSD还提供了丰富的图像信息，包括每幅图像的源端口、分辨率和对应的GoogleEarth分辨率级别。据我们所知，FGSD是目前最全面的船舶检测数据集，它将很快推出。本文还提供了FGSD的一些基线。
2020-03-15 cs.CV
Diversified Visual Attention Networks for Fine-Grained Object Classification
Southwest Jiaotong University（西南交通大学）；National University of Singapore（新加坡国立大学）
细粒度的目标分类是一个具有挑战性的任务，由于细微的类间差异和类内变化大。最近，视觉注意模型已被应用于自动定位图像的判别区域，以更好地捕捉关键差异，并表现出良好的性能。然而，现有的注意力模型大多没有考虑到注意过程的多样性，对细粒度对象的分类效果不佳。在本文中，我们提出了一个多样化的视觉注意力网络（DVAN），以解决细粒度的对象分类的问题，这大大减轻了依赖于强监督信息的学习定位的歧视性区域相比，无注意力模型。更重要的是，DVAN明确地追求注意的多样性，能够最大限度地收集有区别的信息。生成多个注意力画布以提取用于注意力的卷积特征。使用LSTM递归单元来学习注意力画布的注意力和辨别力。建议DVAN有能力参加的对象从粗到细的粒度，和一个动态的内部表示的分类是建立在增量组合的信息从不同的位置和尺度的图像。在CUB-2011、Stanford Dogs和Stanford Cars数据集上进行的大量实验表明，与最先进的方法相比，所提出的多样化视觉注意网络实现了具有竞争力的性能，而无需在训练或测试中使用任何先验知识、用户交互或外部资源。
2017-05-18 cs.CV
Audio ControlNet for Fine-Grained Audio Generation and Editing
Audio ControlNet通过引入T2A-Adapter和T2A-Editor，实现了对音频响度、音调和事件的精细控制，并在AudioSet-Strong数据集上取得最佳性能。
2026-02-04 cs.AI cs.CL cs.MM
VoIPLoc: Passive VoIP call provenance via acoustic side-channels
University of Strathclyde（思克莱德大学）
我们提出了VoIPLoc，一种新的位置指纹技术，并将其应用到VoIP呼叫的起源问题。它利用嵌入在VoIP音频中的回声位置信息来支持细粒度的位置推断。我们发现一致的统计特征所引起的回声反射特性的位置到记录的语音。这些特征在VoIP目的地接收到的跟踪中是可辨别的，从而实现位置推断。我们通过开发通过Tor网络上的VoIP通道接收的音频跟踪数据集来评估VoIPLoc。我们表明，即使大多数音频样本未标记，也可以以较低的假阳性率远程识别和检测录音位置。最后，我们注意到，与现有技术不同，该技术是完全被动的，因此无法检测到。VoIPLoc对环境噪声和背景声音的影响以及压缩编解码器和网络抖动的影响具有鲁棒性。该技术也是高度可扩展的，并提供了几个自由度条款的指纹空间。
2021-06-10 cs.CR cs.SD eess.AS
Rethinking Rotation-Invariant Recognition of Fine-grained Shapes from the Perspective of Contour Points
Tsinghua University（清华大学）；Taiyuan University of Technology（太原理工大学）
针对像素方法在细粒度形状旋转不变识别中的冗余与几何信息泄漏问题，提出基于轮廓几何感知的抗噪声旋转不变卷积模块及五级联网络，提升识别性能并增强对噪声和旋转中心的鲁棒性。
2025-03-14 cs.CV
Distilling Object Detectors with Fine-grained Feature Imitation
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最先进的基于CNN的识别模型通常在计算上禁止部署在低端设备上。一个很有前途的解决这一问题的高级方法是知识蒸馏，它让小学生模型模仿繁琐的教师模型的输出，以提高泛化能力。然而，相关的方法主要集中在简单的分类任务，而没有考虑复杂的任务，如目标检测。我们表明，将香草知识蒸馏应用于检测模型得到的收益很小。为了解决检测模型中知识提取的难题，提出了一种利用特征响应的交叉位置差异的细粒度特征模仿方法。我们的直觉是，探测器更关心局部近目标区域。因此，特征响应的差异附近的对象锚位置揭示了教师模型如何倾向于推广的重要信息。我们设计了一种新的机制来估计这些位置，并让学生模型模仿他们的老师，以获得增强的性能。我们首先在一个开发的轻量级玩具检测器上验证了这个想法，该检测器在具有挑战性的KITTI数据集上携带了当前最先进的基于锚的检测模型的最简单概念，与非模仿的对应物相比，我们的方法为学生模型生成了高达15%的mAP提升。然后，我们在各种场景下使用Faster R-CNN模型对该方法进行了广泛的评估，并使用Pascal VOC和COCO的常见目标检测基准，与教师相比，模拟学生模型的性能下降高达74%。代码发布于https://github.com/twangnh/Distilling-Object-Detectors
2019-06-09 cs.AI cs.CV cs.LG
Presence-Only Geographical Priors for Fine-Grained Image Classification
Caltech（加州理工学院）
仅凭外观信息通常不足以准确区分细粒度的视觉类别。人类专家利用额外的线索，如在何处，何时拍摄给定的图像，以告知他们的最终决定。这种上下文信息在许多在线图像集合中是容易获得的，但是现有的图像分类器没有充分利用，这些图像分类器仅专注于基于图像内容进行预测。我们提出了一个有效的时空先验，即当以地理位置和时间为条件时，估计给定对象类别在该位置发生的概率。我们的先验知识是从仅存在的观察数据中训练出来的，并联合建模对象类别、它们的时空分布和摄影师偏见。在多个具有挑战性的图像分类数据集上进行的实验表明，将我们的先验知识与图像分类器的预测相结合，可以大大提高最终分类性能。
2019-10-28 cs.CV cs.LG
Unsupervised Object Representation Learning using Translation and Rotation Group Equivariant VAE
Simons Machine Learning Center（西蒙斯机器学习中心）；New York Structural Biology Center（纽约结构生物学中心）
在许多成像模态中，感兴趣对象可以以各种位置和姿态出现（即，经受2d或3d中的平移和旋转），但是对象的位置和姿态不改变其语义（即，对象的本质）。也就是说，卫星图像中飞机的特定位置和旋转，或自然图像中椅子的3d旋转，或低温电子显微照片中粒子的旋转，不会改变这些物体的内在性质。在这里，我们考虑的问题，学习语义表示的对象是不变的姿势和位置在一个完全无监督的方式。我们在以前的方法来解决这个问题，通过引入目标VAE，平移和旋转组等变变分自编码器框架的缺点。TARGET-VAE结合了三个核心创新：1）旋转和平移组等变编码器架构，2）潜在旋转，平移和旋转-平移不变语义对象表示的结构分解分布，它们由近似推理网络联合推断，以及3）空间等变生成器网络。在全面的实验中，我们表明，TARGET-VAE在没有监督的情况下学习解缠表示，显着改善，并避免了以前的方法的病态。当在被旋转和平移严重破坏的图像上训练时，TARGET-VAE学习到的语义表示与在一致姿势的对象上学习到的语义表示相似，从而大大提高了语义潜在空间中的聚类。此外，TARGET-VAE能够执行非常准确的无监督姿势和位置推断。我们预计像TARGET-VAE这样的方法将成为未来无监督对象生成、姿态预测和目标检测的基础。
2023-01-03 cs.CV cs.LG
Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究所）
本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi，构建大规模医学定位数据集MedG，在多项医学视觉任务中性能优于现有模型。
2026-08-04 cs.CV
CityTrack: Improving City-Scale Multi-Camera Multi-Target Tracking by Location-Aware Tracking and Box-Grained Matching
Baidu Inc.（百度公司）；Shanghai AI Laboratory（上海人工智能实验室）
CityTrack提出位置感知SCMT跟踪器和框粒度匹配方法，解决城市级多相机多目标跟踪中的跨相机关联难题，在CityFlowV2上以84.91%的IDF1获2022 AI CITY CHALLENGE第1名。
2023-07-06 cs.CV
Fine-grained Few-shot Recognition by Deep Object Parsing
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
我们提出了一种通过深度对象解析进行细粒度Few-Shot识别的新方法。在我们的框架中，一个对象由K个不同的部分组成，对于每个部分，我们学习一个模板字典，它在所有实例和类别中共享。通过估计这K个零件的位置和一组可以重建零件特征的活动模板来解析对象。我们识别测试实例，通过比较其活动模板和相对几何的部分位置对那些提出的Few-Shot实例。我们的方法是端到端可训练的，可以在卷积骨干上学习部分模板。为了对抗方向、姿势和大小等视觉失真，我们在多个尺度上学习模板，并在测试时解析和匹配这些尺度上的实例。我们表明，我们的方法是有竞争力的国家的最先进的，并凭借解析享有可解释性以及。
2022-10-13 cs.AI cs.CV
Location-free Human Pose Estimation
Beijing Jiaotong University（北京交通大学）；Tencent Youtu Lab（腾讯优图实验室）
人体姿态估计（HPE）通常需要大规模的训练数据来达到高性能。然而，这是相当耗时的收集高质量和细粒度的人体标注。为了缓解这一问题，我们重新审视了HPE，并提出了一个无需监督关键点位置的无位置框架。我们从分类的角度重新制定了基于回归的HPE。受基于CAM的弱监督对象定位的启发，我们观察到可以通过部件感知CAM获得粗略的关键点位置，但由于细粒度HPE和对象级定位之间的差距，因此不能令人满意。为此，我们提出了一个自定义的Transformer框架来挖掘人类上下文的细粒度表示，并配备了结构关系来捕获关键点之间的细微差异。具体地说，我们设计了一个多尺度空间引导上下文编码器，以充分捕捉全球人类的背景，同时专注于部分感知区域和一个编码的姿态原型生成模块编码的结构关系。所有这些共同作用，以加强薄弱的监督，从图像级类别标签的位置。当仅在类别级别进行监督时，我们的模型在三个数据集上实现了具有竞争力的性能，重要的是，它可以在MS-COCO和MPII上仅使用25\%位置标签的完全监督方法实现可比较的结果。
2022-05-25 cs.CV
Location-Aware Pretraining for Medical Difference Visual Question Answering
Department of Electrical and Computer Engineering, Carnegie Mellon University, Kigali, Rwanda（电气与计算机工程系，卡内基梅隆大学，刚果（金）基利齐）；University of Melbourne, Melbourne, Australia（墨尔本大学，墨尔本，澳大利亚）
本文提出一种面向位置的预训练框架，结合AREF、GCAP和CAREF任务，提升医学差异VQA中细粒度空间视觉表征能力，实现胸部X光图像中临床相关变化的准确识别与推理。
2026-04-22 cs.AI cs.CV
CPlaNet: Enhancing Image Geolocalization by Combinatorial Partitioning of Maps
POSTECH（浦项科技大学）；Google Research（谷歌研究院）；Seoul National University（首尔国立大学）
图像地理定位是仅基于其视觉信息来识别照片中描绘的位置的任务。这项任务本质上具有挑战性，因为许多照片的地理位置线索很少，甚至可能含糊不清。最近的工作已经把这个任务作为一个分类问题，通过将地球划分为一组对应于地理区域的离散单元。这种划分的粒度是一个关键的权衡;使用较少但较大的单元会导致较低的定位精度，而使用较多但较小的单元会减少每个类的训练样本数量并增加模型大小，从而使模型易于过拟合。为了解决这个问题，我们提出了一个简单而有效的算法，组合分区，它产生了大量的细粒度的输出类相交的多个粗粒度的分割地球。每个分类器为与其各自的粗粒度类重叠的细粒度类投票。这种技术使我们能够在精细的尺度上预测位置，同时为每个类保持足够的训练样本。我们的算法在多个基准数据集上实现了最先进的位置识别性能。
2018-08-06 cs.CV
Shallow Deep Learning Can Still Excel in Fine-Grained Few-Shot Learning
本文研究了浅层深度网络在细粒度少样本学习中的表现，提出了一种位置感知星座网络（LCN-4），通过改进的特征聚类模块有效减少损失，验证了浅层网络在该任务中的有效性。
2026-05-18 cs.CV
Similarity Guided Multimodal Fusion Transformer for Semantic Location Prediction in Social Media
Dalian University of Technology（大连理工大学）；Shandong University of Science and Technology（山东科技大学）
针对社交媒体多模态帖子语义位置预测中噪声与模态异质性难题，提出相似性引导多模态融合Transformer，通过粗细粒度相似性引导交互与相似性感知融合提升预测性能。
2024-06-23 cs.CL cs.CV
Enhancing Fine-Grained Spatial Grounding in 3D CT Report Generation via Discriminative Guidance
Boston University（波士顿大学）；Siemens Healthineers（西门子医疗）
本文提出DCP-PD框架，通过提炼自由文本报告中的细粒度线索，指导报告生成并减少对快捷方式的依赖，提升了CT-RATE和Rad-ChestCT的性能。
2026-04-12 cs.CV
Rotated, but How Far? Diagnosing and Improving Object-Rotation Reasoning in VLMs
针对VLM在物体旋转推理中无法准确估计旋转幅度的问题，提出OR-Bench基准和RotationCue轻量解码器，通过从冻结表征中恢复粗粒度旋转信息并反馈给模型，在三个VLM上提升宏平均准确率7.9至12.6个百分点。
2026-10-06 cs.AI cs.CV
Sat2Cap: Mapping Fine-Grained Textual Descriptions from Satellite Images
Washington University in St. Louis（圣路易斯华盛顿大学）；Taylor Geospatial Institute（泰勒地理空间研究所）；Arizona State University（亚利桑那州立大学）
本研究提出弱监督零样本制图框架Sat2Cap，在610万对航拍-地面图像数据集上训练，通过预测地面景观的CLIP嵌入实现卫星图像到细粒度文本描述的映射，支持时间条件建模且无需文本标注数据。
2024-04-11 cs.CV
Part Localization using Multi-Proposal Consensus for Fine-Grained Categorization
我们提出了一个简单的深度学习框架来同时预测关键点位置及其各自的活力，并使用它们来实现最先进的细粒度分类性能。我们表明，通过条件的预测对象的建议与足够的图像支持，我们的方法可以做得很好，没有复杂的空间推理。相反，对离群值具有鲁棒性的推理方法产生了关键点定位的最新技术。我们证明了我们精确的关键点定位和可见性预测对细粒度鸟类识别任务的有效性，有和没有地面实况鸟类边界框，并优于现有的最先进的方法超过2%。
2015-07-22 cs.CV
Weakly Supervised Instance Attention for Multisource Fine-Grained Object Recognition with an Application to Tree Species Classification
Bilkent University（比尔肯特大学）；Middle East Technical University（中东技术大学）
利用互补的光谱、空间和结构信息的多光谱图像分析有利于细粒度的对象识别，其目的是将对象分类到许多相似的子类别中的一个。然而，对于涉及相对较小的对象的多分辨率任务，即使是最小的配准误差也会在分类过程中引入很高的不确定性。我们从弱监督学习的角度来处理这个问题，其中输入图像对应于预期对象位置周围的较大邻域，其中具有给定类别标签的对象存在于邻域中，而不知道其确切位置。所提出的方法使用一个单源的深度实例注意力模型与并行分支的联合定位和分类的对象，并将此模型扩展到一个multisbrandset设置，其中一个参考源，假设没有位置的不确定性是用来帮助融合的多个源在四个不同的水平：概率水平，logit水平，特征水平，和像素水平。我们发现，与最先进的技术相比，所有级别的融合都提供了更高的准确度，其中性能最好的特征级融合方法对40种不同类型的树木的识别准确率为53%，当使用RGB，多光谱和LiDAR数据时，与性能最好的基线相比，提高了5.7%。我们还通过在各种参数复杂性设置下评估每个模型来进行深入比较，其中增加的模型容量比默认容量设置进一步提高了6.3%。
2021-05-25 cs.CV
Adapting Fine-Grained Cross-View Localization to Areas without Fine Ground Truth
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ShanghaiTech University（上海科技大学）；Australian National University（澳大利亚国立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出基于知识自蒸馏的弱监督学习方法，利用含噪声真值的目标区域图像生成并过滤伪真值，显著提升了细粒度跨视角定位模型在新区域的精度。
2024-06-01 cs.CV
Fine-Grained Attention for Weakly Supervised Object Localization
Korea University（高丽大学）
尽管深度学习的最新进展加速了弱监督对象定位（WSOL）任务的改进，但识别对象的整个主体而不仅仅是有区别的部分仍然存在挑战。在本文中，我们提出了一种新的残余细粒度注意力（RFGA）模块，自主地激发一个对象的少激活区域，利用分布在通道和位置内的特征图中的信息，结合残差操作。具体而言，我们设计了一系列的三视图注意表示，注意扩展和特征校准的机制。与其他基于注意力的WSOL方法不同，这些方法学习粗略的注意力地图，在特征地图中的元素之间具有相同的值，我们提出的RFGA通过为每个元素分配不同的注意力值来学习注意力地图中的细粒度值。我们验证了我们提出的RFGA模块的优越性，通过比较它与最近的方法在文献中的三个数据集。此外，我们分析了RFGA中每个机制的效果，并可视化注意力地图以获得见解。
2021-04-11 cs.AI cs.CV
Dynamic MLP for Fine-Grained Image Classification by Leveraging Geographical and Temporal Information
Megvii Technology（旷视科技）；Nanjing University of Science and Technology（南京理工大学）
细粒度图像分类是一项具有挑战性的计算机视觉任务，其中各种物种具有相似的视觉外观，如果仅仅基于视觉线索，则会导致错误分类。因此，利用附加信息是有帮助的，例如，数据拍摄的地点和日期，很容易获得，但很少被利用。在本文中，我们首先证明了现有的多模态方法只在一个维度上融合多个特征，这在特征鉴别方面基本上没有足够的帮助。为了充分探索多模态信息的潜力，我们提出了一个动态的MLP的图像表示，它与多模态功能在更高和更广泛的维度。动态MLP是一个有效的结构参数化的学习嵌入变量的位置和日期。它可以被看作是一种自适应的非线性投影，用于在视觉任务中生成更具鉴别力的图像表示。据我们所知，这是第一次尝试探索动态网络的想法，利用多模态信息在细粒度图像分类任务。大量的实验证明了我们的方法的有效性。t-SNE算法直观地表明，我们的技术提高了视觉上相似但类别不同的图像表示的可识别性。此外，在多个细粒度数据集的已发表作品中，动态MLP始终获得SOTA结果https://paperswithcode.com/dataset/inaturalist，并在FGVC 8 https://www.kaggle.com/c/inaturalist-2021/leaderboard的iNaturalist挑战赛中获得第三名。代码可在https://github.com/ylingfeng/DynamicMLP.git上获得
2022-03-07 cs.CV
Fine-grained pose prediction, normalization, and recognition
姿态变化和外观上的细微差异是细粒度分类的关键挑战。虽然深度网络显着改善了一般识别，但许多细粒度识别方法依赖于将网络锚定到零件以提高准确性。识别零件以找到对应折扣构成变化，以便可以根据外观调整特征。为此，以前的方法已经研究了如何找到零件和提取姿势规范化的功能。这些方法通常将细粒度识别分为几个阶段，首先使用手工设计和粗定位的建议特征定位零件，然后分别学习以推断的零件位置为中心的深度描述符。我们将这些步骤统一到一个由关键点位置和类标签监督的端到端可训练网络中，该网络通过完全卷积网络定位零件，以集中学习细粒度分类任务的特征表示。在流行的CUB200数据集上的实验表明，我们的方法是最先进的，并建议继续发挥强监管的作用。
2015-11-22 cs.CV
Rethinking movie genre classification with fine-grained semantic clustering
University of Surrey（萨里大学）
电影类型分类是机器学习中一个活跃的研究领域。然而，由于可用的标签有限，在单个类型定义内的电影之间可能存在很大的语义变化。我们通过识别电影的多模态内容中的“细粒度”语义信息来扩展这些“粗”类型标签。通过利用预先训练的“专家”网络，我们学习了不同模式组合对多标签流派分类的影响。使用对比损失，我们继续微调这个“粗糙”类型分类网络，以识别所有类型标签中电影之间的高层次互文相似性。这导致了一个更“细粒度”和详细的聚类，基于语义相似性，同时仍然保留一些体裁信息。我们的方法在新引入的多模态37，866，450帧，8，800电影预告片数据集MMX-Trailer-20上进行了演示，其中包括预先计算的音频，位置，运动和图像嵌入。
2021-01-20 cs.CV cs.IR cs.LG
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而，不利用任何明确的部分信息，他们不能准确地找到多个独特的区域。在这项工作中，我们引入了一个属性引导的注意力定位方案，局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略，我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明，该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
Lifting 2D Object Locations to 3D by Discounting LiDAR Outliers across Objects and Views
University of Oxford（牛津大学）
我们提出了一个系统，用于将2D掩模对象预测和原始LiDAR点云自动转换为对象的完整3D边界框。由于LiDAR点云是局部的，因此直接将边界框拟合到点云是没有意义的。相反，我们建议，获得良好的结果需要共享数据集中的\emph{all}对象之间的信息联合，在多个帧。然后，我们对基线进行了三项改进。首先，我们通过在这个空间中直接优化来解决预测对象旋转的模糊性，同时仍然通过模型反向传播旋转预测。其次，我们明确地对离群值进行建模，并让网络学习它们的典型模式，从而更好地对它们进行贴现。第三，当视频数据可用时，我们执行时间一致性。有了这些贡献，我们的方法显着优于以前的工作，尽管这些方法使用更复杂的管道，3D模型和额外的人类注释的外部先验信息源。
2021-10-09 cs.CV cs.LG
PetalView: Fine-grained Location and Orientation Extraction of Street-view Images via Cross-view Local Search with Supplementary Materials
Grab-NUS AI Lab（Grab-NUS人工智能实验室）；National University of Singapore（新加坡国立大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属））；Grabtaxi Holdings Pte. Ltd.（GrabTaxi控股私人有限公司）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）
针对跨视图街景信息提取中现有方法依赖准确角度先验、搜索效率低的问题，提出带多尺度搜索的PetalView提取器及可学习先验角度混合器，实现了亚米亚度级的高精度位姿提取，在多个数据集上取得优异性能。
2024-06-19 cs.CV cs.MM
Extracting and Learning Fine-Grained Labels from Chest Radiographs
IBM Almaden Research Center（IBM阿尔马登研究中心）
胸片是当今急诊室和重症监护室最常见的诊断检查。最近，一些研究人员已经开始研究大型胸部X射线数据集，以开发深度学习模型，用于识别少数粗略的发现类别，如不透明，肿块和结节。在本文中，我们专注于提取和学习细粒度标签的胸部X射线图像。具体来说，我们开发了一种新的方法，从放射学报告中提取细粒度的标签相结合的词汇驱动的概念提取与短语分组的依赖关系解析树的关联的修改器与结果。总共选择了457个细粒度标签，描绘了迄今为止最大的发现范围，并获得了足够大的数据集，以训练为细粒度分类设计的新深度学习模型。我们的结果表明，一个高度准确的标签提取过程和一个可靠的学习细粒度标签。据我们所知，由此产生的网络是第一个识别图像中发现的细粒度描述的网络，覆盖了9个修饰符，包括偏侧性，位置，严重程度，大小和外观。
2020-11-18 cs.AI cs.CV
Learning to Map Nearly Anything
University of Kentucky（肯塔基大学）
从上方观察世界，可以估计给定位置的许多属性，包括土地覆盖类型和预期的土地利用。从历史上看，由于难以获得细粒度的注释，这些任务依赖于相对粗粒度的类别。在这项工作中，我们提出了一个易于扩展的方法，使人们有可能估计细粒度的属性从开销图像。特别是，我们提出了一个跨模态蒸馏策略来学习从头顶图像预测细粒度属性的分布，而不需要任何手动注释的头顶图像。我们表明，我们学习的模型可以直接用于映射和图像定位的应用程序。
2019-09-16 cs.CV
Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
遥感图像中的定向目标检测近年来取得了很大的进展。然而，目前的方法大多只关注于目标检测，不能很好地区分复杂场景中的细粒度目标。在这份技术报告中，我们分析了细粒度目标识别的关键问题，并使用一个有向特征对齐网络（OFA-Net）来实现高性能的光学遥感图像中的细粒度有向目标识别。OFA-Net通过旋转边界框细化模块实现精确的对象定位。在此基础上，应用边界约束旋转特征对齐模块实现局部特征提取，有利于细粒度的目标分类。该方法的单模型在高分竞赛中获得了46.51%的mAP，在ISPRS基准测试中获得了43.73%的mAP，获得了第3名。
2021-10-13 cs.CV
Efficient 2D to Full 3D Human Pose Uplifting including Joint Rotations
University of Augsburg（奥格斯堡大学）
针对体育分析中3D人体关节位置与旋转捕捉的需求，提出一种高效的2D到3D提升模型，直接估计含关节旋转的3D人体姿态，解决了现有方法计算成本高或精度低的问题，性能优于基于IK的方法和HMR模型。
2025-04-14 cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University（南京大学）
细粒度图像识别是一个具有挑战性的计算机视觉问题，这是由于高度相似的从属类别引起的小的类间变化，以及姿态、尺度和旋转的大的类内变化。在本文中，我们提出了一种新的端到端Mask-CNN模型，没有完全连接的层，用于细粒度识别。基于细粒度图像的部分注释，所提出的模型由一个完全卷积的网络组成，以定位有区别的部分（例如，头部和躯干），更重要的是，生成对象/部分掩模，用于选择有用和有意义的卷积描述符。之后，构建一个四流Mask-CNN模型，用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比，所提出的Mask-CNN模型具有最少的参数数量，最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
Patch Reordering: a Novel Way to Achieve Rotation and Translation Invariance in Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；University of Technology Sydney（悉尼科技大学）
卷积神经网络（CNN）在许多视觉识别任务中表现出了最先进的性能。然而，卷积和池化操作的组合仅对输入中有意义的对象中的小的局部位置变化示出不变性。有时，这种网络使用数据增强来训练，以将这种不变性编码到参数中，这限制了模型学习这些对象内容的能力。更有效地使用参数预算是将旋转或平移不变性编码到模型架构中，这使模型无需学习它们。为了使模型能够专注于学习对象的内容而不是它们的位置，我们建议在将它们馈送到下一层之前对特征图进行补丁排名。当补丁排名与卷积和池化操作相结合时，尽管输入中有意义的对象的位置，我们还是获得了一致的表示。我们表明，补丁排名模块提高了CNN在许多基准任务，包括MNIST数字识别，大规模图像识别和图像检索的性能。该代码可在https://github.com//jasonustc/caffe-multigpu/tree/TICNN上获得。
2019-11-28 cs.CV cs.LG eess.IV
Self-Supervised Learning for Fine-Grained Visual Categorization
自监督学习（SSL）的最新研究表明，它能够从图像中学习有用的语义表示，用于分类任务。通过我们的工作，我们研究了SSL的细粒度视觉分类（FGVC）的有用性。FGVC的目的是在一个总的类别中区分视觉上相似的子类别的对象。数据集内的小类间变化，但大类内变化使其成为一项具有挑战性的任务。这种细粒度数据的注释标签的有限可用性鼓励了对SSL的需求，其中额外的监督可以促进学习，而无需额外的注释成本。我们的基线通过在训练期间利用随机裁剪增强和在测试期间利用中心裁剪增强，在CUB-200-2011数据集上实现了$86.36\%$ top-1分类精度。在这项工作中，我们探讨了各种借口任务的有用性，特别是旋转，借口不变的表示学习（PIRL），解构和构造学习（DCL）FGVC。旋转作为辅助任务，促进模型学习全局特征，并将其从关注细微细节转移。使用拼图补丁的PIRL试图专注于有区别的局部区域，但很难准确地定位它们。DCL有助于学习局部区分特征，并通过实现$87.41\%$ top-1准确度而优于基线。解构学习迫使模型专注于局部对象部分，而重构学习有助于学习部分之间的相关性。我们进行了大量的实验来解释我们的发现。我们的代码可在https://github.com/mmaaz60/ssl_for_fgvc上获得。
2021-05-18 cs.CV
Griffon: Spelling out All Object Locations at Any Granularity with Large Language Models
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peng Cheng Laboratory（鹏城实验室）；Wuhan AI Research（武汉人工智能研究院）
本研究针对大视觉语言模型定位能力受限的问题，挖掘其基础物体感知潜力，提出语言提示定位数据集与纯LVLM基线模型Griffon，在多个定位、检测基准上取得优异性能。
2024-10-08 cs.AI cs.CV
EnGraf-Net: Multiple Granularity Branch Network with Fine-Coarse Graft Grained for Classification Task
INAF–Astronomical Observatory of Padua（意大利帕多瓦天文台）；Department of Theoretical and Applied Sciences University of Insubria（因斯布里亚大学理论与应用科学系）
EnGraf-Net利用层次化语义关联作为监督信号，通过细-粗嫁接多粒度分支网络实现细粒度分类，在三个基准数据集上超越现有方法，无需裁剪或手动标注。
2025-09-25 cs.AI cs.CV
Few-Shot Font Generation by Learning Fine-Grained Local Styles
Baidu Inc.（百度公司）；University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）
Few-Shot字体生成（FFG），其目的是生成一个新的字体与几个例子，正在获得越来越多的关注，由于劳动力成本的显着降低。典型的FFG管道将标准字体库中的字符视为内容字形，并通过从参考字形中提取样式信息将它们传输到新的目标字体。大多数现有的解决方案显式地在全局或组件上分离引用标志符号的内容和样式。但是，字形的风格主要体现在局部细节上，部首、部件、笔画的风格共同构成了字形的风格。因此，即使是单个字符也可以包含分布在空间位置上的不同样式。在本文中，我们提出了一种新的字体生成方法，通过学习1）细粒度的本地风格的参考，和2）的内容和参考字形之间的空间对应关系。因此，可以为内容窗格中的每个空间位置分配正确的细粒度样式。为此，我们采用交叉关注的表示的内容字形作为查询和表示的参考字形作为键和值。交叉注意力机制可以关注参考字形中的正确的局部样式，并将参考样式聚合到给定内容字形的细粒度样式表示中，而不是显式地解开全局或组件式建模。实验结果表明，该方法在FFG中的性能优于现有的方法。特别是，用户研究还表明，我们的方法的风格一致性显着优于以前的方法。
2022-09-01 cs.CV cs.GR
Generating Attention from Classifier Activations for Fine-grained Recognition
Fujitsu Research & Development Center（富士通研究开发中心）
细粒度识别的最新进展利用注意力地图来定位感兴趣的对象。虽然有很多方法可以生成注意力地图，但大多数都依赖于复杂的损失函数或复杂的训练过程。在这项工作中，我们提出了一个简单而直接的注意力生成模型的基础上输出激活的分类器。我们的模型的优点是，它可以很容易地用图像级标签和softmax损失函数进行训练。更具体地，首先采用多个线性局部分类器在高级CNN特征图的每个位置处执行细粒度分类。通过聚合和最大池化输出激活来生成注意力地图。然后将注意力图作为替代目标对象掩码来训练这些局部分类器，类似于用于语义分割的训练模型。我们的模型在三个经过严格基准测试的数据集上取得了最先进的结果，即CUB-200-2011数据集上的87.9%、斯坦福汽车数据集上的94.1%和FGVC-Aircraft数据集上的92.1%，证明了其在细粒度识别任务上的有效性。
2018-11-27 cs.CV
Weakly Supervised Bilinear Attention Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
对于细粒度的视觉分类，对象通常具有相似的几何结构，但呈现不同的局部外观和不同的姿态。因此，定位和提取区分性的局部特征在准确的类别预测中起着至关重要的作用。现有的工作要么关注有限的对象部分，要么训练孤立的网络进行定位和分类。在本文中，我们提出了弱监督双线性注意力网络（WS-BAN）来解决这些问题。该算法通过联合生成一组注意力图（region-of-interest maps）来表示物体各部分的位置，并通过双线性注意力池（BAP）提取连续的部分特征。此外，我们提出了注意正则化和注意丢弃来弱监督注意图的生成过程。WS-BAN可以进行端到端的训练，并在多个细粒度分类数据集上实现了最先进的性能，包括CUB-200-2011，Stanford Car和FGVC-Aircraft，这证明了它的有效性。
2019-02-28 cs.CV
Evaluating Automated Radiology Report Quality through Fine-Grained Phrasal Grounding of Clinical Findings
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Massachusetts General Hospital, Harvard Medical School（马萨诸塞总医院，哈佛医学院）；IBM Research（IBM研究院）
本文提出一种结合细粒度临床发现提取与图像短语接地的新评估方法，用于自动评估胸部X光报告质量，并在MIMIC数据集上验证了其鲁棒性和对事实错误的敏感性。
2025-05-22 cs.AI cs.CL cs.CV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China（信息科学与工程学院，中国海洋大学）
本文提出LoDisc，一种自监督全局-局部对比学习框架，通过局部判别前置任务增强细粒度特征，提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
Evaluating Robustness to Context-Sensitive Feature Perturbations of Different Granularities
University of Oxford（牛津大学）
我们不能保证训练数据集代表部署期间将遇到的输入分布。因此，我们必须有信心，我们的模型不会过度依赖于这个假设。为此，我们引入了一种新的方法，识别上下文敏感的特征扰动（例如形状，位置，纹理，颜色）的图像分类器的输入。我们通过对经过训练的生成神经网络的不同层的激活值进行小的调整来产生这些变化。在生成器中较早的层上进行扰动会导致粗粒度特征的变化;进一步的扰动会导致细粒度的变化。不出所料，我们发现最先进的分类器对任何此类变化都不鲁棒。更令人惊讶的是，当涉及到粗粒度特征变化时，我们发现针对像素空间扰动的对抗性训练不仅没有帮助：而且适得其反。
2020-10-23 cs.CV cs.LG
Fine-grained Vibration Based Sensing Using a Smartphone
Michigan State University（密歇根州立大学）
基于表面的振动特征识别表面是有用的，因为它可以在不需要任何附加硬件（例如近场通信（NFC）标签）的情况下实现对不同位置的标记。然而，先前的基于振动的表面识别方案要么使用定制硬件来创建和感测振动，这使得它们难以采用，要么使用商业现货（COTS）智能手机中的惯性（IMU）传感器来感测由于振动而产生的移动，这使得它们由于IMU传感器的低采样率而变得粗粒度。基于主流COTS智能手机的方案也容易受到智能手机振动机制中基于固有硬件的不规则性的影响。此外，使用麦克风来感测振动的现有方案易于受到短期和恒定的背景噪声（例如，间歇性谈话、排气扇等）的影响。因为麦克风不仅捕获由振动产生的声音，而且还捕获存在于环境中的其它干扰声音。在本文中，我们提出了VibroTag，一个强大的和实用的基于振动的传感方案，与智能手机具有不同的硬件，可以提取不同表面的细粒度的振动特征，是鲁棒的环境噪声和基于硬件的不规则性。我们在两款不同的Android手机上实现了VibroTag，并在多个不同的环境中进行了评估，我们连续5到20天从4个人那里收集数据。我们的研究结果表明，VibroTag在识别24个不同位置/表面时达到了86.55%的平均准确率，即使其中一些表面是由类似的材料制成的。VibroTag的准确度比最先进的基于IMU的方案之一所实现的平均准确度49.25%高出37%，我们实施了该方案以与VibroTag进行比较。
2020-08-27 cs.CV cs.HC eess.SP
Hand Guided High Resolution Feature Enhancement for Fine-Grained Atomic Action Segmentation within Complex Human Assemblies
Newcastle University（纽卡斯尔大学）；Tharsus Ltd.（塔苏斯有限公司）
由于复杂的人类组装原子动作的快速时间和细粒度性质，需要对视频帧进行空间（并且通常是时间）下采样的传统动作分割方法通常会丢失制造领域内准确分类所需的重要细粒度空间和时间信息。为了充分利用更高分辨率的视频数据（通常在制造领域内收集），并促进实时的准确的动作分割-人类机器人协作所需的-我们提出了一种新的手位置引导的高分辨率特征增强模型。我们还提出了一种简单而有效的方法，通过在训练时使用环绕采样和在推理时使用时间感知标签清理，将离线训练的动作识别模型部署为实时的动作分割。我们评估我们的模型上的一个新的动作分割数据集，包含24（+背景）原子动作从视频数据的真实世界的机器人装配生产线。显示高分辨率的手功能以及传统的帧宽功能，提高了细粒度的原子动作分类，虽然时间感知标签清除我们的模型是能够超越类似的编码器/解码器的方法，同时允许实时的分类。
2022-11-24 cs.CV
LR-FPN: Enhancing Remote Sensing Object Detection with Location Refined Feature Pyramid Network
Shandong University（山东大学）；South China Normal University（华南师范大学）；China Telecom Corporation Limited（中国电信股份有限公司）；Nanjing University of Science and Technology（南京理工大学）；Tencent AI Lab（腾讯AI实验室）
本文提出LR-FPN，通过浅层位置信息提取模块和上下文交互模块增强遥感目标检测中的位置信息与细粒度上下文交互，在DOTAV1.0和HRSC2016上取得领先性能。
2024-04-02 cs.CV
Spatially-Preserving Flattening for Location-Aware Classification of Findings in Chest X-Rays
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；IBM Almaden Research Center（IBM阿尔马登研究中心）
近年来，由于大型标记数据集的可用性，胸部X射线已经成为深度学习研究的重点。虽然现在可以对异常发现进行分类，但确保它们正确定位仍然具有挑战性，因为这需要识别解剖区域内的异常。用于细粒度异常分类的现有深度学习网络使用在分类之前的平坦化步骤期间丢失位置和空间邻接信息的架构来学习特定于位置的发现。在本文中，我们提出了一种新的空间保持深度学习网络，它通过在扁平化过程中自动编码特征图来保持位置和形状信息。然后，以端到端的方式训练特征图、自动编码器和分类器，以实现对胸部X射线中的发现的位置感知分类。结果显示在大型多医院胸部X射线数据集上，表明发现分类的质量比最先进的方法有显着提高。
2022-04-19 cs.AI cs.CV eess.IV
