Fine-Grained Open-Vocabulary Object Detection with Fined-Grained Prompts: Task, Dataset and Benchmark
department of software engineering, Northeastern University, China(软件工程系,东北大学,中国)
本文提出3F-OVD任务,扩展细粒度监督目标检测至开放词汇场景,引入NEU-171K数据集,并提出简单有效的后处理技术。
2026-06-24 cs.CV
Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
Huazhong University of Science and Technology(华中科技大学)
细粒度的视觉识别是具有挑战性的,因为它高度依赖于各种语义部分的建模和细粒度的特征学习。基于双线性池的模型已被证明是有效的细粒度识别,而大多数以前的方法忽略了一个事实,即层间部分特征交互和细粒度特征学习是相互关联的,可以相互加强。在本文中,我们提出了一个新的模型来解决这些问题。首先,提出了一种跨层双线性池方法来捕获层间的零件特征关系,与其他基于双线性池的方法相比,该方法具有更好的性能。其次,我们提出了一种新的分层双线性池框架,集成多个跨层双线性特征,以提高其表示能力。我们的公式是直观的,有效的,并实现了最先进的结果,广泛使用的细粒度识别数据集。
2018-07-26 cs.CV
Fine-Grained Classification of Pedestrians in Video: Benchmark and State of the Art
California Institute of Technology(加州理工学院)
介绍了一种用于研究行人细粒度分类的视频数据集。行人是从一辆行驶的车辆上“在野外”记录下来的。注释包括边界框、轨迹、带有遮挡信息的14个关键点以及年龄(5类)、性别(2类)、体重(3类)和服装风格(4类)的细粒度类别。总共有27,454个限界框和姿势标签跨越4222个轨迹。该数据集旨在训练和测试用于细粒度分类的人的算法,它也可用于基准跟踪,检测和行人的姿态估计。国家的最先进的细粒度分类和姿态估计算法进行了测试,使用的数据集和报告的结果作为一个有用的性能基线。
2016-05-20 cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University(印第安纳大学);Fudan University(复旦大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题,可以应用现成的图像生成器来合成额外的训练图像,但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架,将生成的图像与原始图像相结合,从而得到的“混合”训练图像可以改善一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练,我们的实验表明,在单次细粒度图像分类基准测试中,与基线相比,该模型具有一致的改进。
2019-11-17 cs.CV
Convolutional Low-Resolution Fine-Grained Classification
成功的细粒度图像分类方法学习视觉相似(子)类之间的细微细节,但如果由于低分辨率而丢失细节,则问题变得更具挑战性。受最近卷积神经网络(CNN)架构在图像分类中的成功鼓舞,我们提出了一种新的分辨率感知深度模型,该模型以端到端的方式将卷积图像超分辨率和卷积细粒度分类结合到单个模型中。在Stanford Cars和Caltech-UCSD Birds 200 - 2011基准上进行的大量实验表明,该模型在对低分辨率图像中的细粒度对象类进行分类方面始终优于传统的卷积网络。
2017-10-16 cs.CV
Adversarial Learning for Fine-grained Image Search
University of Washington(华盛顿大学);eBay Inc.(eBay公司)
细粒度的图像搜索仍然是一个具有挑战性的问题,由于在捕捉细微的差异,无论姿态变化的对象从细粒度的类别。在实践中,具有新的细粒度类别的动态库存为这一挑战增加了另一个维度。在这项工作中,我们提出了一个端到端的网络,称为FGGAN,通过隐式地学习从多视图图像的几何变换来学习区分表示,以进行细粒度图像搜索。我们集成了一个生成对抗网络(GAN),它可以自动处理复杂的视图和姿势变化,通过将它们转换为规范视图,而无需任何预定义的转换。此外,在开集场景中,我们的网络能够更好地匹配来自不可见和未知细粒度类别的图像。在两个公共数据集和一个新收集的数据集上进行的广泛实验表明,所提出的FGGAN在闭集和开集场景中都具有出色的鲁棒性能,与基线相比,相对提高了10%。
2018-07-06 cs.CV
Compare More Nuanced:Pairwise Alignment Bilinear Network For Few-shot Fine-grained Learning
University of Technology Sydney(悉尼科技大学)
人类的认知能力是逐步发展的。通常,孩子们在有限的监督下学会区分从粗到细的各种物体。受这种学习过程的启发,我们提出了一个简单而有效的模型,用于Few-Shot Fine-Grained(FSFG)识别,试图利用元学习来解决具有挑战性的细粒度识别任务。所提出的方法,称为成对对齐双线性网络(PABN),是一个端到端的深度神经网络。与传统的用于细粒度分类的深度双线性网络不同,该网络采用自双线性池来捕获图像的细微特征,该模型使用一种新的成对双线性池来比较基础图像和查询图像之间的细微差异,以学习深度距离度量。为了匹配基本图像特征与查询图像特征,我们在提出的成对双线性池之前设计了特征对齐损失。在四个细粒度分类数据集和一个通用的Few-Shot数据集上的实验结果表明,该模型的性能优于现有的Few-Shot细粒度方法和一般的Few-Shot方法.
2019-04-11 cs.CV
FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究所)
本文提出FIKA-Bench,一个包含311个公开来源和现实实例的细粒度知识获取基准,通过过滤和审计确保实例质量,评估最新多模态模型和代理发现细粒度识别任务仍具挑战性,需改进代理设计以提升知识获取能力。
2026-05-19 cs.CV
Grafit: Learning fine-grained image representations with coarse labels
Facebook AI Research(Facebook人工智能研究院);Sorbonne University(索邦大学)
本文解决了学习比训练标签提供的表示更精细的表示的问题。这使得细粒度的类别检索的图像在一个集合中标注粗糙的标签。我们的网络是用最近邻分类器目标和受自监督学习启发的实例丢失来学习的。通过联合利用粗标签和底层的细粒度潜在空间,它显着提高了类别级检索方法的准确性。我们的策略优于所有竞争的方法检索或分类图像在一个更细的粒度比在训练时间。它还提高了迁移学习任务到细粒度数据集的准确性,从而在iNaturalist-2018等五个公共基准上建立了最新的技术水平。
2020-11-25 cs.CV
FITA: Fine-grained Image-Text Aligner for Radiology Report Generation
The Hong Kong University of Science and Technology(香港科技大学)
本文提出FITA方法,通过图像特征细化器、文本特征细化器和对比对齐器实现放射学图像与文本的细粒度对齐,并在基准上超越现有方法。
2024-05-02 cs.CV
FG-SGL: Fine-Grained Semantic Guidance Learning via Motion Process Decomposition for Micro-Gesture Recognition
Nanjing University of Posts and Telecommunications(南京邮电大学);University of Oulu(奥卢大学)
本文提出FG-SGL框架,通过整合细粒度和类别级语义引导视觉-语言模型感知局部微手势运动,利用细粒度文本数据和多级对比优化策略提升微手势识别性能。
2026-03-17 cs.CV
Part-based R-CNNs for Fine-grained Category Detection
University of California, Berkeley(加州大学伯克利分校)
语义部分本地化可以通过显式隔离与特定对象部分相关联的细微外观差异来促进细粒度分类。已经提出了用于姿势归一化表示的方法,但是由于目标检测的困难,通常在测试时假定限界框注释。我们提出了一个细粒度分类模型,通过利用自下而上区域建议计算的深度卷积特征来克服这些限制。我们的方法学习整个对象和部分检测器,在它们之间强制执行学习的几何约束,并从姿势规范化表示中预测细粒度的类别。加州理工大学-加州大学圣地亚哥分校的鸟类数据集上的实验证实,我们的方法优于国家的最先进的细粒度分类方法在端到端的评估,而不需要在测试时的限界框。
2014-07-15 cs.CV
Progressively Exploring and Exploiting Inference Data to Break Fine-Grained Classification Barrier
School of Software, Shandong University(软件学院,山东大学)
本文提出了一种新的学习范式,通过逐步探索和利用推理数据,突破细粒度分类的瓶颈,提升模型对动态语义变化的适应能力。
2026-03-02 cs.CV
FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);SenseTime Research(商汤科技研究院)
针对文本驱动运动生成中细粒度控制不足的问题,提出基于扩散模型与时空混合注意力(SAMI)的FineMoGen框架,实现高质量细粒度运动生成与零样本编辑,并构建了HuMMan-MoGen数据集。
2023-12-22 cs.CV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China(信息科学与工程学院,中国海洋大学)
本文提出LoDisc,一种自监督全局-局部对比学习框架,通过局部判别前置任务增强细粒度特征,提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
FineParser: A Fine-grained Spatio-temporal Action Parser for Human-centric Action Quality Assessment
School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对现有动作质量评估方法缺乏细粒度动作理解、可信度与可解释性不足的问题,提出细粒度时空动作解析器FineParser,同时构建FineDiving-HM细粒度标注数据集,实验证明其性能优于SOTA方法且支持更多细粒度动作理解任务。
2024-05-11 cs.CV
Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
遥感图像中的定向目标检测近年来取得了很大的进展。然而,目前的方法大多只关注于目标检测,不能很好地区分复杂场景中的细粒度目标。在这份技术报告中,我们分析了细粒度目标识别的关键问题,并使用一个有向特征对齐网络(OFA-Net)来实现高性能的光学遥感图像中的细粒度有向目标识别。OFA-Net通过旋转边界框细化模块实现精确的对象定位。在此基础上,应用边界约束旋转特征对齐模块实现局部特征提取,有利于细粒度的目标分类。该方法的单模型在高分竞赛中获得了46.51%的mAP,在ISPRS基准测试中获得了43.73%的mAP,获得了第3名。
2021-10-13 cs.CV
Towards Privacy-Preserving Fine-Grained Visual Classification via Hierarchical Learning from Label Proportions
PRIS, Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
针对隐私敏感场景下细粒度视觉分类依赖实例标签的问题,提出LHFGLP框架,利用标签比例学习范式并结合分层稀疏字典学习与分层比例损失,在三个数据集上显著提升了分类性能。
2025-05-29 cs.CV
BEAR: A Video Dataset For Fine-grained Behaviors Recognition Oriented with Action and Environment Factors
Shanghai Jiao Tong University(上海交通大学)
针对现有细粒度行为识别评估不公的问题,本文提出新数据集BEAR,聚焦环境与动作两大因素,并实验探索输入模态影响,为后续研究提供重要见解。
2025-03-26 cs.CV
Semantic Bilinear Pooling for Fine-Grained Recognition
University of Science and Technology Beijing(北京科技大学)
当然,细粒度识别,例如,车辆识别或鸟类分类具有特定的层次标签,其中细类别总是比粗类别更难分类。然而,大多数最近的基于深度学习的方法忽略了细粒度对象的语义结构,并且没有利用传统的细粒度识别技术(例如,从粗到细的分类)。在本文中,我们提出了一个新的框架与两个分支网络(粗分支和细分支),即,语义双线性池,用于使用分层标签树进行细粒度识别。该框架可以自适应地从层次结构中学习语义信息。具体而言,我们设计了一个广义交叉熵损失的训练所提出的框架,充分利用语义先验,通过考虑相邻水平之间的相关性,扩大不同的粗类样本之间的距离。此外,我们的方法在测试时只利用精细分支,因此不会增加测试时间的开销。实验结果表明,我们提出的方法在四个公共数据集上达到了最先进的性能。
2021-11-25 cs.CV
The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition
Stanford University(斯坦福大学);Zoox;Google(谷歌)
目前的细粒度识别方法如下:首先,招募专家来注释图像数据集,还可以选择以零件注释和边界框的形式收集更多的结构化数据。其次,利用这些数据训练模型。为了解决细粒度识别的目标,我们引入了一种替代方法,利用来自网络的免费噪声数据和简单通用的识别方法。这种方法在性能和可伸缩性方面都有好处。我们在四个细粒度数据集上证明了它的有效性,大大超过了现有的技术水平,甚至没有手动收集一个标签,并且还显示了扩展到10,000多个细粒度类别的第一个结果。量化,我们在CUB-200-2011上达到了92.3%的前1准确率,在Birdsnap上达到了85.4%,在FGVC-Aircraft上达到了93.4%,在Stanford Dogs上达到了80.8%,而没有使用他们的注释训练集。我们将我们的方法与扩展细粒度数据集的主动学习方法进行比较。
2016-10-18 cs.CV
Fine-Grained Self-Supervised Learning with Jigsaw Puzzles for Medical Image Classification
Ajou University(亚洲大学)
本文提出细粒度自监督学习方法FG-SSL,通过分层块和拼图任务学习医学图像中的细微病变特征,无需非对称模型和负采样,在ISIC2018、APTOS2019和ISIC2017数据集上取得优于现有方法的分类性能。
2023-08-10 cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University(南京大学)
细粒度图像识别是一个具有挑战性的计算机视觉问题,这是由于高度相似的从属类别引起的小的类间变化,以及姿态、尺度和旋转的大的类内变化。在本文中,我们提出了一种新的端到端Mask-CNN模型,没有完全连接的层,用于细粒度识别。基于细粒度图像的部分注释,所提出的模型由一个完全卷积的网络组成,以定位有区别的部分(例如,头部和躯干),更重要的是,生成对象/部分掩模,用于选择有用和有意义的卷积描述符。之后,构建一个四流Mask-CNN模型,用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比,所提出的Mask-CNN模型具有最少的参数数量,最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems(Cortexica视觉系统公司)
DeepFashion是一个广泛使用的服装数据集,包含50个类别和超过20万张图像,其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别,虽然它提供了全面的注释,但属性分布不平衡且重复,特别是对于训练细粒度属性识别模型。在这项工作中,我们通过分别关注每个类别,为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后,我们删除非常稀缺的属性并合并每个类别中的重复属性,然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别,并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning
State Key Laboratory of Virtual Reality Technology and System, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室)
细粒度的动作识别正吸引越来越多的关注,由于在现实世界中的应用程序中的特定动作理解的新兴需求,而罕见的细粒度类别的数据是非常有限的。因此,我们提出了Few-Shot细粒度动作识别问题,旨在识别新的细粒度动作,只有很少的样本,为每个类。虽然已经取得了进展,在粗粒度的行动,现有的Few-Shot识别方法遇到两个问题处理细粒度的行动:无法捕捉微妙的行动细节和学习的不足,从数据与低类间方差。为了解决第一个问题,人类视觉启发的双向注意模块(BAM)的建议。BAM将自上而下的任务驱动信号与自下而上的显着刺激相结合,通过准确突出信息丰富的时空区域来捕捉微妙的动作细节。为了解决第二个问题,我们引入了对比元学习(CML)。与广泛采用的基于ProtoNet的方法相比,CML对低类间方差数据生成更具鉴别力的视频表示,因为它充分利用了每个训练片段中的潜在对比对。此外,为了公平地比较不同的模型,我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量的实验表明,我们的方法在评估的任务中始终达到最先进的性能。
2021-08-15 cs.CV
Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval
Nanjing University(南京大学)
为ImageNet分类任务预训练的深度卷积神经网络模型已成功应用于其他领域的任务,例如纹理描述和对象建议生成,但这些任务需要对新领域中的图像进行注释。在本文中,我们专注于一个新的和具有挑战性的任务,在纯无监督设置:细粒度的图像检索。即使有图像标签,细粒度的图像也很难分类,更不用说无监督检索任务了。我们提出了选择性卷积描述符聚合(SCDA)方法。SCDA首先在细粒度图像中定位主要对象,这一步骤丢弃了噪声背景并保留了有用的深度描述符。然后使用我们发现的最佳实践将所选描述符聚合并降维为短特征向量。SCDA是无监督的,不使用图像标签或限界框注释。在六个细粒度数据集上的实验证实了SCDA在细粒度图像检索中的有效性。此外,可视化的SCDA功能表明,他们对应的视觉属性(即使是微妙的),这可能解释SCDA的高平均精度在细粒度检索。此外,在一般的图像检索数据集,SCDA实现了可比的检索结果与国家的最先进的一般图像检索方法。
2017-07-13 cs.CV
Fully Convolutional Attention Networks for Fine-Grained Recognition
Baidu Research(百度研究院)
细粒度识别是具有挑战性的,因为它的微妙的局部类间差异与大的类内变化,如姿势。解决这一问题的关键是对区分性部分进行局部化,以提取姿态不变特征。然而,获得地面实况零件注释可能是昂贵的。此外,很难为许多细粒度的类定义部件。这项工作介绍了全卷积注意力网络(FCANs),一个强化学习框架,以最佳的局部判别区域适应不同的细粒度域。与以前的方法相比,我们的方法具有三个优点:1)弱监督强化学习过程不需要昂贵的部分注释; 2)全卷积架构加速了训练和测试; 3)贪婪奖励策略加速了学习的收敛。我们证明了我们的方法的有效性与广泛的实验上四个具有挑战性的细粒度基准数据集,包括CUB-200-2011,斯坦福狗,斯坦福汽车和食品-101。
2017-03-21 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学);Indiana University(印第安纳大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题,基于生成对抗网络(GANs)的现成图像生成技术可以创建额外的训练图像。然而,这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中,我们提出了一个元学习框架,将生成的图像与原始图像相结合,从而使生成的“混合”训练图像改善了一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。我们的实验表明,一致的改善基线上一杆细粒度图像分类基准。此外,我们的分析表明,与原始图像和GAN生成的图像相比,增强图像具有更大的多样性。
2022-04-22 cs.CV
Establishing baselines and introducing TernaryMixOE for fine-grained out-of-distribution detection
Air Force Research Lab(美国空军研究实验室)
本文提出了一个理解细粒度与粗粒度OOD检测的新理论框架,将细粒度分类重构为三部分问题,并引入了新的基线任务、评估方法和损失函数以提升模型性能。
2023-03-30 cs.CV
Fine-grained pose prediction, normalization, and recognition
姿态变化和外观上的细微差异是细粒度分类的关键挑战。虽然深度网络显着改善了一般识别,但许多细粒度识别方法依赖于将网络锚定到零件以提高准确性。识别零件以找到对应折扣构成变化,以便可以根据外观调整特征。为此,以前的方法已经研究了如何找到零件和提取姿势规范化的功能。这些方法通常将细粒度识别分为几个阶段,首先使用手工设计和粗定位的建议特征定位零件,然后分别学习以推断的零件位置为中心的深度描述符。我们将这些步骤统一到一个由关键点位置和类标签监督的端到端可训练网络中,该网络通过完全卷积网络定位零件,以集中学习细粒度分类任务的特征表示。在流行的CUB200数据集上的实验表明,我们的方法是最先进的,并建议继续发挥强监管的作用。
2015-11-22 cs.CV
FG$^2$: Fine-Grained Cross-View Localization by Fine-Grained Feature Matching
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本研究提出FG²细粒度跨视图定位方法,通过特征映射、高度维度选择池化生成BEV平面,结合点匹配与Procrustes对齐估计3自由度位姿,在VIGOR数据集上较SOTA降低28%平均定位误差。
2025-03-24 cs.CV
3D Pose Estimation for Fine-Grained Object Categories
University of Maryland, College Park(马里兰大学帕克分校);Baidu, Inc.(百度公司)
现有的对象姿态估计数据集与通用对象类型相关,并且到目前为止还没有用于细粒度对象类别的数据集。在这项工作中,我们引入了一个新的大型数据集基准姿态估计细粒度的对象,由于最近的二维和三维细粒度数据的可用性。具体来说,我们通过为每个子类别找到细粒度的3D CAD模型并使用3D姿态手动注释图像中的每个对象来增强两个流行的细粒度识别数据集(StanfordCars和CompCars)。我们表明,有足够的训练数据,一个完整的透视模型与连续的参数可以估计单独使用2D外观信息。我们通过基于Faster/Mask R-CNN的框架来实现这一点。这超越了以前的工作类别级姿态估计,仅估计离散/连续的视角角度或恢复旋转矩阵往往与关键点的帮助。此外,随着细粒度的3D模型可用,我们将一个密集的3D表示命名为位置字段到基于CNN的姿态估计框架,以进一步提高性能。新数据集可在www.umiacs.umd.edu/~wym/3dpose.html上获得
2018-11-07 cs.CV
Simultaneous Region Localization and Hash Coding for Fine-grained Image Retrieval
Sun Yat-Sen University(中山大学)
细粒度图像散列算法由于其区分区域定位和散列代码生成的困难而成为一个具有挑战性的问题。大多数现有的深度哈希方法独立地解决这两个任务。而这两项任务是相互关联的,可以相互加强。在本文中,我们提出了一种深度细粒度哈希,同时本地化的判别区域,并产生有效的二进制代码。该方法由区域定位模块和哈希编码模块组成。区域定位模块旨在向散列编码模块提供信息区域。哈希编码模块的目的是生成有效的二进制代码,并为学习更好的定位器提供反馈。此外,为了更好地捕捉细微差异,在不需要边界框/部分注释的情况下学习不同层的多尺度区域。在两个公开的基准细粒度数据集上进行了大量的实验。结果表明,我们的方法相对于其他细粒度哈希算法的性能显着改善。
2019-11-19 cs.CV
Fine-Grained 3D Shape Classification with Hierarchical Part-View Attentions
Tsinghua University(清华大学);University of Maryland, College Park(马里兰大学帕克分校)
细粒度三维形状分类对于形状理解和分析具有重要意义,是一个具有挑战性的研究课题。然而,由于缺乏细粒度的三维形状基准,细粒度的三维形状分类的研究很少被探索。为了解决这个问题,我们首先引入了一个新的3D形状数据集(名为FG 3D数据集),该数据集具有细粒度的类标签,包括飞机,汽车和椅子三个类别。每个类别都由细粒度级别的几个子类别组成。根据我们在这个细粒度数据集下的实验,我们发现最先进的方法受到同一类别中子类别之间的小方差的限制。为了解决这个问题,我们进一步提出了一种新的细粒度的三维形状分类方法FG 3D-Net捕获细粒度的局部细节的三维形状从多个渲染视图。具体地说,我们首先训练一个区域建议网络(RPN),在一般语义部分检测的基准下检测多个视图中的一般语义部分。然后,我们设计了一个层次化的零件视图注意力聚合模块,通过聚合一般语义的零件特征来学习全局形状表示,从而保留了3D形状的局部细节。部分视图注意模块分层利用部分级和视图级的注意力,以增加我们的功能的可辨别性。部分级注意突出每个视图中的重要部分,而视图级注意突出同一对象的所有视图中的区别性视图。此外,我们还集成了一个递归神经网络(RNN)来捕获来自不同视点的序列视图之间的空间关系。在细粒度的3D形状数据集上的实验结果表明,该方法优于其他最先进的方法。
2020-12-28 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University(印第安纳大学)
在本文中,我们介绍了一个具有挑战性的新数据集,MLB-YouTube,专为细粒度活动检测而设计。该数据集包含两个设置:分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构,通过分类分割的视频和扩展这些方法,以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现,学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Joint Learning On The Hierarchy Representation for Fine-Grained Human Action Recognition
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
细粒度人体动作识别是计算机视觉的核心研究课题。受FineGym和SlowFast网络中最近提出的用于动作识别的细粒度动作的层次表示的启发,我们提出了一种新的多任务网络,该网络利用FineGym层次表示来实现有效的联合学习和预测,用于细粒度的人类动作识别。多任务网络由三个路径的SlowOnly网络组成,其中事件、集合和细粒度动作元素的帧速率逐渐增加,然后是我们提出的用于联合学习和预测的集成层。它是一种两阶段的方法,首先在每个层次上学习深度特征表示,然后进行特征编码和融合以进行多任务学习。我们在FineGym数据集上的经验结果实现了最新的性能,元素操作的Top-1准确率为91.80%,平均准确率为88.46%,比之前的最佳结果高出3.40%和7.26%。
2021-10-12 cs.CV
Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models
Department of Computer Science(计算机科学系);Virginia Tech(弗吉尼亚理工大学)
本研究针对大型视觉语言模型在零样本细粒度图像分类任务中潜力未充分挖掘的问题,提出将任务转化为视觉问答框架并结合注意力干预技术的新方法,同时构建更精准的类别描述基准,实验证明该方法优于现有SOTA。
2025-10-04 cs.CV
Fine-Grained VR Sketching: Dataset and Insights
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(讯飞-萨里人工智能联合研究中心)
我们提出了第一个细粒度数据集的1,497个3D VR草图和3D形状对的椅子类别具有很大的形状多样性。我们的数据集支持草图社区最近的细粒度数据分析趋势,并将其扩展到积极发展的3D领域。我们主张最方便的素描方案,其中草图由稀疏的线条组成,不需要任何素描技巧,事先培训或耗时准确的绘图。然后,我们第一次研究了细粒度3D VR草图到3D形状检索的场景,作为一种新颖的VR草图应用程序和一个试验场,以推动通用的见解,为未来的研究提供信息。通过在这个新问题上仔细选择设计因素的组合进行实验,我们得出了重要的结论,以帮助后续工作。我们希望我们的数据集能够实现其他新的应用,特别是那些需要细粒度角度的应用,例如细粒度3D形状重建。该数据集可在tinyurl.com/VRSketch3DV21上获得。
2022-09-20 cs.CV
Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics
Peking University(北京大学);Renmin University of China(中国人民大学);Queen Mary University of London(伦敦玛丽女王大学)
细粒度图像分类的目标是区分具有细微差别的图像,这是一个具有挑战性的任务,由于两个主要问题:缺乏足够的训练数据的每一个类和难以学习的歧视性特征表示。在本文中,为了解决这两个问题,我们提出了一个两阶段的框架,识别图像从看不见的细粒度类,即zero-shot细粒度分类。在第一个特征学习阶段,我们使用细粒度类之间的层次语义结构来微调深度卷积神经网络,以提取有区别的深度视觉特征。同时,在深度卷积神经网络中引入领域自适应结构,以避免从训练数据到测试数据的域移位。在第二个标签推理阶段,语义有向图构造的细粒度类的属性。基于此图,我们开发了一个标签传播算法来推断未见过的类中的图像的标签。在两个基准数据集上的实验结果表明,我们的模型优于最先进的零样本学习模型。此外,我们的特征学习模型获得的特征也产生显着的收益时,他们被用于其他零样本学习模型,这表明我们的模型在zero-shot细粒度分类的灵活性。
2017-07-04 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
收集细粒度的标签通常需要专家级的领域知识,并且无法扩展。在本文中,我们提出了属性混合,数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的,并且可以无缝地在图像之间传递。为了实现这一目标,我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性,属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略,它可以在不增加推理预算的情况下显著提高识别性能。此外,由于属性可以在来自同一超类别的图像之间共享,因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Combining Discrepancy-Confusion Uncertainty and Calibration Diversity for Active Fine-Grained Image Classification
Jilin University(吉林大学)
研究针对细粒度图像分类中可靠评估样本信息难的问题,提出DECERN方法,结合差异-混淆不确定性和校准多样性来衡量样本信息,经加权聚类和校准多样性,提升主动学习性能。
2026-07-07 cs.CV
TOAN: Target-Oriented Alignment Network for Fine-Grained Image Categorization with Few Labeled Samples
University of Technology Sydney(悉尼科技大学);Shanghai University(上海大学);The University of Sydney(悉尼大学)
在标记样本较少的情况下,细粒度视觉分类中类内方差大而类间波动小的挑战更为严峻,本文研究了Few-Shot(FGFS)设置下的\textit{i.e.,}细粒度分类问题。高阶特征通常用于揭示FGFS中子类别之间的细微差异,但它们在处理高类内方差方面效果较差。在本文中,我们提出了一个面向目标的对齐网络(TOAN)调查目标查询图像和支持类之间的细粒度关系。每个支持图像的特征在嵌入特征空间中进行变换以匹配查询图像,这显式地减少了每个类别内的差异。此外,不同于现有的FGFS方法设计的高阶功能在全球图像的歧视性部分的不太明确的考虑,我们生成歧视性细粒度的功能,通过整合组成的概念表示全球二阶池。在四个细粒度基准上进行了大量的实验,以证明TOAN与最先进的模型相比的有效性。
2021-03-10 cs.CV
TokenFlow: Rethinking Fine-grained Cross-modal Alignment in Vision-Language Retrieval
Boston University(波士顿大学);Kuaishou Technology(快手科技)
视觉语言检索中的大多数现有方法通过比较它们的全局特征向量来匹配两种模态,这错过了足够的信息并且缺乏可解释性,检测图像或视频中的对象并将文本与依赖于复杂模型设计的细粒度特征对齐,或者通过对视觉和文本标记的交叉注意来建模细粒度交互,效率低下。为了解决这些局限性,最近的一些工作只是简单地聚合token-wise相似性,以实现细粒度的对齐,但他们缺乏直观的解释,以及忽视的token-level功能和全局表示与高层次的语义之间的关系。在这项工作中,我们重新考虑细粒度的跨模态对齐,并设计了一个新的模型无关的公式。我们还揭开了最近流行的作品,并将它们纳入我们的计划。此外,受最优传输理论的启发,我们引入了TokenFlow,该方案的一个实例。通过只修改相似性函数,我们的方法的性能是相媲美的SoTA算法与沉重的模型设计主要的视频文本检索基准。可视化进一步表明,TokenFlow成功地利用了细粒度信息,并实现了更好的可解释性。
2022-10-03 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University(南洋理工大学)
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小,因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率,我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架:1)用于学习潜在时间语义的基于视觉的编码器,以及2)多模态视频-文本交叉编码器,以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联,与CNN视觉模型相比,具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
Embedding Label Structures for Fine-Grained Feature Representation
UNC Charlotte(北卡罗来纳大学夏洛特分校);NEC Lab America(NEC美国实验室)
最近的卷积神经网络(CNN)算法大大推进了细粒度图像分类,其目的是区分从属类之间的细微差异。然而,以前的研究很少关注学习细粒度和结构化的特征表示,该特征表示能够在不同的相关性级别上定位相似的图像,例如,发现同一品牌或同一型号的汽车,这两者都需要很高的精度。在本文中,我们提出了两个主要的贡献来解决这个问题。1)设计了一个多任务学习框架,通过联合优化分类和相似性约束来有效地学习细粒度特征表示。2)为了对多级相关性进行建模,通过泛化三元组损失,将诸如层次或共享属性的标签结构无缝地嵌入到框架中。在三个细粒度数据集上进行了广泛而深入的实验,即,Stanford car、car-333和food数据集,这些数据集包含分层标签或共享属性。我们提出的方法已经实现了非常有竞争力的性能,即,最先进的分类准确率。更重要的是,它显着优于以前的细粒度特征表示的图像检索在不同级别的相关性。
2016-03-11 cs.CV
Specificity-aware reinforcement learning for fine-grained open-world classification
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出SpeciaRL框架,通过强化学习提升细粒度开放世界分类的准确性和特异性,优于现有方法。
2026-04-12 cs.CV
Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition
Singapore University of Technology and Design(新加坡科技设计大学);Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);ByteDance(字节跳动);Harbin Institute of Technology(哈尔滨工业大学)
细粒度动作识别的目标是成功区分具有细微差异的动作类别。为了解决这个问题,我们从人类视觉系统中获得灵感,该系统包含大脑中专门用于处理特定任务的专门区域。我们设计了一个新的动态时空专门化(DSTS)模块,它由专门的神经元,只激活的样本是高度相似的子集。在训练过程中,这种损失迫使专门的神经元学习有区别的细粒度差异,以区分这些相似的样本,从而提高细粒度识别。此外,时空特化方法进一步优化了特化神经元的架构,以捕获更多的空间或时间细粒度信息,从而更好地处理视频中的大范围时空变化。最后,我们设计了一个上下游学习算法来优化模型在训练过程中的动态决策,从而提高了DSTS模块的性能。我们在两个广泛使用的细粒度动作识别数据集上获得了最先进的性能。
2022-09-03 cs.CV
Learning Cross-Image Object Semantic Relation in Transformer for Few-Shot Fine-Grained Image Classification
Fudan University(复旦大学);Oracle Health and AI(甲骨文健康与人工智能部门);Shanghai AI Laboratory(上海人工智能实验室)
Few-Shot细粒度学习旨在将查询图像分类到具有细粒度差异的一组支持类别中的一个。虽然通过深度神经网络学习不同对象的局部差异已经取得了成功,但如何在基于transformer的架构中利用查询支持的跨图像对象语义关系,在Few-Shot细粒度场景中仍然探索不足。在这项工作中,我们提出了一个基于transformer的双螺旋模型,即HelixFormer,实现跨图像对象语义关系挖掘的双向和对称的方式。HelixFormer由两个步骤组成:1)跨不同分支的关系挖掘过程(RMP),以及2)每个分支内的表示增强过程(REP)。通过所设计的RMP,每个分支可以提取细粒度的对象级跨图像语义关系映射(CSRMs)从其他分支的信息,确保更好的跨图像的交互语义相关的局部对象区域。此外,在CSRMs的帮助下,开发的REP可以加强每个分支中发现的语义相关局部区域的提取特征,提高模型区分细粒度对象的细微特征差异的能力。在五个公开的细粒度基准上进行的大量实验表明,HelixFormer可以有效地增强跨图像对象语义关系匹配,以识别细粒度对象,在1-shot和5-shot场景下实现比大多数最先进的方法更好的性能。我们的代码可在:https://github.com/JiakangYuan/HelixFormer
2022-07-02 cs.CV
ExchNet: A Unified Hashing Network for Large-Scale Fine-Grained Image Retrieval
Graduate School of IPS, Waseda University(早稻田大学信息生产系统研究生院);Megvii Research Nanjing, Megvii Technology(旷视科技南京研究院)
从大规模细粒度数据集中检索内容相关图像可能会遇到难以忍受的缓慢查询速度和高度冗余的存储成本,这是由于高维实值嵌入的目的是区分细粒度对象的细微视觉差异。在本文中,我们研究了新的细粒度哈希主题,以生成细粒度图像的紧凑二进制代码,利用哈希学习的搜索和存储效率来缓解上述问题。具体来说,我们提出了一个统一的端到端的可训练网络,称为ExchNet。基于注意力机制和提出的注意力约束,该方法首先获得局部和全局特征,分别表示对象的局部和整体细粒度对象。此外,为了保证这些部分级特征在图像之间的区分能力和语义一致性,我们设计了一种局部特征对齐方法,通过执行特征交换操作。然后,采用另一种学习算法来优化整个ExchNet,然后生成最终的二进制哈希码。通过大量的实验验证,我们的建议始终优于国家的最先进的通用散列方法在五个细粒度的数据集,这表明我们的有效性。与其他近似最近邻算法相比,ExchNet算法实现了最佳的加速和存储缩减,体现了其高效性和实用性。
2020-08-04 cs.CV
Mining Discriminative Triplets of Patches for Fine-Grained Classification
University of Maryland, College Park(马里兰大学帕克分校);Comcast Labs DC(康卡斯特DC实验室)
细粒度分类涉及基于高度局部化区域中的细微差异来区分相似的子类别;因此,区分区域的准确定位仍然是一个重大挑战。我们描述了一个基于补丁的框架来解决这个问题。我们引入三元组的补丁几何约束,以提高补丁定位的准确性,并自动挖掘判别几何约束的三元组分类。所得到的方法只需要对象边界框。使用四个公开的细粒度数据集证明了它的有效性,在这些数据集上,它的性能优于或达到了与最先进的分类相当的性能。
2016-05-04 cs.CV
Geo-Aware Networks for Fine-Grained Recognition
Google Research(谷歌研究院)
细粒度识别通过细微的视觉差异来区分类别。为了区分这些具有挑战性的视觉类别,利用其他信息是有帮助的。地理位置是一个丰富的额外信息来源,可用于提高细粒度分类的准确性,但一直没有得到充分的研究。我们对这一领域的贡献是双重的。首先,据我们所知,这是第一篇论文,系统地研究了各种方法,将地理定位信息纳入细粒度的图像分类,通过使用地理定位先验,后处理或功能调制。其次,为了克服没有细粒度数据集具有完整地理位置信息的情况,我们通过为现有流行数据集提供补充信息来发布两个具有地理位置的细粒度数据集- iNaturalist和YFCC 100 M。通过利用地理位置信息,我们将iNaturalist中的top-1准确率从70.1%提高到79.0%,以获得强大的基线图像模型。比较几个模型,我们发现最好的性能是通过后处理模型实现的,该模型消耗了仅图像基线的输出以及地理位置。然而,对于资源受限的模型(MobileNetV 2),通过像素和地理位置联合训练的特征调制模型的性能更好:准确率从59.6%提高到72.2%。我们的工作为将地理位置信息纳入服务器和设备上的细粒度识别模型提供了有力的支持。
2019-09-04 cs.CV
Fine-grained CLIP fine-tuning with self-annotated region alignment
City University of Hong Kong(香港城市大学);Hong Kong University of Science & Technology(香港科技大学)
研究针对CLIP在细粒度表示上的局限,提出SFF-CLIP方法,仅用图像-文本对输入,通过运行时区域-短语对齐方案提升其细粒度表示能力,在相关任务中性能显著提升且维持原CLIP图像级任务表现。
2026-08-12 cs.CV
Fine-grained Semantic Constraint in Image Synthesis
Zhejiang University(浙江大学)
在本文中,我们提出了一个多阶段和高分辨率的图像合成模型,使用细粒度的属性和掩模作为输入。该模型具有细粒度的属性,通过属性中丰富而细粒度的语义信息对生成图像的特征进行详细的约束。以掩码为先验,对模型进行约束,使生成的图像符合视觉感受,从而降低了生成对抗网络生成样本的意外多样性。本文还提出了一种方案,以提高生成对抗网络,同时区分总的图像和图像的子区域。此外,我们还提出了一种优化数据集中标记属性的方法,减少了人工标记噪声。大量的定量结果表明,我们的图像合成模型生成更逼真的图像。
2021-01-12 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University(康奈尔大学)
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别(例如,鸟类)仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示:首先定位每个图像中的语义部分,然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类,我们表明,他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下,姿势归一化将浅层和深层架构的准确度提高了10到20个百分点,更好地推广到新领域,并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV