Weakly-Supervised Temporal Action Detection for Fine-Grained Videos with Hierarchical Atomic Actions
University of California, Berkeley(加州大学伯克利分校);Tencent America(美国腾讯公司);Pennsylvania State University(宾夕法尼亚州立大学)
动作理解已经发展到细粒度的时代,因为现实生活中大多数人类行为只有微小的差异。为了以标签有效的方式准确地检测这些细粒度动作,我们首次解决了视频中弱监督细粒度时间动作检测的问题。如果没有仔细的设计来捕捉细粒度动作之间的细微差异,以前用于一般动作检测的弱监督模型在细粒度设置中不能很好地执行。我们建议将动作建模为通过自监督聚类从数据中自动发现的可重用原子动作的组合,以捕获细粒度动作的共性和个性。由视觉概念表示的学习的原子动作被进一步映射到利用语义标签层次结构的精细和粗略动作标签。我们的方法构建了一个可视化的表示层次结构的四个级别:剪辑级,原子动作级,精细动作类级和粗糙的动作类级,在每个级别的监督。在两个大规模细粒度视频数据集FineAction和FineGym上进行的大量实验表明,我们提出的弱监督模型在细粒度动作检测方面具有优势,并取得了最先进的结果。
2022-07-24 cs.AI cs.CV
Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
Huazhong University of Science and Technology(华中科技大学)
细粒度的视觉识别是具有挑战性的,因为它高度依赖于各种语义部分的建模和细粒度的特征学习。基于双线性池的模型已被证明是有效的细粒度识别,而大多数以前的方法忽略了一个事实,即层间部分特征交互和细粒度特征学习是相互关联的,可以相互加强。在本文中,我们提出了一个新的模型来解决这些问题。首先,提出了一种跨层双线性池方法来捕获层间的零件特征关系,与其他基于双线性池的方法相比,该方法具有更好的性能。其次,我们提出了一种新的分层双线性池框架,集成多个跨层双线性特征,以提高其表示能力。我们的公式是直观的,有效的,并实现了最先进的结果,广泛使用的细粒度识别数据集。
2018-07-26 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems(Cortexica视觉系统公司)
DeepFashion是一个广泛使用的服装数据集,包含50个类别和超过20万张图像,其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别,虽然它提供了全面的注释,但属性分布不平衡且重复,特别是对于训练细粒度属性识别模型。在这项工作中,我们通过分别关注每个类别,为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后,我们删除非常稀缺的属性并合并每个类别中的重复属性,然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别,并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Bridging Coarse and Fine Recognition: A Hybrid Approach for Open-Ended Multi-Granularity Object Recognition in Interactive Educational Games
Intellifusion Inc.(Intellifusion公司)
本文提出HyMOR混合框架,结合MLLM和CLIP模型,解决开放多粒度物体识别中的粗粒与细粒任务差距问题,通过TBO数据集实验验证其在多模态内容生成和互动学习中的有效性。
2026-04-18 cs.AI cs.CV
Fine-grained Few-shot Recognition by Deep Object Parsing
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
我们提出了一种通过深度对象解析进行细粒度Few-Shot识别的新方法。在我们的框架中,一个对象由K个不同的部分组成,对于每个部分,我们学习一个模板字典,它在所有实例和类别中共享。通过估计这K个零件的位置和一组可以重建零件特征的活动模板来解析对象。我们识别测试实例,通过比较其活动模板和相对几何的部分位置对那些提出的Few-Shot实例。我们的方法是端到端可训练的,可以在卷积骨干上学习部分模板。为了对抗方向、姿势和大小等视觉失真,我们在多个尺度上学习模板,并在测试时解析和匹配这些尺度上的实例。我们表明,我们的方法是有竞争力的国家的最先进的,并凭借解析享有可解释性以及。
2022-10-13 cs.AI cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University(印第安纳大学);Fudan University(复旦大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题,可以应用现成的图像生成器来合成额外的训练图像,但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架,将生成的图像与原始图像相结合,从而得到的“混合”训练图像可以改善一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练,我们的实验表明,在单次细粒度图像分类基准测试中,与基线相比,该模型具有一致的改进。
2019-11-17 cs.CV
Fine-grained visual recognition with salient feature detection
Wuhan University of Technology(武汉理工大学);National University of Singapore(新加坡国立大学)
基于计算机视觉的细粒度识别近年来受到了广泛的关注。现有的工作集中在歧视性的部分定位和特征学习。在本文中,为了提高细粒度识别的性能,我们试图精确地定位尽可能多的显著部分的对象。然后,我们计算出的分类概率,可以通过使用单独的部分对象分类。最后,在CUB 200 -2011鸟类数据集上,通过提取各部分的有效特征并将其组合,然后输入分类器进行识别,获得了比现有算法更高的准确率。
2018-08-14 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University(印第安纳大学)
在本文中,我们介绍了一个具有挑战性的新数据集,MLB-YouTube,专为细粒度活动检测而设计。该数据集包含两个设置:分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构,通过分类分割的视频和扩展这些方法,以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现,学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
HSEmotion Team at ABAW-10 Competition: Facial Expression Recognition, Valence-Arousal Estimation, Action Unit Detection and Fine-Grained Violence Classification
Sber AI Lab(Sber AI实验室);HSE University(俄罗斯高等经济学院)
本文提出了一种基于预训练EfficientNet模型的快速方法,用于面部情绪理解任务,同时通过滑动窗口平滑噪声以提升预测精度,并在细粒度暴力检测任务中评估了多种预训练架构。
2026-03-13 cs.AI cs.CV
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research(百度研究院)
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而,不利用任何明确的部分信息,他们不能准确地找到多个独特的区域。在这项工作中,我们引入了一个属性引导的注意力定位方案,局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略,我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明,该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
FineRMoE: Dimension Expansion for Finer-Grained Expert with Its Upcycling Approach
Shanghai Jiao Tong University(上海交通大学)
FineRMoE通过扩展中间和输出维度提升专家专业化,引入双层稀疏计算和专用路由机制,并采用再利用方法降低训练成本,实验证明其在多个基准上的优越性能。
2026-03-09 cs.AI cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University(南京大学)
细粒度图像识别是一个具有挑战性的计算机视觉问题,这是由于高度相似的从属类别引起的小的类间变化,以及姿态、尺度和旋转的大的类内变化。在本文中,我们提出了一种新的端到端Mask-CNN模型,没有完全连接的层,用于细粒度识别。基于细粒度图像的部分注释,所提出的模型由一个完全卷积的网络组成,以定位有区别的部分(例如,头部和躯干),更重要的是,生成对象/部分掩模,用于选择有用和有意义的卷积描述符。之后,构建一个四流Mask-CNN模型,用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比,所提出的Mask-CNN模型具有最少的参数数量,最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
BEAR: A Video Dataset For Fine-grained Behaviors Recognition Oriented with Action and Environment Factors
Shanghai Jiao Tong University(上海交通大学)
针对现有细粒度行为识别评估不公的问题,本文提出新数据集BEAR,聚焦环境与动作两大因素,并实验探索输入模态影响,为后续研究提供重要见解。
2025-03-26 cs.CV
Fine-grained pose prediction, normalization, and recognition
姿态变化和外观上的细微差异是细粒度分类的关键挑战。虽然深度网络显着改善了一般识别,但许多细粒度识别方法依赖于将网络锚定到零件以提高准确性。识别零件以找到对应折扣构成变化,以便可以根据外观调整特征。为此,以前的方法已经研究了如何找到零件和提取姿势规范化的功能。这些方法通常将细粒度识别分为几个阶段,首先使用手工设计和粗定位的建议特征定位零件,然后分别学习以推断的零件位置为中心的深度描述符。我们将这些步骤统一到一个由关键点位置和类标签监督的端到端可训练网络中,该网络通过完全卷积网络定位零件,以集中学习细粒度分类任务的特征表示。在流行的CUB200数据集上的实验表明,我们的方法是最先进的,并建议继续发挥强监管的作用。
2015-11-22 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University(南洋理工大学)
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小,因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率,我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架:1)用于学习潜在时间语义的基于视觉的编码器,以及2)多模态视频-文本交叉编码器,以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联,与CNN视觉模型相比,具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
Interpretable and Accurate Fine-grained Recognition via Region Grouping
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们提出了一个可解释的细粒度视觉识别的深度模型。我们的方法的核心在于基于区域的部分发现和属性在深度神经网络中的集成。我们的模型使用图像级对象标签进行训练,并通过对象部分的分割及其对分类的贡献的识别来解释其结果。为了在没有直接监督的情况下促进对象部分的学习,我们探索了对象部分出现的简单先验。我们证明,这之前,当我们的区域为基础的部分发现和属性相结合,导致一个可解释的模型,保持高度准确。我们的模型在主要的细粒度识别数据集上进行了评估,包括CUB-200,CelebA和iNaturalist。我们的结果相比,国家的最先进的方法分类任务,我们的方法优于以前的方法对对象部分的本地化。
2020-05-21 cs.AI cs.CV cs.LG
FineCIR: Explicit Parsing of Fine-Grained Modification Semantics for Composed Image Retrieval
School of Software, Shandong University(山东大学软件学院);School of Data Science, City University of Hong Kong(香港城市大学数据科学学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对现有CIR数据集粗粒度文本导致检索不精确的问题,提出FineCIR框架,通过显式解析修改文本并构建细粒度数据集,显著提升检索精度。
2025-03-27 cs.AI cs.CV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China(信息科学与工程学院,中国海洋大学)
本文提出LoDisc,一种自监督全局-局部对比学习框架,通过局部判别前置任务增强细粒度特征,提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition
Stanford University(斯坦福大学);Zoox;Google(谷歌)
目前的细粒度识别方法如下:首先,招募专家来注释图像数据集,还可以选择以零件注释和边界框的形式收集更多的结构化数据。其次,利用这些数据训练模型。为了解决细粒度识别的目标,我们引入了一种替代方法,利用来自网络的免费噪声数据和简单通用的识别方法。这种方法在性能和可伸缩性方面都有好处。我们在四个细粒度数据集上证明了它的有效性,大大超过了现有的技术水平,甚至没有手动收集一个标签,并且还显示了扩展到10,000多个细粒度类别的第一个结果。量化,我们在CUB-200-2011上达到了92.3%的前1准确率,在Birdsnap上达到了85.4%,在FGVC-Aircraft上达到了93.4%,在Stanford Dogs上达到了80.8%,而没有使用他们的注释训练集。我们将我们的方法与扩展细粒度数据集的主动学习方法进行比较。
2016-10-18 cs.CV
A Large-Scale Car Dataset for Fine-Grained Categorization and Verification
The Chinese University of Hong Kong(香港中文大学)
更新于24/09/2015:此更新提供了对CompCars的监督数据进行细粒度分类的初步实验结果。更新的数据集中提供了训练/测试拆分。详见第6节。
2015-09-24 cs.AI cs.CV
Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
遥感图像中的定向目标检测近年来取得了很大的进展。然而,目前的方法大多只关注于目标检测,不能很好地区分复杂场景中的细粒度目标。在这份技术报告中,我们分析了细粒度目标识别的关键问题,并使用一个有向特征对齐网络(OFA-Net)来实现高性能的光学遥感图像中的细粒度有向目标识别。OFA-Net通过旋转边界框细化模块实现精确的对象定位。在此基础上,应用边界约束旋转特征对齐模块实现局部特征提取,有利于细粒度的目标分类。该方法的单模型在高分竞赛中获得了46.51%的mAP,在ISPRS基准测试中获得了43.73%的mAP,获得了第3名。
2021-10-13 cs.CV
Cafe-Talk: Generating 3D Talking Face Animation with Multimodal Coarse- and Fine-grained Control
Beihang University(北京航空航天大学);Kuaishou Technology(快手科技);Zhongguancun Laboratory(中关村实验室)
针对现有3D说话人脸方法细粒度表情控制不足的问题,提出多模态粗细粒度控制的扩散Transformer模型Cafe-Talk,通过两阶段训练、标签交换机制等实现解耦控制,在唇形同步与表情表现力上达SOTA。
2025-03-14 cs.AI cs.CV
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning
State Key Laboratory of Virtual Reality Technology and System, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室)
细粒度的动作识别正吸引越来越多的关注,由于在现实世界中的应用程序中的特定动作理解的新兴需求,而罕见的细粒度类别的数据是非常有限的。因此,我们提出了Few-Shot细粒度动作识别问题,旨在识别新的细粒度动作,只有很少的样本,为每个类。虽然已经取得了进展,在粗粒度的行动,现有的Few-Shot识别方法遇到两个问题处理细粒度的行动:无法捕捉微妙的行动细节和学习的不足,从数据与低类间方差。为了解决第一个问题,人类视觉启发的双向注意模块(BAM)的建议。BAM将自上而下的任务驱动信号与自下而上的显着刺激相结合,通过准确突出信息丰富的时空区域来捕捉微妙的动作细节。为了解决第二个问题,我们引入了对比元学习(CML)。与广泛采用的基于ProtoNet的方法相比,CML对低类间方差数据生成更具鉴别力的视频表示,因为它充分利用了每个训练片段中的潜在对比对。此外,为了公平地比较不同的模型,我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量的实验表明,我们的方法在评估的任务中始终达到最先进的性能。
2021-08-15 cs.CV
FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究所)
本文提出FIKA-Bench,一个包含311个公开来源和现实实例的细粒度知识获取基准,通过过滤和审计确保实例质量,评估最新多模态模型和代理发现细粒度识别任务仍具挑战性,需改进代理设计以提升知识获取能力。
2026-05-19 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学);Indiana University(印第安纳大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题,基于生成对抗网络(GANs)的现成图像生成技术可以创建额外的训练图像。然而,这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中,我们提出了一个元学习框架,将生成的图像与原始图像相结合,从而使生成的“混合”训练图像改善了一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。我们的实验表明,一致的改善基线上一杆细粒度图像分类基准。此外,我们的分析表明,与原始图像和GAN生成的图像相比,增强图像具有更大的多样性。
2022-04-22 cs.CV
Instance Retrieval at Fine-grained Level Using Multi-Attribute Recognition
Cortexica Vision Systems Limited(Cortexica视觉系统有限公司);Australian Institute for Machine Learning(澳大利亚机器学习研究所);the University of Adelaide(阿德莱德大学)
在本文中,我们提出了一种方法,例如排名和检索细粒度级别的基础上提取的多属性识别模型,这是不依赖于地标信息或部分基于注释的全局特征。此外,我们通过采用双线性CNN使多属性识别模型更小(在参数数量方面),使这种架构适合于移动设备应用。在DeepFashion In-Shop Clothes Retrieval和CUB 200数据集的Dress类别上进行的实验表明,细粒度级别的实例检索结果对于这些数据集是有希望的,特别是在纹理和颜色方面。
2018-11-07 cs.CV
Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features
EPFL(洛桑联邦理工学院)
对抗攻击已被广泛研究的一般分类任务,但仍未探索的细粒度识别的上下文中,类间的相似性促进攻击者的任务。在本文中,我们将细粒度识别网络中不同类别的潜在表示的接近度确定为对抗攻击成功的关键因素。因此,我们引入了一种基于注意力的正则化机制,该机制最大限度地分离不同类别的区别性潜在特征,同时最大限度地减少非区别性区域对最终类别预测的贡献。正如我们的实验所证明的那样,这使我们能够显着提高对对抗攻击的鲁棒性,达到匹配甚至超过对抗训练的程度,但不需要访问对抗样本。
2020-06-10 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology(哈尔滨工业大学)
人类动作识别是一个非常重要的研究领域,大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入,以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集,并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说,所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络,以提取人体运动之间的共同特征。然后,我们冻结除了全连接(FC)层之外的网络权重,并将太极动作作为输入,仅训练初始化的FC权重。实验结果表明,我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别,即使是很少的输入,并证明我们的方法达到了国家的最先进的性能相比,以前的太极动作识别方法。
2022-06-30 cs.CV
Cascade one-vs-rest detection network for fine-grained recognition without part annotations
细粒度识别是一项具有挑战性的任务,由于类内的小方差。大多数性能最好的细粒度识别方法利用对象的部分来获得更好的性能。因此,需要在计算上极其昂贵的部件注释。在本文中,我们提出了一种新的级联深度CNN检测框架,用于细粒度识别,该框架经过训练可以检测整个对象而不考虑部分。然而,目前大多数性能最好的检测网络使用N+1类(N个对象类别加上背景)softmax损失,并且具有更多训练样本的背景类别主导了特征学习过程,因此特征对于具有较少样本的对象类别并不好。为了弥补这一差距,我们引入了级联结构来消除背景,并利用一个与休息损失,以捕捉不同的下属类别之间的更微小的差异。实验表明,我们提出的识别框架在CUB-200-2011 Bird数据集上实现了与最先进的,无部分的,细粒度的识别方法相当的性能。此外,我们的方法甚至优于大多数基于部分的方法,而在训练阶段不需要部分注释,并在测试阶段是免费的任何注释。
2017-08-23 cs.CV
ConvGRU in Fine-grained Pitching Action Recognition for Action Outcome Prediction
预测动作结果是机器人与人类协同工作的一个新挑战。近年来,随着视频动作识别领域的研究取得了令人瞩目的进展,从视频数据中进行细粒度的动作识别成为一个新的研究热点。细粒度动作识别是在更细的粒度上检测动作的细微差别,在人机交互、智能交通管理、体育训练、医疗保健等领域具有重要意义。考虑到不同的结果与动作的细微差异密切相关,细粒度动作识别是一种实用的动作结果预测方法。在本文中,我们探讨了卷积门递归单元(ConvGRU)方法在细粒度动作识别任务上的性能:预测投球的结果。基于人体动作的RGB图像序列,所提出的方法实现了79.17%的准确率,这超过了目前的最先进的结果。我们还比较了不同的网络实现,并显示了不同的图像采样方法,不同的融合方法和预训练等的影响,最后,我们讨论了ConvGRU在这样的动作结果预测和细粒度动作识别任务的优势和局限性。
2020-08-18 cs.CV cs.HC
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University(北京大学);Nanyang Technological University(南洋理工大学)
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而,类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中,我们提出了利用类内方差的三元组网络的度量学习,以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组,我们形成了跨不同类别以及不同组的三重样本,这被称为组敏感的三重样本采样(GS-TRS)。相应地,通过将类内方差与GS-TRS相结合来增强三元组损失函数,这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明,所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition
Singapore University of Technology and Design(新加坡科技设计大学);Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);ByteDance(字节跳动);Harbin Institute of Technology(哈尔滨工业大学)
细粒度动作识别的目标是成功区分具有细微差异的动作类别。为了解决这个问题,我们从人类视觉系统中获得灵感,该系统包含大脑中专门用于处理特定任务的专门区域。我们设计了一个新的动态时空专门化(DSTS)模块,它由专门的神经元,只激活的样本是高度相似的子集。在训练过程中,这种损失迫使专门的神经元学习有区别的细粒度差异,以区分这些相似的样本,从而提高细粒度识别。此外,时空特化方法进一步优化了特化神经元的架构,以捕获更多的空间或时间细粒度信息,从而更好地处理视频中的大范围时空变化。最后,我们设计了一个上下游学习算法来优化模型在训练过程中的动态决策,从而提高了DSTS模块的性能。我们在两个广泛使用的细粒度动作识别数据集上获得了最先进的性能。
2022-09-03 cs.CV
Semantic Bilinear Pooling for Fine-Grained Recognition
University of Science and Technology Beijing(北京科技大学)
当然,细粒度识别,例如,车辆识别或鸟类分类具有特定的层次标签,其中细类别总是比粗类别更难分类。然而,大多数最近的基于深度学习的方法忽略了细粒度对象的语义结构,并且没有利用传统的细粒度识别技术(例如,从粗到细的分类)。在本文中,我们提出了一个新的框架与两个分支网络(粗分支和细分支),即,语义双线性池,用于使用分层标签树进行细粒度识别。该框架可以自适应地从层次结构中学习语义信息。具体而言,我们设计了一个广义交叉熵损失的训练所提出的框架,充分利用语义先验,通过考虑相邻水平之间的相关性,扩大不同的粗类样本之间的距离。此外,我们的方法在测试时只利用精细分支,因此不会增加测试时间的开销。实验结果表明,我们提出的方法在四个公共数据集上达到了最先进的性能。
2021-11-25 cs.CV
GCAM: Gaussian and causal-attention model of food fine-grained recognition
School of Computer and Information, Hefei University of Technology(合肥工业大学计算机与信息学院);School of Food Science and Engineering, Northern University for Nationalities(北方民族大学食品科学与工程学院);School of Electrical Engineering, Xinjiang University(新疆大学电气工程学院);School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
针对食品细粒度识别难题,提出GCAM模型,结合高斯特征提取与因果注意力干预,并设计可学习损失策略,在四个数据集上超越现有最先进方法。
2024-03-18 cs.AI cs.CV cs.LG
Joint Learning On The Hierarchy Representation for Fine-Grained Human Action Recognition
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
细粒度人体动作识别是计算机视觉的核心研究课题。受FineGym和SlowFast网络中最近提出的用于动作识别的细粒度动作的层次表示的启发,我们提出了一种新的多任务网络,该网络利用FineGym层次表示来实现有效的联合学习和预测,用于细粒度的人类动作识别。多任务网络由三个路径的SlowOnly网络组成,其中事件、集合和细粒度动作元素的帧速率逐渐增加,然后是我们提出的用于联合学习和预测的集成层。它是一种两阶段的方法,首先在每个层次上学习深度特征表示,然后进行特征编码和融合以进行多任务学习。我们在FineGym数据集上的经验结果实现了最新的性能,元素操作的Top-1准确率为91.80%,平均准确率为88.46%,比之前的最佳结果高出3.40%和7.26%。
2021-10-12 cs.CV
Fine-Tuning VGG Neural Network For Fine-grained State Recognition of Food Images
University of South Florida(南佛罗里达大学)
食品图像的状态识别是计算机视觉中目标识别和细粒度图像分类的重要应用之一。在本文中,证据提供了卷积神经网络(CNN)的权力,食品状态识别,即使是一个小的数据集。在这项研究中,我们微调了最初在大型自然图像识别数据集(Imagenet ILSVRC)上训练的CNN,并将学习到的特征表示转移到食物状态识别任务中。一个小规模的数据集,包括5978个图像的七个类别的构建和手动注释。应用数据增强以增加数据大小。
2018-09-08 cs.CV cs.LG
Semantic Clustering for Robust Fine-Grained Scene Recognition
ETH Zurich(苏黎世联邦理工学院);UCSD(加州大学圣迭戈分校)
在领域泛化中,从一个或多个源领域学习的知识被转移到一个看不见的目标领域。在这项工作中,我们提出了一种新的领域泛化方法细粒度的场景识别。我们首先提出了一个语义场景描述符,共同捕捉细粒度的场景之间的细微差别,同时是强大的不同的对象配置跨域。我们对场景中对象的出现模式进行建模,捕获每个场景中每个对象的信息量和可辨别性。然后,我们将这种情况转化为场景概率为每个场景图像。其次,我们认为,场景图像属于隐藏的语义主题,可以通过聚类我们的语义描述符发现。为了评估所提出的方法,我们提出了一个新的细粒度的场景数据集在跨域设置。在所提出的数据集和三个基准场景数据集上进行的大量实验表明,所提出的方法在细粒度场景转换方面的有效性,优于最先进的场景识别和领域泛化方法.
2016-07-26 cs.CV
Rethinking Rotation-Invariant Recognition of Fine-grained Shapes from the Perspective of Contour Points
Tsinghua University(清华大学);Taiyuan University of Technology(太原理工大学)
针对像素方法在细粒度形状旋转不变识别中的冗余与几何信息泄漏问题,提出基于轮廓几何感知的抗噪声旋转不变卷积模块及五级联网络,提升识别性能并增强对噪声和旋转中心的鲁棒性。
2025-03-14 cs.CV
Fully Convolutional Attention Networks for Fine-Grained Recognition
Baidu Research(百度研究院)
细粒度识别是具有挑战性的,因为它的微妙的局部类间差异与大的类内变化,如姿势。解决这一问题的关键是对区分性部分进行局部化,以提取姿态不变特征。然而,获得地面实况零件注释可能是昂贵的。此外,很难为许多细粒度的类定义部件。这项工作介绍了全卷积注意力网络(FCANs),一个强化学习框架,以最佳的局部判别区域适应不同的细粒度域。与以前的方法相比,我们的方法具有三个优点:1)弱监督强化学习过程不需要昂贵的部分注释; 2)全卷积架构加速了训练和测试; 3)贪婪奖励策略加速了学习的收敛。我们证明了我们的方法的有效性与广泛的实验上四个具有挑战性的细粒度基准数据集,包括CUB-200-2011,斯坦福狗,斯坦福汽车和食品-101。
2017-03-21 cs.CV
Tips and Tricks for Webly-Supervised Fine-Grained Recognition: Learning from the WebFG 2020 Challenge
Nanjing University of Science and Technology(南京理工大学);Netease Games AI Lab(网易游戏AI实验室);Netease Yidun AI Lab(网易易盾AI实验室);DiDi Safety and Security Technology Group (DiDi-SSTG)(滴滴安全技术集团)
WebFG 2020是由南京理工大学、爱丁堡大学、南京大学、阿德莱德大学、早稻田大学等主办的国际挑战赛,本次挑战赛主要关注网络监督的细粒度识别问题。在文献中,现有的深度学习方法高度依赖于大规模和高质量的标记训练数据,这限制了它们在现实世界应用中的实用性和可扩展性。特别是,对于细粒度识别,需要专业知识进行标记的视觉任务,获取标记的训练数据的成本相当高。获取大量高质量的训练数据是非常困难的。因此,利用免费的Web数据训练细粒度识别模型,越来越受到细粒度领域研究者的关注。该挑战赛期望参与者开发网络监督的细粒度识别方法,该方法利用Web图像来训练细粒度识别模型,以减轻深度学习方法对大规模手动标记数据集的极端依赖,并增强其实用性和可扩展性。在这份技术报告中,我们汇总了54个参赛团队的顶级WebFG 2020解决方案,并讨论了哪些方法在获胜团队中效果最好,以及哪些方法令人惊讶地没有帮助。
2020-12-29 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
收集细粒度的标签通常需要专家级的领域知识,并且无法扩展。在本文中,我们提出了属性混合,数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的,并且可以无缝地在图像之间传递。为了实现这一目标,我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性,属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略,它可以在不增加推理预算的情况下显著提高识别性能。此外,由于属性可以在来自同一超类别的图像之间共享,因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Associating Multi-Scale Receptive Fields for Fine-grained Recognition
Suzhou University of Science and Technology(苏州科技大学);Shanghai Institute of Technology(上海应用技术大学);Tianjin University(天津大学)
局部特征的提取与融合已成为细粒度图像识别的关键。最近,非局部(NL)模块在图像识别中表现出了出色的改善。然而,它缺乏多尺度零件特征之间的相互作用建模机制,这对于细粒度识别至关重要。在本文中,我们提出了一种新的跨层非局部(CNL)模块关联多尺度感受野通过两个操作。首先,CNL计算查询层和所有响应层的特征之间的相关性。其次,所有响应特征根据相关性加权并添加到查询特征中。由于跨层特征的相互作用,我们的模型在多层次层之间建立了空间依赖关系,并学习了更多的区分特征。另外,将低维的深层层作为查询层,可以降低聚合代价。在三个细粒度分类基准数据集上进行的实验表明,该模型达到或超过了最先进的结果。我们的代码可以在github.com/FouriYe/CNL-ICIP2020上找到。
2020-05-19 cs.CV
3rd Place Solution to Large-scale Fine-grained Food Recognition
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
本文针对大规模细粒度食物识别挑战,提出结合Arcface loss与Circle loss训练并集成模型,最终在比赛中获得第三名。
2025-10-24 cs.CV
Real-time Action Recognition for Fine-Grained Actions and The Hand Wash Dataset
PES University(PES大学)
在本文中,我们提出了一种用于实时的【形】动作识别的三流算法和一个新的洗手视频数据集,目的是将动作识别与现实世界的约束相结合,以得出有效的结论。提出了一种三流融合算法,该算法即使在Raspberry Pi等低功耗系统上也能准确高效地实时的【形】运行。该算法的基础是在使用高效的体系结构的同时,将空间和时间信息以及视频中对象的信息结合起来,并通过光流计算来实现实时的【形】令人称道的结果。该算法的结果在UCF-101和HMDB-51数据集上进行了基准测试,准确率分别为92.7%和64.9%。值得注意的一点是,该算法在这方面是新颖的,它还能够学习极其相似的动作之间的复杂差异,这即使对于人眼来说也是困难的。此外,注意到用于识别非常相似或细粒度动作的数据集数量不足,本文还介绍了一个公开提供的新数据集,洗手数据集,旨在为未来的细粒度动作识别任务引入新的基准。
2022-10-13 cs.AI cs.CV cs.CY
Generating Attention from Classifier Activations for Fine-grained Recognition
Fujitsu Research & Development Center(富士通研究开发中心)
细粒度识别的最新进展利用注意力地图来定位感兴趣的对象。虽然有很多方法可以生成注意力地图,但大多数都依赖于复杂的损失函数或复杂的训练过程。在这项工作中,我们提出了一个简单而直接的注意力生成模型的基础上输出激活的分类器。我们的模型的优点是,它可以很容易地用图像级标签和softmax损失函数进行训练。更具体地,首先采用多个线性局部分类器在高级CNN特征图的每个位置处执行细粒度分类。通过聚合和最大池化输出激活来生成注意力地图。然后将注意力图作为替代目标对象掩码来训练这些局部分类器,类似于用于语义分割的训练模型。我们的模型在三个经过严格基准测试的数据集上取得了最先进的结果,即CUB-200-2011数据集上的87.9%、斯坦福汽车数据集上的94.1%和FGVC-Aircraft数据集上的92.1%,证明了其在细粒度识别任务上的有效性。
2018-11-27 cs.CV
DETR-based Layered Clothing Segmentation and Fine-Grained Attribute Recognition
The Hong Kong Polytechnic University(香港理工大学)
本文提出基于DETR的多层注意力模块,聚合多尺度特征以提升分层服装分割与细粒度属性识别精度,并在Fashionpedia数据集上超越现有SOTA模型。
2023-04-17 cs.CV
Regional Attention Network (RAN) for Head Pose and Fine-grained Gesture Recognition
Edge Hill University(边山大学);Aberystwyth University(阿伯里斯特威斯大学)
情感通常通过非语言的肢体语言表达,如动作/手势,这是人类行为的重要指标。最近的研究在单目图像中的细粒度动作/手势的识别主要集中在表示身体姿势,人与物体的相互作用和局部外观的变化的身体部位的建模空间配置。结果表明,这是一种脆弱的方法,因为它依赖于准确的身体部位/对象检测。在这项工作中,我们认为,存在局部歧视性的语义区域,其“信息性”可以评估的注意力机制推断细粒度的手势/动作。为此,我们提出了一种新的端到端\textbf{Regional Attention Network (RAN)},这是一个完全卷积神经网络(CNN),通过注意力机制组合多个上下文区域,专注于与给定任务最相关的图像部分。我们的区域由一个或多个连续的细胞,并适应于计算HOG(方向梯度直方图)描述符中使用的策略。该模型在属于3种不同场景的10个数据集上进行了广泛的评估:1)头部姿势识别,2)驾驶员状态识别,以及3)人类动作和面部表情识别。所提出的方法优于国家的最先进的一个相当大的利润率在不同的指标。
2021-01-17 cs.AI cs.CV cs.LG
Spatial-Scale Aligned Network for Fine-Grained Recognition
Tencent(腾讯);Megvii(旷视科技);Peking University(北京大学)
现有的细粒度视觉识别方法侧重于学习基于边缘区域的表示,而忽略了空间和尺度错位,导致性能较差。在本文中,我们提出了空间尺度对齐网络(SSANET)和隐式地址在识别过程中的错位。特别地,SSANET包括:1)具有形态对齐约束的自监督建议挖掘公式; 2)判别规模挖掘(DSM)模块,其通过循环矩阵利用特征金字塔,并提供用于快速规模对齐的傅立叶求解器; 3)定向池化(OP)模块,其在几个预定义的方向上执行池化操作。每个方向定义一种空间对齐,网络通过学习自动确定哪种是最佳对齐。通过这两个模块,我们的算法可以自动确定准确的局部建议区域,并生成对各种外观变化具有不变性的更鲁棒的目标表示。大量的实验证明,SSANET是胜任学习更好的空间尺度不变的目标表示,在几个基准上的细粒度识别任务产生优越的性能。
2020-01-05 cs.CV
Fine-grained Hand Gesture Recognition in Multi-viewpoint Hand Hygiene
Willogy;AIOZ;Blood Transfusion Hematology Hospital(输血血液病医院)
本文提供了一个新的高质量的数据集,手卫生系统中的手势识别,命名为“MFH”。一般来说,目前的数据集并不集中在:(i)细粒度的动作;(ii)不同视点之间的数据不匹配,这是在现实的设置下可用。为了解决上述问题,建议MFH数据集包含由6个非重叠位置中的不同相机视图获得的总共731147个样本。此外,每个样本都属于世界卫生组织(WHO)提出的七个步骤之一。作为一个小小的贡献,受到细粒度图像识别和分布自适应的启发,本文建议使用自监督学习方法来处理这些问题。在基准MFH数据集上的大量实验表明,所介绍的方法在准确性和宏F1分数方面都具有竞争力的性能。代码和MFH数据集可在https://github.com/willogy-team/hand-gesture-recognition-smc2021上获得。
2021-09-07 cs.CV
Geo-Aware Networks for Fine-Grained Recognition
Google Research(谷歌研究院)
细粒度识别通过细微的视觉差异来区分类别。为了区分这些具有挑战性的视觉类别,利用其他信息是有帮助的。地理位置是一个丰富的额外信息来源,可用于提高细粒度分类的准确性,但一直没有得到充分的研究。我们对这一领域的贡献是双重的。首先,据我们所知,这是第一篇论文,系统地研究了各种方法,将地理定位信息纳入细粒度的图像分类,通过使用地理定位先验,后处理或功能调制。其次,为了克服没有细粒度数据集具有完整地理位置信息的情况,我们通过为现有流行数据集提供补充信息来发布两个具有地理位置的细粒度数据集- iNaturalist和YFCC 100 M。通过利用地理位置信息,我们将iNaturalist中的top-1准确率从70.1%提高到79.0%,以获得强大的基线图像模型。比较几个模型,我们发现最好的性能是通过后处理模型实现的,该模型消耗了仅图像基线的输出以及地理位置。然而,对于资源受限的模型(MobileNetV 2),通过像素和地理位置联合训练的特征调制模型的性能更好:准确率从59.6%提高到72.2%。我们的工作为将地理位置信息纳入服务器和设备上的细粒度识别模型提供了有力的支持。
2019-09-04 cs.CV
Multi-Dimensional Refinement Graph Convolutional Network with Robust Decouple Loss for Fine-Grained Skeleton-Based Action Recognition
Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
针对细粒度骨架动作识别中类间相似和姿态噪声问题,提出CVSTA注意力模块与MDR-GCN网络增强多维度特征判别力,并设计RDL损失抑制噪声,在多个数据集上取得最优性能。
2023-06-27 cs.CV
Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(奥多比研究院)
与使用CNN特征的早期多级框架相比,最近用于细粒度识别的端到端深度方法从根本上增强了CNN的中级学习能力。以前的方法通过引入辅助网络来将本地化信息注入主分类网络,或者引入复杂的特征编码方法来捕获高阶特征统计来实现这一点。我们表明,中级表示学习可以在CNN框架内得到增强,通过学习一组卷积滤波器来捕获类特定的判别补丁,而无需额外的部分或限界框注释。这样的滤波器组结构良好,适当地初始化,并通过具有卷积滤波器监督和非随机层初始化的新颖的非对称多流架构有区别地学习。实验结果表明,我们的方法在三个公开的细粒度识别数据集(CUB-200 - 2011,Stanford Cars和FGVC-Aircraft)上达到了最先进的水平。消融研究和可视化提供了解我们的方法。
2018-06-12 cs.CV
Fine-grained Recognition Datasets for Biodiversity Analysis
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学);Phyletisches Museum(系统发育博物馆);Zoological Research Museum Alexander Koenig(亚历山大·柯尼希动物学研究博物馆);Michael Stifel Center Jena(耶拿米夏埃尔·施蒂费尔中心)
在下面的文章中,我们提出并讨论了细粒度视觉分类(FGVC)的挑战性应用:生物多样性和物种分析。我们不仅详细介绍了两个具有挑战性的新数据集,适合计算机视觉研究,具有多达675个高度相似的类,而且还介绍了使用卷积神经网络(CNN)的本地化特征的第一个结果。最后,我们列出了具有挑战性的新的研究方向,在生物多样性研究的视觉分类领域。
2015-07-03 cs.CV
Fine-grained Categorization -- Short Summary of our Entry for the ImageNet Challenge 2012
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
在本文中,我们解决了狗品种的视觉分类问题,这是一个令人惊讶的挑战性任务,由于同时存在低的类间距离和高的类内方差。我们的方法结合了我们社区中众所周知的几种技术,但通常不用于细粒度识别:(1)自动分割,(2)有效的部分检测,以及(3)多个特征的组合。特别是,我们证明了嵌入在现成的识别管道中的简单头部检测器可以显着提高识别精度,突出了细粒度识别任务的部分功能的重要性。使用我们的方法,我们在斯坦福狗数据集上实现了24.59%的平均精度性能。
2013-10-17 cs.CV