Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple（苹果公司）
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题，开发了预训练音频表示的流程及迁移方法，实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
CrisisMatch: Semi-Supervised Few-Shot Learning for Fine-Grained Disaster Tweet Classification
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Kansas State University（堪萨斯州立大学）
提出半监督少样本学习模型CrisisMatch，结合半监督思想与TextMixUp技术，仅需少量标注即可实现细粒度灾害推文分类，在两个数据集上平均提升11.2%性能。
2023-10-23 cs.CL cs.LG
One-shot Transfer Learning for Population Mapping
Beijing National Research Center for Information Science and Technology (BNRist)（北京国家信息科学与技术研究中心（BNRist））；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
本文提出PSRNet框架，通过单样本迁移学习方法从数据充足城市向数据稀缺城市转移空间-时间知识，提升细粒度人口分布映射的准确性。
2021-08-17 cs.AI cs.LG
Towards Automatic Cetacean Photo-Identification: A Framework for Fine-Grain, Few-Shot Learning in Marine Ecology
Newcastle University（纽卡斯尔大学）；University of Aberdeen（阿伯丁大学）；University of St Andrews（圣安德鲁斯大学）；Chicago Zoological Society（芝加哥动物学会）
照片识别（photo-id）是海洋研究人员用于监测鲸类（海豚，鲸鱼和鼠海豚）种群的主要非侵入性捕获-再捕获方法之一。由于收集的图像数量巨大，该方法历来是手动执行的，导致高工作量和成本。最近，自动化辅助工具已经开发出来，以帮助加快照片身份证，虽然他们往往是不相交的，在他们的处理，并没有利用所有可用的识别信息。本文提出的工作旨在创建一个全自动的照片ID援助，能够提供最有可能的匹配基于所有可用的信息，而不需要数据预处理，如裁剪。这是通过一个计算机视觉模型和后处理技术的管道实现的，目的是在未经编辑的实地图像中检测鲸目动物，然后将其传递到下游进行单独的目录匹配。该系统能够处理以前未列入目录的个人，并通过目录相似性比较标记这些人进行调查。我们对多个现实生活中的照片ID目录的系统进行了评估，分别实现了mAP@IOU[0.5] = 0.91，0.96的背鳍检测任务来自坦桑尼亚和英国的目录和83.1，97.5%的前10名的准确度为个人分类的任务来自英国和美国的目录。
2022-12-07 cs.AI cs.CV cs.LG
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University（印第安纳大学）；Fudan University（复旦大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题，可以应用现成的图像生成器来合成额外的训练图像，但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架，将生成的图像与原始图像相结合，从而得到的“混合”训练图像可以改善一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练，我们的实验表明，在单次细粒度图像分类基准测试中，与基线相比，该模型具有一致的改进。
2019-11-17 cs.CV
Fine-Grained Zero-Shot Learning with DNA as Side Information
Purdue University（普渡大学）；University of Tübingen（蒂宾根大学）；Indiana University - Purdue University（印第安纳大学-普渡大学）
细粒度的零样本学习任务需要某种形式的边信息来将区分信息从可见的类转移到不可见的类。由于手动注释的视觉属性是非常昂贵的，往往是不切实际的，以获得大量的类，在这项研究中，我们使用DNA作为侧信息的第一次细粒度的zero-shot分类的物种。线粒体DNA在进化生物学中作为遗传标记发挥着重要作用，并已被用于实现生物物种分类的近乎完美的准确性。我们实现了一个简单的分层贝叶斯模型，使用DNA信息建立在图像空间中的层次结构，并采用本地先验来定义代理类看不见的。在基准CUB数据集上，我们证明了DNA可以同样有前途，但总的来说，它是一种比词向量更容易获得的替代品。这是特别重要的，因为获得强大的文字表示细粒度的物种名称是不可行的目标时，这些物种的信息在自由形式的文本是有限的。在一个新编译的细粒度昆虫数据集上，使用来自一千多个物种的DNA信息，我们表明贝叶斯方法的性能远远优于最先进的方法。
2021-09-29 cs.CV cs.LG
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）；Indiana University（印第安纳大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题，基于生成对抗网络（GANs）的现成图像生成技术可以创建额外的训练图像。然而，这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中，我们提出了一个元学习框架，将生成的图像与原始图像相结合，从而使生成的“混合”训练图像改善了一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。我们的实验表明，一致的改善基线上一杆细粒度图像分类基准。此外，我们的分析表明，与原始图像和GAN生成的图像相比，增强图像具有更大的多样性。
2022-04-22 cs.CV
Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding
Leiden University（莱顿大学）
本文提出零样本分类器编辑方法，通过细粒度视频理解提升分类精度，优于视觉-语言基线。
2026-02-18 cs.CV cs.LG
Task Discrepancy Maximization for Fine-grained Few-Shot Classification
Sungkyunkwan University（成均馆大学）
识别诸如眼睛和喙之类的区别性细节对于区分细粒度类是重要的，因为它们具有相似的整体外观。在这方面，我们介绍了任务离散最大化（TDM），一个简单的模块细粒度的Few-Shot分类。我们的目标是本地化类明智的歧视性地区突出通道编码类的不同信息。具体而言，TDM基于两个新组件学习特定于任务的信道权重：支持注意模块（SAM）和查询注意模块（QAM）。SAM产生一个支持权重来表示每个类的通道式鉴别能力。尽管如此，由于SAM基本上仅基于标记的支持集，因此它可能容易偏向于这种支持集。因此，我们提出QAM补充SAM产生的查询权重，授予更多的权重，对象相关的渠道为一个给定的查询图像。通过组合这两个权重，定义了类方式的任务特定信道权重。然后应用权重来产生任务自适应特征图，更侧重于区分细节。我们的实验验证了TDM的有效性及其与细粒度Few-Shot分类中现有方法的互补优势。
2022-07-04 cs.CV cs.LG
Compare More Nuanced:Pairwise Alignment Bilinear Network For Few-shot Fine-grained Learning
University of Technology Sydney（悉尼科技大学）
人类的认知能力是逐步发展的。通常，孩子们在有限的监督下学会区分从粗到细的各种物体。受这种学习过程的启发，我们提出了一个简单而有效的模型，用于Few-Shot Fine-Grained（FSFG）识别，试图利用元学习来解决具有挑战性的细粒度识别任务。所提出的方法，称为成对对齐双线性网络（PABN），是一个端到端的深度神经网络。与传统的用于细粒度分类的深度双线性网络不同，该网络采用自双线性池来捕获图像的细微特征，该模型使用一种新的成对双线性池来比较基础图像和查询图像之间的细微差异，以学习深度距离度量。为了匹配基本图像特征与查询图像特征，我们在提出的成对双线性池之前设计了特征对齐损失。在四个细粒度分类数据集和一个通用的Few-Shot数据集上的实验结果表明，该模型的性能优于现有的Few-Shot细粒度方法和一般的Few-Shot方法.
2019-04-11 cs.CV
MgSvF: Multi-Grained Slow vs. Fast Framework for Few-Shot Class-Incremental Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Cloud BU, Huawei Technologies（华为技术有限公司云业务部）
针对少样本类别增量学习中旧知识慢速遗忘与新知识快速适应的SvF两难问题，提出多粒度MgSvF框架，从空间内、空间间两粒度设计频率感知正则化与特征空间组合操作，性能大幅超越现有最优方法。
2024-03-12 cs.CV cs.LG
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University（康奈尔大学）
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别（例如，鸟类）仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示：首先定位每个图像中的语义部分，然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类，我们表明，他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下，姿势归一化将浅层和深层架构的准确度提高了10到20个百分点，更好地推广到新领域，并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models
Department of Computer Science（计算机科学系）；Virginia Tech（弗吉尼亚理工大学）
本研究针对大型视觉语言模型在零样本细粒度图像分类任务中潜力未充分挖掘的问题，提出将任务转化为视觉问答框架并结合注意力干预技术的新方法，同时构建更精准的类别描述基准，实验证明该方法优于现有SOTA。
2025-10-04 cs.CV
Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics
Peking University（北京大学）；Renmin University of China（中国人民大学）；Queen Mary University of London（伦敦玛丽女王大学）
细粒度图像分类的目标是区分具有细微差别的图像，这是一个具有挑战性的任务，由于两个主要问题：缺乏足够的训练数据的每一个类和难以学习的歧视性特征表示。在本文中，为了解决这两个问题，我们提出了一个两阶段的框架，识别图像从看不见的细粒度类，即zero-shot细粒度分类。在第一个特征学习阶段，我们使用细粒度类之间的层次语义结构来微调深度卷积神经网络，以提取有区别的深度视觉特征。同时，在深度卷积神经网络中引入领域自适应结构，以避免从训练数据到测试数据的域移位。在第二个标签推理阶段，语义有向图构造的细粒度类的属性。基于此图，我们开发了一个标签传播算法来推断未见过的类中的图像的标签。在两个基准数据集上的实验结果表明，我们的模型优于最先进的零样本学习模型。此外，我们的特征学习模型获得的特征也产生显着的收益时，他们被用于其他零样本学习模型，这表明我们的模型在zero-shot细粒度分类的灵活性。
2017-07-04 cs.CV
Learning Cross-Image Object Semantic Relation in Transformer for Few-Shot Fine-Grained Image Classification
Fudan University（复旦大学）；Oracle Health and AI（甲骨文健康与人工智能部门）；Shanghai AI Laboratory（上海人工智能实验室）
Few-Shot细粒度学习旨在将查询图像分类到具有细粒度差异的一组支持类别中的一个。虽然通过深度神经网络学习不同对象的局部差异已经取得了成功，但如何在基于transformer的架构中利用查询支持的跨图像对象语义关系，在Few-Shot细粒度场景中仍然探索不足。在这项工作中，我们提出了一个基于transformer的双螺旋模型，即HelixFormer，实现跨图像对象语义关系挖掘的双向和对称的方式。HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）每个分支内的表示增强过程（REP）。通过所设计的RMP，每个分支可以提取细粒度的对象级跨图像语义关系映射（CSRMs）从其他分支的信息，确保更好的跨图像的交互语义相关的局部对象区域。此外，在CSRMs的帮助下，开发的REP可以加强每个分支中发现的语义相关局部区域的提取特征，提高模型区分细粒度对象的细微特征差异的能力。在五个公开的细粒度基准上进行的大量实验表明，HelixFormer可以有效地增强跨图像对象语义关系匹配，以识别细粒度对象，在1-shot和5-shot场景下实现比大多数最先进的方法更好的性能。我们的代码可在：https://github.com/JiakangYuan/HelixFormer
2022-07-02 cs.CV
One-Shot Fine-Grained Instance Retrieval
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
细粒度视觉分类（FGVC）近年来取得了很大的进展。然而，在真实场景中，细粒度物种的数量可能是巨大的，并且是动态增加的，这使得在当前的FGVC框架下很难识别看不见的对象。这就提出了一个开放的问题，即在没有完整训练集的情况下进行大规模细粒度识别。为了克服这个问题，我们提出了一个检索任务命名为单次细粒度实例检索（OSFGIR）。“One-Shot”表示通过细粒度检索任务在不完整的辅助训练集的辅助下识别未见过对象的能力。本文首先介绍了OSFGIR任务和我们收集的OSFGIR-378 K数据集。接下来，我们提出了在辅助数据集上学习的卷积和归一化网络（CN-Nets），以生成简洁和有区别的表示。最后，我们提出了一个由粗到细的检索框架，包括三个组件，即，分别是粗检索、细粒度检索和查询扩展。该框架逐步检索具有相似语义的图像，并执行细粒度的识别。实验结果表明，该框架在识别精度和效率上明显优于现有的FGVC和图像检索方法，是大规模细粒度目标识别的较好解决方案。
2017-07-04 cs.CV
Hyperspherical embedding for novel class classification
National Laboratory of Scientific Computing（国家科学计算实验室）；INRIA（法国国家信息与自动化研究所）
深度学习模型在许多不同的行业中变得越来越有用。在图像分类领域，卷积神经网络证明了学习闭集问题鲁棒特征的能力，如许多不同的数据集所示，如MNIST FASHIONMNIST，CIFAR10，CIFAR100和IMAGENET。这些方法使用具有softmax激活函数的密集层的深度神经网络，以便学习可以在潜在空间中分离类别的特征。然而，这种传统的方法对于识别训练集上看不见的类（称为开集问题）没有用处。在涉及小数据学习的场景中也会出现类似的问题。为了解决这两个问题，已经提出了少样本学习。特别地，度量学习学习服从潜在空间中的度量距离的约束的特征，以便执行分类。然而，虽然这种方法被证明对开集问题是有用的，但当前的实现需要成对训练，其中在训练阶段期间呈现相似图像的正面和负面示例，这限制了这些方法在大数据或大类场景中的适用性，因为可能的输入具有组合性质。我们提出了一种基于约束的方法，应用于[18]提出的归一化softmax损失下的潜在空间中的表示。我们通过实验验证了所提出的方法，该方法使用度量学习和归一化softmax损失，在不相交和联合场景下对不同数据集上的不可见类进行分类。我们的研究结果表明，我们提出的策略不仅可以在更大的类集合上有效地训练，因为它不需要成对学习，而且比度量学习策略的分类结果更好，其准确性大大超过了度量学习策略。
2022-02-28 cs.AI cs.CV
Few-shot Fine-grained Image Classification via Multi-Frequency Neighborhood and Double-cross Modulation
Northeastern University（东北大学）；Xiangtan University（湘潭大学）
传统的细粒度图像分类通常依赖于带有注释的地面实况的大规模训练样本。然而，一些子类别在现实世界的应用中几乎没有可用的样本，并且当前的Few-Shot模型仍然难以区分细粒度类别之间的细微差异。为了解决这一问题，我们提出了一种新的Few-Shot细粒度图像分类网络（FicNet）使用多频邻域（MFN）和双交叉调制（DCM）。MFN同时关注空间域和频域，以捕获多频结构表示，从而减少外观和背景变化对类内距离的影响。DCM由双交叉分量和双3D交叉注意分量组成。该方法通过分别考虑全局上下文信息和类间关系对表示进行调整，使支持样本和查询样本响应相同的部分，并准确识别细微的类间差异。在三个细粒度基准数据集上对两个Few-Shot任务进行了综合实验，验证了FicNet方法与现有方法相比具有优异的性能。特别是在“Caltech-UCCD Birds”和“Stanford Cars”两个数据集上的实验，分类准确率分别为93.17%和95.36%。它们甚至高于一般的细粒度图像分类方法所能达到的分类精度。
2022-10-26 cs.CV
Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment
University of Science and Technology of China（科学技术大学）；Fudan University（复旦大学）
针对零样本脑肿瘤亚型分类中细粒度特征捕捉不足的问题，提出FG-PAN框架，通过局部特征细化与LLM生成细粒度文本描述对齐，提升类别可分性，在EBRAINS和TCGA上取得最先进性能。
2025-08-06 cs.CV
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning
State Key Laboratory of Virtual Reality Technology and System, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
细粒度的动作识别正吸引越来越多的关注，由于在现实世界中的应用程序中的特定动作理解的新兴需求，而罕见的细粒度类别的数据是非常有限的。因此，我们提出了Few-Shot细粒度动作识别问题，旨在识别新的细粒度动作，只有很少的样本，为每个类。虽然已经取得了进展，在粗粒度的行动，现有的Few-Shot识别方法遇到两个问题处理细粒度的行动：无法捕捉微妙的行动细节和学习的不足，从数据与低类间方差。为了解决第一个问题，人类视觉启发的双向注意模块（BAM）的建议。BAM将自上而下的任务驱动信号与自下而上的显着刺激相结合，通过准确突出信息丰富的时空区域来捕捉微妙的动作细节。为了解决第二个问题，我们引入了对比元学习（CML）。与广泛采用的基于ProtoNet的方法相比，CML对低类间方差数据生成更具鉴别力的视频表示，因为它充分利用了每个训练片段中的潜在对比对。此外，为了公平地比较不同的模型，我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量的实验表明，我们的方法在评估的任务中始终达到最先进的性能。
2021-08-15 cs.CV
Weak-shot Fine-grained Classification via Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）
细粒度类别的识别仍然是一个具有挑战性的任务，由于不同的从属类别之间的细微差别，这导致了大量的注释样本的需求。为了缓解数据饥饿的问题，我们考虑了在一组干净的基本类别的支持下从Web数据中学习新类别的问题，这被称为弱射学习。在这种情况下，我们提出了一种称为SimTrans的方法，将成对的语义相似性从基本类别转移到新类别。具体来说，我们首先训练干净的数据相似性网络，然后利用传输的相似性去噪网络训练数据使用两个简单而有效的策略。此外，我们在相似性网络上应用对抗损失来增强相似性的可传递性。综合实验证明了我们的弱镜头设置和我们的SimTrans方法的有效性。数据集和代码可在https://github.com/bcmi/SimTrans-Weak-Shot-Classification上获得。
2021-10-23 cs.CV
Variational Feature Disentangling for Fine-Grained Few-Shot Classification
Stony Brook University（石溪大学）；Amazon Robotics（亚马逊机器人）
细粒度的Few-Shot识别通常会遇到新类别训练数据不足的问题，由于训练数据不足，网络容易过拟合，不能很好地推广到未知类别。已经提出了许多方法来综合额外的数据，以支持培训。在本文中，我们专注于一个扩大的类内方差的不可见类，以提高Few-Shot分类性能。我们假设类内方差的分布在基类和新类中泛化。因此，可以将基集合的类内方差转移到新集合以进行特征增强。具体来说，我们首先通过变分推理对基集上的类内方差的分布进行建模。然后将学习到的分布转移到新的集合中以生成附加特征，这些附加特征与原始特征一起用于训练分类器。实验结果表明，在具有挑战性的细粒度Few-Shot图像分类基准上，该方法比最先进的方法有显著的提高。
2021-08-25 cs.CV
Foundation Model Insights and a Multi-Model Approach for Superior Fine-Grained One-shot Subset Selection
National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University, China（国家多媒体软件工程研究中心、人工智能研究院、计算机科学学院、武汉大学，中国）；Hubei Key Laboratory of Multimedia（湖北省多媒体关键实验室）；The University of Tokyo, Japan（东京大学，日本）；National Institute of Informatics, Japan（日本信息处理学会）；School of Computer Science（计算机科学学院）；Technology, Wuhan University of Science（科技，武汉科技大学）
针对一次性子集选择中传统信息提取器依赖数据集的局限，本文提出RAM-APL方法，利用多个基础模型的互补优势，在细粒度图像数据集上实现了最先进的子集选择性能。
2025-06-27 cs.CV cs.LG
DTGen: Generative Diffusion-Based Few-Shot Data Augmentation for Fine-Grained Dirty Tableware Recognition
本文提出DTGen，一种基于生成式扩散模型的少样本数据增强方案，通过LoRA、结构化提示和CLIP过滤合成高质量样本，显著提升细粒度脏餐具识别性能，并支持嵌入式洗碗机的轻量化部署。
2025-09-15 cs.AI cs.CV
Query-Guided Networks for Few-shot Fine-grained Classification and Person Search
Technical University of Munich（慕尼黑工业大学）；Sapienza University of Rome（罗马第一大学）；Magic Leap（Magic Leap公司）；Google（谷歌）
Few-Shot细粒度分类和人员搜索作为不同的任务出现，文献将它们分开处理。但仔细观察就会发现重要的相似之处：这两项任务都针对只能通过特定对象细节区分的类别;相关模型应该推广到新的类别，而不是在训练中看到。我们提出了一种新的统一的查询引导网络（QGN）适用于这两个任务。QGN由一个查询引导的Siamese-Squeeze-and-Excitation子网络组成，该子网络在所有网络层上重新加权查询和图库功能，一个用于查询特定本地化的查询引导区域建议子网络，以及一个用于度量学习的查询引导相似性子网络。QGN在最近的几个Few-Shot细粒度数据集上进行了改进，在CUB上的性能大大优于其他技术。QGN在人物搜索CUHK-SYSU和PRW数据集上也表现出竞争力，我们在那里进行了深入的分析。
2022-09-21 cs.CV
Low-Rank Pairwise Alignment Bilinear Network For Few-Shot Fine-Grained Image Classification
Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机学院）
深度神经网络已经在各种视觉分类任务上表现出了先进的能力，这些任务严重依赖于带有注释的地面实况的大规模训练样本。然而，在现实世界的应用程序中总是需要这样的注释是不现实的。近年来，少样本学习（FS）作为解决训练样本不足问题的一种尝试，在类属分类任务中取得了重大进展。尽管如此，它仍然是具有挑战性的当前FS模型区分细粒度的类别之间的细微差别给定有限的训练数据。为了填补分类的空白，在本文中，我们解决了Few-Shot Fine-Grained（FSFG）分类问题，其重点是解决具有挑战性的少样本学习设置下的细粒度分类。提出了一种新的低秩成对双线性池操作，以捕获支持图像和查询图像之间的细微差别，用于学习有效的距离度量。此外，还设计了一个特征对齐层，用于在比较之前将支持图像特征与查询图像特征进行匹配。我们将所提出的模型命名为低秩成对对齐双线性网络（LRPABN），它以端到端的方式进行训练。在四个广泛使用的细粒度分类数据集上的综合实验结果表明，我们的LRPABN模型与最先进的方法相比，具有更优越的性能。
2020-05-28 cs.CV
Stacked Semantic-Guided Attention Model for Fine-Grained Zero-Shot Learning
Tianjin University（天津大学）；Fudan University（复旦大学）；Binghamton University（宾汉姆顿大学）
零样本学习（Zero-Shot Learning，简称ZRL）是通过调整全局图像特征向量与相应类别语义描述之间的语义关系来实现的。然而，使用全局特征来表示细粒度图像可能会导致次优的结果，因为它们忽略了局部区域的区别。此外，不同的区域包含不同的判别信息。重要区域对预测的贡献更大。为此，我们提出了一种新的堆叠语义引导的注意力（S2 GA）模型，以获得语义相关的功能，通过使用个别类的语义功能，逐步指导视觉功能，以产生一个注意力地图加权不同的局部区域的重要性。将集成的视觉特征和类语义特征馈送到多类分类架构中，所提出的框架可以进行端到端的训练。在CUB和NABird数据集上的实验结果表明，该方法在细粒度zero-shot分类和检索任务上都有较好的性能.
2018-05-21 cs.CV
Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs
Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Mechanical and Aerospace Engineering Department, University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程系）
AutoSEP通过利用未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能。
2025-11-27 cs.AI cs.CV cs.LG
Compositional Fine-Grained Low-Shot Learning
Khoury College of Computer Sciences, Northeastern University（东北大学库理计算机学院）
我们开发了一种新的零和少样本学习的组合生成模型，以识别细粒度的类，很少或没有训练样本。我们的主要观察是，为细粒度的类生成整体特征无法捕获类之间的小属性差异。因此，我们提出了一个特征组合框架，该框架学习从训练样本中提取属性特征，并将它们组合起来，为罕见和不可见的类构建细粒度特征。特征组合允许我们不仅有选择地从相关的训练样本中组合每个类的特征，而且还可以通过改变用于组合的样本来获得组合特征之间的多样性。此外，而不是建立整体功能的类，我们使用我们的属性功能，形成密集的表示能够捕捉细粒度的属性细节的类。我们提出了一个训练方案，使用一个判别模型来构建功能，随后用于训练模型本身。因此，我们直接训练的组成特征的判别模型，而无需学习一个单独的生成模型。我们在DeepFashion、AWA2、CUB和SUN四个流行的数据集上进行了实验，证明了我们的方法的有效性。
2021-05-21 cs.CV
Learning the Redundancy-free Features for Generalized Zero-Shot Object Recognition
Nanjing University of Science and Technology（南京理工大学）
零次目标识别或零样本学习的目的是在语义相关的类别之间转移目标识别能力，例如细粒度的动物或鸟类物种。然而，不同的细粒度对象的图像往往仅仅表现出外观上的细微差异，这将严重恶化zero-shot对象识别。为了减少细粒度对象中的冗余信息，本文提出了广义零样本学习的无冗余特征学习方法。我们通过将原始视觉特征投影到一个新的（无冗余）特征空间中，然后限制这两个特征空间之间的统计依赖性来实现我们的动机。此外，我们要求投影的功能，以保持，甚至加强在无冗余的特征空间的类别关系。这样，我们可以从视觉特征中去除冗余信息，而不会丢失区分信息。我们广泛评估了四个基准数据集的性能。实验结果表明，基于无冗余特征的广义零样本学习（RFF-GML）方法与现有方法相比，具有较好的效果。
2021-05-23 cs.CV cs.LG eess.IV
Few-shot Learning for Domain-specific Fine-grained Image Classification
Ocean University of China（中国海洋大学）；University of Leicester（莱斯特大学）
学习从几个例子中识别新的视觉类别对于现实世界的工业应用中的机器来说是一项具有挑战性的任务。相比之下，人类有能力在几乎没有监督的情况下区分相似的物体。本文试图解决Few Shot细粒度图像分类问题。我们提出了一个特征融合模型，通过关注关键区域来探索鉴别特征。该模型利用聚焦区域定位机制来发现对象之间的感知相似区域。采用高阶积分方法来获取部件间的交互信息。我们还设计了一个中心邻居损失，以形成强大的嵌入空间分布。在此基础上，结合海洋生态环境的实际应用，构建了一个典型的细粒度、少样本学习数据集miniPPlankton。大量的实验进行了验证我们的方法的性能。结果表明，我们的模型与最先进的模型相比，具有竞争力的性能。我们的工作是对模型领域特定工业应用的宝贵补充。
2020-06-01 cs.CV
A Task-aware Dual Similarity Network for Fine-grained Few-shot Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Leicester（莱斯特大学）
细粒度少样本学习的目标是通过学习少量标记样本来识别同一超类别下的子类别。最近的方法大多采用单一的相似性度量，即，单独的全球或局部措施。然而，对于具有高类内方差和低类间方差的细粒度图像，探索全局不变特征和区分性局部细节是非常必要的。在本文中，我们提出了一个任务感知的双重相似性网络（TDSNet），它适用于全球的功能和本地补丁，以达到更好的性能。具体地说，采用局部特征增强模块来激活具有强鉴别力的特征。此外，任务感知注意利用整个任务中的重要补丁。最后，通过全局特征和判别性局部补丁得到的类原型都被用于预测。在三个细粒度数据集上的实验表明，与其他最先进的算法相比，本文提出的TDSNet具有很好的性能。
2022-10-22 cs.CV
Task-Oriented Channel Attention for Fine-Grained Few-Shot Classification
Sungkyunkwan University（成均馆大学）
针对细粒度少样本分类因数据有限难以识别判别细节的问题，提出任务导向通道注意力方法TDM及实例注意力模块IAM，通过自适应校准通道重要性生成判别特征，显著提升了细粒度、粗粒度及跨域少样本分类性能。
2023-07-28 cs.CV
BSNet: Bi-Similarity Network for Few-shot Fine-grained Image Classification
Lanzhou University of Technology（兰州理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University College London（伦敦大学学院）
用于细粒度图像分类的少样本学习最近在计算机视觉中得到了关注。在用于少样本学习的方法中，由于简单和有效，基于度量的方法在许多任务上是有利的最先进的。大多数基于度量的方法假设一个单一的相似性度量，从而获得一个单一的特征空间。然而，如果样本可以同时通过两个不同的相似性度量进行很好的分类，则类内的样本可以在较小的特征空间中分布得更复杂，从而产生更具鉴别力的特征图。出于这一动机，我们提出了一个所谓的\textit{Bi-Similarity Network}（\textit{BSNet}），由一个单一的嵌入模块和两个相似性度量的双相似性模块。在支持图像和查询图像通过基于卷积的嵌入模块之后，双相似性模块根据不同特征的两个相似性度量来学习特征图。通过这种方式，该模型能够从少量的细粒度图像中学习更多的区分性和更少的相似性偏差特征，从而可以显着提高模型的泛化能力。通过大量的实验，稍微修改已建立的度量/相似性为基础的网络，我们表明，所提出的方法产生了实质性的改善几个细粒度的图像基准数据集。代码可在以下网址获得：https://github.com/spraise/BSNet
2020-11-29 cs.CV
Fine-Grained Few Shot Learning with Foreground Object Transformation
Tsinghua University（清华大学）
传统的细粒度图像分类通常需要大量的标记样本来处理类间方差小而类内方差大的问题。然而，在许多情况下，我们可能对一些新的子类别具有有限的样本，从而导致细粒度的少样本学习（FG-FSL）设置。为了解决这个具有挑战性的任务，我们提出了一种新的方法命名为前景对象变换（FOT），它是由一个前景对象提取器和姿态变换发生器。前者的目的是去除图像背景，这往往会增加细粒度图像分类的难度，因为它放大了类内方差，而减少了类间方差。后者变换的前景对象的姿态，以生成新的子类别的额外的样本。作为一种数据增强方法，FOT可以方便地应用于任何现有的少样本学习算法，并大大提高其在FG-FSL任务上的性能。特别是，与FOT相结合，简单的微调基线方法可以在感应设置和转换设置中与最先进的方法竞争。此外，FOT可以进一步提高最新的优秀方法的性能，使他们达到新的国家的最先进的。此外，我们还显示了FOT的有效性一般FSL任务。
2021-09-13 cs.CV
Boosting Few-Shot Classification with View-Learnable Contrastive Learning
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Lab（鹏城实验室）
Few-Shot分类的目标是在每个类别中使用很少的标记示例对新类别进行分类。目前，基于度量的元学习方法在处理Few-Shot分类问题上表现出了优异的性能。然而，在没有细粒度标签的嵌入空间中，以往的方法很难区分细粒度的子类别。这可能导致对细粒度子类别的概括不令人满意，从而影响模型解释。为了解决这个问题，我们将对比度损失引入到Few-Shot分类中，以学习嵌入空间中潜在的细粒度结构。此外，为了克服当前对比学习中使用的随机图像变换在产生噪声和不准确的图像对（即，视图），我们开发了一个学习到学习的算法来自动生成同一图像的不同视图。在标准少样本学习基准上的大量实验证明了我们方法的优越性。
2021-07-30 cs.CV
ActAlign: Zero-Shot Fine-Grained Video Classification via Language-Guided Sequence Alignment
Department of Computer Science, Temple University（Temple大学计算机科学系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出无需训练的 ActAlign，利用 LLM 生成子动作序列并通过 DTW 对齐视频帧，在 ActionAtlas 上以更少参数实现零样本细粒度动作识别。
2025-10-19 cs.CV cs.LG cs.MM
ProtoRAG: Prototype-Based Retrieval Augmentation for Few-Shot Fine-Grained Remote Sensing Object Detection
Wuhan University（武汉大学）；East China Normal University（华东师范大学）
针对少样本细粒度遥感目标检测，提出基于原型的检索增强框架ProtoRAG，通过判别性原型空间学习和不确定性引导推理，在多个基准上显著提升性能。
2026-09-09 cs.CV
Task Adaptive Feature Distribution Based Network for Few-shot Fine-grained Target Classification
针对少样本细粒度分类中忽略任务级特殊情况及难以处理无关样本的问题，提出TAFD-Net网络，通过任务自适应组件、非对称度量与对比度量策略提升分类性能，在三个数据集上优于近期增量学习算法。
2024-11-18 cs.CV
NDD20: A large-scale few-shot dolphin dataset for coarse and fine-grained categorisation
Newcastle University（纽卡斯尔大学）
我们介绍了诺森伯兰海豚数据集2020（NDD 20），一个具有挑战性的图像数据集注释的粗粒度和细粒度的实例分割和分类。该数据集是NDD的第一个版本，是为了响应计算机视觉在保护研究中的快速扩展和适合极端环境条件的现场部署系统的生产而创建的-这是一个几乎没有开源数据集的领域。NDD 20包含两种不同海豚物种的水上和水下图像的大量集合，用于传统的粗粒度和细粒度分割。NDD 20中包含的所有数据都是通过在英国诺森伯兰海岸线周围的北海人工收集获得的。我们使用使用NDD 20训练的标准深度学习网络架构进行实验，并报告基线结果。
2020-05-27 cs.CV
Towards Fine-Grained Vision-Language Alignment for Few-Shot Anomaly Detection
Tencent Youtu Lab（腾讯优图实验室）
Few-Shot异常检测（FSAD）方法识别具有很少已知正常样本的异常区域。大多数现有的方法依赖于预训练的视觉语言模型（VLM）的泛化能力，通过文本描述和图像之间的特征相似性来识别潜在的异常区域。然而，由于缺乏详细的文本描述，这些方法只能预先定义图像级描述来匹配每个视觉块标记，从而识别潜在的异常区域，导致图像描述与块级视觉异常之间的语义错位，定位性能不佳。为了解决上述问题，我们提出了多级细粒度语义说明（MFSC），为现有的异常检测数据集提供多层次和细粒度的文本描述与自动构建管道。基于MFSC，我们提出了一个新的框架名为FineGrainedAD，以提高异常定位性能，它由两个组件：多级可学习提示（MLLP）和多级语义对齐（MLSA）。MLLP通过自动替换和拼接机制将细粒度语义引入到多级可学习提示中，而MLSA则设计了区域聚合策略和多级对齐训练，以帮助可学习提示更好地与相应的视觉区域对齐。实验表明，所提出的FineGrainedAD在MVTec-AD和VisA数据集上的Few-Shot设置中实现了优异的整体性能。
2025-10-30 cs.CV
TROPE: TRaining-Free Object-Part Enhancement for Seamlessly Improving Fine-Grained Zero-Shot Image Captioning
Arizona State University（亚利桑那州立大学）
针对细粒度零样本图像描述生成性能不足的问题，提出无训练对象部件增强（TROPE），利用检测器与NLP补充部件细节，无缝提升各方法性能并达到最先进水平。
2024-11-02 cs.CL cs.CV
EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation
Institute of Trustworthy Embodied AI (TEAI), Fudan University（可信具身人工智能研究院，复旦大学）；Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室）
提出EvoMemNav框架，通过构建视觉-语义记忆图并采用预算驱动的粗到细策略，结合反射驱动写回机制，实现零样本具身导航中高效、自进化的细粒度记忆，提升多实例区分和停止验证性能。
2026-06-02 cs.CV
Object-aware Long-short-range Spatial Alignment for Few-Shot Fine-Grained Image Classification
Fudan University（复旦大学）；Tencent（腾讯）
Few-Shot细粒度图像分类的目标是识别查询集中很少见到的细粒度对象，给定支持集中该类的几个样本。以往的工作集中在学习判别图像特征从有限数量的训练样本区分各种细粒度的类，但忽略了一个重要的事实，即空间对齐的判别语义特征之间的查询图像与任意变化的支持图像，也是至关重要的计算每个支持查询对之间的语义相似度。在这项工作中，我们提出了一个对象感知的长短距离空间对齐方法，它是由一个前景对象特征增强（FOE）模块，一个长距离语义对应（LSC）模块和一个短距离空间操作（SSM）模块。FOE的发展是为了削弱背景干扰，并鼓励更高的前景对象的响应。为了解决支持-查询图像对之间的长距离对象特征不对齐的问题，提出了LSC通过设计的特征相似性度量来学习可转移的长距离语义对应。此外，SSM模块被开发为在长距离步骤之后细化经变换的支持特征，以将短距离未对准的特征（或局部细节）与查询特征对准。在四个基准数据集上进行了大量的实验，结果表明，在1次和5次分类场景下，该方法的性能优于大多数最先进的方法。
2021-08-30 cs.CV
Few-Shot Classification with Feature Map Reconstruction Networks
Cornell University（康奈尔大学）
在本文中，我们重新制定Few-Shot分类作为一个重建问题的潜在空间。网络从给定类的支持特征重构查询特征图的能力预测了该查询在该类中的成员资格。我们引入了一种新的机制，Few-Shot分类直接从支持功能回归到查询功能的封闭形式，而不引入任何新的模块或大规模的可学习的参数。由此产生的特征映射重建网络比以前的方法性能更好，计算效率更高。我们在四个具有不同神经架构的细粒度基准测试中展示了一致和大量的准确性增益。我们的模型在非细粒度的mini-ImageNet和分层ImageNet基准测试中也具有竞争力，并且具有最小的铃声和口哨声。
2021-04-27 cs.CV cs.LG
Hybrid Feature Collaborative Reconstruction Network for Few-Shot Fine-Grained Image Classification
Nanjing Normal University（南京师范大学）
针对小样本细粒度图像分类中外观相似与样本有限的问题，本文提出HFCR-Net，通过融合并协同重建空间与通道特征来增大类间差异、减小类内差异，并在三个细粒度数据集上验证了优越性。
2024-07-02 cs.CV
CDNet: Contrastive Disentangled Network for Fine-Grained Image Categorization of Ocular B-Scan Ultrasound
Hangzhou Dianzi University（杭州电子科技大学）；the Second Affiliated Hospital of Zhejiang University（浙江大学医学院附属第二医院）；Waseda University（早稻田大学）；Communication University of Zhejiang（浙江传媒学院）
B超图像的准确、快速分类对于眼科疾病的诊断至关重要。然而，在超声中区分各种疾病仍然是有经验的眼科医生的挑战。因此，在这项工作中开发了一种新的对比解缠网络（CDNet），旨在解决超声图像中眼部异常的细粒度图像分类（FGIC）挑战，包括眼内肿瘤（IOT），视网膜脱离（RD），后巩膜葡萄肿（PSS）和玻璃体出血（VH）。CDNet的三个基本组成部分分别是弱监督病变定位模块（WSLL）、对比多缩放（CMZ）策略和超球面对比解纠缠损失（HCD-损失）。这些组件有助于在输入和输出方面进行细粒度识别的特征分解。提出的CDNet在我们的ZJU眼科超声数据集（ZJUOUSD）上进行了验证，该数据集由5213个样本组成。此外，CDNet的泛化能力进行了验证，在两个公共和广泛使用的胸部X射线FGIC基准。定量和定性的结果表明，我们提出的CDNet，它实现了最先进的性能在FGIC任务的有效性。代码可在：https://github.com/ZeroOneGame/CDNet-for-OUS-FGIC.
2022-06-17 cs.CV
Fine-grained Few-shot Recognition by Deep Object Parsing
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
我们提出了一种通过深度对象解析进行细粒度Few-Shot识别的新方法。在我们的框架中，一个对象由K个不同的部分组成，对于每个部分，我们学习一个模板字典，它在所有实例和类别中共享。通过估计这K个零件的位置和一组可以重建零件特征的活动模板来解析对象。我们识别测试实例，通过比较其活动模板和相对几何的部分位置对那些提出的Few-Shot实例。我们的方法是端到端可训练的，可以在卷积骨干上学习部分模板。为了对抗方向、姿势和大小等视觉失真，我们在多个尺度上学习模板，并在测试时解析和匹配这些尺度上的实例。我们表明，我们的方法是有竞争力的国家的最先进的，并凭借解析享有可解释性以及。
2022-10-13 cs.AI cs.CV
ZiGAN: Fine-grained Chinese Calligraphy Font Generation via a Few-shot Style Transfer Approach
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Beijing Institute of Technology（北京理工大学）
与英文字母相比，汉字的字形或底层结构的复杂性以及存在的大量字符使得汉字的字形转换是一个非常具有挑战性的问题。此外，书法大师的笔迹具有更不规则的笔画，并且在现实场景中难以获得。最近，已经提出了几种基于GAN的字体合成方法，但其中一些方法需要大量的参考数据，而另一部分则需要繁琐的预处理步骤，将字符划分为不同的部分，以便分别学习和传输。本文提出了一个简单但功能强大的端到端汉字书法字体生成框架ZiGAN，该框架不需要任何人工操作或冗余的预处理，可以生成具有Few-Shot引用的细粒度目标样式字符。具体来说，利用来自不同字符样式的一些成对样本来获得不同字形下的结构之间的细粒度相关性。为了在目标中捕获有价值的风格知识并加强对字符内容的粗粒度理解，我们利用多个不成对的样本来对齐属于不同字符风格的特征分布。通过这样做，只需要几个目标汉字书法字符生成预期的风格转换字符。实验表明，该方法在Few-Shot汉字风格迁移中具有较好的泛化能力。
2021-08-08 cs.CV
Fine-Grained Zero-Shot Learning: Advances, Challenges, and Prospects
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；The University of Queensland（昆士兰大学）；Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
本文系统综述了细粒度零样本学习的最新进展，提出方法分类法，总结基准数据集与实现，并讨论挑战与未来方向，旨在缓解领域偏差和视觉-语义映射问题。
2024-02-04 cs.CV
FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所基础模型研究中心）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）；Objecteye Inc., Beijing, China（Objecteye公司）；Central South University, Hunan, China（中南大学）
FiLo通过细粒度描述和高质量定位实现零样本异常检测，提升检测和定位性能。
2026-02-28 cs.CV cs.LG
Hierarchical Mask-Enhanced Dual Reconstruction Network for Few-Shot Fine-Grained Image Classification
Nanjing University（南京大学）
本文提出层次化掩码增强双重建网络（HMDRN），通过双层特征重建与掩码增强特征处理，解决少样本细粒度图像分类中区分视觉相似子类的问题，实验显示其在三种细粒度数据集上均优于现有方法。
2026-06-04 cs.CV
UltraAD: Fine-Grained Ultrasound Anomaly Classification via Few-Shot CLIP Adaptation
Computer Aided Medical Procedures (CAMP)（计算机辅助医疗程序）；TU Munich, Germany（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；The First Affiliated Hospital of Sun Yat-Sen University（中山大学附属第一医院）
针对超声图像异常检测缺乏细粒度区分及领域差异问题，提出基于VLM的UltraAD方法，通过融合图像级token与文本嵌入优化定位，并利用记忆库实现少样本细粒度分类，在三个乳腺超声数据集上优于现有方法。
2025-08-11 cs.CV
An Empirical Analysis for Zero-Shot Multi-Label Classification on COVID-19 CT Scans and Uncurated Reports
ARTORG Center for Biomedical Engineering Research（ARTORG生物医学工程研究中心）；University of Bern（伯尔尼大学）；Bern University Hospital（伯尔尼大学医院）；Lindenhofspital（林登霍夫医院）；Campus Stiftung Lindenhof Bern（伯尔尼林登霍夫基金会校区）
本研究利用医院非结构化数据和CT扫描的细粒度细节，基于对比视觉语言学习进行零样本多标签分类，辅助放射科医生检测肺栓塞及肺部复杂病变，为医学多模态预训练中细粒度任务提供实证分析。
2023-09-06 cs.CL cs.CV cs.LG
