Using Unlabeled Data for Increasing Low-Shot Classification Accuracy of Relevant and Open-Set Irrelevant Images
University of Michigan（密歇根大学）；Michigan Engineering Services（密歇根工程服务公司）；US Army DEVCOM GVSC（美国陆军作战能力发展司令部地面车辆系统中心）
在自主地面车辆执行的搜索、勘探和侦察任务中，需要图像分类能力来具体识别目标对象（相关类别），同时识别候选图像何时不属于任何相关类别（不相关图像）。在本文中，我们提出了一个开集低拍摄分类器，使用，在其训练过程中，适度数量（小于40）的标记图像为每个相关的类，和未标记的不相关的图像，随机选择在每个时期的训练过程。新的分类器能够从相关类别中识别图像，确定候选图像何时不相关，并且它可以进一步识别不包括在训练中的不相关图像的类别（看不见的）。当构造卷积神经网络时，所提出的低拍摄分类器可以作为顶层附加到任何预先训练的特征提取器。
2022-06-03 cs.CV cs.LG
Zero-Shot Deep Domain Adaptation
Siemens Corporate Technology（西门子企业技术研究院）
领域自适应是将在源领域中学习到的关于任务（例如分类）的知识转移到第二或目标领域的重要工具。目前的方法假设任务相关的目标域数据在训练过程中是可用的。我们演示了如何执行领域自适应时，没有这样的任务相关的目标域数据。为了解决这个问题，我们提出了zero-shot深度领域自适应（ZDDA），它使用任务无关的双域对的特权信息。ZDDA学习一个源域表示，它不仅是为感兴趣的任务量身定制的，而且接近目标域表示。因此，与源域表示联合训练的源域感兴趣任务解决方案（例如，用于分类任务的分类器）可以适用于源表示和目标表示两者。使用MNIST，Fashion-MNIST，NIST，EMNIST和SUN RGB-D数据集，我们证明了ZDDA可以在分类任务中执行领域自适应，而无需访问与任务相关的目标领域训练数据。我们还扩展ZDDA进行传感器融合在SUN RGB-D场景分类任务模拟任务相关的目标域表示与任务相关的源域数据。据我们所知，ZDDA是第一个领域自适应和传感器融合方法，它不需要任务相关的目标域数据。其基本原理并不特定于计算机视觉数据，而是应该可以扩展到其他领域。
2018-07-24 cs.CV
DiRaC-I: Identifying Diverse and Rare Training Classes for Zero-Shot Learning
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
受主动学习等策略的启发，从零样本学习（Zero-Shot Learning，简称ZRL）的数据集中智能地选择训练类可以提高现有Zero-Shot学习方法的性能。在这项工作中，我们提出了一个称为多样和稀有类标识符（DiRaC-I）的框架，给定基于属性的数据集，可以智能地产生最合适的“可见类”来训练BML模型。DiRaC-I有两个主要目标-构建一组多样化的种子类，其次是由这些种子类初始化的视觉语义挖掘算法，获得在对象域中充分捕获多样性和稀有性的类。然后，这些类可以被用作“看到的类”，以训练用于图像分类的RML模型。我们采用了一个现实世界的情况下，新的对象类是既不适用于DiRaC-I，也不适用于在训练过程中的ARML模型，并进行了广泛的实验上的两个基准数据集的zero-shot图像分类- CUB和SUN。我们的研究结果表明，DiRaC-I有助于BML模型实现显着的分类准确性提高。
2022-12-31 cs.CV
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Center for Applied Scientific Computing（应用科学计算中心）
自动编码器是一个人工神经网络模型，它学习未标记数据的隐藏表示。对于线性传递函数，它类似于主成分分析（PCA）。虽然这两种方法都使用权重向量进行线性变换，但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性（SNS）的方法，排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差（NED）来衡量直方图的“兴趣度”，并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集，我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
Stable Attribute Group Editing for Reliable Few-shot Image Generation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud EI Innovation Lab（华为云EI创新实验室）
Few-Shot图像生成旨在仅基于少量样本生成不可见类别的数据。除了基本的内容生成之外，许多下游应用程序有望从这项任务中受益，例如低数据检测和Few-Shot分类。为了实现这一目标，所生成的图像应保证类别保留，以便分类超出视觉质量和多样性。在我们的初步工作中，我们提出了一个“基于编辑”的框架属性组编辑（AGE）可靠的Few-Shot图像生成，这大大提高了生成性能。然而，AGE在下游分类方面的表现并不像预期的那样令人满意。本文研究了类不一致问题，并提出了稳定的属性组编辑（SAGE）更稳定的类相关的图像生成。SAGE利用所有给定的Few-Shot图像，并基于类别相关属性字典估计类中心嵌入。同时，根据属性在类别相关属性字典上的投影权重，从相似的可见类别中选择类别无关属性。因此，SAGE将小说类的整体分布注入到StyleGAN的潜空间中，从而在很大程度上保持了生成图像的类别保持性和稳定性。更进一步，我们发现类别不一致是GAN生成的图像用于下游分类的常见问题。即使生成的图像看起来像照片一样逼真，并且不需要与类别相关的编辑，但它们通常对下游分类的帮助有限。我们系统地讨论了这个问题，从生成模型和分类模型的角度来看，并提出了提高下游分类性能的SAGE通过增强像素和频率分量。
2023-02-01 cs.CV
Local Descriptors Weighted Adaptive Threshold Filtering For Few-Shot Learning
Guilin University Of Electronic Technology（桂林电子科技大学）
针对少样本图像分类中背景噪声干扰问题，提出局部描述符加权自适应阈值滤波（WATF）策略，动态选择类别相关特征，在无额外参数下显著提升判别能力与聚类效果。
2024-08-28 cs.AI cs.CV
One-Shot Medical Landmark Localization by Edge-Guided Transform and Noisy Landmark Refinement
Peking University（北京大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
作为许多医学应用的重要上游任务，监督地标定位仍然需要不可忽略的注释成本来实现期望的性能。此外，由于收集过程繁琐，医学标志数据集的大小有限，影响了大规模自监督预训练方法的有效性。为了解决这些挑战，我们提出了一个两阶段的框架，一次性医疗标志定位，首先推断标志的无监督注册从标记的样本到无标记的目标，然后利用这些嘈杂的伪标签训练强大的检测器。为了处理显着的结构变化，我们学习了一个端到端的级联的全局对齐和局部变形，新的损失函数的指导下，将边缘信息。在第二阶段，我们探讨了选择可靠的伪标签和交叉一致性的半监督学习的自我一致性。我们的方法在不同身体部位的公共数据集上实现了最先进的性能，这证明了它的普遍适用性。
2022-07-31 cs.CV
AdaCount: Training-Free Similarity-Guided Spatial and Feature Adaptation for Zero-Shot Object Counting
Mohamed Bin Zayed University of Artificial Intelligence（莫萨德·本·扎耶德人工智能大学）
针对零样本目标计数在密集小目标场景下的漏检和分割不佳问题，提出无训练框架AdaCount，通过原型驱动相似性图引导空间扭曲和特征调制，提升SAM3对目标区域的表征能力，达到新SOTA。
2026-07-03 cs.CV
Selecting Relevant Web Trained Concepts for Automated Event Retrieval
Center For Automation Research, University of Maryland, College Park（马里兰大学帕克分校自动化研究中心）
复杂事件检索是一个具有挑战性的研究问题，特别是在没有训练视频的情况下。收集训练视频的替代方案是先验地训练大型语义概念库。给定事件的文本描述，事件检索通过选择与事件描述语言相关的概念并融合看不见的视频上的概念响应来执行。然而，定义一个详尽的概念词典和预训练它需要大量的计算资源。因此，最近的方法自动化的概念发现和训练，利用大量的弱注释的Web数据。紧凑的视觉上突出的概念是自动获得的概念对，或更一般地说，n-gram的使用。然而，并不是所有视觉上突出的n-gram都一定对事件查询有用--一些概念的组合可能在视觉上紧凑但不相关--这会极大地影响性能。我们提出了一个事件检索算法，构造对自动发现的概念，然后修剪这些概念是不太可能有助于检索。修剪取决于查询和正在评估的特定视频实例。我们的方法还解决了校准和领域自适应问题时出现的概念检测器看不见的视频。我们证明了在TRECVID MED 13数据集上比其他基于视觉的系统有很大的改进。
2015-09-25 cs.CL cs.CV cs.IR
Finding Task-Relevant Features for Few-Shot Learning by Category Traversal
The Chinese University of Hong Kong（香港中文大学）；Clarifai Inc.（Clarifai公司）；SenseTime Research（商汤科技研究院）
少样本学习是一个重要的研究领域。从概念上讲，人类很容易理解新概念，只要给出几个例子，而在更实用的术语中，有限的例子训练情况在实践中很常见。最近的有效方法少样本学习采用度量学习框架来学习查询（测试）示例和少数支持（训练）示例之间的特征相似性比较。然而，这些方法将每个支持类彼此独立地对待，从不将整个任务作为一个整体来看待。正因为如此，他们被限制为使用一组功能的所有可能的测试时的任务，这阻碍了区分最相关的尺寸为手头的任务的能力。在这项工作中，我们引入了一个类别Traffic模块，可以插入作为一个即插即用模块到大多数基于度量学习的Few-Shot学习器。该组件一次遍历整个支持集，根据特征空间中的类内共性和类间唯一性来识别任务相关的特征。在mini-ImageNet和tieredImageNet基准测试中，与基线系统相比，我们的模块大大提高了性能（相对提高了5%-10%），整体性能与最近的最先进系统相比具有竞争力。
2019-05-27 cs.AI cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Instance-level Few-shot Learning with Class Hierarchy Mining
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；Monash University（莫纳什大学）；University of Dayton（代顿大学）
本文提出利用类别层次信息，通过软多超类框架和标签细化，提升实例级少样本分割的性能。
2023-04-15 cs.CV
Surgical Phase Recognition of Short Video Shots Based on Temporal Modeling of Deep Features
腹腔镜手术（LS）操作的视频识别阶段构成了有效的内容表示，索引和检索手术视频数据库中的基本步骤。在文献中，大多数技术集中于使用手工制作的视觉特征、仪器使用信号和最近的卷积神经网络（CNN）对整个LS视频进行相位分割。在本文中，我们解决的问题，相位识别的短视频镜头（10秒）的操作，而不利用信息的前/即将到来的视频帧，其相位标签或所使用的仪器。我们研究了四种最先进的CNN架构（Alexnet，VGG 19，GoogleNet和ResNet 101），用于通过迁移学习进行特征提取。采用视觉显著性来选择图像的信息量最大的区域作为CNN的输入。视频镜头表示是基于两个时间池机制。最重要的是，我们调查了“运行时间”（从操作开始）的作用，我们表明，包含此功能可以显着提高性能（69%与75%的平均准确度）。最后，基于CNN特征与“经过时间”的融合，训练了一个长短期记忆（LSTM）网络用于视频镜头分类，将准确率提高到86%。我们的研究结果突出了视觉显着性，长距离的时间递归和“流逝的时间”（一个功能，到目前为止被忽略），手术阶段识别的突出作用。
2018-12-07 cs.CV
AnomExpert: Identifying and Selecting Anatomical Planes for Prenatal Ultrasound Anomaly Diagnosis
Medical Ultrasound Image Computing (MUSIC) Lab, School of Artificial Intelligence, Shenzhen University（医学超声图像计算（MUSIC）实验室，深圳大学人工智能学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件学院）；National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University（深圳大学大数据系统计算技术国家工程实验室）；School of Biomedical Engineering, Medical School, Shenzhen University（深圳大学医学院生物医学工程学院）；School of Biomedical Engineering and Informatics, Nanjing Medical University（南京医科大学生物医学工程与信息学院）
研究针对产前超声异常诊断，提出AnomExpert框架，利用可学习平面原型和疾病感知稀疏选择机制，仅通过病例级监督实现解剖平面识别与选择，实验显示其优于多种方法，提升了弱监督多平面产前超声异常分类效果。
2026-07-16 cs.CV
Generalized Few-Shot Video Classification with Video Retrieval and Feature Generation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）；Facebook（脸书公司）；Dartmouth College（达特茅斯学院）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
少样本学习的目标是从几个例子中识别新的类。虽然在图像领域已经取得了显著的进展，但Few-Shot视频分类相对来说是未开发的。我们认为，以前的方法低估了视频特征学习的重要性，并建议使用3D CNN学习时空特征。提出了一个两阶段的方法，学习基础类的视频功能，然后微调分类器上的新类，我们表明，这种简单的基线方法优于以前的Few-Shot视频分类方法超过20点现有的基准。为了规避标记的例子的需要，我们提出了两种新的方法，产生进一步的改进。首先，我们使用标签检索从大型数据集中利用标记的视频，然后选择具有视觉相似性的最佳剪辑。其次，我们学习生成对抗网络，它从语义嵌入中生成新类别的视频特征。此外，我们发现现有的基准是有限的，因为他们只专注于5个新的类在每个测试情节，并引入更现实的基准涉及更多的新类，即少样本学习，以及混合的新类和基类，即广义少样本学习。实验结果表明，我们的检索和特征生成方法显着优于基线方法在新的基准。
2021-10-13 cs.CV
What makes a good data augmentation for few-shot unsupervised image anomaly detection?
SUSTech（南方科技大学）；University of Surrey（萨里大学）；University of Warwick（华威大学）；Bielefeld University（比勒费尔德大学）
本文通过实验系统评估多种数据增强对少样本无监督工业图像异常检测算法的影响，发现具体增强方式影响有限且组合增强未必提升准确率，并据此给出选择指导。
2023-04-21 cs.CV
SelectNAdapt: Support Set Selection for Few-Shot Domain Adaptation
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；University of Surrey（萨里大学）
本文提出SelectNAdapt算法，通过自监督特征学习、逐类聚类和基于距离的评分函数，从目标域中精心选择支持集样本，以改进少样本领域自适应中随机选择支持集的不足，并在三个图像识别基准上验证了其有效性。
2023-08-09 cs.CV
Task-oriented Learnable Diffusion Timesteps for Universal Few-shot Learning of Dense Tasks
本文提出面向任务的可学习扩散时间步方法，通过自适应选择最优时间步提升少样本密集预测性能。
2025-12-31 cs.CV
Missing Target-Relevant Information Prediction with World Model for Accurate Zero-Shot Composed Image Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Information Engineering, Minzu University of China（中央民族大学信息工程学院）；Beijing Institute of Technology（北京理工大学）；University of Adelaide（阿德莱德大学）
本文提出PrediCIR，通过世界模型预测参考图像中缺失的目标视觉内容，在潜在空间进行映射，实现零样本组合图像检索，在六个任务上性能提升1.73%-4.45%，达到新最先进水平。
2025-03-30 cs.CV
Dataset Bias in Few-shot Image Recognition
University of Chinese Academy of Sciences（中国科学院大学）
Few-Shot图像识别（FSIR）的目标是通过利用来自训练数据（基本类别）的可传递知识来识别具有少量注释样本的新类别。目前的研究大多假设可转移知识可以很好地用于识别新类别。然而，这种可转移的能力可能会受到数据集偏差的影响，这个问题以前很少被研究。此外，大多数少样本学习方法对不同的数据集存在偏差，这也是一个需要深入研究的重要问题。在本文中，我们首先调查的影响，从基本类别的可转移能力。具体来说，我们使用的相关性来衡量基础类别和新类别之间的关系。通过实例密度和类别多样性来描述基本类别的分布。FSIR模型从相关训练数据中学习更好的可转移知识。在相关数据中，密集的实例或不同的类别可以进一步丰富所学习的知识。在ImagNet不同子数据集上的实验结果表明，类别相关性、实例密度和类别多样性可以描述基本类别的可转移偏差。其次，我们从数据集结构和不同的少样本学习方法来研究不同数据集上的性能差异。具体来说，我们引入图像复杂度，概念内视觉一致性和概念间视觉相似性来量化数据集结构的特征。我们使用这些定量特征和四种少样本学习方法来分析五种不同数据集上的性能差异。在实验分析的基础上，从数据集结构和少样本学习方法两个角度得到了一些有见地的观察。我们希望这些观察结果对指导未来的FSIR研究是有用的。
2021-03-16 cs.CV
VQA Training Sets are Self-play Environments for Generating Few-shot Pools
Google DeepMind（谷歌DeepMind）
提出一种利用现有VQA训练集作为自博弈环境的技术，使模型能自主学会将自身或其他模型作为工具，通过迭代选择少样本示例来提升在图表、信息图和文档视觉问答数据集上的零样本性能。
2024-05-30 cs.CV
Task-Disruptive Background Suppression for Few-Shot Segmentation
Sungkyunkwan University（成均馆大学）
针对少样本分割中支持背景干扰导致误判的问题，提出任务干扰背景抑制模块，利用查询相关和目标相关得分自适应抑制干扰背景，在PASCAL-5和COCO-20上达到最先进性能。
2023-12-26 cs.CV
Attribute Group Editing for Reliable Few-shot Image Generation
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud（华为云）
即使使用最先进的生成对抗网络（GANs），Few-Shot图像生成也是一项具有挑战性的任务。由于GAN训练过程不稳定和训练数据有限，生成的图像通常质量低且多样性低。在这项工作中，我们提出了一种新的基于编辑的方法，即，属性组编辑（AGE），用于生成Few-Shot图像。基本假设是任何图像都是属性的集合，并且特定属性的编辑方向在所有类别中共享。AGE检查在GANs中学习的内部表示，并识别语义上有意义的方向。具体来说，类嵌入，即，该方法利用特定类别的潜码均值向量表示类别相关属性，利用样本嵌入与类别嵌入的差异，通过稀疏字典学习对类别无关属性进行全局学习。给定一个在可见类别上训练良好的GAN，可以通过编辑类别无关属性同时保持类别相关属性不变来合成不可见类别的各种图像。在不重新训练GAN的情况下，AGE不仅能够用有限的数据为下游视觉应用生成更逼真和多样化的图像，而且能够用可解释的类别无关方向实现可控的图像编辑。
2022-03-16 cs.CV
High-level semantic feature matters few-shot unsupervised domain adaptation
Nanjing Normal University（南京师范大学）；University of Wollongong（伍伦贡大学）
在Few-Shot无监督领域自适应（FS-UDA）中，大多数现有方法遵循少样本学习（FSL）方法来利用低级局部特征（从常规卷积模型学习，例如，ResNet）进行分类。然而，FS-UDA和FSL的目标是相关的但不同的，因为FS-UDA的目标是在目标域而不是源域中对样本进行分类。我们发现，局部特征不足以FS-UDA，这可能会引入噪声或对分类的偏见，并且不能用于有效地对齐域。为了解决上述问题，我们的目标是改进本地功能，使其更具歧视性和相关性的分类。因此，我们提出了一种新的特定于任务的语义特征学习方法（TSECS）的FS-UDA。TSECS学习用于图像到类相似性测量的高级语义特征。在高层特征的基础上，设计了一种跨领域的自训练策略，利用源领域中少量的标记样本来构建目标领域的分类器。此外，我们最小化源域和目标域之间的高层特征分布的KL散度，以缩短两个域之间的样本的距离。在DomainNet上的大量实验表明，所提出的方法在FS-UDA中显著优于SOTA方法（即，10%）。
2023-03-16 cs.CV
Task Affinity with Maximum Bipartite Matching in Few-Shot Learning
Duke University（杜克大学）
我们提出了一个不对称的亲和力分数表示利用一个任务的知识学习另一个的复杂性。我们的方法是基于最大二分匹配算法，并利用Fisher信息矩阵。我们提供的理论分析表明，建议的分数是数学定义良好，随后使用的亲和力分数提出了一种新的算法的少样本学习问题。特别是，使用这个分数，我们找到测试数据的相关训练数据标签，并利用发现的相关数据对Few-Shot模型进行间歇性微调。各种Few-Shot基准数据集上的结果证明了所提出的方法的有效性，即使在使用较小的模型时，也可以提高最先进方法的分类精度。
2022-01-21 cs.CV cs.LG
Learning to Select Base Classes for Few-shot Classification
Tsinghua University（清华大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
近年来，少样本学习引起了广泛的研究关注。已经提出了许多方法来将从提供的基类学习到的模型推广到新的类，但是以前的工作没有研究如何选择基类，或者甚至不同的基类是否会导致学习模型的不同推广性能。在本文中，我们利用一个简单而有效的措施，相似比，作为一个指标的泛化性能的Few-Shot模型。然后，我们制定的基类选择问题作为一个子模块的相似比优化问题。进一步对不同优化方法的优化下界进行了理论分析，为不同的实验设置确定最合适的算法。在ImageNet、Caltech 256和CUB-200-2011上的大量实验表明，该方法在选择更好的基础数据集方面是有效的。
2020-04-01 cs.CV cs.LG stat.ML
Extended Few-Shot Learning: Exploiting Existing Resources for Novel Tasks
Brown University（布朗大学）；Isfahan University of Tech.（伊斯法罕理工大学）
在许多实际的少样本学习问题中，即使标记的例子很少，也有丰富的辅助数据集可能包含有用的信息。我们提出了扩展少样本学习的问题来研究这些场景。然后，我们介绍了一个框架，以解决有效地选择和有效地使用辅助数据在Few-Shot图像分类的挑战。给定一个大的辅助数据集和类之间语义相似性的概念，我们自动选择伪镜头，这些镜头是与目标任务相关的其他类的标记示例。我们表明，天真的方法，如（1）建模这些额外的例子与目标任务的例子相同，或（2）使用它们来学习功能通过迁移学习，只增加了适量的准确性。相反，我们提出了一个掩蔽模块，调整辅助数据的特征，使其与目标类的特征更相似。我们发现，这个掩蔽模块的表现比单纯地对支持示例和迁移学习建模分别好4.68和6.03个百分点。
2021-07-03 cs.CV cs.LG stat.ML
Interpretable Saliency Maps And Self-Supervised Learning For Generalized Zero Shot Medical Image Classification
Inception Institute of Artificial Intelligence（英赛普申人工智能研究院）
在许多现实世界的医学图像分类设置中，我们不能访问所有可能的疾病类别的样本，而一个强大的系统预计将在识别新的测试数据提供高性能。我们提出了一种广义的zero shot学习（GSTML）方法，该方法使用自监督学习（SSL）：1）选择不同疾病类别的锚向量; 2）训练特征生成器。我们的方法不需要类属性向量，可用于自然图像，但不用于医学图像。SSL确保锚向量代表每个类。SSL还用于生成不可见类的合成特征。使用一个更简单的架构，我们的方法匹配一个国家的最先进的SSL为基础的GALML方法的自然图像和优于所有的方法的医学图像。我们的方法是适应性强，足以容纳类属性向量时，他们可用于自然图像。
2022-08-29 cs.CV cs.LG eess.IV
Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Improving Zero-Shot Models with Label Distribution Priors
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
用面部年龄或对象类型等属性标记大型图像数据集是繁琐的，有时是不可行的。受监督的机器学习方法提供了高度准确的解决方案，但需要手动标记，这通常是不可用的。Zero-shot模型（例如，CLIP）不需要手动标签，但不像监督标签那样准确，特别是当属性是数值时。我们提出了一种新的方法，CLIPPR（CLIP与先验），它适应zero-shot模型的回归和分类未标记的数据集。我们的方法不使用任何带注释的图像。相反，我们假设数据集中标签分布的先验。然后，我们在CLIP之上训练一个适配器网络，这是基于两个相互竞争的目标：i）原始CLIP模型的预测变化最小，ii）预测和先验标签分布之间的距离最小。此外，我们提出了一种新的方法来选择提示视觉和语言模型使用分布前。我们的方法是有效的，并提出了一个显着的改进，比原来的模型。我们证明了UTK年龄回归任务的平均绝对误差提高了28%。我们还为分类基准提供了有希望的结果，在不使用任何标签的情况下，ImageNet数据集的分类准确率提高了2.83%。
2022-12-01 cs.CV cs.LG
subCellSAM: Zero-Shot (Sub-)Cellular Segmentation for Hit Validation in Drug Discovery
University of Bern, Bern, Switzerland（伯尔尼大学）；Genedata AG, Basel, Switzerland（基因数据公司）
subCellSAM提出一种零样本分割方法，通过上下文学习和自提示机制实现细胞核、细胞及亚细胞结构分割，无需微调即可用于药物发现中的命中验证。
2025-08-19 cs.CV eess.IV
Towards Lifelong Few-Shot Customization of Text-to-Image Diffusion
Nanyang Technological University（南洋理工大学）
针对文本到图像扩散的终身少样本定制中相关概念遗忘与先前概念遗忘问题，提出无数据知识蒸馏策略与上下文生成范式，实现高质量生成并保留旧知识。
2024-11-08 cs.CV cs.LG
CLIP-driven Outliers Synthesis for few-shot OOD detection
Shandong University（山东大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对少样本OOD检测中缺乏可靠OOD监督信息的问题，本文提出CLIP-OS方法，通过分块均匀卷积和CLIP-surgery-discrepancy分离ID相关特征，混合合成OOD数据并结合未知感知提示学习，在多个基准上取得优越检测性能。
2024-03-30 cs.CV cs.LG
DMN4: Few-shot Learning via Discriminative Mutual Nearest Neighbor Neural Network
State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）；Zhejiang Lab（之江实验室）
少样本学习（FSL）的目标是在低数据量的情况下对图像进行分类，在这种情况下，传统的合并全局特征可能会丢失有用的局部特征。最近的工作已经取得了很好的性能，通过使用深度描述符。他们通常考虑来自神经网络的所有深度描述符，而忽略了其中一些由于其有限的感受野而在分类中无用，例如，与任务无关的描述符可能是误导性的，并且来自背景杂波的多个聚合描述符甚至可能掩盖对象的存在。在本文中，我们认为，一个相互最近邻（MNN）的关系应该建立明确选择的查询描述符是最相关的每个任务，并丢弃不相关的聚集杂波FSL。具体来说，我们提出了用于FSL的判别式相互最近邻神经网络（DMN 4）。大量的实验表明，我们的方法优于现有的国家的最先进的细粒度和广义数据集。
2021-09-08 cs.CV cs.LG
Task-adaptive Spatial-Temporal Video Sampler for Few-shot Action Recognition
Shanghai Jiao Tong University（上海交通大学）；Heriot-Watt University Malaysia（赫瑞-瓦特大学马来西亚分校）
Few-Shot动作识别面临的主要挑战是用于训练的视频数据不足。为了解决这个问题，在这一领域的现有方法主要集中在设计算法的特征层次，而很少注意处理输入视频数据。此外，现有的帧采样策略可能会忽略时间和空间维度上的关键动作信息，这进一步影响视频利用效率。在本文中，我们提出了一种新的视频帧采样器的Few-Shot动作识别，以解决这个问题，特定于任务的时空帧采样是通过一个时间选择器（TS）和空间放大器（SA）。具体来说，我们的采样器首先以较小的计算成本扫描整个视频，以获得视频帧的全局感知。TS在选择贡献最显著和随后的前T帧中发挥其作用。SA通过在显著图的指导下放大关键区域来强调每帧的判别信息。我们进一步采用任务自适应学习，根据手头的情节任务动态调整采样策略。TS和SA的实现对于端到端优化是可区分的，从而促进了我们提出的采样器与大多数Few-Shot动作识别方法的无缝集成。大量的实验表明，在各种基准测试（包括长期视频）中，该代码的性能有了显着提高。https://github.com/R00Kie-Liu/Sampler
2022-12-22 cs.AI cs.CV
One-shot Generative Domain Adaptation in 3D GANs
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Science and Technology of China（中国科学技术大学）；University of Sydney（悉尼大学）
提出首个单样本3D生成式领域自适应方法3D-Adapter，通过受限权重微调、四项损失函数及渐进式微调策略，实现高保真、高多样性的3D图像生成，并支持零样本场景及潜在空间关键任务。
2024-10-11 cs.AI cs.CV
Brain Inspired Adaptive Memory Dual-Net for Few-Shot Image Classification
Beijing Normal University（北京师范大学）；Beijing Institute of Technology（北京理工大学）
针对少样本图像分类中监督坍缩和类内变异问题，提出模拟人类互补学习系统的SCAM-Net，通过海马体-新皮层双网络与自适应记忆模块巩固类别结构化表示，在基准数据集上取得最先进性能。
2025-03-10 cs.AI cs.CV
Like Humans to Few-Shot Learning through Knowledge Permeation of Vision and Text
Northwestern Polytechnical University（西北工业大学）；Technical University of Munich（慕尼黑工业大学）
本文提出双向知识渗透策略BiKop，通过视觉与文本的层次化联合表示及基类语义解耦，在少样本学习基准上取得显著优势。
2024-05-22 cs.AI cs.CV
Boosting Few-Shot Learning With Adaptive Margin Loss
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Queen Mary University of London（伦敦玛丽女王大学）；National University of Singapore（新加坡国立大学）
少样本学习（FSL）近年来引起了越来越多的关注，但仍然具有挑战性，因为学习从几个例子中概括的内在困难。针对少样本学习问题，提出了一种自适应间隔原则来提高基于度量的元学习方法的泛化能力。具体来说，我们首先开发了一个类相关的附加边际损失，其中每对类之间的语义相似性被认为是从相似的类中分离特征嵌入空间中的样本。此外，我们将所有类之间的语义上下文在一个采样的训练任务，并开发一个任务相关的附加利润损失，以更好地区分样本从不同的类。我们的自适应边缘方法可以很容易地扩展到一个更现实的广义FSL设置。大量的实验表明，该方法可以提高当前基于度量的元学习方法的性能，在标准FSL和广义FSL设置。
2020-05-28 cs.CV cs.LG stat.ML
Improved Few-Shot Image Classification Through Multiple-Choice Questions
Generative AI Innovation Center（生成式人工智能创新中心）
提出一种无需训练的少样本图像分类方法，利用多项选择题提取VQA模型的潜在表示构建图像嵌入，并通过少量标注样本解码，在多个基准上优于纯视觉编码器和零样本VQA基线。
2024-07-23 cs.CV cs.LG
Finding Significant Features for Few-Shot Learning using Dimensionality Reduction
Tecnológico de Monterrey（蒙特雷科技大学）；CINVESTAV Unidad Guadalajara（墨西哥国立理工学院研究与高级研究中心瓜达拉哈拉分部）
少样本学习是一种相对较新的技术，专门解决我们只有少量数据的问题。这些方法的目标是用少量样本对以前没有见过的类别进行分类。最近的方法，如度量学习，采用元学习策略，其中我们有情景任务符合支持（训练）数据和查询（测试）数据。度量学习方法已经证明，简单的模型可以通过学习相似度函数来比较支持度和查询数据来实现良好的性能。然而，通过给定的度量学习方法学习的特征空间可能不利用由特定的Few-Shot任务给出的信息。在这项工作中，我们探索使用降维技术作为一种方法来找到任务的重要功能，帮助更好地预测。我们通过基于类内和类间距离分配分数，并选择一种特征缩减方法来测量缩减特征的性能，在该方法中，不同类的实例相距较远，而同一类的实例相距较近。该模块通过允许度量学习方法给出的相似度函数具有更多的分类判别特征来帮助提高准确性性能。我们的方法在精度性能上比miniImageNet数据集中的度量学习基线高出约2%。
2021-07-06 cs.CV cs.LG
One-Shot Informed Robotic Visual Search in the Wild
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；McGill University（麦吉尔大学）
我们认为水下机器人导航的任务，收集科学相关的视频数据的环境监测的目的。目前在非结构化自然环境中执行监测任务的大多数现场机器人通过路径跟踪预先指定的路径点序列进行导航。虽然这种导航方法通常是必要的，但它是有限的，因为机器人没有科学家认为相关的视觉观察的模型。因此，机器人既不能在视觉上搜索特定类型的对象，也不能将其注意力集中在场景中可能比预先指定的路点和视点更相关的部分上。在本文中，我们提出了一种方法，使知情的视觉导航通过学习视觉相似性算子，引导机器人的视觉搜索对部分场景，看起来像一个范例图像，这是由用户作为一个高层次的规格数据汇集。我们提出并评估了一种弱监督视频表示学习方法，该方法在水下领域的相似性任务中优于ImageNet嵌入。我们还展示了部署在知情的视觉导航协作环境监测方案中，在大规模的现场试验，机器人和人类科学家合作搜索相关的视觉内容，这种相似性操作。
2020-09-03 cs.CV cs.LG cs.RO
Re-ranking the Context for Multimodal Retrieval Augmented Generation
University of Maryland College Park（马里兰大学帕克分校）；NEC Laboratories America（美国NEC实验室）
针对多模态 RAG 检索无关条目的问题，本文利用相关性分数 RS 替代嵌入余弦相似度，并自适应选择至多 k 个条目重排上下文，在 COCO 上显著提升相关性与回答准确性。
2025-01-08 cs.CV cs.IR cs.IT
LLM-Guided Exemplar Selection for Few-Shot Wearable-Sensor Human Activity Recognition
Graduate School of Life Science and Systems Engineering, Kyushu Institute of Technology, Kitakyushu, Japan（九州工学院生命科学与系统工程研究生院，日本）
本文提出基于大语言模型的示例选择方法，通过语义先验和结构几何线索提升少样本可穿戴传感器人体活动识别的性能。
2026-01-01 cs.AI cs.CL cs.CV
