A Unified Framework with Meta-dropout for Few-shot Learning
SenseTime Research(商汤科技研究院)
深度神经网络的传统训练通常需要大量的数据和昂贵的人工注释。在本文中,我们利用元学习的思想来解释两个非常不同的少样本学习流,即,基于情景的元学习和基于预训练的微调的少样本学习,并形成统一的元学习框架。为了提高我们的框架的泛化能力,我们提出了一个简单而有效的策略命名为元辍学,这是适用于可转移的知识从基本类别推广到新的类别。该策略可以有效地防止神经元在元训练阶段过度自适应。对Few-Shot目标检测和Few-Shot图像分类数据集进行了广泛的实验,即,Pascal VOC、MS COCO、CUB和mini-ImageNet的实验结果验证了该方法的有效性。
2022-10-12 cs.AI cs.CV
Learning Dynamic Alignment via Meta-filter for Few-shot Learning
Fudan University(复旦大学);Tencent(腾讯)
少样本学习(FSL)是计算机视觉中的一个重要的开放性问题,其目标是利用有限的Few-Shot(支持)样本来适应学习到的知识来识别新的类。大多数现有的少样本学习中的特征对齐方法仅考虑图像级或空间级对齐,而忽略了通道差异。我们的观点是,这些方法会导致冗余匹配的适应性差,而利用通道调整是将学习到的知识很好地适应新类的关键。因此,在本文中,我们提出了学习一个动态对齐,它可以有效地突出查询区域和通道,根据不同的本地支持信息。具体地说,这是通过首先动态采样的特征位置的输入Few Shot的条件下,在此基础上,我们进一步预测的位置相关和通道相关的动态元滤波器的邻域。过滤器用于将查询特征与特定于位置和特定于通道的知识对齐。此外,我们采用神经常微分方程(ODE),使一个更准确的控制对齐。从这个意义上说,我们的模型能够更好地捕捉细粒度的语义上下文的Few-Shot的例子,从而促进动态知识适应少样本学习。由此产生的框架在主要的Few-Shot视觉识别基准测试中建立了新的最先进的技术,包括miniImageNet和tieredImageNet。
2021-03-25 cs.AI cs.CV
Topology-Aware CLIP Few-Shot Learning
本文提出将表示拓扑散度集成到任务残差框架中,通过拓扑对齐视觉与文本表示来提升CLIP少样本学习性能,在6个基准上平均准确率提升1-2%。
2025-05-03 cs.AI cs.CV
Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment
Columbia University(哥伦比亚大学)
Few-Shot目标检测(FSOD)旨在仅使用几个示例来检测对象。如何使最先进的物体检测器适应于Few-Shot域仍然具有挑战性。目标建议是现代目标探测器的关键组成部分。然而,使用现有方法为Few-Shot类生成的建议的质量比为多镜头类生成的建议的质量差得多,由于错误分类或相对于真实对象的不准确空间位置,Few-Shot类的框丢失。为了解决有噪声的建议问题,我们提出了一种新的基于元学习的FSOD模型,通过联合优化Few-Shot建议生成和细粒度的Few-Shot建议分类。为了改进Few-Shot类的提案生成,我们建议学习基于轻量级度量学习的原型匹配网络,而不是传统的简单线性对象/非对象分类器,例如,用于RPN。我们的非线性分类器与特征融合网络,可以提高区分的原型匹配和建议召回Few-Shot类。为了提高细粒度的Few-Shot建议分类,我们提出了一种新的关注特征对齐方法,以解决噪声建议和Few-Shot类之间的空间错位,从而提高Few-Shot目标检测的性能。同时,我们学习了一个单独的Faster R-CNN检测头,用于多镜头基类,并显示出维护基类知识的强大性能。我们的模型在大多数镜头和指标的多个FSOD基准测试中实现了最先进的性能。
2022-06-02 cs.AI cs.CV cs.MM
Few-Shot Learning with a Strong Teacher
Nanjing University(南京大学);Ohio State University(俄亥俄州立大学)
少样本学习(FSL)的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法,构建一个Few-Shot学习器,可以从Few-Shot的例子学习,以生成一个分类器。通常,通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的(即,这些任务的示例。在本文中,我们指出了这种方法的两个潜在的弱点。首先,采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次,元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题,我们提出了一种新的元训练目标的Few-Shot学习者,这是鼓励Few-Shot学习者生成分类器,执行像强分类器。具体地说,我们将每个采样的Few-Shot任务与一个强分类器相关联,该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器,我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器,使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法,LastShot,结合许多代表性的元学习方法。在几个基准数据集上,我们的方法在各种任务上都有显著的改进。更重要的是,通过我们的方法,基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Diagnosing and Remedying Shot Sensitivity with Cosine Few-Shot Learners
IBM(国际商业机器公司);Cornell University(康奈尔大学)
Few-Shot识别涉及训练图像分类器,以在测试时使用很少的示例(镜头)来区分新颖的概念。现有的方法一般假设测试时的炮数是已知的。这是不现实的,当训练和测试射击不匹配时,一种流行的基础方法的性能已经被证明会受到影响。我们对这一现象进行了系统的实证研究。与之前的工作一致,我们发现镜头敏感性广泛存在于基于度量的Few-Shot学习器中,但与之前的工作相比,更大的神经架构提供了一定程度的内置鲁棒性,以改变测试镜头。更重要的是,一个简单的,以前已知的,但大大忽视了一类方法的基础上余弦距离一致,大大提高了鲁棒性拍摄变化,通过消除敏感性样本噪声。我们推导出余弦替代流行的和最近的Few-Shot分类器,扩大其适用性,以现实的设置。这些余弦模型始终如一地提高了投篮鲁棒性,优于现有投篮鲁棒性的最新技术水平,并在一系列基准和架构上提供了有竞争力的准确性,包括在极低投篮状态下的显着增益。
2022-07-07 cs.AI cs.CV cs.LG
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School(哈佛医学院)
肺癌是全球癌症相关死亡的主要原因。肺腺癌(LUAD)和肺鳞状细胞癌(LUSC)是非小细胞肺癌(NSCLC)最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准,但需要开发重要的工具来阐明诊断。在我们的研究中,我们利用预先训练的视觉Transformer(ViT)模型在Zero-Shot和Few-Shot设置下对组织切片(来自数据集LC 25000)上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明,预训练的ViT模型在Zero-Shot设置中具有良好的性能,在Few-Shot设置中具有竞争力的准确性($99.87\%$)({epoch = 1}),在Few-Shot设置中具有最佳结果($100.00\%$)({epoch = 5})。
2022-05-31 cs.AI cs.CV cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of California, Davis(加利福尼亚大学戴维斯分校)
Few-Shot图像分类的目标是推广到具有有限标记数据的任务,多年来已经取得了很大的进展。然而,分类器容易受到对抗性样本的影响,这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合,以提高Few-Shot分类器的鲁棒性。我们表明,一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明,在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器,在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的,易于扩展,并与很少的努力,可以导致强大的Few-Shot分类器。代码可在这里:\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft(微软);Oregon State University(俄勒冈州立大学)
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频,通过对比学习来训练双流2D和3D CNN架构,以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应(A3 M)模块,该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务,使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外,与以前的有监督的Few-Shot动作识别方法不同,MetaUVFS既不需要基类标签,也不需要有监督的预训练骨干。因此,我们只需要训练MetaUVFS一次,就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争,有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Optimizing PatchCore for Few/many-shot Anomaly Detection
Scortex(Scortex公司)
本研究针对少样本异常检测中现有全样本算法未被针对性优化的问题,通过超参数调优和技术迁移优化PatchCore,在VisA少样本AD任务上取得新SOTA,验证了适配现有方法的价值并指明未来研究方向。
2023-07-20 cs.AI cs.CV cs.LG
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
我们引入了用于对象识别的Few-Shot对象学习(FewSOL)数据集,每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体,每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外,使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了(i)Few-Shot对象分类和(ii)联合对象分割和Few-Shot分类,使用我们的数据集进行少样本学习和元学习。评估结果表明,机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题,如分类,检测和分割,形状重建,姿态估计,关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University(西安交通大学)
度量学习是少样本学习中广泛使用的一种方法,其中原型的质量在算法中起着关键作用。在本文中,我们提出了可训练的原型距离测量,而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端,本文采用了基于自监督学习的非情景元训练。总的来说,我们解决了Few-Shot任务在两个阶段:元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外,简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能,与现有的无监督少样本学习方法相比,提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Explore the Power of Dropout on Few-shot Learning
Sensetime Research(商汤科技研究院)
预训练模型的泛化能力是Few-Shot深度学习的关键。Dropout是传统深度学习方法中使用的正则化技术。在本文中,我们探索了dropout对少样本学习的影响,并提供了一些关于如何使用它的见解。在Few-Shot目标检测和Few-Shot图像分类数据集上进行了广泛的实验,Pascal VOC、MS COCO、CUB和mini-ImageNet的实验结果验证了该方法的有效性。
2023-01-26 cs.CV
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University(莱斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
最近的论文表明,迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论,并建议使用高质量的,预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明,一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择,解决跨域Few-Shot图像分类。我们的实验结果表明,这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Disentangled Feature Representation for Few-shot Image Classification
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
学习可推广的特征表示是Few-Shot图像分类的关键。虽然最近的工作利用任务特定的特征嵌入使用元任务的少样本学习,他们是有限的,在许多具有挑战性的任务,被分散的特征,如背景,域和风格的图像样本。在这项工作中,我们提出了一种新的分离特征表示框架,称为DFR,用于少样本学习应用。DFR可以自适应地将由分类分支建模的鉴别特征与变化分支的类无关分量解耦。一般来说,大多数流行的深度少样本学习方法都可以作为分类分支插入,因此DFR可以提高它们在各种Few-Shot任务上的性能。此外,我们提出了一种新的FS域网数据集的基础上域网,基准测试的Few-Shot领域泛化任务。我们进行了广泛的实验,以评估所提出的DFR对一般和细粒度的Few-Shot分类,以及Few-Shot领域泛化,使用相应的四个基准,即,mini-ImageNet,tiered-ImageNet,CUB,以及建议的FS-DomainNet。由于有效的特征分解,基于DFR的Few-Shot分类器在所有数据集上都取得了最先进的结果。
2021-09-26 cs.CV
Generalized Few-Shot Object Detection without Forgetting
Megvii Technology(旷视科技)
近年来,Few-Shot目标检测被广泛用于处理数据有限的情况。虽然大多数以前的作品只专注于性能上的Few-Shot类别,我们声称,检测所有类是至关重要的测试样本可能包含任何实例在现实中的应用,这需要Few-Shot检测器学习新的概念,而不会忘记。通过对基于迁移学习的方法的分析,利用一些被忽视但有益的性质,设计了一种简单而有效的Few-Shot检测器--保留R-CNN。它由Bias-Balanced RPN和Re-detector组成,Bias-Balanced RPN用于消除预训练RPN的偏差,Re-detector用于在不忘记先前知识的情况下找到Few-Shot类对象。在Few-Shot检测基准上进行的大量实验表明,在所有设置中,Retentive R-CNN在整体性能上明显优于最先进的方法,因为它可以在Few-Shot类上实现有竞争力的结果,并且根本不会降低基类的性能。我们的方法已经证明,长期期望的永不遗忘的学习器是可用的目标检测。
2021-05-20 cs.CV
Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting
Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了多模态Few-Shot目标检测(FSOD),利用Few-Shot视觉样本和类别语义信息进行检测,这两种信息在定义上是互补的。以往的多模态FSOD算法大多是基于微调的,对于在线应用来说效率很低。此外,这些方法通常需要像类名这样的专业知识来提取类语义嵌入,这对于稀有类来说很难获得。我们的方法的动机是高层次的概念相似性(基于度量的)元学习和基于聚类的学习,学习可推广的Few-Shot和zero-shot目标检测模型分别没有微调。具体来说,我们结合Few-Shot视觉分类器和文本分类器分别通过元学习和基于学习的多模态分类器和检测模型。此外,为了充分利用预先训练的语言模型,我们提出了基于元学习的跨模态提示,为Few-Shot视觉示例中的新类生成软提示,然后将其用于学习文本分类器。引入了知识蒸馏来学习软提示生成器,而不使用人类对类名的先验知识,这可能不适用于稀有类。我们的见解是,Few-Shot支持图像自然包括相关的上下文信息和类的语义。我们综合评估多个Few-Shot目标检测基准提出的多模态FSOD模型,取得了可喜的成果。
2023-03-27 cs.AI cs.CV cs.MM
A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里,我们提出了一个统一的方法为传统的zero-shot,广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向(CAPD)的概念,允许多个嵌入到一个语义空间的图像特征。给定一个图像,我们的方法为每个可见类生成一个主方向。然后,它学习如何组合这些方向以获得每个未见过类的主方向,使得测试图像的CAPD与真实类的语义嵌入对齐,并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外,我们提出了一个自动的过程中,选择最有用的看到的类为每个看不见的类,以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD,利用很少的看不见的图像在少样本学习的情况下工作。此外,我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD,这显著提高了广义零样本学习的性能。我们的广泛的评估表明,所提出的方法一贯取得优异的性能在zero-shot,广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Few-Shot Learning with Intra-Class Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
我们考虑不平衡数据集的Few-Shot分类任务,其中一些类有足够的训练样本,而其他类只有有限的训练样本。最近的工作提出了解决这个问题,通过增加训练数据的Few-Shot类使用生成模型与Few-Shot训练样本作为种子。然而,由于有限数量的Few-Shot种子,生成的样本通常具有小的多样性,使得难以训练用于Few-Shot类的判别分类器。为了丰富所生成的样本的多样性,我们建议利用来自邻居多镜头类的类内知识,直觉上邻居类共享相似的统计信息。这种类内信息是通过两步机制获得的。首先,使用仅在多镜头类上训练的回归器来评估仅来自少数样本的Few-Shot类均值。其次,对超类进行聚类,并将每个超类的统计均值和特征方差作为子Few-Shot类继承的可传递知识。然后,生成器使用这些知识来增强稀疏训练数据,以帮助下游分类任务。大量的实验表明,我们的方法在不同的数据集和$n$拍摄设置上达到了最先进的水平。
2020-08-22 cs.CV
Few-shot learning using pre-training and shots, enriched by pre-trained samples
我们使用EMNIST手写数字数据集来测试一种简单的少样本学习方法。完全连接的神经网络用10个数字的子集进行预训练,并用于用未训练的数字进行少样本学习。引入了两个基本思想:在少样本学习期间,第一层的学习被禁用,并且对于每个镜头,先前未知的数字与四个先前训练的数字一起用于梯度下降,直到满足预定义的阈值条件。这样,我们在10次射击后达到约90%的准确率。
2020-09-19 cs.CV cs.LG
Similarity R-C3D for Few-shot Temporal Activity Detection
University of California, Berkeley(加利福尼亚大学伯克利分校);National University of Singapore(新加坡国立大学);Boston University(波士顿大学)
许多感兴趣的活动是罕见的事件,只有少数标记的例子可用。因此,期望能够从几个示例中学习的用于时间活动检测的模型。在本文中,我们提出了一个概念上简单和一般但新颖的框架,用于Few-Shot时间活动检测,它检测未修剪视频中的Few-Shot输入活动的开始和结束时间。我们的模型是端到端可训练的,可以从更多的Few-Shot示例中受益。在测试时,为每个建议分配与最大相似性分数相对应的Few-Shot活动类的标签。我们的相似性R-C3 D方法在Few-Shot设置中的时间活动检测的三个大规模基准(THUMOS 14,ActivityNet1.2和ActivityNet1.3数据集)上优于以前的工作。我们的代码将提供。
2018-12-25 cs.CV
Task-Adaptive Negative Envision for Few-Shot Open-Set Recognition
Columbia University(哥伦比亚大学)
我们研究了Few-Shot开集识别(FSOR)问题,它学习一个识别系统,能够快速适应新的类与有限的标记的例子和拒绝未知的负样本。由于数据的限制,传统的大规模开集方法在求解FSOR问题时已被证明是无效的。当前的FSOR方法通常将Few-Shot闭集分类器校准为对负样本敏感,使得它们可以经由阈值化而被拒绝。然而,阈值调整是一个具有挑战性的过程,因为不同的FSOR任务可能需要不同的抑制功率。在本文中,我们提出了任务自适应负类设想FSOR集成阈值调整到学习过程中。具体来说,我们增加了Few-Shot闭集分类器与额外的负面原型生成的Few-Shot的例子。通过将Few-Shot类的相关性在负生成过程中,我们能够学习动态拒绝边界的FSOR任务。此外,我们将我们的方法扩展到广义Few-Shot开集识别(GFSOR),它需要对多镜头和Few-Shot类进行分类,以及拒绝负样本。在公共基准上的大量实验验证了我们在这两个问题上的方法。
2022-07-18 cs.CV
Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection
University of Minnesota(明尼苏达大学)
针对小样本目标检测中自上而下注意力效果受限的问题,提出结合两类注意力的AttFDNet网络,搭配新型损失与混合学习策略,验证了注意力互补性并提升了检测性能与可解释性。
2020-07-23 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London(伦敦玛丽女王大学)
本文提出了一种新型的时间注意力关系网络(TARN)来解决少镜头(Few-Shot)和零镜头(zero-shot)动作识别问题。我们网络的核心是一种元学习方法,它学习比较可变时间长度的表示,即不同长度的两个视频(在Few-Shot动作识别的情况下)或视频和语义表示(如单词向量)(在zero-shot动作识别的情况下)。通过对比其他作品中的Few-Shot和zero-shot动作识别,我们a)利用注意力机制,以便执行时间对齐,和b)学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划,并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调,也不需要像记忆网络那样维护额外的表示。实验结果表明,该框架在Few-Shot动作识别方面优于现有技术,在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI;Technion(以色列理工学院);IBM Research AI(IBM研究院人工智能部门)
新类别实体的分类需要收集和注释数百或数千个样本,这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式(如视频)上的少样本学习的挑战。在本文中,我们提出了时间感知嵌入网络(TAEN)的Few-Shot动作识别,学习表示动作,在一个度量空间作为一个轨迹,传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务,视频分类和时间动作检测的有效性,并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层,我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果,同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Few-Shot Transformation of Common Actions into Time and Space
University of Amsterdam(阿姆斯特丹大学)
本文介绍了Few-Shot常见动作的时空定位任务。鉴于一些修剪的支持视频包含相同的,但未知的动作,我们努力在一个长的未修剪的查询视频的动作的时空定位。我们不需要任何类标签、区间边界或边界框。为了解决这一具有挑战性的任务,我们引入了一种新的Few-Shot Transformer架构,该架构具有专用的编码器-解码器结构,该结构针对联合共性学习和定位预测进行了优化,而无需建议。在AVA和UCF 101 -24数据集上的实验表明,即使在支持视频有噪声的情况下,我们的方法也能有效地进行Few-Shot常见动作定位。虽然我们不是专门为常见的时间定位而设计的,但在此设置中,我们也可以与最先进的Few-Shot和One-Shot进行比较。最后,我们证明了Few-Shot Transformer很容易扩展到每个像素的共同动作定位。
2021-04-06 cs.CV
Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings
University of Alberta(阿尔伯塔大学);HiSilicon, Huawei Research(华为研究·海思);Indian Institute of Science(印度科学学院);Element AI
Few-Shot目标分割方法的研究取得了重要进展。学习是成功的,在Few-Shot分割设置,使用像素级,涂鸦和限界框监督。本文采用另一种方法,即,对于Few-Shot对象分割,仅需要图像级标签。我们提出了一种新的多模态交互模块的Few-Shot对象分割,利用共同的注意力机制,使用视觉和词嵌入。我们的模型使用图像级标签实现了4.8%的改进,比以前提出的图像级Few-Shot对象分割。它还优于在PASCAL-5i上使用弱限界框监督的最先进方法。我们的研究结果表明,Few-Shot分割受益于利用词嵌入,我们能够执行Few-Shot分割使用堆叠联合视觉语义处理与弱图像级标签。我们进一步提出了一种新的设置,时间对象分割的少样本学习(TOSFL)的视频。TOSFL可以用于各种公共视频数据,如Youtube-VOS,如实例级和类别级TOSFL实验所示。
2020-05-17 cs.CV
Dense Classification and Implanting for Few-Shot Learning
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩计算机科学与应用研究所);Safran(赛峰集团)
从少量样本训练深度神经网络是许多计算机视觉任务的一个高度挑战性和关键问题。在这种情况下,我们的目标是将知识从具有丰富数据的集合转移到具有很少可用示例的其他集合。我们提出了两种简单有效的解决方案:(i)特征图上的密集分类,这是第一次在少样本学习领域研究局部激活,以及(ii)植入,即将新的神经元连接到先前训练的网络中,以学习新的特定于任务的特征。在miniImageNet上,我们改进了现有的Few-Shot分类技术,即,在5路1次、5次和10次设置下,我们分别实现了62.5%、79.8%和83.8%。
2019-03-12 cs.CV
Generating Representative Samples for Few-Shot Classification
Stony Brook University(石溪大学);Amazon Robotics(亚马逊机器人)
少样本学习(FSL)的目的是学习新的类别与一些视觉样本每个类。由于数据稀缺,Few-Shot类表示往往存在偏差。为了缓解这个问题,我们建议使用条件变分自编码器(CVAE)模型生成基于语义嵌入的视觉样本。我们训练基础类的CVAE模型,并使用它来生成新的类的功能。更重要的是,在训练CVAE模型时,我们通过从基础训练集中删除非代表性样本来引导VAE严格生成代表性样本。我们表明,这种训练方案提高了所生成的样本的代表性,因此,提高了Few-Shot分类结果。实验结果表明,我们的方法改进了三种FSL基线方法,在miniImageNet和tieredImageNet数据集上实现了最先进的Few-Shot分类性能。代码可在:https://github.com/cvlab-stonybrook/fsl-rsvae.
2022-05-05 cs.CV
PatchProto Networks for Few-shot Visual Anomaly Classification
Zhejiang University(浙江大学)
针对工业异常分类中异常样本稀缺的少样本学习问题,提出仅提取缺陷区域CNN特征作为原型的PatchProto网络,在MVTec-AD数据集上较基础分类器显著提升分类准确率。
2023-10-07 cs.CV
FHIST: A Benchmark for Few-shot Classification of Histological Images
ÉTS Montréal(蒙特利尔高等技术学院);CRCHUM(蒙特利尔大学医疗中心研究中心);University of Twente(特文特大学);Mila(米拉人工智能研究所);Imagia Inc(Imagia公司);CIFAR(加拿大高等研究院)
少样本学习最近引起了人们对图像分类的广泛兴趣,但几乎所有当前的公共基准都集中在自然图像上。由于标记数据的稀缺性,Few-Shot范例在医学成像应用中是高度相关的,因为注释是昂贵的并且需要专门的专业知识。然而,在医学成像中,少样本学习研究很少,仅限于私人数据集,并且处于早期阶段。特别地,由于癌症相关组织分类任务的多样性和细粒度以及数据准备技术的多样性,Few-Shot设置在组织学中受到高度关注。本文介绍了一个高度多样化的公共基准,从各种公共数据集收集,用于Few-Shot组织学数据分类。我们构建了Few-Shot任务和基础训练数据,这些数据具有各种组织类型、源于各种癌症部位的不同级别的域偏移以及不同的类粒度级别,从而反映了现实场景。我们在我们的基准测试中评估了最先进的少样本学习方法的性能,并观察到简单的微调和正则化方法比流行的元学习和episodic训练范式取得了更好的结果。此外,我们介绍了三种方案的基础上的域之间的源和目标组织学数据的变化:近域,中域和域外。我们的实验显示了少样本学习在组织学分类中的潜力,最先进的少样本学习方法接近近域设置中的监督学习基线。在我们的域外设置中,对于5路5次拍摄,性能最好的方法达到60%的准确率。我们相信,我们的工作可以帮助建立现实的评价和公平的比较少样本学习方法,并将进一步鼓励研究在Few-Shot范式。
2022-05-31 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR(新加坡科研局信息通信研究院)
本文提出PEVA-Net,利用CLIP和提示增强视图聚合,同时解决零样本与少样本多视图三维形状识别,并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Few-Shot Adaptation for Multimedia Semantic Indexing
Tokyo Institute of Technology(东京工业大学)
我们提出了一个Few-Shot自适应框架,它桥接了零样本学习和有监督的多样本学习,用于图像和视频数据的语义索引。Few-Shot自适应算法通过同时优化零样本学习和监督多样本学习的参数,以较少的训练样本提供鲁棒的参数估计。该方法首先构造一个zero-shot检测器,然后利用少量的例子对检测器进行更新。我们的实验表明了所提出的框架在三个数据集上的有效性:TRECVID语义索引2010,2014和ImageNet。在ImageNET数据集上,我们证明了我们的方法优于最近的少样本学习方法。在TRECVID 2014数据集上,我们在zero-shot条件和监督条件下分别获得了15.19%和35.98%的平均精度。据我们所知,这些是该数据集上的最佳结果。
2018-07-19 cs.CV cs.MM
Diversity Helps: Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
少样本学习是指在只有少量训练样本的情况下学习新的概念,近年来得到了广泛的研究。然而,目前的大多数作品严重依赖于一个大规模的标记辅助集训练他们的模型在一个episodic训练范式。这种监督设置基本上限制了少样本学习算法的广泛使用。相反,在本文中,我们开发了一种新的框架,称为无监督的少样本学习via分布偏移-Based Data Augmentation(ULDA),它在使用数据增强时关注每个构造的借口Few-Shot任务内部的分布多样性。重要的是,我们强调了分布多样性在基于增强的借口Few-Shot任务中的价值和重要性,这可以有效地缓解过拟合问题,使Few-Shot模型学习更鲁棒的特征表示。在ULDA中,我们系统地研究了不同增强技术的效果,并提出在每个Few-Shot任务中,通过增强这两个集合的差异(即,分布偏移)。通过这种方式,即使结合简单的增强技术(例如,随机裁剪、颜色抖动或旋转),我们的ULDA可以产生显著的改进。在实验中,通过ULDA学习的Few-Shot模型可以实现卓越的泛化性能,并在Omniglot和miniImageNet上的各种已建立的少样本学习任务中获得最先进的结果。源代码可以在https://github.com/WonderSeven/ULDA上找到。
2020-09-17 cs.CV
Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法,即学习学习的算法。通过从更大的数据集中采样Few-Shot任务,我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的,Sicara是一家为企业提供图像识别解决方案的法国公司。它包含:1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法,该算法仍在开发中。
2019-09-30 cs.CV cs.LG
Hold-One-Shot-Out (HOSO) for Validation-Free Few-Shot CLIP Adapters
ML-Labs(ML实验室);Dublin City University(都柏林城市大学)
HOSO-Adapter通过无需验证的少样本设置,提升CLIP适配器性能,平均高出4个百分点
2026-03-04 cs.CV
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI;Middle East Technical University(中东技术大学);Hacettepe University(哈切特佩大学)
就像其他少样本学习问题一样,Few-Shot分割旨在最大限度地减少对手动注释的需求,这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本,仍然需要注释训练数据。为了缓解这一需求,我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后,我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明,所提出的方法取得了可喜的成果,突出了自我监督训练的潜力。据我们所知,这是第一个工作,解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Few-Shot Adaptation Benchmark for Remote Sensing Vision-Language Models
UCLouvain(乌尔特-洛文大学);UMons(蒙斯大学);Fonds de la Recherche Scientifique(科学基金组织)
提出首个遥感视觉语言模型少样本适应基准,通过十个数据集和五种策略评估三个模型,发现零样本性能相似的模型在少样本适应下表现差异显著,需开发更鲁棒的方法。
2025-10-08 cs.CV
Meta-Transfer Learning for Few-Shot Learning
National University of Singapore(新加坡国立大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Tianjin University(天津大学)
元学习已经被提出作为一个框架,以解决具有挑战性的少样本学习设置。其关键思想是利用大量类似的Few-Shot任务,以学习如何使基本学习者适应只有少数标记样本可用的新任务。由于深度神经网络(DNN)往往只使用少量样本进行过拟合,因此元学习通常使用浅神经网络(SNN),从而限制了其有效性。在本文中,我们提出了一种称为Meta迁移学习(MTL)的新的少拍学习方法,该方法学习适应深度NN用于少样本学习任务。具体来说,“Meta”是指训练多个任务,而“转移”是通过学习每个任务的DNN权重的缩放和移位函数来实现的。此外,我们介绍了硬任务(HT)元批计划作为一个有效的学习课程MTL。我们在两个具有挑战性的少样本学习基准测试:miniImageNet和Fewshot-CIFAR 100上使用(5类,1次)和(5类,5次)识别任务进行实验。与相关工作的广泛比较验证了我们的Meta迁移学习方法与建议的HT元批处理方案训练达到最佳性能。消融研究还表明,这两个组件有助于快速收敛和高精度。
2019-04-09 cs.CV
Few-Shot Learning by Integrating Spatial and Frequency Representation
University of Kansas(堪萨斯大学);Ryerson University(瑞尔森大学)
人类可以识别新的对象只有少数标记的例子,然而,少样本学习仍然是一个具有挑战性的问题,机器学习系统。以往的少样本学习算法大多只利用图像的空间信息。在本文中,我们提出了将频率信息集成到学习模型中,以提高系统的识别能力。我们使用离散余弦变换(DCT)来产生频率表示,然后,结合空间域和频率域的特征进行分类。所提出的策略及其有效性验证了不同的骨干,数据集和算法。大量的实验表明,频率信息是互补的空间表示在Few-Shot分类。通过在不同的少样本学习任务中集成来自空间域和频域的特征,分类精度得到显著提高。
2021-07-07 cs.CV
Feature Aligning Few shot Learning Method Using Local Descriptors Weighted Rules
Guilin University Of Electronic Technology(桂林电子科技大学)
本文提出FAFD-LDWR方法,通过引入交叉归一化保留局部描述符判别信息,并对齐支持集与查询集关键局部描述符去除背景噪声,在多个基准数据集上提升了小样本分类性能与可解释性。
2024-08-26 cs.CV
TADAM: Task dependent adaptive metric for improved few-shot learning
Element AI(元素人工智能公司);CVC-UAB(巴塞罗那自治大学计算机视觉中心)
少样本学习已经成为生成从很少的例子中概括的模型的必要条件。在这项工作中,我们确定度量缩放和度量任务条件是重要的,以提高性能的Few-Shot算法。我们的分析表明,简单的度量缩放完全改变了Few-Shot算法参数更新的性质。度量缩放为mini-Imagenet 5路5镜头分类任务中的某些度量提供了高达14%的准确性改进。我们进一步提出了一个简单而有效的方法来调节学习任务样本集,从而学习任务相关的度量空间。此外,我们提出并实证测试了一个基于辅助任务协同训练的实用端到端优化过程,以学习任务相关的度量空间。由此产生的少样本学习模型的基础上的任务相关的缩放度量达到最先进的迷你Imagenet。我们在本文介绍的另一个基于CIFAR 100的Few-Shot数据集上证实了这些结果。我们的代码可在https://github.com/ElementAI/TADAM上公开获取。
2019-01-25 cs.AI cs.CV cs.LG
The Devil is in the Few Shots: Iterative Visual Knowledge Completion for Few-shot Learning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Ant Group(蚂蚁集团);Institute of AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
针对少样本学习中样本分布狭窄导致视觉知识偏差的问题,提出迭代式视觉知识补全方法KCL,利用无标签样本逐步补全知识,无需额外数据,在11个基准数据集上验证了有效性。
2024-04-19 cs.CV
Few-shot Classification via Adaptive Attention
National University of Singapore(新加坡国立大学)
训练一个可以快速适应新任务的神经网络模型是非常理想的,但对于少样本学习问题来说是具有挑战性的。近年来的少样本学习方法主要集中于从优化初始模型和学习距离度量两个方面来开发各种元学习策略。在这项工作中,我们提出了一种新的少样本学习方法,通过优化和快速适应查询样本表示的基础上非常少的参考样本。具体而言,我们设计了一个简单而有效的元重加权策略,以适应样本表示和产生软注意力,以细化表示,以便从查询和支持样本的相关功能可以提取更好的Few-Shot分类。这种自适应注意力模型也能够在一定程度上解释分类模型正在寻找什么作为分类的证据。实验表明,该模型实现了国家的最先进的分类结果在各种基准Few-Shot分类和细粒度识别数据集。
2020-11-21 cs.CV
Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification
Anhui University(安徽大学)
Few-Shot分类是一种利用有限样本识别未知类别的分类方法,受到了越来越多的关注。通常,它被公式化为度量学习问题。Few-Shot分类的核心问题是如何学习(1)支持集和查询集中图像的一致表示和(2)支持集和查询集之间图像的有效度量学习。在本文中,我们表明,这两个挑战可以很好地同时通过一个统一的查询支持Transformer(QSFormer)模型建模。具体来说,所提出的QSFormer包括全局查询支持样本Transformer(sampleFormer)分支和局部补丁Transformer(patchFormer)学习分支。sampleFormer旨在捕获图像表示的支持集和查询集中样本的依赖性。采用编码器、解码器和交叉注意分别对支持度、查询(图像)表示和度量学习进行建模,实现了Few-Shot分类任务。此外,作为对全局学习分支的补充,我们采用了局部块Transformer,通过捕获局部图像块的长程依赖性来提取每个图像样本的结构表示。此外,提出了一种新的跨尺度交互式特征提取器(CIFE),用于提取和融合多尺度CNN特征,作为所提出的少样本学习方法的有效骨干模块。所有模块都集成到一个统一的框架中,并以端到端的方式进行培训。在四个流行的数据集上的实验证明了所提出的QSFormer的有效性和优越性。
2022-08-26 cs.CV
Few-Shot Few-Shot Learning and the role of Spatial Attention
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学研究所);Safran(赛峰集团)
少样本学习的动机通常是人类从很少的例子中学习新任务的能力。然而,标准的Few-Shot分类基准假设表示是在有限数量的基类数据上学习的,忽略了人类在学习新任务之前可能已经积累的先验知识的量。同时,即使有一个强大的表示,也可能在某些领域中发生基类数据有限或不存在的情况。这促使我们研究一个问题,其中表示是从在不同领域的大规模数据集上预先训练的分类器中获得的,假设无法访问其训练过程,而基类数据仅限于每个类的几个示例,它们的作用是使表示适应手头的领域,而不是从头开始学习。我们适应的表示在两个阶段,即在几个基类的数据,如果可用的,甚至更少的数据的新任务。在这样做的过程中,我们从预先训练的分类器中获得了一个空间注意力图,它允许关注对象并抑制背景杂波。这在新问题中很重要,因为当基类数据很少时,网络无法学习隐式关注的位置。我们还表明,预先训练的网络可以很容易地适应新的类,而无需元学习。
2020-02-18 cs.CV
Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);IDEAS-NCBR
本文面向基于预训练 ViT 的 FSCIL 低可塑性问题,提出依据新类与基类的语义相似性校准协方差矩阵,并与现有方法结合以显著提升持续分类性能。
2024-04-09 cs.CV
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University(西弗吉尼亚大学)
在Few-Shot分类中,主要目标是从少数几个样本中学习表示,这些样本可以很好地概括新的类。在本文中,我们提出了一种有效的低位移秩(LDR)正则化策略,称为Ortho-Shot;一种对基于双块toeplitz(DBT)矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入,这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题,数据多样性的缺乏抑制了适当的模型推理,从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面,我们打破了Few-Shot分类器的管道,并建立了支持,查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果,我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合,显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验,与最先进的数据集相比,性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning
Nanyang Technological University(南洋理工大学);ByteDance(字节跳动);Monash University(蒙纳士大学)
少样本学习的目标是使从先前任务中学习到的知识适应新的任务,只有有限数量的标记数据。关于少样本学习的研究文献呈现出很大的多样性,而不同的算法通常在不同的少样本学习场景中表现出色。因此,决定在不同的任务条件下使用哪种学习策略是很棘手的。受最近自动机器学习文献(AutoML)的成功启发,本文提出了Meta Navigator,一个试图通过寻求更高级别的策略来解决上述少样本学习限制的框架,并提供从各种少样本学习设计中自动选择。我们的工作的目标是寻找良好的参数自适应政策,适用于不同阶段的网络Few-Shot分类。我们提出了一个搜索空间,涵盖了许多流行的少样本学习算法在文献中,并开发了可微搜索和解码算法的基础上元学习,支持基于梯度的优化。我们证明了我们的基于搜索的方法在多个基准数据集上的有效性。大量的实验表明,我们的方法显着优于基线,并证明了许多国家的最先进的方法的性能优势。代码和模型将公开发布。
2021-09-13 cs.CV
One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
现实世界的分类任务经常需要在开放集设置中工作。这对于少样本学习问题尤其具有挑战性,因为每个已知类别的样本量都很小,这使得现有的开集方法无法有效地工作;然而,大多数多类Few-Shot方法仅限于闭集场景。在这项工作中,我们解决了问题的Few-Shot开集分类首先提出的方法为Few-Shot一类分类,然后将其扩展到Few-Shot多类开集分类。我们介绍了两个独立的Few-Shot单类分类方法:Meta Binary Cross-Entropy(Meta-BCE),它学习一个单独的特征表示单类分类,单类元学习(OCML),它学习生成单类分类器给定标准的多类特征表示。这两种方法都可以增强任何现有的少样本学习方法,而不需要重新训练以在Few-Shot多类开集设置中工作,而不会降低其闭集性能。我们在不同的问题设置中展示了这两种方法的优点和缺点,并在三个标准的基准数据集miniImageNet,tieredImageNet和Caltech-UCSD-Birds-200-2011上对其进行了评估,在这些数据集上,它们在Few-Shot多类开集和Few-Shot一类任务中超越了最先进的方法。
2021-09-14 cs.CV cs.LG
SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning
Cornell University(康奈尔大学);Ohio State University(俄亥俄州立大学);Facebook AI Research(脸书人工智能研究院)
Few-Shot学习器的目标是基于少量标记的训练样本识别新的对象类。为了防止过拟合,最先进的Few-Shot学习器对卷积网络特征使用元学习,并使用最近邻分类器执行分类。本文研究了没有元学习的最近邻基线的精度。令人惊讶的是,我们发现简单的特征变换足以获得有竞争力的少样本学习精度。例如,我们发现,在miniImageNet数据集上,与均值减法和L2归一化相结合使用的最近邻分类器在五分之三的设置中优于先前的结果。
2019-11-16 cs.CV
Integrative Few-Shot Learning for Classification and Segmentation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
我们介绍了Few-Shot分类和分割(FS-CS)的综合任务,旨在分类和分割目标对象的查询图像时,目标类与一些例子。该任务结合了两个传统的少样本学习问题,Few-Shot分类和分割。FS-CS将它们推广到具有任意图像对的更真实的情节,其中每个目标类可能存在于查询中,也可能不存在。为了解决这个问题,我们提出了综合少样本学习(iFSL)框架的FS-CS,训练学习者构建类明智的前景地图多标签分类和像素明智的分割。我们还开发了一个有效的iFSL模型,专注挤压网络(ASNet),它利用深层语义相关性和全局自我注意力来生成可靠的前景地图。在实验中,所提出的方法表现出良好的性能上的FS-CS任务,也达到了最先进的标准Few-Shot分割基准。
2022-04-27 cs.CV
Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
HKUST(香港科技大学);Tencent(腾讯)
用于目标检测的常规方法通常需要大量的训练数据,并且准备这样的高质量训练数据是非常劳动密集的。在本文中,我们提出了一种新的Few-Shot目标检测网络,旨在检测对象的不可见的类别只有几个注释的例子。我们的方法的核心是我们的注意力RPN,多关系检测器和对比训练策略,利用Few Shot支持集和查询集之间的相似性来检测新的对象,同时抑制背景中的错误检测。为了训练我们的网络,我们贡献了一个新的数据集,其中包含1000个具有高质量注释的各种对象的类别。据我们所知,这是第一批专门为Few-Shot目标检测设计的数据集之一。一旦我们的Few-Shot网络经过训练,它就可以检测出不可见类别的对象,而无需进一步训练或微调。我们的方法是通用的,并具有广泛的潜在应用。我们在Few-Shot设置中的不同数据集上产生了新的最先进的性能。数据集链接是https://github.com/fanq15/Few-Shot-Object-Detection-Dataset。
2020-05-10 cs.CV
Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
Northwestern Polytechnical University(西北工业大学)
少样本学习的目的是用少量的标记样本从新类别中识别实例,具有重要的研究和应用价值。虽然最近在这方面已经有了很多工作,但现有的大部分工作都是基于图像分类任务的。基于视频的Few-Shot动作识别尚未得到很好的研究,并且仍然具有挑战性:1)不同文献之间实现细节的差异使得公平比较困难; 2)时间序列的广泛变化和不对齐使得视频级相似性比较困难; 3)标记数据的稀缺使得优化困难。为了解决这些问题,本文提出了1)一个特定的设置,以评估性能的Few-Shot动作识别算法; 2)一个隐式序列对齐算法更好的视频级相似性比较; 3)一个先进的损失为少样本学习,以优化对相似性有限的数据。具体来说,我们提出了一种新的Few-Shot动作识别框架,该框架使用长短期记忆跟随3D卷积层进行序列建模和对齐。通过引入圈损失,使类内相似度最大化,类间相似度最小化,从而灵活地实现更明确的收敛目标。我们没有使用随机或模糊的实验设置,而是设置了一个具体的标准,类似于标准的基于图像的Few-Shot学习设置,用于Few-Shot动作识别评估。在两个数据集上的实验证明了该方法的有效性。
2020-10-13 cs.CV