Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Massachusetts Institute of Technology(麻省理工学院)
使用对比损失(如CLIP)训练的自监督模型在zero-shot分类设置中表现出非常强大的功能。然而,要用作zero-shot分类器,这些模型需要用户在测试时在一组固定的标签上提供新的字幕。在许多设置中,很难或不可能知道新的查询标题是否与用于训练模型的源标题兼容。我们通过将zero-shot分类任务作为离群值检测问题来解决这些限制,并开发了一个适形预测程序来评估何时可以可靠地使用给定的测试标题。在一个现实世界的医学例子中,我们表明,我们提出的共形过程提高了CLIP风格的模型在zero-shot分类设置的可靠性,我们提供了一个实证分析的因素,可能会影响其性能。
2022-10-27 cs.CV cs.LG
Texture Bias Of CNNs Limits Few-Shot Classification Performance
Speechmatics
在计算机视觉中,给定少量标记数据的精确图像分类(Few-Shot分类)仍然是一个悬而未决的问题。在这项工作中,我们研究了卷积神经网络(CNN)的已知纹理偏差如何影响Few-Shot分类性能。虽然纹理偏差可以帮助标准的图像分类,在这项工作中,我们表明它显着损害Few-Shot分类性能。在纠正这种偏差之后,我们使用一种比当前性能最好的少样本学习方法简单得多的方法,在竞争性的miniImageNet任务上展示了最先进的性能。
2019-10-18 cs.CV cs.LG stat.ML
Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation
University of California, Merced(加利福尼亚大学默塞德分校);Virginia Tech(弗吉尼亚理工大学);Google Research(谷歌研究院);Yonsei University(延世大学)
Few-Shot分类的目标是识别新的类别,每个类别中只有很少的标记图像。现有的基于度量的Few-Shot分类算法通过使用学习的度量函数将查询图像的特征嵌入与来自一些标记图像(支持示例)的特征嵌入进行比较来预测类别。虽然已经证明了有前途的性能,这些方法往往无法推广到看不见的领域,由于跨域的特征分布的差异很大。在这项工作中,我们解决的问题,Few-Shot分类域移位的度量为基础的方法。我们的核心思想是使用特征变换层来增强图像特征,使用仿射变换来模拟训练阶段不同域下的各种特征分布。为了捕捉不同域下特征分布的变化,我们进一步应用学习到学习的方法来搜索特征变换层的超参数。我们使用五个Few-Shot分类数据集:mini-ImageNet,CUB,Cars,Places和Plantae在领域泛化设置下进行了广泛的实验和消融研究。实验结果表明,所提出的特征变换层适用于各种基于度量的模型,并在域偏移下对Few-Shot分类性能提供了一致的改善。
2020-03-09 cs.CV cs.LG
FewSAR: A Few-shot SAR Image Classification Benchmark
Army Engineering University of PLA(中国人民解放军陆军工程大学)
针对SAR图像小样本分类领域缺乏统一基准导致研究进展缓慢的问题,本文提出包含15种经典方法的开源基准FewSAR,通过系统实验发现度量学习方法表现最优,为该交叉领域研究提供了统一测试平台。
2023-06-16 cs.CV cs.LG
Adaptive Parametric Prototype Learning for Cross-Domain Few-Shot Classification
Carleton University(卡尔顿大学)
针对跨域小样本分类的域偏移问题,提出自适应参数化原型学习方法,以参数化方式学习类别原型并施加正则化,结合直推式自训练微调,在多个基准上优于现有方法。
2023-09-04 cs.CV cs.LG
Uncertainty-based Network for Few-shot Image Classification
Nanjing University(南京大学)
在少样本学习任务中,直推推理是一种有效的技术,查询集通过更新原型来改进自己。然而,这些方法通过仅考虑查询实例的分类分数作为置信度而忽略这些分类分数的不确定性来优化模型。本文提出了一种新的方法,称为基于不确定性的网络,该方法借助互信息对分类结果的不确定性进行建模。具体来说,我们首先对查询实例进行数据扩充和分类,并计算这些分类得分的互信息。然后,利用互信息作为不确定性为分类得分分配权重,并在原型优化中采用基于分类得分和不确定性的迭代更新策略为查询实例分配最优权重。在四个基准测试上的广泛结果表明,与最先进的方法相比,基于不确定性的网络在分类精度方面取得了相当的性能。
2022-05-17 cs.CV cs.LG
RAFIC: Retrieval-Augmented Few-shot Image Classification
Stanford University(斯坦福大学)
针对少样本图像分类中样本量有限导致准确率受限的问题,提出由CLIP等构成的检索组件和检索元学习组成的RAFIC方法,通过检索图像扩充样本,在两个数据集上显著提升分类性能。
2023-12-11 cs.CV cs.LG
Spatial Contrastive Learning for Few-Shot Classification
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们探讨了对比学习的Few-Shot分类,在其中,我们建议使用它作为一个额外的辅助训练目标,作为一个数据依赖的正则化,以促进更一般和可转移的功能。特别是,我们提出了一种新的基于注意力的空间对比目标,以学习局部判别和类不可知的功能。因此,我们的方法克服了交叉熵损失的一些限制,例如对可见类的过度歧视,这降低了特征到不可见类的可转移性。通过大量的实验,我们表明,所提出的方法优于国家的最先进的方法,确认学习良好的和可转移的嵌入的重要性,少样本学习。
2021-06-20 cs.CV cs.LG
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中,Transductive方法总是优于归纳方法。然而,现有的Few-Shot方法包含一个潜在的条件:每个类中的样本数是相同的,这可能是不现实的。为了应对这些情况下,每个类的查询镜头是不均匀的(即不均匀的少样本学习),我们提出了一个任务先验条件变分自动编码器模型TP-VAE,条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外,我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中,单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
Few-Shot Classification with Feature Map Reconstruction Networks
Cornell University(康奈尔大学)
在本文中,我们重新制定Few-Shot分类作为一个重建问题的潜在空间。网络从给定类的支持特征重构查询特征图的能力预测了该查询在该类中的成员资格。我们引入了一种新的机制,Few-Shot分类直接从支持功能回归到查询功能的封闭形式,而不引入任何新的模块或大规模的可学习的参数。由此产生的特征映射重建网络比以前的方法性能更好,计算效率更高。我们在四个具有不同神经架构的细粒度基准测试中展示了一致和大量的准确性增益。我们的模型在非细粒度的mini-ImageNet和分层ImageNet基准测试中也具有竞争力,并且具有最小的铃声和口哨声。
2021-04-27 cs.CV cs.LG
Label Propagation for Zero-shot Classification with Vision-Language Models
Czech Technical University in Prague(布拉格捷克技术大学);NAVER LABS Europe(NAVER欧洲实验室)
针对含无标签数据的零样本分类,提出 ZLaP,利用图文特征图上的测地距离标签传播及高效归纳推理,在14个数据集上超过最新方法。
2024-04-05 cs.CV cs.LG
Image-free Classifier Injection for Zero-Shot Classification
University of Tübingen(图宾根大学);Technical University of Denmark(丹麦技术大学);University of Trento(特伦托大学);University of Copenhagen(哥本哈根大学);Copenhagen University Hospital(哥本哈根大学医院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对零样本分类需从头训练且依赖图像数据的问题,提出无图像分类器注入方法ICIS,利用现有分类器权重与类别描述符,通过双编解码网络及正则化损失,为预训练模型注入零样本分类能力,在基准数据集上取得优异性能。
2023-08-21 cs.CV cs.LG
A Relational Model for One-Shot Classification
Aalto University(阿尔托大学)
我们发现,具有内置关系归纳偏差的深度学习模型可以为样本有效学习带来好处,而不依赖于广泛的数据增强。所提出的一次分类模型执行本地和成对注意力形式的一对输入的关系匹配。我们的方法完美地解决了一次性图像分类Omniglot的挑战。我们的模型超过了人类水平的准确性,以及以前的最先进的,没有数据增强。
2021-11-08 cs.AI cs.CV cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University(莱斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
最近的论文表明,迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论,并建议使用高质量的,预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明,一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择,解决跨域Few-Shot图像分类。我们的实验结果表明,这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University(俄亥俄州立大学)
在本文中,我们提出了一个非度量排名为基础的表示语义相似性,允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题,并提出了确定性和概率性的zero-shot分类器,可以从预先训练的分类器中构建,而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是,我们表明,聚合不同来源的语义信息,包括众包,导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School(哈佛医学院)
肺癌是全球癌症相关死亡的主要原因。肺腺癌(LUAD)和肺鳞状细胞癌(LUSC)是非小细胞肺癌(NSCLC)最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准,但需要开发重要的工具来阐明诊断。在我们的研究中,我们利用预先训练的视觉Transformer(ViT)模型在Zero-Shot和Few-Shot设置下对组织切片(来自数据集LC 25000)上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明,预训练的ViT模型在Zero-Shot设置中具有良好的性能,在Few-Shot设置中具有竞争力的准确性($99.87\%$)({epoch = 1}),在Few-Shot设置中具有最佳结果($100.00\%$)({epoch = 5})。
2022-05-31 cs.AI cs.CV cs.LG
How to Train Your MAML to Excel in Few-Shot Classification
Nanjing University(南京大学);The Ohio State University(俄亥俄州立大学)
模型不可知元学习(MAML)可以说是当今最流行的元学习算法之一。然而,其性能上的Few-Shot分类是远远落后于许多最近的算法致力于这个问题。在本文中,我们指出了几个关键方面,如何训练MAML擅长Few-Shot分类。首先,我们发现MAML在其内部循环更新中需要大量的梯度步骤,这与其在Few-Shot分类中的常见用法相矛盾。其次,我们发现MAML是敏感的类标签分配过程中的元测试。具体地,MAML元训练$N$路分类器的初始化。在元测试期间,这些$N$方式然后具有“$N!$“不同排列以与$N$新颖类的Few-Shot任务配对。我们发现,这些排列导致一个巨大的方差的准确性,使MAML不稳定的Few-Shot分类。第三,我们研究了几种方法,使MAML置换不变,其中元训练一个单一的向量初始化所有的$N$权重向量在分类头表现最好。在像MiniImageNet和TieredImageNet这样的基准数据集上,我们命名为UNICORN-MAML的方法的性能与许多最近的Few-Shot分类算法相当,甚至优于它们,而不会牺牲MAML的简单性。
2022-07-11 cs.AI cs.CV cs.LG
Zero-Shot Heart Rate Variability Forecasting from Consumer Wearables Using Time Series Foundation Models
Tampere University(坦佩雷大学);University of Eastern Finland(东芬兰大学)
研究利用时间序列基础模型从消费级可穿戴设备预测心率变异性,针对数据碎片化问题引入变异性保留插补方法,结果显示TSFMs在无需微调时优于传统基线模型,为其在真实数据集上的性能建立基线,凸显特定领域微调对临床部署的潜力。
2026-07-23 cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of California, Davis(加利福尼亚大学戴维斯分校)
Few-Shot图像分类的目标是推广到具有有限标记数据的任务,多年来已经取得了很大的进展。然而,分类器容易受到对抗性样本的影响,这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合,以提高Few-Shot分类器的鲁棒性。我们表明,一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明,在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器,在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的,易于扩展,并与很少的努力,可以导致强大的Few-Shot分类器。代码可在这里:\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题,学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法,在联合视觉和文本空间。本文的主要新颖之处在于,它表明,使用每图像语义监督导致zero-shot性能的实质性改善,而不是使用仅类监督。最重要的是,我们为度量重新缩放方法提供了概率证明,该方法解决了广义零样本学习设置中非常常见的问题,即,将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集:CUB和FLOWERS上评估了我们的方法。我们发现,在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
我们提出了回归网络的问题,Few-Shot分类,其中一个分类器必须推广到新的类中没有看到的训练集,只有少量的例子,每个类。在高维嵌入空间中,数据的方向通常包含比幅度更丰富的信息。除此之外,最先进的Few-Shot度量方法(将距离与聚合类表示进行比较)已显示出优越的性能。结合这两个见解,我们提出通过回归每个类子空间中的最接近近似值,同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似,回归网络反映了一种简单的归纳偏差,这在这种有限的数据制度中是有益的,并且它们实现了出色的结果,特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Disambiguation of One-Shot Visual Classification Tasks: A Simplex-Based Approach
IMT Atlantique(大西洋国立高等工业技术与矿业学校);Lab-STICC(法国国家科学研究中心6285联合研究实验室(STICC实验室));CNRS(法国国家科学研究中心)
视觉Few-Shot分类领域旨在将深度学习视觉系统的最新性能转移到只有非常有限数量的训练样本可用的任务上。主要的解决方案包括训练一个特征提取器,使用一个大的和不同的数据集被应用到所考虑的Few-Shot任务。由于特征提取器中的编码先验,即使镜头显示不代表其类别的个体特征,每个类别的分类任务也可以高精度地解决,其中每个类别只有一个示例(或“镜头”)。然而,当一些给定的镜头显示多个对象时,问题变得更加复杂。在本文中,我们提出了一种策略,旨在检测在一个给定的镜头中的多个和以前看不见的对象的存在。这种方法是基于确定的角落的一个单纯形在一个高维空间。我们介绍了一个优化例程,并展示了它成功检测原始图像中多个(以前看不见的)对象的能力。然后,我们引入了一个下游分类器,旨在利用多个对象的存在,以提高性能的Few-Shot分类,在极端设置的情况下,只有一个镜头是给它的类。使用该领域的标准基准,我们展示了所提出的方法在这些设置中略微提高准确性的能力,但在统计上显着。
2023-01-16 cs.AI cs.CV cs.LG
Combining Domain-Specific Meta-Learners in the Parameter Space for Cross-Domain Few-Shot Classification
School of Computing Science(计算机科学学院);Simon Fraser University(西蒙弗雷泽大学)
Few-Shot分类的目标是学习一个模型,该模型可以仅使用几个训练样本对新类别进行分类。尽管现有的元学习算法在解决Few-Shot分类问题方面取得了可喜的成果,但仍然存在一个重要的挑战:如何在多个可见域上进行元学习的同时推广到不可见域?在本文中,我们提出了一种基于优化的元学习方法,称为组合特定领域的元学习者(CosML),解决跨域的Few-Shot分类问题。CosML首先训练一组元学习器,每个训练域一个,以学习先验知识(即,元参数)特定于每个域。域特定的元学习者,然后结合在\emph{parameter space}中,通过采取加权平均的元参数,这是用来作为一个任务网络的初始化参数,快速适应新的Few-Shot分类任务在一个看不见的域。实验结果表明,CosML的性能优于一系列最先进的方法,并实现了强大的跨领域泛化能力。
2020-10-31 cs.CV cs.LG stat.ML
On the Importance of Firth Bias Reduction in Few-Shot Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从很少的例子中学习新类别的准确分类器,称为Few-Shot图像分类,是统计机器学习和计算机视觉中的一项具有挑战性的任务。在Few-Shot分类中的性能受到分类器参数估计中的偏差的影响;然而,在训练Few-Shot分类器中可以减轻这个问题的有效的潜在偏差减少技术被忽视了。在这项工作中,我们证明了Firth偏见减少Few-Shot分类的有效性。从理论上讲,Firth偏倚降低从最大似然估计量的小样本偏倚中去除了$O(N^{-1})$一阶项。在这里,我们表明,一般的Firth偏差减少技术简化到鼓励统一的类分配概率多项逻辑分类,几乎有相同的效果余弦分类。我们推导出一个易于实现的Firth惩罚多项式逻辑和余弦分类器的优化目标,这相当于惩罚均匀标签分布和预测之间的KL发散的交叉熵损失。然后,我们根据经验评估,它对于Few-Shot图像分类是一致有效的,而不管(1)来自不同主干的特征表示,(2)每个类的样本数量,以及(3)类的数量。最后,我们展示了Firth偏差减少的鲁棒性,在不平衡数据分布的情况下。我们的实现可以在https://github.com/ehsansaleh/firth_bias_reduction上获得
2022-04-14 cs.AI cs.CV cs.LG
Enhancing Few-Shot Image Classification with Unlabelled Examples
University of British Columbia(不列颠哥伦比亚大学);Amazon(亚马逊);Northeastern University(东北大学);Inverted AI;MILA(蒙特利尔学习算法研究所);Beam AI
我们开发了一种转导元学习方法,使用未标记的实例,以提高Few-Shot图像分类的性能。我们的方法结合了一个正则化的马氏距离为基础的软k均值聚类过程与修改后的最先进的神经自适应特征提取器,以实现改进的测试时的分类精度使用未标记的数据。我们评估我们的方法上的转换少样本学习任务,其中的目标是共同预测标签查询(测试)的例子给出了一组支持(训练)的例子。我们在Meta-Dataset,mini-ImageNet和Tiered-ImageNet基准测试中实现了最先进的性能。所有经过训练的模型和代码都可以在github.com/plai-group/simple-cnaps上公开获取。
2021-10-21 cs.CV cs.LG stat.ML
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
少样本学习中的大多数方法依赖于(预)训练期间与目标任务域相关的昂贵的注释数据。最近,无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时,在具有现实域转移的设置中,常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展,我们提出了一种迁移学习方法,该方法构建了一个度量嵌入,将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中,我们的方法甚至具有与监督方法相当的性能,但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Negative Margin Matters: Understanding Margin in Few-shot Classification
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学)
本文在基于度量学习的少样本学习方法中引入了负间隔损失。负边际损失显著优于常规softmax损失,并在三个标准的Few-Shot分类基准上实现了最先进的准确性,几乎没有花里胡哨的东西。这些结果与度量学习领域的通常做法相反,即边际为零或正值。为了理解为什么负边缘损失对于Few-Shot分类表现良好,我们从经验和理论上分析了学习特征对于训练和新类的不同边缘的可辨别性。我们发现,虽然负边缘降低了训练类的特征区分度,但它也可以避免将同一新类的样本错误地映射到多个峰值或聚类,从而有利于新类的区分。代码可在https://github.com/bl0/negative-margin.few-shot上获得。
2020-03-26 cs.CV cs.LG stat.ML
Alignment Based Matching Networks for One-Shot Classification and Open-Set Recognition
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
用于对象分类的深度学习严重依赖于卷积模型。虽然有效,但CNN很少在事后解释。注意力机制可以用来突出模型关注的图像区域,从而提供对分类机制的狭窄视角。我们扩展了这个想法,迫使该方法显式对齐图像进行分类,以参考图像代表的类。对齐的机制是习得的,因此不需要参考对象与被分类的对象类似。除了解释,我们基于样本的交叉比对方法使分类与每个类别只有一个例子(一杆)。我们的模型将Omniglot中的5向1次出错率从2.1%降低到1.4%,MiniImageNet从53.5%降低到46.5%,同时提供逐点对齐信息,从而了解网络正在捕获的内容。这种对齐方法还能够在单次设置中识别不受支持的类(开集),同时即使有19个其他分散类,Omniglot的F1分数也保持在0.5以上,而基线完全无法在单次设置中分离开集类。
2019-03-11 cs.CV cs.LG stat.ML
Ontology-based n-ball Concept Embeddings Informing Few-shot Image Classification
The University of Manchester(曼彻斯特大学)
我们提出了一种新的框架ViOCE集成本体为基础的背景知识的形式$n$球概念嵌入到一个神经网络为基础的视觉架构。该方法由两个部分组成-通过学习捕获包容性和不相交性的n球嵌入将本体的符号知识转换为连续空间,并使用学习的嵌入指导视觉模型的训练和推理。我们使用Few-Shot图像分类任务评估ViOCE,其中它在两个标准基准测试中表现出卓越的性能。
2021-09-19 cs.AI cs.CV cs.LG
Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks
The Hong Kong Polytechnic University(香港理工大学)
元学习模型可以利用Few-Shot标记数据快速适应新任务。然而,尽管在Few-Shot分类任务上实现了良好的泛化,但在少样本学习中提高元学习模型的对抗鲁棒性仍然具有挑战性。虽然对抗性查询(AQ)等对抗性训练(AT)方法可以提高元学习模型的对抗性鲁棒性能,但AT仍然是计算昂贵的训练。另一方面,用AT训练的元学习模型将显著降低原始干净图像的准确性。提出了一种对抗鲁棒神经网络的元学习方法--长期交叉对抗训练(LCAT)。LCAT将沿着自然和对抗样本分布方向交叉更新元学习模型参数,以提高对抗和干净的Few-Shot分类精度。由于交叉对抗训练,LCAT只需要比AQ一半的对抗训练时间,从而降低了对抗训练计算。实验结果表明,LCAT在元学习模型的干净和对抗性Few-Shot分类准确率方面都优于SOTA对抗性训练方法。
2021-07-01 cs.CR cs.CV cs.LG
Training few-shot classification via the perspective of minibatch and pretraining
Qian Xuesen Laboratory of Space Technology(钱学森空间技术实验室);China Academy of Space Technology(中国空间技术研究院)
Few-Shot分类是一个具有挑战性的任务,其目的是制定人类从有限的先验数据中学习概念的能力,并在机器学习中引起了相当大的关注。最近在Few-Shot分类中的进展具有元学习的特征,其中定义并训练学习算法的参数化模型以学习在表示不同分类任务的极大或无限事件上处理分类任务的能力,每个事件具有小的标记支持集及其对应的查询集。在这项工作中,我们提出了这个Few-Shot分类范式,制定它作为一个监督分类学习问题。我们进一步提出了多集和交叉训练技术,分别对应于分类问题中的小批量和预训练。最先进的Few-Shot分类方法(原型网络)的实验结果表明,所提出的训练策略可以大大加快训练过程,而不会损失Omniglot和miniImageNet上不同的Few-Shot分类问题的准确性。
2020-04-10 cs.LG stat.ML
An empirical study of pretrained representations for few-shot classification
Cogent Labs
具有最先进的Few-Shot分类结果的最新算法通过计算由大型预训练模型输出的数据特征来开始其过程。在本文中,我们系统地研究了哪些模型在Imagenet数据集上进行预训练时为Few-Shot图像分类任务提供了最佳表示。我们测试他们的代表性时,用作不同的Few-Shot分类算法的起点。我们观察到,在监督分类任务上训练的模型比以无监督方式训练的模型具有更高的性能,即使在转移到分布外的数据集时也是如此。用对抗鲁棒性训练的模型转移得更好,但准确率略低于监督模型。
2019-10-03 cs.LG stat.ML
A Baseline for Few-Shot Image Classification
Amazon Web Services(亚马逊云科技);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
微调使用标准交叉熵损失训练的深度网络是少样本学习的强大基线。当进行微调时,这在标准数据集上的表现优于当前最先进的技术,例如Mini-ImageNet,Tiered-ImageNet,CIFAR-FS和FC-100,具有相同的超参数。这种方法的简单性使我们能够在ImageNet-21 k数据集上展示前少样本学习结果。我们发现,使用大量的元训练类的结果在高的Few-Shot精度,即使是大量的Few-Shot类。我们并不提倡我们的方法作为解决方案的少样本学习,但只是使用的结果,以突出当前的基准和Few-Shot协议的局限性。我们对基准数据集进行了广泛的研究,提出了一个度量标准,量化了“硬度”的Few-Shot插曲。该度量可用于以更系统的方式报告Few-Shot算法的性能。
2020-10-21 cs.CV cs.LG stat.ML
Fine-Grain Few-Shot Vision via Domain Knowledge as Hyperspherical Priors
Augustus Intelligence(奥古斯都智能公司)
原型网络已被证明在计算机视觉中的少样本学习任务中表现良好。然而,当类别彼此非常相似(细粒度分类)并且目前无法考虑先验知识(通过使用表格数据)时,这些网络就会陷入困境。使用一个球形的潜在空间编码的原型,我们可以实现Few-Shot细粒度分类最大限度地分离类,同时将领域知识作为信息先验。我们描述了如何构建一个嵌入先验域信息的原型超球体,并展示了该方法在挑战细粒度分类基准数据集上的有效性,最佳结果是一次性分类和5倍的训练时间加速。
2020-05-23 cs.CV cs.LG eess.IV
Improving Audio Classification by Transitioning from Zero- to Few-Shot
BabbleLabs
针对零样本音频分类中类别文本描述难以最优确定的问题,本文提出按类别聚合并处理少样本音频嵌入以替代噪声文本嵌入,实验表明其通常优于零样本基线。
2025-07-26 cs.LG cs.SD
Inductive Linear Probing for Few-shot Node Classification
Arizona State University(亚利桑那州立大学)
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题,本文通过实证揭示现有框架局限,提出适配归纳式少样本节点分类的简单强基线,为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
A Universal Representation Transformer Layer for Few-Shot Image Classification
Mila(米拉研究所);Australian AI Institute, UTS(澳大利亚人工智能研究所,悉尼科技大学);McGill University(麦吉尔大学);Google Research, Brain Team(谷歌研究院,大脑团队)
Few-Shot分类的目标是在只有少量样本的情况下识别未见过的类别。我们考虑多域Few-Shot图像分类的问题,其中看不见的类和例子来自不同的数据源。这个问题已经引起了越来越多的关注,并激发了元数据集等基准的开发。在这种多域设置中的一个关键挑战是有效地集成来自不同训练域集合的特征表示。在这里,我们提出了一个通用表示Transformer(URT)层,该层通过动态重新加权和组合最合适的特定于域的表示,来进行元学习,以利用通用特征进行Few-Shot分类。在实验中,我们表明,URT设置一个新的国家的最先进的元数据集的结果。具体而言,与竞争方法相比,它在最多的数据源上实现了最高性能。我们分析了URT的变体,并呈现了注意力得分热图的可视化,该热图揭示了模型如何执行跨领域泛化。我们的代码可在https://github.com/liulu112601/URT上获得。
2020-09-02 cs.CV cs.LG stat.ML
Meta-Meta Classification for One-Shot Learning
Rice University(莱斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
我们提出了一种新的方法,称为元元分类,在小数据环境中学习。在这种方法中,使用一个大的学习问题集来设计一个学习器集合,其中每个学习器具有高偏差和低方差,并且擅长解决特定类型的学习问题。元-元分类器学习如何检查给定的学习问题,并结合各种学习器来解决问题。Meta-元学习方法特别适合于解决少样本学习任务,因为学习对具有少量数据的新学习问题进行分类比将学习算法应用于小数据集更容易。我们在一个一次性的,一类对所有分类任务的方法进行了评估,并表明它能够优于传统的元学习以及集成方法。
2020-06-14 cs.CV cs.LG stat.ML
Joint Distribution Matters: Deep Brownian Distance Covariance for Few-Shot Classification
Dalian University of Technology(大连理工大学);Tianjin University(天津大学)
Few-Shot分类是一个具有挑战性的问题,因为每个新任务只给出很少的训练样本。解决这一挑战的有效研究路线之一集中在学习由查询图像和某类的少数支持图像之间的相似性度量驱动的深度表示。从统计学上讲,这相当于测量图像特征的依赖性,这些特征被视为高维嵌入空间中的随机向量。以前的方法要么只使用边缘分布,而不考虑联合分布,遭受有限的表示能力,或计算昂贵,虽然利用联合分布。在本文中,我们提出了一种深度布朗距离协方差(DeepBDC)方法的Few-Shot分类。DeepBDC的中心思想是通过测量嵌入特征的联合特征函数与边缘值的乘积之间的差异来学习图像表示。由于BDC度量是解耦的,我们将其制定为高度模块化和高效的层。此外,我们在两个不同的Few-Shot分类框架中实例化DeepBDC。我们在六个标准的Few-Shot图像基准上进行了实验,涵盖了一般目标识别,细粒度分类和跨域分类。广泛的评估表明,我们的DeepBDC显著优于同行,同时建立了新的最先进的结果。源代码可在http://www.peihuali.org/DeepBDC上获得
2022-04-09 cs.CV cs.LG stat.ML
Structure-Enhanced Meta-Learning For Few-Shot Graph Classification
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);University of Hong Kong(香港大学)
图分类是一个非常有影响力的任务,在分子性质预测和蛋白质功能预测等众多现实世界的应用中发挥着至关重要的作用。为了处理具有有限标记图的新类别,Few-Shot图分类已经成为现有图分类解决方案和实际应用的桥梁。这项工作探讨了基于度量的元学习解决少镜头图分类问题的潜力。我们强调了在解决方案中考虑结构特征的重要性,并提出了一种新的框架,该框架显式地考虑了输入图的全局结构和局部结构。GIN上的一个实现,命名为SMF-GIN,测试两个数据集,Chembl和三角形,广泛的实验验证了所提出的方法的有效性。Chembl的构建是为了填补缺乏用于Few-Shot图分类评估的大规模基准的空白,其与SMF-GIN的实现一起发布在:https://github.com/jiangshunyu/SMF-GIN。
2021-12-28 cs.LG
Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes
Vector Institute, University of Toronto(向量研究所,多伦多大学)
Few-Shot分类(FSC)是在给定小的标记数据集的情况下使分类器适应看不见的类的任务,是迈向类人机器学习的重要一步。贝叶斯方法非常适合解决在Few-Shot场景中过度拟合的基本问题,因为它们允许从业者指定先验信念并根据观察到的数据更新这些信念。当代的贝叶斯Few-Shot分类方法保持了模型参数的后验分布,这很慢,并且需要随模型大小而扩展的存储。相反,我们提出了一个基于Pólya-Gamma增强和one-vs-each softmax近似的新组合的高斯过程分类器,使我们能够有效地边缘化函数而不是模型参数。我们证明了改进的准确性和不确定性量化标准的Few-Shot分类基准和Few-Shot域转移任务。
2021-01-21 cs.LG stat.ML
A Unified Framework for Shot Type Classification Based on Subject Centric Lens
CUHK - SenseTime Joint Lab, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室);Communication University of China(中国传媒大学)
镜头是各种视频的关键叙事元素,例如电影,电视剧和在互联网上蓬勃发展的用户生成的视频。镜头的类型极大地影响了潜在的想法、情感和信息的表达方式。分析镜头类型的技术对于理解视频非常重要,在这个时代,现实世界的应用需求越来越大。分类镜头类型是具有挑战性的,因为除了视频内容之外还需要额外的信息,例如帧的空间组成和相机移动。为了解决这些问题,我们提出了一个学习框架主题指导网络(SGNet)的镜头类型识别。SGNet将镜头的主体和背景分成两个流,分别作为尺度和运动类型分类的单独指导图。为了便于镜头类型分析和模型评估,我们构建了一个大规模数据集MovieShots,其中包含来自7K电影预告片的46K镜头,并标注了其比例和运动类型。实验表明,该框架能够准确识别镜头的这两个属性,优于以往的方法。
2020-08-08 cs.CV cs.LG cs.MM
Dynamic Memory Induction Networks for Few-Shot Text Classification
Alibaba Group(阿里巴巴集团);Ingenuity Labs Research Institute(匠心实验室研究院);Queen’s University(女王大学)
提出了一种基于动态记忆归纳网络的Few-Shot文本分类方法。该模型利用动态路由为基于记忆的少样本学习提供更大的灵活性,以更好地适应支持集,这是Few-Shot分类模型的关键能力。在此基础上,我们进一步开发了具有查询信息的归纳模型,旨在增强元学习的泛化能力。该模型在miniRCV 1和ODIC数据集上取得了新的最先进的结果,将最佳性能(准确度)提高了2~ 4%。进一步进行详细分析以显示每个组件的有效性。
2020-05-12 cs.CL cs.LG
Curriculum Meta-Learning for Few-shot Classification
我们提出了一个适应的课程培训框架,适用于国家的最先进的元学习技术的Few-Shot分类。基于课程的训练通常试图通过逐步增加训练复杂性来模仿人类学习,以实现增量概念学习。由于元学习者的目标是学习如何从尽可能少的样本中学习,这些样本的确切数量(即支持集的大小)作为给定任务难度的自然代理而出现。我们定义了一个简单而新颖的课程计划,从一个更大的支持大小开始,并在整个训练过程中逐步减少,最终匹配测试设置所需的投篮大小。该方法提高了学习效率和泛化能力。我们在两个Few-Shot图像分类任务上使用MAML算法的实验显示出课程培训框架的显著收益。消融研究证实了我们提出的方法与模型结构以及元学习超参数的独立性
2021-12-06 cs.LG
Supervised Graph Contrastive Learning for Few-shot Node Classification
Arizona State University(亚利桑那州立大学);Bytedance AI Lab(字节跳动人工智能实验室)
图存在于许多现实世界的应用中,例如金融欺诈检测、商业推荐和社会网络分析。但是考虑到图注释或标记的高成本,我们面临着严重的图标记稀缺问题,即,一个图可能有几个标记的节点。这种问题的一个例子是所谓的\textit{few-shot node classification}。解决这个问题的主要方法是求助于\textit{episodic meta-learning}。在这项工作中,我们提出了一个基本问题,元学习是否是一个必须的Few-Shot节点分类任务的挑战现状。我们提出了一个新的和简单的框架下的标准Few-Shot节点分类设置作为替代元学习一个有效的图形编码器。该框架由监督图对比学习与新的机制,数据增强,子图编码,和多尺度对比图。在三个基准数据集(CoraFull,Reddit,Ogbn)上的大量实验表明,新框架的性能明显优于最先进的基于元学习的方法。
2022-08-05 cs.LG
Predicate Hierarchies Improve Few-Shot State Classification
Stanford University(斯坦福大学)
针对物体及其关系状态分类在少样本泛化上的挑战,提出PHIER模型,利用谓词层次结构、物体中心编码器、自监督损失和双曲距离度量,在机器人环境中显著提升少样本及分布外泛化性能。
2025-02-18 cs.AI cs.CV cs.LG
Few-shot Text Classification with Distributional Signatures
Computer Science and Artificial Intelligence Lab, MIT(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI LAB, IBM Research(IBM研究院麻省理工-IBM沃森人工智能实验室)
在本文中,我们探讨元学习的Few-Shot文本分类。元学习在计算机视觉中表现出很强的性能,其中低级模式可以在学习任务中转移。然而,直接将这种方法应用于文本是具有挑战性的-词汇特征对一项任务来说是高度信息化的,但对另一项任务来说可能是微不足道的。因此,我们的模型不是仅仅从单词中学习,而是利用它们的分布签名,这些签名对相关的单词出现模式进行编码。我们的模型在元学习框架内进行训练,将这些签名映射到注意力分数,然后用于加权单词的词汇表示。我们证明,我们的模型始终优于基于词汇知识学习的原型网络(Snell等人,2017)在Few-Shot文本分类和关系分类中,在六个基准数据集上都有显著的优势(1次分类平均为20.0%)。
2020-02-18 cs.CL cs.LG
Active Few-Shot Classification: a New Paradigm for Data-Scarce Learning Settings
IMT Atlantique(大西洋国立高等工业技术与矿业学校);Schneider Electric(施耐德电气)
我们考虑一个新的配方的问题,主动Few-Shot分类(AFSC)的目标是分类一个小的,最初未标记的,数据集给出了一个非常有限的标签预算。这个问题可以被看作是一个竞争对手的范例,经典的Transductive Few-Shot分类(TFSC),因为这两种方法都适用于类似的条件。我们首先提出了一种方法,结合统计推断,和一个原始的两层主动学习策略,适合这个框架。然后,我们从TFSC领域适应几个标准的视觉基准。我们的实验表明,AFSC的潜在好处可以是巨大的,与最先进的TFSC方法相比,相同的标签预算的平均加权准确度的增益高达10%。我们相信,这种新的范式可以在数据稀缺的学习环境中带来新的发展和标准。
2022-09-23 cs.LG
Cough Classification using Few-Shot Learning
Department of Computer and Information Technology(计算机与信息科技系)
本文研究少样本学习在呼吸音咳嗽分类中的应用,利用Prototypical Networks在有限标注数据下实现了与传统深度学习相当的分类性能,验证了其在医学诊断中的可行性。
2025-09-11 cs.LG
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
我们引入了用于对象识别的Few-Shot对象学习(FewSOL)数据集,每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体,每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外,使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了(i)Few-Shot对象分类和(ii)联合对象分割和Few-Shot分类,使用我们的数据集进行少样本学习和元学习。评估结果表明,机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题,如分类,检测和分割,形状重建,姿态估计,关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Accelerating Convergence in Bayesian Few-Shot Classification
Center for Applied Statistics(应用统计中心);School of Statistics, Renmin University of China(中国人民大学统计学院);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心)
本文提出将镜像下降变分推断集成到高斯过程少样本分类中,利用非欧几何实现加速收敛并改善不确定性量化,实验验证了其优于基线模型的性能。
2024-05-07 cs.LG stat.ML
Zero-Shot Text Classification with Self-Training
IBM Research(IBM研究院)
大型预训练语言模型的最新进展增加了对zero-shot文本分类的关注。特别是,在自然语言推理数据集上微调的模型由于其有希望的结果和现成的可用性而被广泛采用作为zero-shot分类器。然而,这些模型不熟悉目标任务的事实可能会导致不稳定和性能问题。我们提出了一种即插即用的方法,使用简单的自我训练方法来弥合这一差距,只需要类名和未标记的数据集,而不需要领域专业知识或试错。我们表明,微调的zero-shot分类器在其最有信心的预测导致显着的性能增益在广泛的文本分类任务,大概是因为自我训练适应zero-shot模型手头的任务。
2022-10-31 cs.CL cs.LG
Zero-shot Learning and Knowledge Transfer in Music Classification and Tagging
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER Corp.(NAVER公司)
音乐分类和标记是通过具有固定标签集的分类监督学习进行的。原则上,这不能对看不见的标签进行预测。零样本学习是一种利用语义标签的边信息来解决该问题的方法。我们最近通过将音频和标签空间投影到单个语义空间上,研究了音乐分类和标记任务中的零样本学习概念。在这项工作中,我们将工作扩展到验证零样本学习模型的泛化能力进行知识转移到不同的音乐语料库。
2019-06-20 cs.IR cs.LG cs.MM
Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies
Brown University(布朗大学);Rochester Institute of Technology(罗切斯特理工学院);Northeastern University(东北大学);Shanghai Jiao Tong University(上海交通大学)
本文提出结合自适应微调、对比学习与正则化优化的策略,在FewRel 2.0上验证了T5-small、DeBERTa-v3和RoBERTa-base的小样本分类效果,并通过双重损失缓解过拟合、提升泛化能力。
2025-05-09 cs.CL cs.LG