Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法，即学习学习的算法。通过从更大的数据集中采样Few-Shot任务，我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的，Sicara是一家为企业提供图像识别解决方案的法国公司。它包含：1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法，该算法仍在开发中。
2019-09-30 cs.CV cs.LG
One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
现实世界的分类任务经常需要在开放集设置中工作。这对于少样本学习问题尤其具有挑战性，因为每个已知类别的样本量都很小，这使得现有的开集方法无法有效地工作;然而，大多数多类Few-Shot方法仅限于闭集场景。在这项工作中，我们解决了问题的Few-Shot开集分类首先提出的方法为Few-Shot一类分类，然后将其扩展到Few-Shot多类开集分类。我们介绍了两个独立的Few-Shot单类分类方法：Meta Binary Cross-Entropy（Meta-BCE），它学习一个单独的特征表示单类分类，单类元学习（OCML），它学习生成单类分类器给定标准的多类特征表示。这两种方法都可以增强任何现有的少样本学习方法，而不需要重新训练以在Few-Shot多类开集设置中工作，而不会降低其闭集性能。我们在不同的问题设置中展示了这两种方法的优点和缺点，并在三个标准的基准数据集miniImageNet，tieredImageNet和Caltech-UCSD-Birds-200-2011上对其进行了评估，在这些数据集上，它们在Few-Shot多类开集和Few-Shot一类任务中超越了最先进的方法。
2021-09-14 cs.CV cs.LG
Learning from Few Examples: A Summary of Approaches to Few-Shot Learning
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习是指仅从几个训练样本中学习数据中的底层模式的问题。由于需要大量的数据样本，许多深度学习解决方案都面临数据饥饿和大量的计算时间和资源。此外，由于问题的性质或隐私问题，以及数据准备的成本，数据往往无法获得。数据汇集、预处理和标记是繁重的人工任务。因此，可以大幅减少构建机器学习应用程序的周转时间的少样本学习成为一种低成本解决方案。这篇调查论文包括最近提出的少样本学习算法的代表性列表。考虑到学习的动力学和特征，从元学习、迁移学习和混合方法（即，少样本学习问题的不同变体）。
2022-03-07 cs.CV cs.LG
A Study on Representation Transfer for Few-Shot Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
Few-Shot分类的目标是学习仅使用少量标记的示例来很好地分类新的对象类别。从其他模型转移特征表示是解决Few-Shot分类问题的一种流行方法。在这项工作中，我们进行了系统的研究，各种功能表示为Few-Shot分类，包括表示学习MAML，监督分类，和几个常见的自我监督的任务。我们发现，从更复杂的任务中学习往往会为Few-Shot分类提供更好的表示，因此我们提出使用从多个任务中学习到的表示进行Few-Shot分类。再加上特征选择和投票的新技巧来处理小样本量的问题，我们的直接迁移学习方法在几个基准数据集上提供了与最新技术相当的性能。
2022-09-05 cs.CV cs.LG
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
Meta-free few-shot learning via representation learning with weight averaging
University of Toronto（多伦多大学）
最近的研究Few-Shot分类使用迁移学习的情节元学习算法的有效性和效率提出了挑战。迁移学习方法是一种自然的选择，但它们仅限于Few-Shot分类。此外，除了一些贝叶斯情景学习算法之外，很少有人关注来自Few-Shot样本的具有良好校准的不确定性的概率模型的开发。为了解决上述问题，我们提出了一种新的迁移学习方法，以获得准确和可靠的模型，用于Few-Shot回归和分类。由此产生的方法不需要情景元学习，被称为无元表示学习（MFRL）。MFRL首先发现低秩表示在元测试任务上泛化良好。给定学习的表示，概率线性模型用Few-Shot样本进行微调，以获得具有良好校准的不确定性的模型。该方法不仅在广泛的少样本学习基准数据集上实现了最高的准确率，而且正确地量化了预测的不确定性。此外，加权平均和温度缩放在提高具有广泛的学习范例和模型架构的现有元学习算法中的少样本学习的准确性和可靠性方面是有效的。
2022-04-30 cs.CV cs.LG
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London（伦敦玛丽女王大学）
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而，在实践中，域转移经常存在，其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变，并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的，因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移，允许在源上训练的模型在不同的目标域上表现良好。然而，即使对于无监督领域自适应的设置，其中目标域未被标记，收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法，当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时，该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担，我们的实验表明，一些有前途的结果。
2015-07-29 cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Benchmarking Spurious Bias in Few-Shot Image Classifiers
University of Virginia（弗吉尼亚大学）
本文提出FewSTAB基准框架，利用视觉-语言模型自动构建带虚假属性的小样本评估任务，系统量化并比较小样本分类器对虚假偏差的鲁棒性，为鲁棒分类器设计提供新指南。
2024-09-04 cs.CV cs.LG
Squeezing Backbone Feature Distributions to the Max for Efficient Few-Shot Learning
Orange Labs（Orange实验室）；IMT Atlantique（大西洋国立高等矿业电信学校）
Few-Shot分类是一个具有挑战性的问题，由于不确定性所造成的使用少数标记的样本。在过去的几年里，已经提出了许多方法，其共同目标是转移在先前解决的任务上获得的知识，这通常是通过使用预训练的特征提取器来实现的。遵循这一思路，在本文中，我们提出了一种新的基于传输的方法，其目的是处理特征向量，使它们变得更接近高斯分布，从而提高准确性。在训练过程中未标记测试样本可用的转导少样本学习的情况下，我们还引入了一种最优传输启发算法，以进一步提高所实现的性能。使用标准化的视觉基准测试，我们展示了所提出的方法在各种数据集、骨干架构和Few-Shot设置下实现最先进精度的能力。
2021-10-18 cs.LG
Transductive Few-Shot Learning: Clustering is All You Need?
Thales - Cortaix（泰雷兹Cortaix）；ÉTS Montreal（蒙特利尔高等技术学院）
我们研究了一个通用的公式聚类和转导少样本学习，它集成了基于原型的目标，拉普拉斯正则化和监督约束，从一些标记的数据点。我们提出了一个凹凸松弛的问题，并推导出一个计算效率高的块坐标界优化，收敛保证。在每次迭代中，我们的优化器为每个点到集群分配计算独立（并行）更新。因此，对于大规模聚类和Few-Shot任务，它可以是平凡分布的。此外，我们提供了一个彻底的收敛性分析的基础上点到集的地图。在各种数据集上进行了端口综合聚类和少样本学习实验，表明我们的方法在准确性和优化质量方面具有竞争力的性能，同时可以扩展到大型问题。在基础类上使用标准训练，而不采用复杂的元学习和情节训练策略，我们的方法在各种模型，设置和数据集上的性能明显优于最先进的Few-Shot方法。令人惊讶的是，我们发现即使是标准的聚类程序（例如，K-means），对应于我们一般模型的特定非正则化情况，与少样本学习中的最新技术相比，已经实现了具有竞争力的性能。这些令人惊讶的结果指出了当前Few-Shot基准测试的局限性，并质疑了最近文献中大量卷积少样本学习技术的可行性。
2021-06-16 cs.CV cs.LG
ReMP: Rectified Metric Propagation for Few-Shot Learning
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
少样本学习的特点是能够从少量样本中进行归纳。在本文中，我们首先发现，一个区分性特征空间（即纠正的度量空间）是基于度量的少样本学习成功的重要组成部分，它被学习以保持从训练到测试的度量一致性。许多分析表明，一个简单的修改的目标可以产生显着的性能增益。由此产生的方法，称为纠正度量传播（ReMP），进一步优化了一个专注的原型传播网络，并应用排斥力来做出自信的预测。大量的实验表明，所提出的ReMP是有效的和高效的，并优于各种标准的少样本学习数据集上的艺术状态。
2020-12-02 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中，Transductive方法总是优于归纳方法。然而，现有的Few-Shot方法包含一个潜在的条件：每个类中的样本数是相同的，这可能是不现实的。为了应对这些情况下，每个类的查询镜头是不均匀的（即不均匀的少样本学习），我们提出了一个任务先验条件变分自动编码器模型TP-VAE，条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外，我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中，单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Diagnosing and Remedying Shot Sensitivity with Cosine Few-Shot Learners
IBM（国际商业机器公司）；Cornell University（康奈尔大学）
Few-Shot识别涉及训练图像分类器，以在测试时使用很少的示例（镜头）来区分新颖的概念。现有的方法一般假设测试时的炮数是已知的。这是不现实的，当训练和测试射击不匹配时，一种流行的基础方法的性能已经被证明会受到影响。我们对这一现象进行了系统的实证研究。与之前的工作一致，我们发现镜头敏感性广泛存在于基于度量的Few-Shot学习器中，但与之前的工作相比，更大的神经架构提供了一定程度的内置鲁棒性，以改变测试镜头。更重要的是，一个简单的，以前已知的，但大大忽视了一类方法的基础上余弦距离一致，大大提高了鲁棒性拍摄变化，通过消除敏感性样本噪声。我们推导出余弦替代流行的和最近的Few-Shot分类器，扩大其适用性，以现实的设置。这些余弦模型始终如一地提高了投篮鲁棒性，优于现有投篮鲁棒性的最新技术水平，并在一系列基准和架构上提供了有竞争力的准确性，包括在极低投篮状态下的显着增益。
2022-07-07 cs.AI cs.CV cs.LG
A Baseline for Few-Shot Image Classification
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
微调使用标准交叉熵损失训练的深度网络是少样本学习的强大基线。当进行微调时，这在标准数据集上的表现优于当前最先进的技术，例如Mini-ImageNet，Tiered-ImageNet，CIFAR-FS和FC-100，具有相同的超参数。这种方法的简单性使我们能够在ImageNet-21 k数据集上展示前少样本学习结果。我们发现，使用大量的元训练类的结果在高的Few-Shot精度，即使是大量的Few-Shot类。我们并不提倡我们的方法作为解决方案的少样本学习，但只是使用的结果，以突出当前的基准和Few-Shot协议的局限性。我们对基准数据集进行了广泛的研究，提出了一个度量标准，量化了“硬度”的Few-Shot插曲。该度量可用于以更系统的方式报告Few-Shot算法的性能。
2020-10-21 cs.CV cs.LG stat.ML
Texture Bias Of CNNs Limits Few-Shot Classification Performance
Speechmatics
在计算机视觉中，给定少量标记数据的精确图像分类（Few-Shot分类）仍然是一个悬而未决的问题。在这项工作中，我们研究了卷积神经网络（CNN）的已知纹理偏差如何影响Few-Shot分类性能。虽然纹理偏差可以帮助标准的图像分类，在这项工作中，我们表明它显着损害Few-Shot分类性能。在纠正这种偏差之后，我们使用一种比当前性能最好的少样本学习方法简单得多的方法，在竞争性的miniImageNet任务上展示了最先进的性能。
2019-10-18 cs.CV cs.LG stat.ML
Metric-Based Few-Shot Learning for Video Action Recognition
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
在Few-Shot场景中，学习器必须有效地推广到给定标记示例的小支持集的未见过的类。虽然相对大量的研究已经进入了用于图像分类的少样本学习，但是在Few-Shot视频分类上做的工作很少。在这项工作中，我们解决的任务Few-Shot视频动作识别与一组两个流模型。我们评估了一组卷积和递归神经网络视频编码器架构与三种流行的基于度量的Few-Shot算法结合使用的性能。我们使用Kinetics 600数据集的Few-Shot分割进行训练和评估。我们的实验证实了双流设置的重要性，并找到原型网络和池化长短期记忆网络嵌入，分别作为Few-Shot方法和视频编码器提供最佳性能。对于一个5杆5路任务，该设置获得84.2%的准确率在测试集和59.4%的特殊的“挑战”测试集，组成的高度混淆的类。
2019-09-14 cs.CV cs.LG stat.ML
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
Few-Shot图像分类的目标是推广到具有有限标记数据的任务，多年来已经取得了很大的进展。然而，分类器容易受到对抗性样本的影响，这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合，以提高Few-Shot分类器的鲁棒性。我们表明，一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明，在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器，在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的，易于扩展，并与很少的努力，可以导致强大的Few-Shot分类器。代码可在这里：\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
Accelerating Neural Self-Improvement via Bootstrapping
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；USI（瑞士意大利语区大学）；SUPSI（瑞士南部应用科学与艺术大学）；KAUST（阿卜杜拉国王科技大学）
该研究针对少样本学习效率问题，将自举元学习引入神经网络少样本学习器，通过辅助损失让K样本学习器仅用NK个样本就能匹配更多样本下的性能，在Mini-ImageNet上取得良好效果并开源代码。
2023-05-02 cs.LG
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Privacy Enhancement for Cloud-Based Few-Shot Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习由于对精确模型所需数据较少，在许多应用领域表现出了鲁棒性和通用性。然而，在不受信任的环境中部署Few-Shot模型可能会造成隐私问题，例如，可能会侵犯用户提供的数据的隐私的攻击或对手。本文研究了在不可信环境下的少样本学习的隐私增强问题，云，通过建立一个新的隐私保护的嵌入空间，保护数据的隐私，并保持模型的准确性。我们研究了各种图像隐私方法的影响，如模糊，像素化，高斯噪声，差分私有像素化（DP-Pix）对Few-Shot图像分类，并提出了一种方法，通过联合损失学习隐私保护的表示。实证结果显示了如何针对隐私增强的少样本学习协商隐私-性能权衡。
2022-08-23 cs.CR cs.CV cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
Revisiting Fine-tuning for Few-shot Learning
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
少样本学习是一种仅使用少量样本学习新类的过程，它在机器学习中仍然是一个具有挑战性的任务。许多复杂的少样本学习算法都是基于这样一个概念提出的：如果只使用几个样本对网络进行简单的微调，那么网络很容易过拟合到新的样本。在这项研究中，我们表明，在常用的低分辨率mini-ImageNet数据集中，微调方法在1次任务中实现了比常见的少样本学习算法更高的准确性，在5次任务中与最先进的算法几乎相同的准确性。然后，我们评估我们的方法与更实际的任务，即高分辨率的单域和跨域的任务。这两个任务，我们表明，我们的方法比常见的少样本学习算法实现了更高的精度。我们进一步分析了实验结果，并表明：1）再训练过程可以通过采用低学习率来稳定，2）在微调过程中使用自适应梯度优化器可以提高测试精度，3）当基类和新类之间存在较大的域偏移时，可以通过更新整个网络来提高测试精度。
2019-10-03 cs.CV cs.LG stat.ML
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究所）
跨域少样本学习（CD-FSL）在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异，最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外，这些数据还可以在目标域上进行自我监督的预训练。在本文中，我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现，当目标域与源域不相似或目标域本身具有低Few-Shot难度时，自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案，混合监督和两阶段学习，提高性能。在这种情况下，我们提出了六个研究结果的CD-FSL，这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
FHIST: A Benchmark for Few-shot Classification of Histological Images
ÉTS Montréal（蒙特利尔高等技术学院）；CRCHUM（蒙特利尔大学医疗中心研究中心）；University of Twente（特文特大学）；Mila（米拉人工智能研究所）；Imagia Inc（Imagia公司）；CIFAR（加拿大高等研究院）
少样本学习最近引起了人们对图像分类的广泛兴趣，但几乎所有当前的公共基准都集中在自然图像上。由于标记数据的稀缺性，Few-Shot范例在医学成像应用中是高度相关的，因为注释是昂贵的并且需要专门的专业知识。然而，在医学成像中，少样本学习研究很少，仅限于私人数据集，并且处于早期阶段。特别地，由于癌症相关组织分类任务的多样性和细粒度以及数据准备技术的多样性，Few-Shot设置在组织学中受到高度关注。本文介绍了一个高度多样化的公共基准，从各种公共数据集收集，用于Few-Shot组织学数据分类。我们构建了Few-Shot任务和基础训练数据，这些数据具有各种组织类型、源于各种癌症部位的不同级别的域偏移以及不同的类粒度级别，从而反映了现实场景。我们在我们的基准测试中评估了最先进的少样本学习方法的性能，并观察到简单的微调和正则化方法比流行的元学习和episodic训练范式取得了更好的结果。此外，我们介绍了三种方案的基础上的域之间的源和目标组织学数据的变化：近域，中域和域外。我们的实验显示了少样本学习在组织学分类中的潜力，最先进的少样本学习方法接近近域设置中的监督学习基线。在我们的域外设置中，对于5路5次拍摄，性能最好的方法达到60%的准确率。我们相信，我们的工作可以帮助建立现实的评价和公平的比较少样本学习方法，并将进一步鼓励研究在Few-Shot范式。
2022-05-31 cs.CV
Few-shot Decoding of Brain Activation Maps
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（STICC实验室）
少样本学习解决了有限数量的训练样本可用的问题。到目前为止，该领域主要由计算机视觉中的应用驱动。在这里，我们有兴趣适应最近推出的Few-Shot方法来解决神经成像数据处理的问题，这是一个很有前途的应用领域。为此，我们为少样本学习创建了一个神经成像基准数据集，并比较了多种学习范式，包括元学习以及各种骨干网络。我们的实验表明，Few-Shot方法能够使用很少的例子有效地解码大脑信号，这为临床和认知神经科学中的许多应用铺平了道路，例如从大脑扫描中识别生物标志物或理解广泛的认知任务中大脑表征的泛化。
2021-05-19 cs.LG
TADAM: Task dependent adaptive metric for improved few-shot learning
Element AI（元素人工智能公司）；CVC-UAB（巴塞罗那自治大学计算机视觉中心）
少样本学习已经成为生成从很少的例子中概括的模型的必要条件。在这项工作中，我们确定度量缩放和度量任务条件是重要的，以提高性能的Few-Shot算法。我们的分析表明，简单的度量缩放完全改变了Few-Shot算法参数更新的性质。度量缩放为mini-Imagenet 5路5镜头分类任务中的某些度量提供了高达14%的准确性改进。我们进一步提出了一个简单而有效的方法来调节学习任务样本集，从而学习任务相关的度量空间。此外，我们提出并实证测试了一个基于辅助任务协同训练的实用端到端优化过程，以学习任务相关的度量空间。由此产生的少样本学习模型的基础上的任务相关的缩放度量达到最先进的迷你Imagenet。我们在本文介绍的另一个基于CIFAR 100的Few-Shot数据集上证实了这些结果。我们的代码可在https://github.com/ElementAI/TADAM上公开获取。
2019-01-25 cs.AI cs.CV cs.LG
Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification
Anhui University（安徽大学）
Few-Shot分类是一种利用有限样本识别未知类别的分类方法，受到了越来越多的关注。通常，它被公式化为度量学习问题。Few-Shot分类的核心问题是如何学习（1）支持集和查询集中图像的一致表示和（2）支持集和查询集之间图像的有效度量学习。在本文中，我们表明，这两个挑战可以很好地同时通过一个统一的查询支持Transformer（QSFormer）模型建模。具体来说，所提出的QSFormer包括全局查询支持样本Transformer（sampleFormer）分支和局部补丁Transformer（patchFormer）学习分支。sampleFormer旨在捕获图像表示的支持集和查询集中样本的依赖性。采用编码器、解码器和交叉注意分别对支持度、查询（图像）表示和度量学习进行建模，实现了Few-Shot分类任务。此外，作为对全局学习分支的补充，我们采用了局部块Transformer，通过捕获局部图像块的长程依赖性来提取每个图像样本的结构表示。此外，提出了一种新的跨尺度交互式特征提取器（CIFE），用于提取和融合多尺度CNN特征，作为所提出的少样本学习方法的有效骨干模块。所有模块都集成到一个统一的框架中，并以端到端的方式进行培训。在四个流行的数据集上的实验证明了所提出的QSFormer的有效性和优越性。
2022-08-26 cs.CV
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
Self-Supervised and Few-Shot Learning for Robust Bioaerosol Monitoring
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Federal Office of Meteorology and Climatology MeteoSwiss（瑞士联邦气象与气候学办公室（瑞士气象局））；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Basel（巴塞尔大学）；Swisens AG（斯维森斯公司）
本文提出结合自监督学习与小样本学习，利用大量未标注全息图像和少量标注样本实现生物气溶胶颗粒分类，显著提升少标注场景下的识别性能并降低模型适配成本。
2024-06-14 cs.LG
Few-Shot Visual Question Generation: A Novel Task and Benchmark Datasets
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
从视觉场景生成自然语言问题，称为视觉问题生成（VQG），在最近的过去已经被探索，其中大量精心标记的数据提供训练语料库。然而，在实践中，仅具有对应于几种类型的答案的具有问题注释的几个图像并不罕见。本文提出了一个新的具有挑战性的Few-Shot视觉问题生成（FS-VQG）任务，并给出了一个全面的测试基准，具体地，我们评估了各种现有的VQG方法以及流行的基于元学习和自监督策略的FS-VQG任务的Few-Shot解决方案。我们在两个流行的现有数据集VQG和Visual 7 w上进行实验。此外，我们还清理和扩展了VQG数据集，以便在Few-Shot场景中使用，其中包含额外的图像-问题对以及额外的答案类别。我们称这个新数据集为VQG-23。从我们的实验中出现了几个重要的发现，揭示了当前模型在Few-Shot视觉和语言生成任务中的局限性。我们发现，用迁移学习或元学习来简单地扩展现有的VQG方法可能不足以解决Few-Shot VQG中的固有挑战。我们相信，这项工作将有助于加快少样本学习研究的进展。
2023-01-06 cs.CV
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数（或镜头数）。最近的工作通过元学习来解决这个任务，其中元学习者在元训练期间从观察到的任务中提取信息，以便在元测试期间快速适应新任务。在这个公式中，元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说，元训练中使用的镜头数应该与元测试中使用的镜头数相匹配，以获得最佳性能。我们介绍了一个理论分析的影响，镜头数的原型网络，一个国家的最先进的Few-Shot分类方法。根据我们的分析，我们提出了一种简单的方法，该方法对元训练期间使用的镜头数量的选择具有鲁棒性，这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
Inductive Linear Probing for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题，本文通过实证揭示现有框架局限，提出适配归纳式少样本节点分类的简单强基线，为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
Semi-Supervised Few-Shot Learning with Prototypical Random Walks
Technical University of Munich（慕尼黑工业大学）；Helmholtz AI, Helmholtz Center Munich（亥姆霍兹人工智能，亥姆霍兹慕尼黑中心）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
最近的进展表明，少样本学习可以通过访问未标记的数据来改进，称为半监督少样本学习（SS-FSL）。我们介绍了一种SS-FSL方法，称为原型随机游走网络（PRWN），建立在原型网络（PN）之上。我们开发了一种随机游走半监督损失，使网络能够学习紧凑且分离良好的表示。我们的工作与最近发展的基于图的方法用于少样本学习有关。然而，我们表明，紧凑和良好分离的类表示可以通过建模我们的原型随机游走的概念，而不需要额外的图NN参数或需要一个transductive设置，其中提供了一个集体测试集。我们的模型在大多数基准测试中优于基线，在某些情况下有显着改进。我们的模型用40个$\%$标记的数据进行训练，与完全监督的原型网络进行竞争，在100个$\%$标签上进行训练，甚至在1次拍摄的迷你Imagenet案例中表现出色，准确率为50.89 $\%$至49.4 $\%$。我们还表明，我们的损失是抵抗干扰，未标记的数据，不属于任何训练类，因此反映了标记/未标记的类分布不匹配的鲁棒性。相关的GitHub页面可以在https://prototypical-random-walk.github.io上找到。
2021-02-09 cs.LG stat.ML
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Discriminative Few-Shot Learning Based on Directional Statistics
SK T-Brain
基于度量的少样本学习方法试图通过学习嵌入来克服由于缺乏训练样本而导致的困难，从而使比较变得容易。我们提出了一种新的算法来生成类代表的Few-Shot分类任务。作为输入的学习特征的概率模型，我们考虑了一个混合的von Mises-Fisher分布，已知它在高维空间中比高斯分布更有表现力。然后，从判别分类器的角度来看，我们得到了一个更好的类代表性考虑类间的相关性，还没有解决传统的少样本学习算法。我们将我们的方法应用于\emph{mini} ImageNet和\emph{tiered} ImageNet数据集，并表明所提出的方法在Few-Shot分类任务中优于其他可比方法。
2019-06-05 cs.LG stat.ML
Leveraging the Feature Distribution in Transfer-based Few-Shot Learning
IMT Atlantique（大西洋国立高等电信学院）；Orange Labs（Orange实验室）
Few-Shot分类是一个具有挑战性的问题，由于不确定性所造成的使用少数标记的样本。在过去的几年中，已经提出了许多方法来解决Few-Shot分类，其中基于转移的方法已被证明达到最好的性能。遵循这一思路，在本文中，我们提出了一种新的基于传输的方法，该方法基于两个连续的步骤：1）预处理特征向量，使其更接近高斯分布，以及2）使用最优传输启发算法（在转换设置的情况下）利用这种预处理。使用标准化的视觉基准，我们证明了所提出的方法，以实现国家的最先进的精度与各种数据集，骨干架构和Few-Shot设置的能力。
2021-01-26 cs.LG stat.ML
Few-shot training LLMs for project-specific code-summarization
University of California, Davis（加州大学戴维斯分校）
非常大的大语言模型（LLM），如GPT-3和Codex，已经在几个自然语言任务上实现了最先进的性能，并且在代码方面也表现出了很大的潜力。LLM的一个特别令人兴奋的方面是他们对Few-Shot和零样本学习的诀窍：他们可以用很少的例子学习执行任务。在软件工程中，少拍具有特别的协同作用，其中有许多现象（标识符名称、API、术语、编码模式）是高度特定于项目的。然而，特定于项目的数据可能非常有限，特别是在项目历史的早期;因此LLM的少样本学习能力可能非常相关。在本文中，我们研究了使用Few-Shot训练与非常大的GPT（生成式预训练Transformer）Codex模型，并发现证据表明，利用特定于项目的训练，可以显着超过最先进的代码摘要模型。
2022-09-08 cs.LG cs.SE
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Dynamic Input Structure and Network Assembly for Few-Shot Learning
从少量样本中学习的能力从一开始就是机器学习中的一个难题。虽然方法在大量训练数据上取得了成功，但如何用更少的例子实现类似的性能的研究一直在进行中，称为一次性学习或更一般的少样本学习。这种技术已被证明具有很好的性能，但在实践中需要固定大小的输入，使其不切实际的生产系统，类大小可以变化。这阻碍了少样本学习系统的训练和最终效用。本文介绍了一种方法来构建和训练一个网络，可以动态处理任意大小的示例系统使用。
2017-08-22 cs.LG stat.ML
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh（爱丁堡大学）
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索，其中每个类的标签是可用的。另一方面，无监督的Few-Shot学习设置，其中不需要任何类型的标签，几乎没有调查。我们提出了一种方法，命名为假设，扩增和学习或AAL，用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充，并重用支持集的标签，得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练，这样的模型可以直接应用于小型实标记数据集，而无需任何更改或微调。在我们的实验中，学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
It HAS to be Subjective: Human Annotator Simulation via Zero-shot Density Estimation
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tsinghua University（清华大学）
本研究针对人类标注者模拟需体现人类主观变异性的问题，提出将HAS视作零样本密度估计的元学习框架及两类对应不同标注类型的流模型，在真实任务上表现更优。
2023-09-30 cs.CL cs.HC cs.LG
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
