Unsupervised Meta-Learning For Few-Shot Image Classification
University of Central Florida（中佛罗里达大学）
分类器的Few-Shot或一次性学习需要对要学习的任务类型有显著的归纳偏差。获得这一点的一种方法是通过对与目标任务类似的任务进行元学习。在本文中，我们提出了UMTRA，一个算法，执行无监督，模型不可知的元学习分类任务。UMTRA的元学习步骤在未标记图像的平面集合上执行。虽然我们假设这些图像可以分为不同的类，并且与目标任务相关，但不需要关于类或任何标签的显式信息。UMTRA使用随机采样和增强来创建元学习阶段的合成训练任务。标签仅在最终目标任务学习步骤中需要，并且它们可以少至每个类一个样本。在Omniglot和Mini-Imagenet的少样本学习基准测试中，UMTRA优于每一种基于表示的无监督学习的测试方法，同时与最近的CACTU算法交替获得最佳性能。与有监督的模型不可知元学习方法相比，UMTRA牺牲了一些分类精度，以减少几个数量级的所需标签。
2019-11-07 cs.CV cs.LG
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
受预处理概念的启发，我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度，而不会产生额外的参数。我们证明，重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法，积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明，该方法显着优于其无约束的对应，特别是在初始适应步骤，同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性，动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
Meta R-CNN : Towards General Solver for Instance-level Few-shot Learning
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
少样本学习类似于人类的快速学习能力，通过使用少量样本进行训练，使视觉系统能够理解新的概念。从单一视觉对象的图像元学习中获得的领先方法。复杂的背景和多目标的模糊化使得Few-Shot目标检测/分割的研究难以深入。在这项工作中，我们提出了一个灵活的和一般的方法来实现这些任务。我们的工作扩展了Faster /Mask R-CNN，提出了对RoI（感兴趣区域）特征而不是完整图像特征的元学习。这种简单的精神将多对象信息与背景融合在一起，没有花里胡哨的东西，使Faster /Mask R-CNN成为一个元学习者来完成任务。具体来说，我们引入了一个预测头重塑网络（PRN），该网络与Faster /Mask R-CNN共享其主要主干。PRN接收包含具有其边界框或掩模的Few-Shot对象的图像，以推断其类关注向量。这些向量对RoI特征进行通道级软关注，重新构建这些R-CNN预测器头，以检测或分割与这些向量表示的类一致的对象。在我们的实验中，Meta R-CNN在Few-Shot目标检测方面达到了最先进的水平，并通过Mask R-CNN改进了Few-Shot对象分割。
2020-03-14 cs.CV cs.LG
Meta-DM: Applications of Diffusion Models on Few-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出Meta-DM，一种基于扩散模型的通用数据处理模块，可集成到现有少样本学习方法中，在监督和无监督设置下显著提升性能，并达到最先进结果。
2023-05-14 cs.CV cs.LG
Meta Learning for Few-Shot One-class Classification
Federal University of Bahia (UFBA)（巴伊亚联邦大学）；University of South Florida（南佛罗里达大学）
我们提出了一种方法，可以执行一类分类，只给出少量的例子，从目标类，没有从其他。我们将一类分类的有意义特征的学习制定为元学习问题，其中元训练阶段反复模拟一类分类，使用所选算法的分类损失来学习特征表示。为了学习这些表示，我们只需要来自类似任务的多类数据。我们展示了支持向量数据描述方法如何与我们的方法一起使用，并提出了一个基于原型网络的更简单的变体，该变体获得了相当的性能，这表明直接从数据中学习特征表示可能比我们选择的一类算法更重要。我们通过将Few-Shot分类数据集适应于Few-Shot一类分类场景来验证我们的方法，获得与传统一类分类的最新技术相似的结果，并且改进了在Few-Shot设置中使用的一类分类基线。我们的代码可在https://github.com/gdahia/meta_occ上获得
2020-09-16 cs.CV cs.LG
Task Aligned Generative Meta-learning for Zero-shot Learning
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
零样本学习（Zero-shot learning，缩写为ZRL）是指学习从训练集（seen）中不存在的新类（seen）中分类实例的问题。大多数的分类器识别方法都是通过推断视觉特征和属性之间的相关性来训练分类器识别不可见的类别。然而，这样的模型在训练期间可能对所见的类具有强烈的偏向。已经引入元学习来减轻基础，但是当用于训练的任务从不同的分布中采样时，元学习方法是不适用的。在这方面，我们提出了一种新的任务对齐生成元学习模型的零样本学习（TGMZ）。TGMZ减轻了潜在的偏差训练，并使元数据库能够适应包含不同分布的真实世界数据集。TGMZ结合了一个属性条件的任务分布对齐网络，该网络将任务投影到统一的分布中，以提供无偏的模型。与最先进的算法相比，TGMZ在AWA 1、AWA 2、CUB和aPY数据集上分别提高了2.1%、3.0%、2.5%和7.6%。TGMZ在广义零样本学习（GML）设置中的表现也优于竞争对手3.6%，在我们提出的融合GML设置中的表现也优于竞争对手7.9%。
2021-03-03 cs.CV cs.LG
Meta-DRN: Meta-Learning for 1-Shot Image Segmentation
Birla Institute of Technology and Science, Pilani（皮拉尼比尔拉技术与科学学院）
现代深度学习模型已经彻底改变了计算机视觉领域。但是，大多数这些模型的一个显著缺点是，它们需要大量的标记示例才能正确概括。少样本学习的最新发展旨在减轻这一要求。在本文中，我们提出了一种新的轻量级CNN架构的1-shot图像分割。所提出的模型是通过从性能良好的语义分割架构中汲取灵感并将其适应于单镜头域而创建的。我们训练我们的模型使用4 Meta学习算法，已经工作得很好的图像分类和比较的结果。对于所选的数据集，我们提出的模型的参数计数比基准低70%，同时使用所有4种Meta学习算法获得更好或相当的平均IoU得分。
2020-08-01 cs.CV cs.LG eess.IV
SHOT: Suppressing the Hessian along the Optimization Trajectory for Gradient-Based Meta-Learning
Seoul National University（首尔国立大学）
该研究提出 SHOT，通过最小化目标模型与参考模型参数距离来抑制 GBML 内循环中的 Hessian，且计算开销低、通用性强，并在少样本任务上验证有效。
2023-10-04 cs.CV cs.LG
Few-Shot Meta-Denoising
Technische Universität München（慕尼黑工业大学）；Universität Ulm（乌尔姆大学）；The University of Adelaide（阿德莱德大学）
我们研究了基于少样本学习的去噪问题，其中训练集只包含少数干净和有噪声的样本。缓解小训练集问题的一种解决方案是使用包含从经验噪声先验产生的干净和合成噪声信号对的小训练集来预训练去噪模型，并对可用的小训练集进行微调。虽然这种迁移学习看起来有效，但由于训练数据的量有限，它可能无法很好地推广。在这项工作中，我们提出了一种新的元学习训练方法，用于基于少样本学习的去噪问题。我们的模型使用已知的合成噪声模型进行元训练，然后使用小训练集和真实噪声进行微调，作为少样本学习任务。在元训练期间，从合成生成的数据的小训练集进行元学习使我们不仅能够生成无限数量的训练任务，而且还可以训练模型以使用小训练集进行学习-这两个优点都有可能提高去噪模型的泛化能力。经验表明，我们的方法比监督学习和迁移学习在图像和1-D信号的三个去噪评估中产生更准确的去噪结果。有趣的是，我们的研究有力地表明，元学习有可能成为去噪的主要学习算法。
2019-11-25 cs.CV cs.LG
Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark
Google Research, Brain Team（谷歌研究院，大脑团队）
Meta和迁移学习是少样本学习的两种成功的方法。尽管目标高度相关，但每个家庭的最新进展在很大程度上是孤立地衡量的。由于评价规范各不相同，直接或彻底比较不同的方法是一项挑战。为了弥补这一差距，我们进行了跨家庭的研究，最好的迁移和Meta学习者的大规模元学习基准（元数据集，MD），和迁移学习基准（视觉任务适应基准，VTAB）。我们发现，平均而言，大规模转移方法（Big Transfer，BiT）在MD上的表现优于竞争方法，即使只在ImageNet上训练。相比之下，元学习方法在MD上训练和验证时很难在VTAB上竞争。然而，BiT并非没有限制，并且推动规模并不能提高高度分布MD任务的性能。在执行这项研究中，我们揭示了一些差异的评价规范和研究其中一些在光的性能差距。我们希望这项工作有助于分享来自每个社区的见解，并加快少样本学习的进展。
2021-04-06 cs.CV cs.LG
Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks
University of Maryland, College Park（马里兰大学学院市分校）
元学习算法产生的特征提取器在Few-Shot分类上实现了最先进的性能。虽然文献中有丰富的元学习方法，但很少有人知道为什么最终的特征提取器表现如此出色。我们更好地理解了元学习的基本机制，以及使用元学习训练的模型与经典训练的模型之间的差异。在此过程中，我们介绍并验证了为什么元学习模型表现更好的几个假设。此外，我们开发了一个正则化，提高性能的标准训练例程的Few-Shot分类。在许多情况下，我们的例程优于元学习，同时运行速度快了一个数量级。
2020-07-01 cs.CV cs.LG stat.ML
Meta-Meta Classification for One-Shot Learning
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的方法，称为元元分类，在小数据环境中学习。在这种方法中，使用一个大的学习问题集来设计一个学习器集合，其中每个学习器具有高偏差和低方差，并且擅长解决特定类型的学习问题。元-元分类器学习如何检查给定的学习问题，并结合各种学习器来解决问题。Meta-元学习方法特别适合于解决少样本学习任务，因为学习对具有少量数据的新学习问题进行分类比将学习算法应用于小数据集更容易。我们在一个一次性的，一类对所有分类任务的方法进行了评估，并表明它能够优于传统的元学习以及集成方法。
2020-06-14 cs.CV cs.LG stat.ML
MetaChest: Generalized few-shot learning of pathologies from chest X-rays
Posgrado en Ciencia e Ingeniería de la Computación（计算机科学与工程研究生院）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas（应用数学与系统研究所）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
MetaChest通过大规模胸部X光片数据集和迁移学习方法，提升少样本病理分类性能。
2025-12-07 cs.CV cs.LG
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
MetAdapt: Meta-Learned Task-Adaptive Architecture for Few-Shot Classification
IBM Research AI（IBM研究人工智能中心）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
少样本学习（FSL）是一个快速增长的兴趣话题。通常，在FSL中，模型在由许多小任务（元任务）组成的数据集上进行训练，并学习适应在测试期间遇到的新任务。这也被称为元学习。另一个与元学习密切相关的话题是神经架构搜索（NAS），它可以自动找到最佳架构，而不是手动设计。在这项工作中，我们结合了元学习的这两个方面。到目前为止，元学习FSL方法专注于优化预定义网络架构的参数，以便使它们易于适应新任务。此外，据观察，一般来说，较大的架构比较小的架构表现得更好，直到某个饱和点（由于过度拟合，它们开始降级）。然而，很少有人注意到明确优化的架构FSL，也没有适应的架构在测试时，特定的新任务。在这项工作中，我们建议采用的工具的启发微分神经架构搜索（D-NAS）的文献，以优化FSL的架构，而不会过度拟合。此外，为了使架构任务自适应，我们提出了“MetAdapt控制器”模块的概念。这些模块被添加到模型中，并进行元训练，以预测给定新任务的最佳网络连接。使用所提出的方法，我们在两个流行的Few-Shot基准测试：miniImageNet和FC 100上观察到最先进的结果。
2020-03-09 cs.CV cs.LG
Combining Domain-Specific Meta-Learners in the Parameter Space for Cross-Domain Few-Shot Classification
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙弗雷泽大学）
Few-Shot分类的目标是学习一个模型，该模型可以仅使用几个训练样本对新类别进行分类。尽管现有的元学习算法在解决Few-Shot分类问题方面取得了可喜的成果，但仍然存在一个重要的挑战：如何在多个可见域上进行元学习的同时推广到不可见域？在本文中，我们提出了一种基于优化的元学习方法，称为组合特定领域的元学习者（CosML），解决跨域的Few-Shot分类问题。CosML首先训练一组元学习器，每个训练域一个，以学习先验知识（即，元参数）特定于每个域。域特定的元学习者，然后结合在\emph{parameter space}中，通过采取加权平均的元参数，这是用来作为一个任务网络的初始化参数，快速适应新的Few-Shot分类任务在一个看不见的域。实验结果表明，CosML的性能优于一系列最先进的方法，并实现了强大的跨领域泛化能力。
2020-10-31 cs.CV cs.LG stat.ML
Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?
Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
最近元学习研究的重点一直是学习算法的发展，可以快速适应测试时间任务的有限数据和低计算成本。少样本学习被广泛用作元学习的标准基准之一。在这项工作中，我们展示了一个简单的基线：在元训练集上学习监督或自监督表示，然后在此表示之上训练线性分类器，优于最先进的少样本学习方法。通过使用自蒸馏可以实现额外的提升。这表明，使用良好的学习嵌入模型可以比复杂的Meta学习算法更有效。我们相信，我们的研究结果激发了对Few-Shot图像分类基准和Meta学习算法的相关作用的重新思考。代码可在：http://github.com/WangYueFt/rfs/.
2020-06-17 cs.CV cs.LG
Cross-Domain Few-Shot Learning with Meta Fine-Tuning
Princeton University（普林斯顿大学）；Pensees Pte Ltd（深思私人有限公司）
在本文中，我们解决了CVPR 2020挑战赛提出的新的跨领域少样本学习基准。为此，我们建立在领域自适应和少样本学习的最先进的方法，以创建一个系统，可以训练来执行这两项任务。受创建被设计为微调的模型的需求的启发，我们探索了迁移学习（微调）与Meta学习算法的集成，以训练具有被设计为在稍后的微调阶段适应的特定层的网络。为此，我们修改了情节训练过程，以包括一阶基于MAML的Meta学习算法，并使用图神经网络模型作为后续的元学习模块。我们发现，我们提出的方法有助于提高准确性显着，特别是当结合数据增强。在我们的最终结果中，我们将新方法与基线方法结合在一个简单的集成中，并在基准测试中实现了73.78%的平均准确率。这比仅在miniImagenet上训练的现有基准提高了6.51%。
2020-08-25 cs.CV cs.LG
Complementing Representation Deficiency in Few-shot Image Classification: A Meta-Learning Approach
Wuhan University of Technology（武汉理工大学）；Wuhan University（武汉大学）；National Tsing Hua University（清华大学（台湾））
少样本学习是一个具有挑战性的问题，近年来受到越来越多的关注，因为丰富的训练样本在实际应用中很难获得。元学习已经被提出来解决这个问题，它的重点是快速适应预测器作为基础学习器的新任务，给定有限的标记样本。然而，元学习的一个关键挑战是表示缺陷，因为很难从少量的训练样本中发现共同信息，甚至一个，就像从这样少的信息中表示关键特征一样。因此，元学习器不能在高维参数空间中很好地训练以推广到新任务。现有的方法大多采取提取表达能力较弱的特征来避免表达能力不足的问题。为了学习更好的表示，我们提出了一个元学习方法与补充表示网络（MCRNet）的Few-Shot图像分类。特别是，我们嵌入了一个潜在的空间，潜在的代码重建额外的表示信息，以补充表示不足。此外，隐空间的建立与变分推理，协作良好，不同的基学习器，并可以扩展到其他模型。最后，我们的端到端框架在三个标准的少样本学习数据集上实现了最先进的图像分类性能。
2020-07-21 cs.CV cs.LG
Adaptive Multi-Scale Correlation Meta-Network for Few-Shot Remote Sensing Image Classification
School of Computer Science, UPES, Dehradun, 248007, Uttarakhand, India.（UPES计算机科学学院）；School of Computer Science and Engineering, Galgotias University, India.（加尔各答大学计算机科学与工程学院）；Computer Science and Information Systems, BITS Pilani, Pilani Rajasthan, India.（比什努学院计算机科学与信息系统）
AMC-MetaNet通过自适应多尺度相关机制，实现了高效的少样本遥感图像分类，具备轻量级结构和高准确率。
2026-01-18 cs.CV cs.LG
Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks
The Hong Kong Polytechnic University（香港理工大学）
元学习模型可以利用Few-Shot标记数据快速适应新任务。然而，尽管在Few-Shot分类任务上实现了良好的泛化，但在少样本学习中提高元学习模型的对抗鲁棒性仍然具有挑战性。虽然对抗性查询（AQ）等对抗性训练（AT）方法可以提高元学习模型的对抗性鲁棒性能，但AT仍然是计算昂贵的训练。另一方面，用AT训练的元学习模型将显著降低原始干净图像的准确性。提出了一种对抗鲁棒神经网络的元学习方法--长期交叉对抗训练（LCAT）。LCAT将沿着自然和对抗样本分布方向交叉更新元学习模型参数，以提高对抗和干净的Few-Shot分类精度。由于交叉对抗训练，LCAT只需要比AQ一半的对抗训练时间，从而降低了对抗训练计算。实验结果表明，LCAT在元学习模型的干净和对抗性Few-Shot分类准确率方面都优于SOTA对抗性训练方法。
2021-07-01 cs.CR cs.CV cs.LG
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数（或镜头数）。最近的工作通过元学习来解决这个任务，其中元学习者在元训练期间从观察到的任务中提取信息，以便在元测试期间快速适应新任务。在这个公式中，元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说，元训练中使用的镜头数应该与元测试中使用的镜头数相匹配，以获得最佳性能。我们介绍了一个理论分析的影响，镜头数的原型网络，一个国家的最先进的Few-Shot分类方法。根据我们的分析，我们提出了一种简单的方法，该方法对元训练期间使用的镜头数量的选择具有鲁棒性，这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
Efficient Automatic Meta Optimization Search for Few-Shot Learning
Lenovo Research（联想研究院）
以前的元学习要么依赖于精心设计的网络结构，要么采用特定领域的专门学习规则。我们提出了一个通用的框架，通过采用神经结构搜索技术（NAS）自动优化元学习过程。对于少样本学习问题，NAS自动生成和评估元学习器的结构，元学习器根据学习任务的分布情况，使用元学习算法优化其参数。采用参数共享和经验回放的方法加快了体系结构的搜索速度，因此只需1-2 GPU天即可找到好的体系结构。在Mini-ImageNet和Omniglot上的大量实验表明，我们的算法在少样本学习任务中表现出色。在Mini-ImageNet上找到的最佳架构在转移到Omniglot时取得了有竞争力的结果，这表明架构在不同计算机视觉问题之间具有很高的可移植性。
2019-09-06 cs.CV cs.LG cs.NE
A Hybrid Approach with Optimization and Metric-based Meta-Learner for Few-Shot Learning
Tsinghua University（清华大学）；Microsoft AI & Research（微软人工智能与研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
少样本学习的目标是学习新类的分类器，每个类只有几个训练样本。大多数现有的少样本学习方法属于基于度量的元学习或基于优化的元学习类别，这两种方法都在简化的“$k$ -shot $N$ -way”图像分类设置中取得了成功。具体来说，基于优化的方法训练元学习器来预测特定任务分类器的参数。由于任务分类器的结构要求严格，使得参数预测变得容易，因此元学习方法只能处理任务共享相同数量类的少样本学习问题。基于度量的方法为所有任务学习一个任务不变的度量。尽管度量学习方法允许不同数量的类，但它们要求任务都来自类似的领域，这样就存在一个统一的度量，可以跨任务工作。在这项工作中，我们提出了一个混合元学习模型称为元度量学习者，它结合了优化和基于度量的方法的优点。我们的元度量学习方法由两个部分组成，一个任务特定的基于度量的学习者作为基础模型，和一个元学习者，学习和指定的基础模型。因此，我们的模型能够处理灵活数量的类，以及生成更广义的指标，跨任务的分类。我们测试我们的方法在标准的“$k$ -拍摄$N$ -方式”少样本学习设置以下以前的作品和一个新的现实的Few-Shot设置灵活的类数在单源形式和多源形式。实验表明，我们的方法可以获得优越的性能在所有的设置。
2019-08-27 cs.CV cs.LG stat.ML
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Meta-SGD: Learning to Learn Quickly for Few-Shot Learning
少样本学习对于孤立地从零开始学习每个任务的学习算法来说是具有挑战性的。相比之下，元学习从许多相关的任务中学习一个元学习者，可以用更少的例子更准确，更快地学习一个新的任务，其中元学习者的选择是至关重要的。在本文中，我们开发了元SGD，一个类似SGD的，易于训练的元学习器，可以在监督学习和强化学习的基础上，一步就可以初始化和适应任何可微学习器。与流行的元学习者LSTM相比，Meta-SGD在概念上更简单，更容易实现，并且可以更有效地学习。与最新的元学习器MAML相比，Meta-SGD具有更高的学习能力，不仅可以学习学习器初始化，还可以学习学习器更新方向和学习率，所有这些都在单个元学习过程中进行。Meta-SGD在回归、分类和强化学习的少样本学习方面表现出很强的竞争力。
2017-09-28 cs.LG
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Learning Meta-class Memory for Few-Shot Semantic Segmentation
S-lab, Nanyang Technological University（南洋理工大学S-lab）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；Dept of Data Science and AI, Monash University（莫纳什大学数据科学与人工智能系）
目前，最先进的方法将Few-Shot语义分割任务视为条件前景-背景分割问题，假设每个类是独立的。在本文中，我们引入了元类的概念，这是Meta信息（如某些中间层的功能）之间共享的所有类。为了在Few-Shot分割任务中显式地学习元类表示，提出了一种基于元类记忆的Few-Shot分割方法（MM-Net）。此外，对于$k$拍摄的情况下，我们提出了一种新的图像质量测量模块来选择图像的支持图像。基于质量测度的支持图像特征加权和可以得到高质量的类原型。在PASCAL- $5^i$和COCO数据集上的实验表明，我们提出的方法能够在1次和5次拍摄设置下实现最先进的结果。特别是，我们提出的MM-Net在COCO数据集上实现了37.5\%的mIoU，比以前的最先进水平高出5.1\%。
2021-08-16 cs.CV
How to Train Your MAML to Excel in Few-Shot Classification
Nanjing University（南京大学）；The Ohio State University（俄亥俄州立大学）
模型不可知元学习（MAML）可以说是当今最流行的元学习算法之一。然而，其性能上的Few-Shot分类是远远落后于许多最近的算法致力于这个问题。在本文中，我们指出了几个关键方面，如何训练MAML擅长Few-Shot分类。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其在Few-Shot分类中的常见用法相矛盾。其次，我们发现MAML是敏感的类标签分配过程中的元测试。具体地，MAML元训练$N$路分类器的初始化。在元测试期间，这些$N$方式然后具有“$N!$“不同排列以与$N$新颖类的Few-Shot任务配对。我们发现，这些排列导致一个巨大的方差的准确性，使MAML不稳定的Few-Shot分类。第三，我们研究了几种方法，使MAML置换不变，其中元训练一个单一的向量初始化所有的$N$权重向量在分类头表现最好。在像MiniImageNet和TieredImageNet这样的基准数据集上，我们命名为UNICORN-MAML的方法的性能与许多最近的Few-Shot分类算法相当，甚至优于它们，而不会牺牲MAML的简单性。
2022-07-11 cs.AI cs.CV cs.LG
Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与模型无关的元学习（MAML）及其变体已经成为少样本学习的流行方法。然而，由于深度神经网络（DNN）的非凸性和MAML的双层公式，带有DNN的MAML的理论特性在很大程度上仍然未知。在本文中，我们首先证明了具有过参数化DNN的MAML保证以线性速度收敛到全局最优解。我们的收敛性分析表明，具有过参数化DNN的MAML等价于具有一类新内核的内核回归，我们将其命名为Meta神经切线核（MetaNTK）。然后，我们提出了MetaNTK-NAS，一个新的训练免费的神经架构搜索（NAS）方法的少样本学习，使用MetaNTK排名和选择架构。从经验上讲，我们在两个流行的少样本学习基准测试miniImageNet和tieredImageNet上将MetaNTK-NAS与以前的NAS方法进行了比较。我们表明，MetaNTK-NAS的性能与为少样本学习设计的最先进的NAS方法相当或更好，同时享受超过100倍的加速。我们相信MetaNTK-NAS的效率使其在许多现实任务中更加实用。
2022-03-17 cs.CV cs.LG stat.ML
Meta-Learners for Few-Shot Weakly-Supervised Medical Image Segmentation
Institute of Mathematics and Statistics, Universidade de São Paulo（圣保罗大学数学与统计研究所）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；CNRS（法国国家科学研究中心）
提出通用元学习框架用于医学图像小样本弱监督分割，比较9种元学习器，发现基于度量的方法在域偏移小时更优，基于梯度和融合的方法泛化性更强。
2023-05-11 cs.CV cs.LG cs.NE
A Unified Framework with Meta-dropout for Few-shot Learning
SenseTime Research（商汤科技研究院）
深度神经网络的传统训练通常需要大量的数据和昂贵的人工注释。在本文中，我们利用元学习的思想来解释两个非常不同的少样本学习流，即，基于情景的元学习和基于预训练的微调的少样本学习，并形成统一的元学习框架。为了提高我们的框架的泛化能力，我们提出了一个简单而有效的策略命名为元辍学，这是适用于可转移的知识从基本类别推广到新的类别。该策略可以有效地防止神经元在元训练阶段过度自适应。对Few-Shot目标检测和Few-Shot图像分类数据集进行了广泛的实验，即，Pascal VOC、MS COCO、CUB和mini-ImageNet的实验结果验证了该方法的有效性。
2022-10-12 cs.AI cs.CV
Subgraph-aware Few-Shot Inductive Link Prediction via Meta-Learning
Sun Yat-sen University（中山大学）
知识图谱的链接预测旨在预测实体之间的缺失连接。现有的方法局限于一个转导设置和难以处理看不见的实体。最近提出的基于子图的模型提供了替代方案来预测从候选三元组周围的子图结构的链接。然而，这些方法需要大量的已知事实来训练三胞胎，并且在只有几个三胞胎的关系上表现不佳。在本文中，我们提出了Meta-iKG，一种新的基于子图的元学习器的Few-Shot归纳关系推理。Meta-iKG利用局部子图来传输特定于子图的信息，并通过Meta梯度更快地学习可转移模式。通过这种方式，我们发现模型可以快速适应Few-Shot关系，只需使用少量具有归纳设置的已知事实。此外，我们在传统的元学习中引入了大镜头关系更新过程，以确保我们的模型可以很好地推广Few-Shot和大镜头关系。我们在NELL和Freebase的归纳基准上对Meta-iKG进行了评估，结果表明Meta-iKG在Few-Shot场景和标准归纳设置中都优于当前最先进的方法。
2021-07-26 cs.LG cs.SI
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
为了解决语义分割的某些情况下的注释稀缺问题，已经有一些尝试来开发少样本学习范例中的分割模型。然而，大多数现有方法仅关注传统的单向分割设置（即，一个图像仅包含单个对象）。这与实际的语义分割任务相距甚远，在实际的语义分割任务中，通过执行精确的多对象分割通常需要K路设置（K>1）。为了解决这个问题，我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题，并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中，嵌入模块的结构由全局和局部特征分支组成，以提取适当的元知识用于Few-Shot分割。此外，我们将一个线性模型作为基础学习器集成到MetaSegNet中，以直接预测多对象分割的每个像素的标签。此外，我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验，即，PASCAL VOC和COCO，揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
Meta-DETR: Image-Level Few-Shot Detection with Inter-Class Correlation Exploitation
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
通过将元学习结合到基于区域的检测框架中，Few-Shot目标检测已经被广泛研究。尽管它的成功，上述范式仍然受到几个因素的限制，如（i）低质量的区域建议的新类和（ii）忽视不同类之间的类间相关性。这样的限制阻碍了基类知识的泛化，以检测新类对象。在这项工作中，我们设计了元DETR，它（i）是第一个图像级的Few-Shot检测器，（ii）引入了一种新的类间相关元学习策略来捕获和利用不同类别之间的相关性，以实现鲁棒和准确的Few-Shot目标检测。Meta-DETR完全在图像级别工作，没有任何区域建议，这避免了普遍的Few-Shot检测框架中不准确建议的约束。此外，引入的相关元学习使Meta-DETR能够在单个前馈中同时关注多个支持类，这允许捕获不同类之间的类间相关性，从而显着减少相似类的错误分类，并增强对新类的知识泛化。在多个Few-Shot目标检测基准测试上的实验表明，所提出的Meta-DETR方法的性能大大优于现有的方法。实现代码可在https://github.com/ZhangGongjie/Meta-DETR上获得。
2022-07-30 cs.AI cs.CV cs.LG
Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding
Shanghai Jiao Tong University（上海交通大学）
少样本学习的目标是在测试时仅用少量样本快速适应新类别，这主要是通过元学习的思想来解决的。然而，元学习方法本质上是跨各种Few-Shot任务进行学习，因此仍然需要具有细粒度监督的大规模训练数据来导出广义模型，从而涉及过高的注释成本。在本文中，我们将Few-Shot分类范式推向一个更具挑战性的场景，即，交叉粒度Few-Shot分类，其中模型在训练期间仅观察粗标签，而预期在测试期间执行细粒度分类。这项任务在很大程度上减轻了注释成本，因为细粒度的标记通常需要强大的特定于领域的专业知识。为了弥合跨粒度的差距，我们近似细粒度的数据分布的贪婪聚类的每个粗类到伪细类根据图像嵌入的相似性。然后，我们提出了一个元嵌入器，共同优化视觉和语义歧视，在实例和粗类明智的，以获得一个良好的特征空间，这个粗到细的伪标记过程。广泛的实验和消融研究进行了三个代表性的数据集上证明我们的方法的有效性和鲁棒性。
2021-07-20 cs.CV cs.LG stat.ML
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
University of Electronic Science and Technology of China（中国电子科技大学）；University of Maryland, College Park（马里兰大学帕克分校）；Iowa State University（爱荷华州立大学）
元学习作为一种模仿人类智能的可能方法最近受到了极大的关注，即，学习新的知识和技能，很少或甚至没有演示。现有的大多数元学习方法都是针对图像和文本等少样本学习问题提出的，而不是在欧氏域中。然而，将元学习应用于非欧域的研究很少，最近提出的图神经网络（GNNs）模型不能有效地解决图少样本学习问题。为此，我们提出了一种新的图元学习框架- Meta-GNN -来解决图元学习设置中的Few-Shot节点分类问题。该算法通过对多个相似的少样本学习任务进行训练来获得分类器的先验知识，然后利用少量的标记样本对新类中的节点进行分类。此外，Meta-GNN是一个通用模型，可以直接并入任何现有的最先进的GNN。我们在三个基准数据集上进行的实验表明，我们提出的方法不仅提高了节点分类性能的大幅度提高了元学习范式中的少样本学习问题，但也学习一个更通用和灵活的任务适应模型。
2019-05-23 cs.LG stat.ML
Few-Shot Classification of Skin Lesions from Dermoscopic Images by Meta-Learning Representative Embeddings
Sri Sivasubramaniya Nadar College of Engineering（斯里西瓦苏布拉马尼亚·纳达尔工程学院）
用于诊断罕见和新型疾病的注释图像和地面实况非常罕见。考虑到受影响的患者人群数量较少且注释图像的临床专业知识有限，预计这将占上风。此外，皮肤病变和其他疾病分类数据集中频繁出现的长尾类分布导致传统的训练方法由于有偏见的类先验而导致泛化能力差。少样本学习和一般的元学习旨在通过在低数据状态下表现良好来克服这些问题。本文主要研究改进皮肤镜图像分类的元学习方法。具体来说，我们提出了一种基于元训练集的基线监督方法，该方法允许网络学习图像的高度代表性和可概括性的特征嵌入，这些特征嵌入很容易转移到新的少样本学习任务中。我们遵循文献中的一些先前的工作，这些工作证明了具有代表性的特征嵌入可以比复杂的Meta学习算法更有效。我们从经验上证明了所提出的元训练方法对皮肤镜图像学习嵌入的有效性，并表明即使是在这些表示上训练的简单线性分类器也足以胜过一些常用的元学习方法。
2022-10-30 cs.AI cs.CV cs.LG
Meta-Learned Confidence for Few-shot Learning
KAIST（韩国科学技术院）；AITRICS
在少样本学习环境下，直推推理是解决数据缺失问题的有效方法。一种流行的基于Few-Shot度量的方法的直推推理技术是用最置信的查询示例的平均值或所有查询样本的置信加权平均值来更新每个类的原型。然而，这里需要注意的是，模型置信度可能不可靠，这可能导致不正确的预测。为了解决这个问题，我们建议对每个查询样本的置信度进行元学习，为未标记的查询分配最佳权重，以提高模型在看不见的任务上的转导推理性能。我们通过在各种模型和数据扰动下的任务分布上元学习输入自适应距离度量来实现这一点，这将在各种不确定性下对未知任务的模型预测进行一致性。此外，我们还提出了一种正则化，它明确地强制执行高维嵌入向量的不同维度上的预测的一致性。我们在四个基准数据集上验证了我们的少样本学习模型与元学习置信度，在这些基准数据集上，它的表现大大优于最近的强基线，并获得了新的最先进的结果。在半监督少样本学习任务上的进一步应用也产生了比基线显著的性能改进。我们的算法的源代码可在https://github.com/seongmin-kye/MCT上获得。
2020-06-24 cs.CV cs.LG stat.ML
Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection
Middle East Technical University（中东技术大学）；HAVELSAN Inc.（哈维尔桑公司）
针对小样本目标检测，本文用元学习原则调优微调阶段的损失函数与数据增强动态，在保留微调优势的同时学习归纳偏置，并在 Pascal VOC 和 MS-COCO 上显著提升标准与广义小样本检测性能。
2023-04-24 cs.CV
Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）；University of Chinese Academy of Sciences（中国科学院大学）
当前最先进的Few-Shot学习器在使用简单的分类器（例如最近质心分类器）之前，专注于开发用于特征表示的有效训练过程。在本文中，我们采用了一种正交方法，该方法对所使用的特征不可知，并专门关注实际分类器层的元学习。具体来说，我们介绍MetaQDA，贝叶斯元学习的经典二次判别分析的推广。这种设置有几个从业者感兴趣的好处：元学习速度快，内存效率高，不需要微调功能。它对所选择的现成功能是不可知的，因此将继续受益于功能表示的进步。从经验上讲，它导致跨域少样本学习的鲁棒性能，并且对于现实世界的应用至关重要，它导致预测中更好的不确定性校准。
2021-08-27 cs.LG
Curriculum Meta-Learning for Few-shot Classification
我们提出了一个适应的课程培训框架，适用于国家的最先进的元学习技术的Few-Shot分类。基于课程的训练通常试图通过逐步增加训练复杂性来模仿人类学习，以实现增量概念学习。由于元学习者的目标是学习如何从尽可能少的样本中学习，这些样本的确切数量（即支持集的大小）作为给定任务难度的自然代理而出现。我们定义了一个简单而新颖的课程计划，从一个更大的支持大小开始，并在整个训练过程中逐步减少，最终匹配测试设置所需的投篮大小。该方法提高了学习效率和泛化能力。我们在两个Few-Shot图像分类任务上使用MAML算法的实验显示出课程培训框架的显著收益。消融研究证实了我们提出的方法与模型结构以及元学习超参数的独立性
2021-12-06 cs.LG
Few-Shot Learning of Compact Models via Task-Specific Meta Distillation
Shanghai University（上海大学）；University of Manitoba（曼尼托巴大学）；Huawei Technologies Canada（加拿大华为技术有限公司）；Concordia University（康考迪亚大学）
我们考虑了一个新的问题的少样本学习的紧凑模型。元学习是一种流行的少样本学习方法。元学习中以前的工作通常假设元训练期间的模型架构与用于最终部署的模型架构相同。在本文中，我们挑战了这个基本假设。对于最终部署，我们通常需要模型很小。但小型模型通常没有足够的能力来有效地适应新任务。与此同时，我们通常可以在元训练期间访问大型数据集和广泛的计算能力，因为元训练通常在服务器上执行。在本文中，我们提出了特定任务的Meta蒸馏，同时学习两个模型的元学习：一个大的教师模型和一个小的学生模型。这两个模型在元训练期间联合学习。在元测试过程中，给定一个新的任务，首先调整教师模型以适应该任务，然后使用调整后的教师模型来指导学生模型的调整。调整后的学生模型用于最终部署。我们证明了我们的方法在Few-Shot图像分类使用模型不可知元学习（MAML）的有效性。我们提出的方法在几个基准数据集上优于其他替代方法。
2022-10-18 cs.LG
Hierarchical Attention Network for Few-Shot Object Detection via Meta-Contrastive Learning
Hanyang University（汉阳大学）
Few-Shot目标检测（FSOD）的目的是对新类别的少量图像进行分类和检测。现有的元学习方法没有充分利用支持和查询图像之间的功能，由于结构上的限制。我们提出了一个层次化的注意力网络与顺序大的感受野，充分利用查询和支持图像。此外，元学习不能很好地区分类别，因为它决定了支持图像和查询图像是否匹配。换句话说，基于度量的分类学习是无效的，因为它不直接工作。因此，我们提出了一种称为Meta对比学习的对比学习方法，它直接帮助实现元学习策略的目的。最后，我们建立了一个新的国家的最先进的网络，通过实现显着的利润。对于COCO数据集上的1-30个镜头的目标检测，我们的方法带来了2.3，1.0，1.3，3.4和2.4%的AP改进。我们的代码可在：https://github.com/infinity7428/hANMCL
2022-12-14 cs.CV
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations
Tsinghua University（清华大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；KIRC, Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院知识图谱与推理中心（KIRC））；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
多跳知识图谱（KG）推理是一种通过推理路径预测目标实体的有效且可解释的方法。大多数以前的方法假设KG中的每个关系都有足够的训练三元组，而不管那些Few-Shot关系不能提供足够的三元组来训练鲁棒的推理模型。事实上，现有的多跳推理方法的性能显着下降的Few-Shot关系。本文提出了一种基于元的多跳推理方法（Meta-KGR），该方法采用元学习的方法从高频关系中学习有效的Meta参数，使其能够快速适应于Few-Shot关系。我们在Freebase和NELL的两个公共数据集上对Meta-KGR进行了测试，实验结果表明Meta-KGR在Few-Shot场景下的性能优于当前最先进的方法。我们的代码和数据集可以从https://github.com/ THU-KEG/MetaKGR获得。
2019-08-30 cs.AI cs.LG
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题，提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法，在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
模型无关的元学习算法旨在从几个观察到的任务中推断先验知识，然后可以使用这些先验知识来适应具有少量示例的新任务。鉴于现有基准中出现的任务的固有多样性，最近的方法使用单独的，可学习的结构，如层次结构或图形，使任务特定的适应之前。虽然这些方法产生了显着更好的Meta学习器，我们的目标是提高他们的性能时，异构任务分布包含具有挑战性的分布偏移和语义差异。为此，我们引入CAML（对比知识增强元学习），知识增强的少样本学习，发展的知识图谱，有效地编码历史经验，并采用对比蒸馏策略，利用编码的知识，任务意识调制的基础学习者的新方法。使用标准的基准测试，我们评估的性能CAML在不同的少样本学习方案。除了标准的Few-Shot任务自适应，我们还考虑了更具挑战性的多域任务自适应和Few-Shot数据集泛化设置在我们的实证研究。我们的研究结果表明，CAML始终优于最知名的方法，并实现了改进的泛化。
2022-07-25 cs.LG
Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Tianjin University（天津大学）；Monash University（莫纳什大学）
当有大量标记样本可用但无法完成Few-Shot分类任务时，深度神经网络非常有效。近年来，元学习方法受到了广泛的关注，它通过对大量附加任务的训练来获得指导Few-Shot分类的知识。通常，训练任务是随机采样的，并且不加选择地执行，这通常会使元学习器陷入糟糕的局部最优。深度神经网络优化方面的一些工作已经表明，更好地安排训练数据可以使分类器收敛更快，性能更好。受此思想的启发，本文提出了一种由易到难的专家元训练策略，以合理安排训练任务，在第一阶段优先考虑简单任务，在第二阶段重点考虑困难任务。设计了一个任务难度感知模块，并将其集成到训练过程中，以根据任务类别的可分类性来估计任务的难度。此外，我们还探索了多个硬度测量，包括语义关系，两两欧几里德距离，Hausdorff距离和希尔伯特施密特独立性标准。在miniImageNet和tieredImageNet Sketch数据集上的实验结果表明，采用本文的专家训练策略，元学习器可以获得更好的学习效果。
2020-07-13 cs.CV cs.LG stat.ML
Meta-Learning of Neural Architectures for Few-Shot Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
神经架构搜索（NAS）的最新进展已经允许将神经架构的自动化设计扩展到现实世界的领域，例如目标检测和语义分割。然而，NAS应用的一个先决条件是大量的标记数据和计算资源。这使得它的应用程序在少样本学习场景中具有挑战性，其中需要学习许多相关的任务，每个任务的数据量和计算时间都有限。因此，少样本学习通常使用固定的神经架构来完成。为了改进这一点，我们提出了MetaNAS，第一个方法，它完全集成了NAS与基于梯度的元学习。MetaNAS在元训练期间优化元架构以及元权重。在元测试期间，架构可以通过任务优化器的几个步骤来适应新的任务，即：任务适应变得计算便宜，并且每个任务只需要很少的数据。此外，MetaNAS是不可知的，因为它可以与任意模型不可知的元学习算法和任意基于梯度的NAS方法一起使用。%我们在Few-Shot分类基准上结合DARTS和REPTILE为MetaNAS提供了令人鼓舞的结果。标准Few-Shot分类基准测试的实证结果表明，结合DARTS和REPTILE的MetaNAS可以产生最先进的结果。
2021-06-14 cs.LG stat.ML
Unsupervised Meta-Learning via Dynamic Head and Heterogeneous Task Construction for Few-Shot Classification
本文探讨了元学习在少样本分类中的优势，发现其双层优化策略对标签噪声和异构任务更具鲁棒性，据此提出了结合动态头和无监督异构任务构建的元学习算法 DHM-UHT，在多个无监督数据集上取得了最先进性能。
2024-10-13 cs.LG
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
