Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning
Seoul National University（首尔大学）；Hyundai Motor Group（现代汽车集团）
在少样本学习场景中，挑战在于当每个任务只有很少的标记示例可用时，对新的未见过的示例进行概括并表现良好。模型不可知元学习（MAML）以其灵活性和对不同问题的适用性，作为少样本学习的代表性方法之一，得到了广泛的应用。然而，MAML及其变体通常采用简单的损失函数，而没有任何辅助的损失函数或正则化项，可以帮助实现更好的泛化。问题在于，每个应用和任务可能需要不同的辅助损失函数，特别是当任务是不同的和独特的。我们引入了一个新的元学习框架，该框架具有适应每个任务的损失函数，而不是试图为每个应用程序和任务手工设计辅助损失函数。我们提出的框架，命名为元学习与任务自适应损失函数（金属），证明了有效性和灵活性，在各个领域，如Few-Shot分类和Few-Shot回归。
2021-10-17 cs.CV cs.LG
Unsupervised Meta-Learning For Few-Shot Image Classification
University of Central Florida（中佛罗里达大学）
分类器的Few-Shot或一次性学习需要对要学习的任务类型有显著的归纳偏差。获得这一点的一种方法是通过对与目标任务类似的任务进行元学习。在本文中，我们提出了UMTRA，一个算法，执行无监督，模型不可知的元学习分类任务。UMTRA的元学习步骤在未标记图像的平面集合上执行。虽然我们假设这些图像可以分为不同的类，并且与目标任务相关，但不需要关于类或任何标签的显式信息。UMTRA使用随机采样和增强来创建元学习阶段的合成训练任务。标签仅在最终目标任务学习步骤中需要，并且它们可以少至每个类一个样本。在Omniglot和Mini-Imagenet的少样本学习基准测试中，UMTRA优于每一种基于表示的无监督学习的测试方法，同时与最近的CACTU算法交替获得最佳性能。与有监督的模型不可知元学习方法相比，UMTRA牺牲了一些分类精度，以减少几个数量级的所需标签。
2019-11-07 cs.CV cs.LG
On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
受预处理概念的启发，我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度，而不会产生额外的参数。我们证明，重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法，积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明，该方法显着优于其无约束的对应，特别是在初始适应步骤，同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性，动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
Meta R-CNN : Towards General Solver for Instance-level Few-shot Learning
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
少样本学习类似于人类的快速学习能力，通过使用少量样本进行训练，使视觉系统能够理解新的概念。从单一视觉对象的图像元学习中获得的领先方法。复杂的背景和多目标的模糊化使得Few-Shot目标检测/分割的研究难以深入。在这项工作中，我们提出了一个灵活的和一般的方法来实现这些任务。我们的工作扩展了Faster /Mask R-CNN，提出了对RoI（感兴趣区域）特征而不是完整图像特征的元学习。这种简单的精神将多对象信息与背景融合在一起，没有花里胡哨的东西，使Faster /Mask R-CNN成为一个元学习者来完成任务。具体来说，我们引入了一个预测头重塑网络（PRN），该网络与Faster /Mask R-CNN共享其主要主干。PRN接收包含具有其边界框或掩模的Few-Shot对象的图像，以推断其类关注向量。这些向量对RoI特征进行通道级软关注，重新构建这些R-CNN预测器头，以检测或分割与这些向量表示的类一致的对象。在我们的实验中，Meta R-CNN在Few-Shot目标检测方面达到了最先进的水平，并通过Mask R-CNN改进了Few-Shot对象分割。
2020-03-14 cs.CV cs.LG
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
Meta-DM: Applications of Diffusion Models on Few-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出Meta-DM，一种基于扩散模型的通用数据处理模块，可集成到现有少样本学习方法中，在监督和无监督设置下显著提升性能，并达到最先进结果。
2023-05-14 cs.CV cs.LG
Meta Learning for Few-Shot One-class Classification
Federal University of Bahia (UFBA)（巴伊亚联邦大学）；University of South Florida（南佛罗里达大学）
我们提出了一种方法，可以执行一类分类，只给出少量的例子，从目标类，没有从其他。我们将一类分类的有意义特征的学习制定为元学习问题，其中元训练阶段反复模拟一类分类，使用所选算法的分类损失来学习特征表示。为了学习这些表示，我们只需要来自类似任务的多类数据。我们展示了支持向量数据描述方法如何与我们的方法一起使用，并提出了一个基于原型网络的更简单的变体，该变体获得了相当的性能，这表明直接从数据中学习特征表示可能比我们选择的一类算法更重要。我们通过将Few-Shot分类数据集适应于Few-Shot一类分类场景来验证我们的方法，获得与传统一类分类的最新技术相似的结果，并且改进了在Few-Shot设置中使用的一类分类基线。我们的代码可在https://github.com/gdahia/meta_occ上获得
2020-09-16 cs.CV cs.LG
SHOT: Suppressing the Hessian along the Optimization Trajectory for Gradient-Based Meta-Learning
Seoul National University（首尔国立大学）
该研究提出 SHOT，通过最小化目标模型与参考模型参数距离来抑制 GBML 内循环中的 Hessian，且计算开销低、通用性强，并在少样本任务上验证有效。
2023-10-04 cs.CV cs.LG
Meta-DRN: Meta-Learning for 1-Shot Image Segmentation
Birla Institute of Technology and Science, Pilani（皮拉尼比尔拉技术与科学学院）
现代深度学习模型已经彻底改变了计算机视觉领域。但是，大多数这些模型的一个显著缺点是，它们需要大量的标记示例才能正确概括。少样本学习的最新发展旨在减轻这一要求。在本文中，我们提出了一种新的轻量级CNN架构的1-shot图像分割。所提出的模型是通过从性能良好的语义分割架构中汲取灵感并将其适应于单镜头域而创建的。我们训练我们的模型使用4 Meta学习算法，已经工作得很好的图像分类和比较的结果。对于所选的数据集，我们提出的模型的参数计数比基准低70%，同时使用所有4种Meta学习算法获得更好或相当的平均IoU得分。
2020-08-01 cs.CV cs.LG eess.IV
Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks
University of Maryland, College Park（马里兰大学学院市分校）
元学习算法产生的特征提取器在Few-Shot分类上实现了最先进的性能。虽然文献中有丰富的元学习方法，但很少有人知道为什么最终的特征提取器表现如此出色。我们更好地理解了元学习的基本机制，以及使用元学习训练的模型与经典训练的模型之间的差异。在此过程中，我们介绍并验证了为什么元学习模型表现更好的几个假设。此外，我们开发了一个正则化，提高性能的标准训练例程的Few-Shot分类。在许多情况下，我们的例程优于元学习，同时运行速度快了一个数量级。
2020-07-01 cs.CV cs.LG stat.ML
Meta-Meta Classification for One-Shot Learning
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的方法，称为元元分类，在小数据环境中学习。在这种方法中，使用一个大的学习问题集来设计一个学习器集合，其中每个学习器具有高偏差和低方差，并且擅长解决特定类型的学习问题。元-元分类器学习如何检查给定的学习问题，并结合各种学习器来解决问题。Meta-元学习方法特别适合于解决少样本学习任务，因为学习对具有少量数据的新学习问题进行分类比将学习算法应用于小数据集更容易。我们在一个一次性的，一类对所有分类任务的方法进行了评估，并表明它能够优于传统的元学习以及集成方法。
2020-06-14 cs.CV cs.LG stat.ML
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Combining Domain-Specific Meta-Learners in the Parameter Space for Cross-Domain Few-Shot Classification
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙弗雷泽大学）
Few-Shot分类的目标是学习一个模型，该模型可以仅使用几个训练样本对新类别进行分类。尽管现有的元学习算法在解决Few-Shot分类问题方面取得了可喜的成果，但仍然存在一个重要的挑战：如何在多个可见域上进行元学习的同时推广到不可见域？在本文中，我们提出了一种基于优化的元学习方法，称为组合特定领域的元学习者（CosML），解决跨域的Few-Shot分类问题。CosML首先训练一组元学习器，每个训练域一个，以学习先验知识（即，元参数）特定于每个域。域特定的元学习者，然后结合在\emph{parameter space}中，通过采取加权平均的元参数，这是用来作为一个任务网络的初始化参数，快速适应新的Few-Shot分类任务在一个看不见的域。实验结果表明，CosML的性能优于一系列最先进的方法，并实现了强大的跨领域泛化能力。
2020-10-31 cs.CV cs.LG stat.ML
Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks
The Hong Kong Polytechnic University（香港理工大学）
元学习模型可以利用Few-Shot标记数据快速适应新任务。然而，尽管在Few-Shot分类任务上实现了良好的泛化，但在少样本学习中提高元学习模型的对抗鲁棒性仍然具有挑战性。虽然对抗性查询（AQ）等对抗性训练（AT）方法可以提高元学习模型的对抗性鲁棒性能，但AT仍然是计算昂贵的训练。另一方面，用AT训练的元学习模型将显著降低原始干净图像的准确性。提出了一种对抗鲁棒神经网络的元学习方法--长期交叉对抗训练（LCAT）。LCAT将沿着自然和对抗样本分布方向交叉更新元学习模型参数，以提高对抗和干净的Few-Shot分类精度。由于交叉对抗训练，LCAT只需要比AQ一半的对抗训练时间，从而降低了对抗训练计算。实验结果表明，LCAT在元学习模型的干净和对抗性Few-Shot分类准确率方面都优于SOTA对抗性训练方法。
2021-07-01 cs.CR cs.CV cs.LG
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
Efficient Automatic Meta Optimization Search for Few-Shot Learning
Lenovo Research（联想研究院）
以前的元学习要么依赖于精心设计的网络结构，要么采用特定领域的专门学习规则。我们提出了一个通用的框架，通过采用神经结构搜索技术（NAS）自动优化元学习过程。对于少样本学习问题，NAS自动生成和评估元学习器的结构，元学习器根据学习任务的分布情况，使用元学习算法优化其参数。采用参数共享和经验回放的方法加快了体系结构的搜索速度，因此只需1-2 GPU天即可找到好的体系结构。在Mini-ImageNet和Omniglot上的大量实验表明，我们的算法在少样本学习任务中表现出色。在Mini-ImageNet上找到的最佳架构在转移到Omniglot时取得了有竞争力的结果，这表明架构在不同计算机视觉问题之间具有很高的可移植性。
2019-09-06 cs.CV cs.LG cs.NE
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数（或镜头数）。最近的工作通过元学习来解决这个任务，其中元学习者在元训练期间从观察到的任务中提取信息，以便在元测试期间快速适应新任务。在这个公式中，元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说，元训练中使用的镜头数应该与元测试中使用的镜头数相匹配，以获得最佳性能。我们介绍了一个理论分析的影响，镜头数的原型网络，一个国家的最先进的Few-Shot分类方法。根据我们的分析，我们提出了一种简单的方法，该方法对元训练期间使用的镜头数量的选择具有鲁棒性，这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
A Hybrid Approach with Optimization and Metric-based Meta-Learner for Few-Shot Learning
Tsinghua University（清华大学）；Microsoft AI & Research（微软人工智能与研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
少样本学习的目标是学习新类的分类器，每个类只有几个训练样本。大多数现有的少样本学习方法属于基于度量的元学习或基于优化的元学习类别，这两种方法都在简化的“$k$ -shot $N$ -way”图像分类设置中取得了成功。具体来说，基于优化的方法训练元学习器来预测特定任务分类器的参数。由于任务分类器的结构要求严格，使得参数预测变得容易，因此元学习方法只能处理任务共享相同数量类的少样本学习问题。基于度量的方法为所有任务学习一个任务不变的度量。尽管度量学习方法允许不同数量的类，但它们要求任务都来自类似的领域，这样就存在一个统一的度量，可以跨任务工作。在这项工作中，我们提出了一个混合元学习模型称为元度量学习者，它结合了优化和基于度量的方法的优点。我们的元度量学习方法由两个部分组成，一个任务特定的基于度量的学习者作为基础模型，和一个元学习者，学习和指定的基础模型。因此，我们的模型能够处理灵活数量的类，以及生成更广义的指标，跨任务的分类。我们测试我们的方法在标准的“$k$ -拍摄$N$ -方式”少样本学习设置以下以前的作品和一个新的现实的Few-Shot设置灵活的类数在单源形式和多源形式。实验表明，我们的方法可以获得优越的性能在所有的设置。
2019-08-27 cs.CV cs.LG stat.ML
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Meta-SGD: Learning to Learn Quickly for Few-Shot Learning
少样本学习对于孤立地从零开始学习每个任务的学习算法来说是具有挑战性的。相比之下，元学习从许多相关的任务中学习一个元学习者，可以用更少的例子更准确，更快地学习一个新的任务，其中元学习者的选择是至关重要的。在本文中，我们开发了元SGD，一个类似SGD的，易于训练的元学习器，可以在监督学习和强化学习的基础上，一步就可以初始化和适应任何可微学习器。与流行的元学习者LSTM相比，Meta-SGD在概念上更简单，更容易实现，并且可以更有效地学习。与最新的元学习器MAML相比，Meta-SGD具有更高的学习能力，不仅可以学习学习器初始化，还可以学习学习器更新方向和学习率，所有这些都在单个元学习过程中进行。Meta-SGD在回归、分类和强化学习的少样本学习方面表现出很强的竞争力。
2017-09-28 cs.LG
How to Train Your MAML to Excel in Few-Shot Classification
Nanjing University（南京大学）；The Ohio State University（俄亥俄州立大学）
模型不可知元学习（MAML）可以说是当今最流行的元学习算法之一。然而，其性能上的Few-Shot分类是远远落后于许多最近的算法致力于这个问题。在本文中，我们指出了几个关键方面，如何训练MAML擅长Few-Shot分类。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其在Few-Shot分类中的常见用法相矛盾。其次，我们发现MAML是敏感的类标签分配过程中的元测试。具体地，MAML元训练$N$路分类器的初始化。在元测试期间，这些$N$方式然后具有“$N!$“不同排列以与$N$新颖类的Few-Shot任务配对。我们发现，这些排列导致一个巨大的方差的准确性，使MAML不稳定的Few-Shot分类。第三，我们研究了几种方法，使MAML置换不变，其中元训练一个单一的向量初始化所有的$N$权重向量在分类头表现最好。在像MiniImageNet和TieredImageNet这样的基准数据集上，我们命名为UNICORN-MAML的方法的性能与许多最近的Few-Shot分类算法相当，甚至优于它们，而不会牺牲MAML的简单性。
2022-07-11 cs.AI cs.CV cs.LG
Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与模型无关的元学习（MAML）及其变体已经成为少样本学习的流行方法。然而，由于深度神经网络（DNN）的非凸性和MAML的双层公式，带有DNN的MAML的理论特性在很大程度上仍然未知。在本文中，我们首先证明了具有过参数化DNN的MAML保证以线性速度收敛到全局最优解。我们的收敛性分析表明，具有过参数化DNN的MAML等价于具有一类新内核的内核回归，我们将其命名为Meta神经切线核（MetaNTK）。然后，我们提出了MetaNTK-NAS，一个新的训练免费的神经架构搜索（NAS）方法的少样本学习，使用MetaNTK排名和选择架构。从经验上讲，我们在两个流行的少样本学习基准测试miniImageNet和tieredImageNet上将MetaNTK-NAS与以前的NAS方法进行了比较。我们表明，MetaNTK-NAS的性能与为少样本学习设计的最先进的NAS方法相当或更好，同时享受超过100倍的加速。我们相信MetaNTK-NAS的效率使其在许多现实任务中更加实用。
2022-03-17 cs.CV cs.LG stat.ML
Meta-Learners for Few-Shot Weakly-Supervised Medical Image Segmentation
Institute of Mathematics and Statistics, Universidade de São Paulo（圣保罗大学数学与统计研究所）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；CNRS（法国国家科学研究中心）
提出通用元学习框架用于医学图像小样本弱监督分割，比较9种元学习器，发现基于度量的方法在域偏移小时更优，基于梯度和融合的方法泛化性更强。
2023-05-11 cs.CV cs.LG cs.NE
Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding
Shanghai Jiao Tong University（上海交通大学）
少样本学习的目标是在测试时仅用少量样本快速适应新类别，这主要是通过元学习的思想来解决的。然而，元学习方法本质上是跨各种Few-Shot任务进行学习，因此仍然需要具有细粒度监督的大规模训练数据来导出广义模型，从而涉及过高的注释成本。在本文中，我们将Few-Shot分类范式推向一个更具挑战性的场景，即，交叉粒度Few-Shot分类，其中模型在训练期间仅观察粗标签，而预期在测试期间执行细粒度分类。这项任务在很大程度上减轻了注释成本，因为细粒度的标记通常需要强大的特定于领域的专业知识。为了弥合跨粒度的差距，我们近似细粒度的数据分布的贪婪聚类的每个粗类到伪细类根据图像嵌入的相似性。然后，我们提出了一个元嵌入器，共同优化视觉和语义歧视，在实例和粗类明智的，以获得一个良好的特征空间，这个粗到细的伪标记过程。广泛的实验和消融研究进行了三个代表性的数据集上证明我们的方法的有效性和鲁棒性。
2021-07-20 cs.CV cs.LG stat.ML
Meta-DETR: Image-Level Few-Shot Detection with Inter-Class Correlation Exploitation
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
通过将元学习结合到基于区域的检测框架中，Few-Shot目标检测已经被广泛研究。尽管它的成功，上述范式仍然受到几个因素的限制，如（i）低质量的区域建议的新类和（ii）忽视不同类之间的类间相关性。这样的限制阻碍了基类知识的泛化，以检测新类对象。在这项工作中，我们设计了元DETR，它（i）是第一个图像级的Few-Shot检测器，（ii）引入了一种新的类间相关元学习策略来捕获和利用不同类别之间的相关性，以实现鲁棒和准确的Few-Shot目标检测。Meta-DETR完全在图像级别工作，没有任何区域建议，这避免了普遍的Few-Shot检测框架中不准确建议的约束。此外，引入的相关元学习使Meta-DETR能够在单个前馈中同时关注多个支持类，这允许捕获不同类之间的类间相关性，从而显着减少相似类的错误分类，并增强对新类的知识泛化。在多个Few-Shot目标检测基准测试上的实验表明，所提出的Meta-DETR方法的性能大大优于现有的方法。实现代码可在https://github.com/ZhangGongjie/Meta-DETR上获得。
2022-07-30 cs.AI cs.CV cs.LG
Subgraph-aware Few-Shot Inductive Link Prediction via Meta-Learning
Sun Yat-sen University（中山大学）
知识图谱的链接预测旨在预测实体之间的缺失连接。现有的方法局限于一个转导设置和难以处理看不见的实体。最近提出的基于子图的模型提供了替代方案来预测从候选三元组周围的子图结构的链接。然而，这些方法需要大量的已知事实来训练三胞胎，并且在只有几个三胞胎的关系上表现不佳。在本文中，我们提出了Meta-iKG，一种新的基于子图的元学习器的Few-Shot归纳关系推理。Meta-iKG利用局部子图来传输特定于子图的信息，并通过Meta梯度更快地学习可转移模式。通过这种方式，我们发现模型可以快速适应Few-Shot关系，只需使用少量具有归纳设置的已知事实。此外，我们在传统的元学习中引入了大镜头关系更新过程，以确保我们的模型可以很好地推广Few-Shot和大镜头关系。我们在NELL和Freebase的归纳基准上对Meta-iKG进行了评估，结果表明Meta-iKG在Few-Shot场景和标准归纳设置中都优于当前最先进的方法。
2021-07-26 cs.LG cs.SI
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
University of Electronic Science and Technology of China（中国电子科技大学）；University of Maryland, College Park（马里兰大学帕克分校）；Iowa State University（爱荷华州立大学）
元学习作为一种模仿人类智能的可能方法最近受到了极大的关注，即，学习新的知识和技能，很少或甚至没有演示。现有的大多数元学习方法都是针对图像和文本等少样本学习问题提出的，而不是在欧氏域中。然而，将元学习应用于非欧域的研究很少，最近提出的图神经网络（GNNs）模型不能有效地解决图少样本学习问题。为此，我们提出了一种新的图元学习框架- Meta-GNN -来解决图元学习设置中的Few-Shot节点分类问题。该算法通过对多个相似的少样本学习任务进行训练来获得分类器的先验知识，然后利用少量的标记样本对新类中的节点进行分类。此外，Meta-GNN是一个通用模型，可以直接并入任何现有的最先进的GNN。我们在三个基准数据集上进行的实验表明，我们提出的方法不仅提高了节点分类性能的大幅度提高了元学习范式中的少样本学习问题，但也学习一个更通用和灵活的任务适应模型。
2019-05-23 cs.LG stat.ML
Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）；University of Chinese Academy of Sciences（中国科学院大学）
当前最先进的Few-Shot学习器在使用简单的分类器（例如最近质心分类器）之前，专注于开发用于特征表示的有效训练过程。在本文中，我们采用了一种正交方法，该方法对所使用的特征不可知，并专门关注实际分类器层的元学习。具体来说，我们介绍MetaQDA，贝叶斯元学习的经典二次判别分析的推广。这种设置有几个从业者感兴趣的好处：元学习速度快，内存效率高，不需要微调功能。它对所选择的现成功能是不可知的，因此将继续受益于功能表示的进步。从经验上讲，它导致跨域少样本学习的鲁棒性能，并且对于现实世界的应用至关重要，它导致预测中更好的不确定性校准。
2021-08-27 cs.LG
Curriculum Meta-Learning for Few-shot Classification
我们提出了一个适应的课程培训框架，适用于国家的最先进的元学习技术的Few-Shot分类。基于课程的训练通常试图通过逐步增加训练复杂性来模仿人类学习，以实现增量概念学习。由于元学习者的目标是学习如何从尽可能少的样本中学习，这些样本的确切数量（即支持集的大小）作为给定任务难度的自然代理而出现。我们定义了一个简单而新颖的课程计划，从一个更大的支持大小开始，并在整个训练过程中逐步减少，最终匹配测试设置所需的投篮大小。该方法提高了学习效率和泛化能力。我们在两个Few-Shot图像分类任务上使用MAML算法的实验显示出课程培训框架的显著收益。消融研究证实了我们提出的方法与模型结构以及元学习超参数的独立性
2021-12-06 cs.LG
Few-Shot Learning of Compact Models via Task-Specific Meta Distillation
Shanghai University（上海大学）；University of Manitoba（曼尼托巴大学）；Huawei Technologies Canada（加拿大华为技术有限公司）；Concordia University（康考迪亚大学）
我们考虑了一个新的问题的少样本学习的紧凑模型。元学习是一种流行的少样本学习方法。元学习中以前的工作通常假设元训练期间的模型架构与用于最终部署的模型架构相同。在本文中，我们挑战了这个基本假设。对于最终部署，我们通常需要模型很小。但小型模型通常没有足够的能力来有效地适应新任务。与此同时，我们通常可以在元训练期间访问大型数据集和广泛的计算能力，因为元训练通常在服务器上执行。在本文中，我们提出了特定任务的Meta蒸馏，同时学习两个模型的元学习：一个大的教师模型和一个小的学生模型。这两个模型在元训练期间联合学习。在元测试过程中，给定一个新的任务，首先调整教师模型以适应该任务，然后使用调整后的教师模型来指导学生模型的调整。调整后的学生模型用于最终部署。我们证明了我们的方法在Few-Shot图像分类使用模型不可知元学习（MAML）的有效性。我们提出的方法在几个基准数据集上优于其他替代方法。
2022-10-18 cs.LG
Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations
Tsinghua University（清华大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；KIRC, Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院知识图谱与推理中心（KIRC））；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
多跳知识图谱（KG）推理是一种通过推理路径预测目标实体的有效且可解释的方法。大多数以前的方法假设KG中的每个关系都有足够的训练三元组，而不管那些Few-Shot关系不能提供足够的三元组来训练鲁棒的推理模型。事实上，现有的多跳推理方法的性能显着下降的Few-Shot关系。本文提出了一种基于元的多跳推理方法（Meta-KGR），该方法采用元学习的方法从高频关系中学习有效的Meta参数，使其能够快速适应于Few-Shot关系。我们在Freebase和NELL的两个公共数据集上对Meta-KGR进行了测试，实验结果表明Meta-KGR在Few-Shot场景下的性能优于当前最先进的方法。我们的代码和数据集可以从https://github.com/ THU-KEG/MetaKGR获得。
2019-08-30 cs.AI cs.LG
Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
模型无关的元学习算法旨在从几个观察到的任务中推断先验知识，然后可以使用这些先验知识来适应具有少量示例的新任务。鉴于现有基准中出现的任务的固有多样性，最近的方法使用单独的，可学习的结构，如层次结构或图形，使任务特定的适应之前。虽然这些方法产生了显着更好的Meta学习器，我们的目标是提高他们的性能时，异构任务分布包含具有挑战性的分布偏移和语义差异。为此，我们引入CAML（对比知识增强元学习），知识增强的少样本学习，发展的知识图谱，有效地编码历史经验，并采用对比蒸馏策略，利用编码的知识，任务意识调制的基础学习者的新方法。使用标准的基准测试，我们评估的性能CAML在不同的少样本学习方案。除了标准的Few-Shot任务自适应，我们还考虑了更具挑战性的多域任务自适应和Few-Shot数据集泛化设置在我们的实证研究。我们的研究结果表明，CAML始终优于最知名的方法，并实现了改进的泛化。
2022-07-25 cs.LG
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题，提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法，在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
Unsupervised Meta-Learning via Dynamic Head and Heterogeneous Task Construction for Few-Shot Classification
本文探讨了元学习在少样本分类中的优势，发现其双层优化策略对标签噪声和异构任务更具鲁棒性，据此提出了结合动态头和无监督异构任务构建的元学习算法 DHM-UHT，在多个无监督数据集上取得了最先进性能。
2024-10-13 cs.LG
Meta-Learning of Neural Architectures for Few-Shot Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
神经架构搜索（NAS）的最新进展已经允许将神经架构的自动化设计扩展到现实世界的领域，例如目标检测和语义分割。然而，NAS应用的一个先决条件是大量的标记数据和计算资源。这使得它的应用程序在少样本学习场景中具有挑战性，其中需要学习许多相关的任务，每个任务的数据量和计算时间都有限。因此，少样本学习通常使用固定的神经架构来完成。为了改进这一点，我们提出了MetaNAS，第一个方法，它完全集成了NAS与基于梯度的元学习。MetaNAS在元训练期间优化元架构以及元权重。在元测试期间，架构可以通过任务优化器的几个步骤来适应新的任务，即：任务适应变得计算便宜，并且每个任务只需要很少的数据。此外，MetaNAS是不可知的，因为它可以与任意模型不可知的元学习算法和任意基于梯度的NAS方法一起使用。%我们在Few-Shot分类基准上结合DARTS和REPTILE为MetaNAS提供了令人鼓舞的结果。标准Few-Shot分类基准测试的实证结果表明，结合DARTS和REPTILE的MetaNAS可以产生最先进的结果。
2021-06-14 cs.LG stat.ML
EMO: Episodic Memory Optimization for Few-Shot Meta-Learning
University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗科技股份有限公司）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
针对少样本元学习中训练样本有限导致梯度下降优化困难的问题，提出情景记忆优化方法EMO，通过外部记忆保留历史任务梯度引导参数更新，理论证明其收敛性，实验表明其提升了现有方法的性能并加速收敛。
2023-06-26 cs.LG
Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning
Shanghai University（上海大学）；United Automotive Electronic Systems（联合汽车电子有限公司）；Xian Innovation College of Yanan University（延安大学西安创新学院）
模型不可知元学习（MAML）是少样本学习中最成功的元学习技术之一。它使用梯度下降来学习各种任务之间的共性，使模型能够学习自身参数的元初始化，从而使用少量标记的训练数据快速适应新任务。少样本学习的一个关键挑战是任务的不确定性。虽然可以从具有大量任务的元学习中获得强先验，但是不能保证新任务的精确模型，因为训练数据集的体积通常太小。首先，在初始化参数的选择过程中，提出了一种新的方法，使特定任务的学习者自适应地选择初始化参数，使新任务的损失最小化。然后，我们提出了两种改进方法的元损失部分：方法1通过比较元损失的差异产生的权重，以提高精度时，有几个类，方法2引入每个任务的同方差不确定性加权多个损失的基础上，原来的梯度下降，作为一种方式，以提高泛化能力，以新的类，同时确保精度的提高。与以前的基于梯度的元学习方法相比，我们的模型在回归任务和Few-Shot分类中取得了更好的性能，并提高了模型对元测试集中的学习率和查询集的鲁棒性。
2022-08-17 cs.LG
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
Few-Shot Bioactivity Prediction with Meta-Learning under Assay Heterogeneity
Helmholtz Munich（亥姆霍兹慕尼黑研究中心）；Technical University of Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Warsaw（华沙大学）；University of Technology Nuremberg（纽伦堡工业大学）；LMU Munich（慕尼黑大学）
针对测定异质性导致元学习性能下降的问题，提出MetaHeta框架，结合线性与精确注意力利用相关测定辅助数据，在ChEMBL和BindingDB上提升少样本生物活性预测与化合物排序。
2026-10-07 cs.LG
MetaLearnNCA: Few-Shot Offline Meta-Learning via Interacting Neural Cellular Automata
Department of Computer Science and Communication（计算机科学与通信系）
提出MetaLearnNCA，利用交互式神经细胞自动机实现无梯度的少样本元学习，在保持分布内性能的同时提升分布外迁移效果。
2026-10-07 cs.AI cs.LG
Omni-Training: Bridging Pre-Training and Meta-Training for Few-Shot Learning
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
少样本学习旨在从几个示例中快速适应深度模型。虽然预训练和元训练可以创建强大的Few-Shot泛化的深度模型，但我们发现预训练和元训练分别关注跨域可转移性和跨任务可转移性，这限制了它们在域转移和任务转移的纠缠设置中的数据效率。因此，我们提出了Omni-Training框架来无缝地连接预训练和元训练，以实现数据高效的少样本学习。我们的第一个贡献是一个三流Omni-Net架构。除了联合表示流程外，Omni-Net还引入了两个并行的预训练和元训练流程，分别负责提高域可迁移性和任务可迁移性。Omni-Net通过联合流路由它们的表示来进一步协调并行流，从而实现跨流的知识转移。我们的第二个贡献是Omni-Loss，它分别在预训练和元训练目标上引入了自升华策略，以促进不同训练阶段的知识转移。Omni-Training是一个通用的框架，可以容纳许多现有的算法。评估证明，我们的单一框架在各种分类，回归和强化学习问题中，在跨任务和跨领域设置上一致且明显优于单个最先进的方法。
2022-12-17 cs.LG
Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning
Duke University（杜克大学）
零样本学习（Zero-shot learning，简称ZRL）已被证明是一种很有前途的方法，可以通过利用类属性将模型推广到训练过程中看不到的类别，但挑战仍然存在。最近，使用生成模型来对抗训练期间出现的对类别的偏见的方法推动了ZSL的发展水平，但这些生成模型可能速度很慢，或者训练时计算成本很高。此外，虽然许多以前的CNOL方法假设一次性适应看不见的类，但实际上，世界总是在变化，需要不断调整部署的模型。没有准备好处理连续数据流的模型很可能会经历灾难性遗忘。我们提出了一个元连续零样本学习（MCSRL）的方法来解决这两个问题。特别是，通过将属性的自选通和缩放类归一化与基于元学习的训练配对，我们能够超越最先进的结果，同时能够比昂贵的基于生成的方法更快地训练我们的模型（$>100\times$）。我们证明了这一点，通过在五个标准的ARML数据集（CUB，aPY，AWA 1，AWA 2和SUN）在广义零样本学习和广义连续零样本学习设置进行实验。
2021-02-23 cs.AI cs.CV cs.LG
Variable-Shot Adaptation for Online Meta-Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而，在许多现实世界中，更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究，其中任务按顺序呈现。当在这种在线环境中研究元学习时，出现了一个关键问题：当同时考虑元训练和适应时，元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾？对于需要大量Meta训练数据的复杂双层优化的元学习算法，答案尤其不明显。为了回答这个问题，我们扩展了以前的元学习算法，以处理顺序学习中自然出现的可变镜头设置：从开始的多镜头学习到最后的零样本学习。在顺序学习问题上，我们发现，与标准的监督方法相比，元学习用更少的整体标签解决了整个任务集，并实现了更高的累积性能。这些结果表明，元学习是构建学习系统的一个重要组成部分，该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
Stress Testing of Meta-learning Approaches for Few-shot Learning
Indian Institute of Technology, Ropar（印度理工学院罗巴尔分校）
元学习（ML）已经成为一种有前途的学习方法，在资源约束下，如少样本学习。ML方法通常提出一种学习可推广模型的方法。在这篇正在进行的论文中，我们对最近的ML方法进行了压力测试，以发现它们的局限性。准确地说，我们测量了ML方法在少样本学习中的性能，以对抗不断增加的任务复杂性。我们的研究结果表明，ML（MAML，TAML和MetaSGD）的初始化策略的性能迅速下降，而令人惊讶的是，使用优化策略（MetaLSTM）的方法表现得更好。我们进一步证明了以MAML方式训练的ML（MetaLSTM++）优化策略在纯优化策略上的有效性。我们的实验还表明，ML的优化策略实现了从简单到复杂的任务更高的可移植性。
2021-01-21 cs.AI cs.LG
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出自监督元提示学习框架SUPMER，通过自监督元学习学习通用提示初始化并联合元学习梯度正则化函数，缓解少样本场景下软提示初始化依赖和过拟合问题，提升下游任务的泛化能力。
2023-10-23 cs.CL cs.LG
Meta-Learning across Meta-Tasks for Few-Shot Learning
现有的基于元学习的少样本学习（FSL）方法通常采用情景训练策略，由此每个情景包含元任务。在各个事件中，这些任务被随机抽样，它们之间的关系被忽略。在本文中，我们认为，元任务之间的关系应该被利用，这些任务的抽样战略，以协助元学习。具体来说，我们认为定义在两种类型的元任务对的关系，并提出不同的策略来利用它们。(1)两个具有不相交类集的元任务：这对任务很有趣，因为它让人想起源可见类和目标不可见类之间的关系，其特征是由类差异引起的域间隙。提出了一种新的学习目标Meta领域自适应（MDA），使元学习模型对领域间隙更鲁棒。(2)具有相同类集的两个元任务：这对任务很有用，因为它可以用来学习对采样不佳的少数镜头具有鲁棒性的模型。为此，一个新的Meta知识蒸馏（MKD）目标制定。实验中有一些错误。因此，我们决定撤回这份文件。
2020-09-26 cs.LG stat.ML
Meta-learning approaches for few-shot learning: A survey of recent advances
University of Technology Sydney（悉尼科技大学）；Western Sydney University（西悉尼大学）；Óbuda University（欧布达大学）
尽管深度学习在学习更深层次的多维数据方面取得了惊人的成功，但它在新的未知任务上的性能下降，主要是因为它专注于相同分布的预测。此外，深度学习因对少量样本的泛化能力差而臭名昭著。元学习是一种很有前途的方法，它通过适应具有Few-Shot数据集的新任务来解决这些问题。本调查首先简要介绍了元学习，然后调查了最先进的元学习方法和最新进展：（I）基于度量，（II）基于记忆，（III）和基于学习的方法。最后，讨论了当前的挑战和未来研究的见解。
2023-03-13 cs.AI cs.LG
Few-shot Learning with Meta Metric Learners
Microsoft AI & Research（微软人工智能与研究）；IBM Research AI（IBM研究人工智能）；JD AI Research（京东人工智能研究）
少样本学习旨在学习新类的分类器，每个类只需几个训练样本。现有的基于元学习或度量学习的少样本学习方法在处理具有不同数量标签的不同领域时受到限制。元学习方法训练元学习器来预测复杂结构的任务特定网络的权重，要求跨任务的类的数量一致。度量学习方法为所有任务学习一个任务不变的度量，如果任务发散，它们就会失败。我们建议用元度量学习来处理这些限制。我们的元度量学习方法包括特定于任务的学习者，利用度量学习来处理灵活的标签，以及一个元学习者，发现好的参数和梯度下降来指定特定于任务的学习者的度量。因此，该模型能够处理不平衡的类，以及生成特定于任务的指标。我们测试我们的方法在"$k$-拍摄$N$-方式" Few-Shot学习设置在以前的工作和新的现实Few-Shot设置不同的多域任务和灵活的标签号码。实验表明，我们的方法在这两种情况下都取得了优异的性能。
2019-01-26 cs.AI cs.LG stat.ML
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University（台湾大学）；intelliGo Technology inc.（intelliGo科技公司）
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题，因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题，以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的，以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中，我们系统地研究这些问题，利用各种自监督学习模型，并将它们与各种各样的元学习算法相结合。实验结果表明，HuBERT与匹配网络相结合的方法效果最好，对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning
Google Research（谷歌研究院）
尽管最近的进展，在其理论理解，仍然存在着显着的差距，现有的PAC贝叶斯理论的能力，元学习解释性能改善的少样本学习设置，在目标任务中的训练样本的数量是非常有限的。这种差距源于现有理论中的假设，该假设假定观察任务中的训练样本的数量和目标任务中的训练样本的数量遵循相同的分布，该假设在实践中很少成立。通过放松这一假设，我们开发了两个PAC贝叶斯边界量身定制的少样本学习设置，并表明，现有的两个元学习算法（MAML和爬行动物）可以从我们的边界，从而弥合实践和PAC贝叶斯理论之间的差距。此外，我们推导出一个新的计算效率的PACMAML算法，并显示它优于现有的元学习算法在几个Few-Shot基准数据集。
2021-10-25 cs.LG stat.ML
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类（即，元训练类）然后推广到具有有限标记节点的类（即，元测试类）。然而，在现实世界的图，它通常是很难获得丰富的标记节点的许多类。在实践中，每个元训练类只能由几个标记节点组成，称为极弱监督问题。在Few-Shot节点分类中，由于用于元训练的标记节点非常有限，元训练和元测试之间的泛化差距将变得更大，从而导致次优性能。为了解决这个问题，我们研究了一个新的问题，Few-Shot节点分类与极弱的监督，并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说，我们的目标是在极弱的监督下，在不同的元训练任务中积累元知识，并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战，我们提出了两个基本模块来获取伪标签节点作为额外的参考，并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验，以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
Is Meta-Learning Out? Rethinking Unsupervised Few-Shot Classification with Limited Entropy
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
本文提出在有限熵设置下证明 Meta-Learning 比全类训练泛化边界更紧且更鲁棒，并据此提出结合 DBSCAN 和基于稳定性的 meta-scaler 的 MINO 框架，有效提升了无监督少样本和零样本任务的性能。
2025-09-16 cs.AI cs.LG
