Exploring Active Learning in Meta-Learning: Enhancing Context Set Labeling
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文探讨了在元学习测试阶段主动选择上下文集标注点的方法，提出了基于高斯混合模型的主动选择算法，在多个基准数据集上优于现有主动学习方法。
2024-07-24 cs.LG
Maximising the Utility of Validation Sets for Imbalanced Noisy-label Meta-learning
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
本文提出INOLML算法，通过基于信息量、类别平衡性和标签正确性最大化验证集效用，自动构建验证集，显著提升非平衡噪声标签元学习性能。
2025-10-08 cs.CV cs.LG
MetaMIML: Meta Multi-Instance Multi-Label Learning
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；George Mason University（乔治梅森大学）
多实例多标签学习（MIML）对复杂对象（包）进行建模，每个对象都与一组相互关联的标签相关联，并由一组实例组成。当前的MIML解决方案仍然集中在单一类型的对象上，并假设训练数据的IID分布。但是这些对象与其他类型的对象链接，%（即，Facebook中的图片与各种用户链接），其还对目标对象的语义进行编码。此外，它们通常需要大量的标记数据进行训练。为了有效地挖掘不同类型的相互依赖的MIML对象，我们提出了一种基于网络嵌入和元学习的方法（MetaMIML）。MetaMIML引入网络嵌入的上下文学习器来获取不同类型对象的语义信息，引入任务学习器来提取Meta知识，以快速适应新的任务。这样，MetaMIML可以自然地处理MIML对象的数据级改进，但也利用元学习的力量，在模型增强。基准数据集上的实验表明，MetaMIML实现了显着优于国家的最先进的算法的性能。
2021-11-07 cs.AI cs.LG
Robust Graph Meta-learning for Weakly-supervised Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Texas A&M University（得克萨斯农工大学）；University of Virginia（弗吉尼亚大学）
图被广泛地用于对数据的关系结构进行建模，并且图机器学习（ML）的研究具有广泛的应用范围，从分子图中的药物设计到社交网络中的友谊推荐。图ML的流行方法通常需要大量的标记实例来实现令人满意的结果，这在现实世界的场景中通常是不可行的，因为新出现的概念的标记数据（例如，节点的新分类）是有限的。虽然元学习已经被应用于不同的Few-Shot图学习问题，但大多数现有的努力主要假设来自那些可见类的所有数据都是黄金标记的，而当可见数据被严重的标签噪声弱标记时，这些方法可能会失去它们的有效性。因此，我们的目标是研究一个新的问题，弱监督图元学习，以提高模型的鲁棒性方面的知识转移。为了实现这一目标，本文提出了一种新的图元学习框架--图幻觉网络（Meta-GHN）。基于一种新的鲁棒性增强的情景训练，Meta-GHN被元学习，以从弱标记数据中产生干净的节点表示，并提取高度可转移的元知识，这使得模型能够快速适应具有少量标记实例的看不见的任务。大量的实验证明了Meta-GHN在弱监督Few-Shot节点分类任务上优于现有的图元学习研究。
2022-08-21 cs.LG
Set a Thief to Catch a Thief: Combating Label Noise through Noisy Meta Learning
Nanyang Technological University（南洋理工大学）；University of Surrey（萨里大学）
针对现有元学习标签校正方法需额外干净验证集的局限，提出噪声元标签校正框架STCT，用同分布噪声数据作验证集，通过交替训练解耦双层优化，在高噪声场景下性能超越现有最优水平。
2025-02-22 cs.CV cs.LG
Explaining the Performance of Multi-label Classification Methods with Data Set Properties
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan IPSchool（约瑟夫·斯特凡知识产权学院）；Faculty of Mathematics and Physics, University of Ljubljana（卢布尔雅那大学数学与物理学院）；TU Berlin（柏林工业大学）；Bias Variance Labs（偏差方差实验室）
元学习概括了不同学习任务的经验，并有望为机器学习算法的行为提供重要的经验见解。在本文中，我们提出了一个全面的元学习研究的数据集和方法的多标签分类（MLC）。MLC是一个实际相关的机器学习任务，其中每个示例同时标记有多个标签。在这里，我们分析了40 MLC数据集，使用50 Meta功能描述不同属性的数据。这项研究的主要结果如下。首先，描述MLC数据集的空间的最突出的Meta特征是评估标签空间的不同方面的元特征。其次，Meta模型表明，最重要的Meta特征描述了标签空间，并且，描述标签之间关系的Meta特征往往比描述单个标签之间和内部分布的Meta特征更频繁地出现。第三，超参数的优化可以提高预测性能，然而，通常情况下，改进的程度并不总是合理的资源利用。
2021-06-28 cs.AI cs.LG
Labeled-Data-Free Meta-Learning: Efficient Task Generation Using Pre-trained Models and Unlabeled Data
NTT Communication Science Laboratories, NTT, Inc.（NTT公司NTT通信科学实验室）
研究无标签数据的元学习，提出新设置，通过预训练模型给无标签数据赋软标签生成元训练任务，引入任务加权机制，实验表明可降低计算成本、提高泛化能力。
2026-07-07 cs.LG
Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding
Xi’an Jiaotong University（西安交通大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
研究了具有Few-Shot新标签的图的节点分类问题，该问题具有两个显著的性质：（1）图中会出现新标签;（2）新标签中只有少数几个用于训练分类器的代表节点.这个问题的研究是有益的，并对应于许多应用程序，如建议新成立的团体，只有少数用户在网上社交网络。为了解决这个问题，我们提出了一个新的Meta转换网络嵌入框架（MetaTNE），它由三个模块组成：（1）一个\emph{structural module}根据图的结构为每个节点提供一个潜在表示。(2)\emph{meta-learning module}以元学习方式捕获图结构和节点标签之间的关系作为先验知识。此外，我们引入了一个\emph{embedding transformation function}，弥补了直接使用元学习的不足。本质上，元学习的先验知识可以用于促进Few-Shot新标签的学习。(3)\emph{optimization module}采用简单而有效的调度策略来训练上述两个模块，并在图结构学习和元学习之间取得平衡。在四个真实世界数据集上的实验表明，MetaTNE比最先进的方法带来了巨大的改进。
2020-10-22 cs.LG stat.ML
Task-Adaptive Pseudo Labeling for Transductive Meta-Learning
Inha University（仁荷大学）
针对元学习支持集有限导致的样本偏差，本文提出直推式任务自适应伪标签方法，利用标签传播为查询集生成伪标签，并在 5-way 1-shot 分类中超越 SOTA。
2023-04-21 cs.AI cs.LG
CLID-MU: Cross-Layer Information Divergence Based Meta Update Strategy for Learning with Noisy Labels
Worcester Polytechnic Institute（沃斯特理工学院）
针对噪声标签学习依赖干净元数据集的问题，提出基于跨层信息发散的元更新策略CLID-MU，利用特征空间数据结构对齐指导训练，无需标签即优于现有方法。
2025-07-16 cs.AI cs.LG
The Role of Global Labels in Few-Shot Classification and How to Infer Them
University College London（伦敦大学学院）；Institute of Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Istituto Italiano di Tecnologia（意大利技术研究院）
少样本学习是元学习中的一个核心问题，在元学习中，学习者必须在有限的训练数据下快速适应新任务。最近，特征预训练已经成为最先进的元学习方法中无处不在的组件，并被证明可以提供显着的性能改进。然而，对预训练和元学习之间的联系的理论理解有限。此外，预训练需要跨任务共享的全局标签，这在实践中可能不可用。在本文中，我们展示了为什么利用预训练在理论上有利于元学习，特别是全局标签的关键作用。这促使我们提出Meta Label Learning（MeLa），一种新的元学习框架，自动推断全局标签以获得鲁棒的Few-Shot模型。从经验上讲，我们证明了MeLa与现有方法具有竞争力，并提供了广泛的消融实验来突出其关键特性。
2021-10-27 cs.LG stat.ML
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类（即，元训练类）然后推广到具有有限标记节点的类（即，元测试类）。然而，在现实世界的图，它通常是很难获得丰富的标记节点的许多类。在实践中，每个元训练类只能由几个标记节点组成，称为极弱监督问题。在Few-Shot节点分类中，由于用于元训练的标记节点非常有限，元训练和元测试之间的泛化差距将变得更大，从而导致次优性能。为了解决这个问题，我们研究了一个新的问题，Few-Shot节点分类与极弱的监督，并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说，我们的目标是在极弱的监督下，在不同的元训练任务中积累元知识，并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战，我们提出了两个基本模块来获取伪标签节点作为额外的参考，并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验，以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
Boosting Meta-Learning for Few-Shot Text Classification via Label-guided Distance Scaling
Dalian University of Technology（大连理工大学）
本文提出标签引导的距离缩放策略，通过利用标签语义提升少样本文本分类的性能，实验表明其优于现有方法。
2026-02-28 cs.AI cs.LG
Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels
Xi’an Jiaotong University（西安交通大学）
研究针对DPO性能依赖偏好数据质量问题，提出双层优化框架、无任务元知识驱动方法及结合中心差分近似与LoRA微调的可扩展训练方案，经实验验证该方法能在不同噪声率下提升训练性能。
2026-07-21 cs.LG
Meta-Learning Guided Label Noise Distillation for Robust Signal Modulation Classification
针对自动调制分类中的标签误标问题，提出元学习引导的TSHN噪声蒸馏框架与MVS方法，显著提升复杂噪声场景下的分类性能与鲁棒性。
2024-08-09 cs.AI cs.LG eess.SP
Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile
JD.COM Silicon Valley Research Center（京东硅谷研究中心）
近年来，人们对用于解决少样本学习（FSL）问题的元学习技术的兴趣激增。然而，元学习器容易过拟合，因为只有少数可用的样本，这可以被识别为干净数据集上的采样噪声。此外，当处理带有噪声标签的数据时，元学习器可能对损坏数据集上的标签噪声非常敏感。为了解决这两个挑战，我们提出了本征爬虫（ER），更新的元参数与历史任务特定的参数，以减轻采样和标签噪声的主要方向。具体地，以快速的方式计算主方向，其中所计算的矩阵的尺度与梯度步长的数量而不是参数的数量相关。此外，为了在存在许多噪声标签的情况下获得更准确的特征爬行动物主方向，我们进一步提出了内省自步调学习（ISPL）。我们已经从理论和实验上证明了所提出的本征爬行动物和ISPL的合理性和有效性。特别是，我们对不同任务的实验表明，该方法能够优于或实现具有高度竞争力的性能相比，其他基于梯度的方法有或没有噪声标签。所提出的方法的代码和数据提供用于研究目的https://github.com/Anfeather/Eigen-Reptile。
2022-06-04 cs.AI cs.LG
BatMan-CLR: Making Few-shots Meta-Learners Resilient Against Label Noise
Delft University of Technology（代尔夫特理工大学）；University of Turin（都灵大学）；Universidad de los Andes（安第斯大学）
本文分析了标签噪声对少样本元学习器的负面影响，并提出两种采样技术（Man和BatMan）将噪声监督学习器转化为半监督学习器，有效缓解了元训练中的标签噪声问题。
2023-09-12 cs.AI cs.CV cs.LG
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh（爱丁堡大学）
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索，其中每个类的标签是可用的。另一方面，无监督的Few-Shot学习设置，其中不需要任何类型的标签，几乎没有调查。我们提出了一种方法，命名为假设，扩增和学习或AAL，用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充，并重用支持集的标签，得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练，这样的模型可以直接应用于小型实标记数据集，而无需任何更改或微调。在我们的实验中，学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
Meta-Learning via Feature-Label Memory Network
Korea Advanced Institute of Science and Technology（韩国科学技术院）
深度学习通常需要使用大型数据集训练非常强大的架构。然而，许多重要的学习问题需要从小规模数据集中得出有效推断的能力，这些问题对深度学习提出了特殊的挑战。在这方面，关于“元学习”的各种研究正在积极进行。最近的工作提出了一种用于元学习的记忆增强神经网络（MANN）。MANN是神经图灵机（NTM）的实现，具有快速吸收内存中新数据的能力，并使用这些数据进行准确的预测。在诸如MANN的模型中，来自前一步骤的输入数据样本及其适当的标签被绑定在相同的存储器位置中。这通常会导致执行任务时的记忆干扰，因为这些模型必须从某个记忆位置检索输入的特征，并仅读取绑定到该位置的标签信息。在本文中，我们试图通过提出一个更强大的MANN来解决这个问题。我们重新审视了元学习的思想，并提出了一种新的记忆增强的神经网络，通过显式地将外部记忆分为特征和标签记忆。特征存储器用于存储输入数据样本的特征，标签存储器存储它们的标签。因此，当预测给定输入的标签时，我们的模型使用其特征记忆单元作为参考来提取输入的存储特征，并基于该特征，从标签记忆单元中检索输入的标签信息。为了使网络在这个框架中发挥作用，设计了一个新的记忆写入模块，根据元学习任务结构将标签信息编码到标签记忆中。在这里，我们证明了我们的模型在使用Omniglot和MNIST数据集的监督一次性分类任务中的表现远远优于MANN。
2017-10-19 cs.LG stat.ML
Multi-task Meta Label Correction for Time Series Prediction
Huazhong University of Science and Technology（华中科技大学）；Shanghai Jiao Tong University（上海交通大学）；Wuhan University of Technology（武汉理工大学）；Great Bay University（大湾区大学）
针对时间序列分类中部分特征信息和标签质量差的问题，提出一种多任务元学习标签校正方法，通过双分支神经网络和联合更新元知识实现自适应标注，在金融数据集上验证了其有效性。
2024-02-18 cs.CE cs.LG
Learning Soft Labels via Meta Learning
Apple（苹果公司）
独热标签不代表概念之间的软决策边界，因此，在其上训练的模型容易过拟合。使用软标签作为目标提供了正则化，但不同的软标签可能在不同的优化阶段是最佳的。此外，在存在噪声注释的情况下使用固定标签进行训练会导致更差的泛化。为了解决这些限制，我们提出了一个框架，在这个框架中，我们将标签视为可学习的参数，并将它们与模型参数一起优化。学习的标签不断适应模型的状态，从而提供动态正则化。当应用于监督图像分类的任务时，我们的方法在不同的数据集和架构中获得了一致的收益。例如，动态学习的标签在CIFAR100上将ResNet18提高了2.1%。当应用于包含噪声标签的数据集时，学习的标签纠正了注释错误，并在最先进的水平上有了显著的改进。最后，我们表明，学习标签捕捉类之间的语义关系，从而改善教师模型的下游任务的蒸馏。
2020-09-20 cs.CV cs.LG stat.ML
Generating Pseudo-labels Adaptively for Few-shot Model-Agnostic Meta-Learning
Huazhong University of Science and Technology（华中科技大学）
模型不可知元学习（MAML）是一种著名的少样本学习方法，它激发了许多后续工作，如ANIL和BOIL。然而，作为一种归纳方法，MAML无法充分利用查询集的信息，限制了其获得更高通用性的潜力。为了解决这个问题，我们提出了一种简单而有效的方法，自适应地生成伪标签，并可以提高MAML家族的性能。所提出的方法，被称为基于生成伪标签的MAML（GP-MAML），GP-ANIL和GP-BOIL，利用查询集的统计数据，以提高新任务的性能。具体来说，我们自适应地添加伪标签并从查询集中挑选样本，然后使用挑选的查询样本和支持集重新训练模型。GP系列还可以在元测试期间使用来自伪查询集的信息来重新训练网络。而一些转导方法，如转导传播网络（TPN），努力实现这一目标。
2022-07-09 cs.AI cs.LG
Revisiting Meta-Learning with Noisy Labels: Reweighting Dynamics and Theoretical Guarantees
University of California, San Diego（加州大学圣地亚哥分校）
本文对元学习重加权在标签噪声下的训练动力学进行三阶段理论分析，并提出轻量级替代方法，在合成和真实基准上优于强基线。
2025-10-14 cs.AI cs.LG
MetaPoison: Practical General-purpose Clean-label Data Poisoning
University of Maryland（马里兰大学）；University of Siegen（锡根大学）；United States Naval Academy（美国海军学院）
数据投毒-攻击者通过对训练数据的子集进行不可察觉的更改来控制模型的过程-是神经网络环境中的一种新兴威胁。针对数据投毒神经网络的现有攻击依赖于手工制作的算法，因为直接通过双层优化来解决中毒问题通常被认为是深度模型难以处理的。我们提出了MetaPoison，这是一种一阶方法，通过元学习和工艺毒药来近似双层问题，从而欺骗神经网络。MetaPoison是有效的：它比以前的清洁标签中毒方法有很大的优势。MetaPoison是健壮的：为一个模型制作的中毒数据可以传输到具有未知训练设置和架构的各种受害者模型。MetaPoison是通用的，它不仅适用于微调场景，还适用于从头开始的端到端训练，到目前为止，这对于使用深度网络的清洁标签攻击来说是不可行的。MetaPoison可以实现任意的对手目标--比如使用一个类别的毒药来使目标图像贴上另一个任意选择的类别的标签。最后，MetaPoison在现实世界中发挥作用。我们首次展示了在黑盒Google Cloud AutoML API上训练的模型的成功数据投毒。代码和预制毒药提供在https://github.com/wronnyhuang/metapoison
2021-02-21 cs.AI cs.CR cs.CV
PLATINUM: Semi-Supervised Model Agnostic Meta-Learning using Submodular Mutual Information
University of Texas at Dallas（德克萨斯大学达拉斯分校）
Few-Shot分类（FSC）要求每个类使用几个（通常为一到五个）数据点来训练模型。元学习已被证明能够通过对各种其他分类任务进行训练来学习FSC的参数化模型。在这项工作中，我们提出了PLATINUM（半监督模型不可知元学习使用子模块互信息），一种新的半监督模型不可知元学习框架，使用子模块互信息（SMI）功能，以提高FSC的性能。PLATINUM在元训练期间使用SMI函数在内外循环中利用未标记的数据，并为元测试获得更丰富的元学习参数化。我们研究了PLATINUM在两种情况下的性能- 1）未标记的数据点属于与某个事件的标记集相同的类集，以及2）存在不属于标记集的分布外类。我们在miniImageNet，tieredImageNet和Fewshot-CIFAR 100数据集上的各种设置上评估了我们的方法。我们的实验表明，PLATINUM优于MAML和半监督方法，如半监督FSC的伪标记，特别是对于每个类的标记样本比例很小。
2022-07-05 cs.LG
Learning to Segment Medical Images from Few-Shot Sparse Labels
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
在本文中，我们提出了一种新的方法，Few-Shot语义分割稀疏标记的图像。我们研究了我们的方法的有效性，这是基于模型不可知元学习（MAML）算法，在医疗场景中，使用稀疏标记和Few-Shot可以减轻生产新的注释数据集的成本。我们的方法在元训练中使用稀疏标签，在元测试中使用密集标签，从而使模型学习从稀疏标签预测密集标签。我们用四个胸部X射线数据集进行了实验，以评估两种类型的注释（网格和点）。结果表明，我们的方法是最合适的，当目标域与源域高度不同，实现Jaccard分数可比密集标签，使用不到2%的像素的图像标签在Few-Shot的情况下。
2021-08-22 cs.CV cs.LG
MetalGAN: Multi-Domain Label-Less Image Synthesis Using cGANs and Meta-Learning
University of Parma（帕尔马大学）
图像合成是当前计算机视觉和深度学习研究领域中最受关注的图像处理课题之一。研究者们致力于解决这一问题，主要集中在图像质量和尺寸、域和姿态变化、网络结构等方面，其中，使用单一结构生成不同域的图像是图像生成的一个重要目标。事实上，一个单一的多域网络将允许更大的灵活性和鲁棒性的图像合成任务比其他方法。本文提出了一种新的结构和训练算法，它能够产生多域输出使用一个单一的网络。数据集的一小部分是有意使用的，并且没有硬编码的标签（或类）。这是通过结合用于图像生成的条件生成对抗网络（cGAN）和用于域切换的元学习算法来实现的，我们称我们的方法为MetalGAN。该方法已被证明是适当的解决多领域的问题，并验证了面部属性转移，使用CelebA数据集。
2020-06-25 cs.CV cs.LG stat.ML
How to distribute data across tasks for meta-learning?
MediaTek Research（联发科研究院）
元学习模型将从以前的任务中获得的知识转移到快速学习新任务。它们在每个任务具有固定数量的数据点的基准上进行训练。这个数字通常是任意的，并且不知道它如何影响测试性能。由于标记数据是昂贵的，因此在训练任务中找到标签的最佳分配可以降低成本。给定一个固定的标签预算，我们应该使用少量的高标签任务，还是使用许多任务，每个任务都有很少的标签？我们是否应该为某些任务分配更多的标签，而为其他任务分配更少的标签？我们证明：1）如果任务是同构的，则存在统一的最优分配，由此所有任务获得相同量的数据; 2）在固定预算下，在任务数量和每个任务的数据点数量之间存在权衡，具有唯一的最优解; 3）当单独训练时，较难的任务应该以较少的任务数量为代价获得更多的数据; 4）当训练简单和困难的任务时，应该将更多的数据分配给简单的任务。有趣的是，神经科学实验表明，人类的视觉技能也能从简单的任务中更好地转移。我们在数学上证明了这些结果的混合线性回归，我们的经验表明，相同的结果适用于CIFAR-FS和mini-ImageNet上的Few-Shot图像分类。我们的研究结果为在收集元学习数据时跨任务分配标签提供了指导。
2022-04-08 cs.LG
Self-Supervised Generalisation with Meta Auxiliary Learning
辅助任务的学习可以提高主要任务的概括能力。然而，这是以手动标记辅助数据为代价的。我们提出了一种新的方法，自动学习适当的标签的辅助任务，这样任何监督学习任务可以得到改善，而不需要访问任何进一步的数据。该方法是训练两个神经网络：一个标签生成网络预测的辅助标签，和一个多任务网络训练的主要任务旁边的辅助任务。标签生成网络的损失包含了多任务网络的损失，因此两个网络之间的这种交互可以被视为具有双梯度的元学习的一种形式。我们表明，我们提出的方法，Meta辅助学习（MAXL），优于单任务学习7图像数据集，而不需要任何额外的数据。我们还表明，MAXL优于其他几个基线生成辅助标签，甚至是竞争力相比，人类定义的辅助标签。我们的方法的自我监督性质导致了一个有前途的新方向自动化的概括。源代码可以在https://github.com/lorenmt/maxl上找到。
2019-11-26 cs.CV cs.LG stat.ML
Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding
Shanghai Jiao Tong University（上海交通大学）
少样本学习的目标是在测试时仅用少量样本快速适应新类别，这主要是通过元学习的思想来解决的。然而，元学习方法本质上是跨各种Few-Shot任务进行学习，因此仍然需要具有细粒度监督的大规模训练数据来导出广义模型，从而涉及过高的注释成本。在本文中，我们将Few-Shot分类范式推向一个更具挑战性的场景，即，交叉粒度Few-Shot分类，其中模型在训练期间仅观察粗标签，而预期在测试期间执行细粒度分类。这项任务在很大程度上减轻了注释成本，因为细粒度的标记通常需要强大的特定于领域的专业知识。为了弥合跨粒度的差距，我们近似细粒度的数据分布的贪婪聚类的每个粗类到伪细类根据图像嵌入的相似性。然后，我们提出了一个元嵌入器，共同优化视觉和语义歧视，在实例和粗类明智的，以获得一个良好的特征空间，这个粗到细的伪标记过程。广泛的实验和消融研究进行了三个代表性的数据集上证明我们的方法的有效性和鲁棒性。
2021-07-20 cs.CV cs.LG stat.ML
A Meta-Learning Approach to One-Step Active Learning
Sorbonne Universites, UPMC Univ Paris 06（索邦大学，巴黎第六大学）；Ecole Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）
我们认为，当获得训练标签时，学习的问题是昂贵的，这通常是在文献中使用主动学习技术解决的。这些方法提供了在训练之前或训练期间选择要标记的示例的策略。这些策略通常是基于数学甚至理论的措施，但没有学习，因为它们是直接在培训中使用。我们设计了一个模型，其目的是在\textit{learning active-learning strategies}使用元学习设置。更具体地说，我们考虑基于池的设置，其中系统观察问题的数据集的所有示例，并且必须选择示例的子集以在Single Shot中进行标记。实验结果令人鼓舞。
2017-07-17 cs.LG
Addressing Ambiguity of Emotion Labels Through Meta-Learning
Hitachi, Ltd.（日立有限公司）
情感识别语料库中的情感标注由于标注者对情感的主观感知而具有很强的噪声和歧义性。这种模糊性可能会在自动分类中引入错误并影响整体性能。因此，我们提出了一个动态的标签校正和样本贡献权重估计模型。我们的模型是基于一个标准的BLSTM模型与注意两个额外的参数。第一个学习新的校正标签分布，旨在修复数据集中不准确的标签。另一种方法估计每个样本对训练过程的贡献，旨在忽略模糊和嘈杂的样本，同时为清晰的样本赋予更高的权重。我们通过交替优化方法训练我们的模型，在第一个时期，我们更新神经网络参数，在第二个时期，我们保持它们固定以更新标签校正和样本重要性参数。当在IEMOCAP数据集上训练和评估我们的模型时，我们获得的加权准确率（WA）和未加权准确率（UA）分别为65.9%和61.4%。与在语料库黄金标签上训练的具有注意力基线的BLSTM相比，这分别产生了2.5%、2.7%的绝对改善。
2019-11-07 cs.LG cs.SD eess.AS
Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
植物病害是粮食安全和作物生产的主要威胁之一。因此，利用人工智能的最新进展来辅助植物病害诊断是有价值的。一种流行的方法是将这个问题转化为叶子图像分类任务，然后可以通过强大的卷积神经网络（CNN）来解决。然而，基于CNN的分类方法的性能依赖于大量高质量的人工标注训练数据，在实际应用中不可避免地会在标注上引入噪声，导致模型过拟合和性能下降。为了克服这个问题，我们提出了一种新的框架，该框架将校正元学习模块结合到常见的CNN范式中，以在不使用额外监督信息的情况下训练噪声鲁棒的深度网络。所提出的方法具有以下优点：i）校正元学习的设计，以更多地关注无偏样本，从而加速收敛和提高分类精度。ii）我们的方法不需要对标签噪声分布做任何假设，对各种噪声都有很好的效果。iii）我们的方法作为一个即插即用模块，可以嵌入到任何基于梯度下降方法优化的深度模型中。进行了大量的实验，以证明我们的算法在国家的最先进的优越性能。
2020-03-18 cs.CV cs.LG eess.IV
Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning
Inception Institute of Artificial Intelligence（初始人工智能研究院）；University of Macau（澳门大学）；Terminus Group（特斯联集团）
无监督元学习的开创性方法CACTU是一种基于聚类的伪标记方法。这种方法是模型不可知的，可以与监督算法相结合，从未标记的数据中学习。然而，它经常遭受标签不一致或有限的多样性，这导致性能不佳。在这项工作中，我们证明，这是一个集群的嵌入空间中缺乏友好的属性的核心原因。我们通过最小化类间到类内的相似性比率来解决这个问题，以提供聚类友好的嵌入功能，并通过全面的实验来验证我们的方法。请注意，尽管在我们的嵌入空间中只使用了一个简单的聚类算法（k-means）来获得伪标签，但我们取得了显着的改进。此外，我们采用了渐进的评估机制，以获得更多的多样性样本，以进一步缓解有限的多样性问题。最后，我们的方法也是模型不可知的，可以很容易地集成到现有的监督方法。为了证明它的泛化能力，我们将其集成到两个代表性的算法：MAML和EP。三个主要的Few-Shot基准测试的结果清楚地表明，所提出的方法实现了显着的改进相比，国家的最先进的模型。值得注意的是，我们的方法在两个任务中也优于相应的监督方法。
2022-09-27 cs.CV cs.LG
EReLiFM: Evidential Reliability-Aware Residual Flow Meta-Learning for Open-Set Domain Generalization under Noisy Labels
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；KTH Royal Institute of Technology（皇家理工学院）；RISE Research Institutes of Sweden（瑞典RISE研究机构）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
提出EReLiFM方法，通过证据可靠性聚类和残差流匹配元学习，解决噪声标签下的开放集域泛化问题，实现最先进性能。
2025-10-15 cs.CV cs.LG cs.RO
DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for Domain Adaptation
National University of Defense Technology（国防科技大学）；Beijing Institute of Biotechnology（北京生物技术研究所）
本文提出DaMSTF框架，通过元学习估计伪实例重要性以降低标签噪声并保留困难样本，结合元构造器构建高质量元验证集，并利用领域对抗学习初始化网络以改善元学习收敛，在跨领域情感分类中将BERT性能平均提升近4%。
2023-08-05 cs.LG
Do We Really Need Gold Samples for Sample Weighting Under Label Noise?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
最近，由于深度神经网络在常见损失函数下对标签噪声的敏感性，使用标签噪声的学习获得了显著的关注。然而，理论上对标签噪声具有鲁棒性的损失通常会使训练变得困难。因此，最近提出的几种方法，如元权重网络（MW-Net），使用少量无偏的干净样本来学习加权函数，该加权函数在元学习框架下对可能具有损坏标签的样本进行降权。然而，获得这样一组干净的样品在实践中并不总是可行的。在本文中，我们分析表明，人们可以很容易地训练MW-Net没有访问干净的样本，简单地使用一个损失函数，是强大的标签噪声，如平均绝对误差，作为Meta目标训练加权网络。我们的实验表明，我们的方法击败了所有现有的不使用干净样本的方法，并且在各种噪声类型和噪声率的基准数据集上与使用黄金样本的方法表现相当。
2021-04-19 cs.CV cs.LG
Tethering Broken Themes: Aligning Neural Topic Models with Labels and Authors
RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道理工大学）
本文提出FANToM方法，将标签和作者信息纳入神经主题模型，通过学习标签、主题与作者的对齐关系提升主题质量和可解释性，并识别作者兴趣与相似性。
2025-02-07 cs.CL cs.IR cs.LG
Short-Term Stock Price-Trend Prediction Using Meta-Learning
Fu Jen Catholic University（辅仁天主教大学）；Academia Sinica（中央研究院）
尽管近年来传统的机器学习算法已被广泛用于股票价格预测，但所需的大量特定标记数据并不总是可用的。相比之下，元学习技术使用相对少量的训练数据，称为快速学习器。这种方法在数据可用性有限的条件下是有益的，这通常是基于受稀疏信息限制的时间序列数据进行趋势预测。在这项研究中，我们考虑短期股票价格预测使用元学习框架与几个卷积神经网络，包括时间卷积网络，完全卷积网络，和剩余神经网络。我们提出了一个滑动的时间范围来标记股票，根据他们的预测价格趋势，被称为斜坡检测标签，使用预测标签，包括“上升加”，“上升”，“下降”和“下降加”。建议的元学习框架的有效性进行了评估，应用到S&P500。实验结果表明，包含所提出的元学习框架显着提高了常规和平衡的预测准确性和盈利能力。
2022-02-17 cs.LG
Learning to Detect Noisy Labels Using Model-Based Features
Tsinghua University（清华大学）；China Merchants Bank（招商银行）；Recurrent AI；Meta
标签噪声在各种机器学习场景中普遍存在，例如使用模型预测和错误的数据注释进行自标记。许多现有的方法都是基于诸如样本损失之类的统计学，这可能不够灵活，无法实现最佳解决方案。基于元学习的方法通过学习数据选择函数来解决这个问题，但可能难以优化。鉴于这些优点和缺点，我们提出了选择增强噪声标签训练（SENT），它不依赖于元学习，同时具有数据驱动的灵活性。SENT将噪声分布转移到一个干净的集合，并训练一个模型，使用基于模型的特征将噪声标签与干净标签区分开来。从经验上讲，在包括文本分类和语音识别在内的广泛任务中，SENT在自训练和标签损坏的设置下提高了强基线的性能。
2022-12-28 cs.LG
Mitigating Label Noise using Prompt-Based Hyperbolic Meta-Learning in Open-Set Domain Generalization
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；Shanghai AI Lab（上海人工智能实验室）；University of Hildesheim（希尔德斯海姆大学）
本文提出HyProMeta框架，通过双曲元学习和可学习提示缓解标签噪声，提升开放集领域泛化的性能。
2026-01-07 cs.CV cs.LG eess.IV
Meta-Learning Siamese Network for Few-Shot Text Classification
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
少样本学习已被用于解决文本分类中的标签稀缺问题，其中基于元学习的方法已被证明是有效的，例如原型网络（PROTO）。尽管PROTO取得了很大的成功，但仍存在三个主要问题：（1）在计算原型向量时忽略了样本支持集的随机性;（2）忽略了标记样本的重要性;（3）以纯随机的方式构造元任务。在本文中，我们提出了一个元学习连体网络，即元SN，来解决这些问题。具体地说，Meta-SN不是从采样的支持集计算原型向量，而是利用外部知识（例如类名和描述性文本）进行类标签，这些知识被编码为原型向量的低维嵌入。此外，Meta-SN提出了一种新的元任务采样策略，该策略对难以分类的样本提供了更高的采样概率。在六个基准数据集上进行了大量的实验，以显示Meta-SN相对于其他最先进的模型的明显优势。为了重现性，所有数据集和代码均在https://github.com/hccngu/Meta-SN上提供。
2023-03-16 cs.AI cs.CL
Meta-Semi: A Meta-learning Approach for Semi-supervised Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））
针对现有半监督学习算法超参数多、真实场景实用性不足的问题，提出仅需额外调优一个超参数的元学习算法Meta-Semi，通过动态重加权无标注样本损失优化模型，理论上保证收敛，多项基准任务性能优异。
2021-09-07 cs.CV cs.LG stat.ML
Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification
Sunshine Insurance Group Corporation Limited（阳光保险集团股份有限公司）；Tsinghua University（清华大学）
本文提出一种标签依赖感知的集合预测网络，利用图卷积网络建模标签相关性，并引入Bhattacharyya距离提升召回，在多标签文本分类任务上优于现有基线。
2024-03-14 cs.CL
Domain Generalization via Semi-supervised Meta Learning
Simon Fraser University（西蒙弗雷泽大学）
领域泛化的目标是从多个源领域中学习，在分布不一致的情况下泛化到未知的目标领域。目前在这一领域的最先进的方法是完全监督，但对于许多现实世界的问题，它几乎是不可能获得足够的标记样本。在本文中，我们提出了第一种利用未标记样本的领域泛化方法，将元学习的情景训练和半监督学习相结合，称为DGSML。DGSML采用基于熵的伪标记方法为未标记的样本分配标签，然后利用一种新的差异损失来确保标记未标记样本之前和之后的类质心彼此接近。为了学习域不变表示，它还利用一种新的对齐损失来确保在添加未标记样本后计算的类质心对之间的距离在不同的域中保持不变。DGSML通过元学习方法来训练，以模拟输入源域和看不见的目标域之间的分布偏移。在基准数据集上的实验结果表明，DGSML优于最先进的领域泛化和半监督学习方法。
2020-09-30 cs.LG stat.ML
Graph Meta Learning via Local Subgraphs
Harvard University（哈佛大学）
现有的图的学习方法需要大量的标号和边信息。当新任务的数据稀缺时，元学习可以从先前的经验中学习，并形成急需的归纳偏差，以快速适应新任务。在这里，我们介绍G-Meta，一种新的图的元学习算法。G-Meta使用局部子图来传递特定于子图的信息，并通过Meta梯度更快地学习可传递的知识。G-Meta学习如何使用新任务中的少数节点或边快速适应新任务，并通过从其他图或相关但不相交的标签集中学习数据点来实现。G-Meta在理论上是合理的，因为我们证明了预测的证据可以在目标节点或边缘周围的局部子图中找到。在7个数据集和9个基线方法上的实验表明，G-Meta比现有方法的性能高出16.3%。与以前的方法不同，G-Meta成功地在具有挑战性的少样本学习设置中学习，这些设置需要泛化到全新的图形和从未见过的标签。最后，G-Meta可以扩展到大型图，我们在一个新的由1，840个图组成的生命树数据集上展示了这一点，在以前的工作中使用的图的数量增加了两个数量级。
2021-01-08 cs.LG stat.ML
Robust Document Representations using Latent Topics and Metadata
J.P. Morgan AI Research（摩根大通人工智能研究（J.P. Morgan AI Research））
使用自定义softmax输出层对预训练的神经语言模型进行任务特定的微调是最近处理文档分类问题时的实际方法。当在训练时标记的示例不可用时，以及当必须利用文档中的元数据工件时，这种技术是不够的。我们通过生成文档表示来解决这些挑战，这些文档表示以与任务无关的方式捕获文本和元数据工件。与传统的基于自回归或自编码的训练不同，我们的新的自监督方法在生成文本嵌入时学习输入空间的软分区。具体来说，我们采用预先学习的主题模型分布作为代理标签，并构建一个基于KL散度的损失函数。我们的解决方案还显式地合并了元数据，而不仅仅是用文本来扩充它们。所生成的文档嵌入表现出组成特征，并直接用于下游分类任务，以从少量标记的示例中创建决策边界，从而避免复杂的识别方法。我们通过广泛的评估证明，我们提出的跨模型融合解决方案在多个数据集上的性能优于几个竞争基线。
2020-10-23 cs.AI cs.CL cs.LG
Open Domain Generalization with Domain-Augmented Meta-Learning
Tsinghua University（清华大学）
利用可用的数据集来学习对未知领域具有高泛化能力的模型对于计算机视觉非常重要，特别是当未知领域的注释数据不可用时。我们研究了一个新的和实际的问题开放领域泛化（OpenDG），从不同的源域学习，以实现高性能的一个未知的目标域，其中每个单独的源域和目标域的分布和标签集可以是不同的。该问题可以普遍应用于不同的源域，并广泛适用于现实世界的应用。我们提出了一个域增强元学习框架来学习开放域的可泛化表示。我们通过新的Dirichlet混合在特征级别上扩展域，并通过蒸馏软标签在标签级别上扩展域，从而用缺失的类和其他领域知识补充每个域。我们通过设计新的元学习任务和损失来进行跨域元学习，以同时保留域唯一知识和跨域概括知识。在多个领域数据集上的实验结果表明，所提出的领域增强元学习（DAML）方法在未知领域识别方面优于现有方法。
2021-04-08 cs.CV cs.LG
Unsupervised Meta-Learning For Few-Shot Image Classification
University of Central Florida（中佛罗里达大学）
分类器的Few-Shot或一次性学习需要对要学习的任务类型有显著的归纳偏差。获得这一点的一种方法是通过对与目标任务类似的任务进行元学习。在本文中，我们提出了UMTRA，一个算法，执行无监督，模型不可知的元学习分类任务。UMTRA的元学习步骤在未标记图像的平面集合上执行。虽然我们假设这些图像可以分为不同的类，并且与目标任务相关，但不需要关于类或任何标签的显式信息。UMTRA使用随机采样和增强来创建元学习阶段的合成训练任务。标签仅在最终目标任务学习步骤中需要，并且它们可以少至每个类一个样本。在Omniglot和Mini-Imagenet的少样本学习基准测试中，UMTRA优于每一种基于表示的无监督学习的测试方法，同时与最近的CACTU算法交替获得最佳性能。与有监督的模型不可知元学习方法相比，UMTRA牺牲了一些分类精度，以减少几个数量级的所需标签。
2019-11-07 cs.CV cs.LG
MetaMixUp: Learning Adaptive Interpolation Policy of MixUp with Meta-Learning
MixUp是一种有效的数据增强方法，通过样本对及其标签之间的随机线性插值来正则化深度神经网络。它在模型正则化、半监督学习和领域自适应等方面发挥着重要作用。然而，尽管它在经验上取得了成功，但它随机混合样本的缺陷却很少被研究。由于深度网络能够记忆整个数据集，因此由香草MixUp生成的损坏样本以及错误选择的插值策略将降低网络的性能。为了克服由损坏的样本，启发元学习（学习学习），我们提出了一种新的技术学习混淆在这项工作中，即MetaMixUp。与从预定义分布中采样插值策略的香草MixUp不同，本文引入了一种基于元学习的在线优化方法，以数据自适应的方式动态学习插值策略。通过元学习的验证集性能捕获了欠拟合问题，这为改进插值策略提供了更多信息。此外，我们调整我们的方法为伪标签为基础的半监督学习（SSL）以及一个完善的伪标签策略。在我们的实验中，我们的方法取得了更好的性能比香草MixUp及其变种下监督学习配置。特别是，大量的实验表明，我们的MetaMixUp适应SSL大大优于MixUp和许多国家的最先进的方法在SSL配置下的CIFAR-10和SVHN基准。
2019-08-27 cs.CV cs.LG
Any-Way Meta Learning
Seoul National University（首尔大学）
针对元学习受限于固定类别基数的问题，提出“any-way”学习范式，利用随机数字标签分配产生的标签等价性解放模型约束，并引入语义类别信息注入机制，在 MAML 和 ProtoNet 上验证了其优于传统固定类别基数模型的性能。
2024-01-10 cs.AI cs.LG
Meta-learning of semi-supervised learning from tasks with heterogeneous attribute spaces
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）
针对现有半监督元学习方法要求任务属性空间一致的局限，提出带可变特征自注意力层的异构任务半监督元学习方法，经实验验证性能优于现有方法。
2023-11-09 cs.AI cs.LG stat.ML
MetaInfoNet: Learning Task-Guided Information for Sample Reweighting
Nanyang Technological University（南洋理工大学）
深度神经网络已经被证明很容易过拟合到带有标签噪声或类别不平衡的有偏训练数据。元学习算法通常被设计为通过学习将训练损失作为输入以生成样本权重的Meta加权网络来以样本重新加权的形式缓解这个问题。在本文中，我们主张为Meta加权网络选择适当的输入对于特定任务中所需的样本权重至关重要，而训练损失并不总是正确的答案。鉴于此，我们提出了一种新的元学习算法，MetaInfoNet，它自动学习有效的表示作为Meta加权网络的输入，强调任务相关的信息与信息瓶颈策略。在具有标签噪声或类别不平衡的基准数据集上进行的大量实验结果验证了MetaInfoNet优于许多最先进的方法。
2020-12-09 cs.CV cs.LG
Universal Algorithm-Implicit Learning
研究针对当前元学习方法局限性，引入理论框架定义实际通用性及算法显隐式学习。提出基于Transformer的TAIL算法，有随机投影等创新，在少样本基准测试中性能领先，能推广到未见领域和模态，处理更多类别任务且节省计算成本。
2026-07-08 cs.AI cs.CV cs.LG
