Generalizing to Unseen Domains: A Survey on Domain Generalization
Microsoft Research Asia(微软亚洲研究院);School of Data Science, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Institute for Data Science, Tsinghua University(清华大学数据科学研究院)
机器学习系统通常假设训练和测试分布是相同的。为此,一个关键的要求是开发可以推广到看不见的分布的模型。领域泛化(DG),即,分布外泛化近年来引起了越来越多的关注。领域泛化处理一个具有挑战性的设置,其中给定一个或多个不同但相关的域,目标是学习一个模型,该模型可以泛化到一个看不见的测试域。近年来,领域泛化研究取得了很大的进展。本文首次回顾了这一领域的最新进展。首先,我们给出了领域泛化的形式化定义,并讨论了几个相关的领域。然后,我们全面回顾了与领域泛化相关的理论,并仔细分析了泛化背后的理论。我们将最近的算法分为三类:数据操作,表示学习,和学习策略,并提出了几个流行的算法详细的每一类。第三,我们介绍了常用的数据集,应用程序和我们的开源代码库,以进行公平的评估。最后,我们总结了现有的文献,并提出了未来的一些潜在的研究课题。
2022-05-24 cs.AI cs.CV cs.LG
Meta-learning approaches for few-shot learning: A survey of recent advances
University of Technology Sydney(悉尼科技大学);Western Sydney University(西悉尼大学);Óbuda University(欧布达大学)
尽管深度学习在学习更深层次的多维数据方面取得了惊人的成功,但它在新的未知任务上的性能下降,主要是因为它专注于相同分布的预测。此外,深度学习因对少量样本的泛化能力差而臭名昭著。元学习是一种很有前途的方法,它通过适应具有Few-Shot数据集的新任务来解决这些问题。本调查首先简要介绍了元学习,然后调查了最先进的元学习方法和最新进展:(I)基于度量,(II)基于记忆,(III)和基于学习的方法。最后,讨论了当前的挑战和未来研究的见解。
2023-03-13 cs.AI cs.LG
Domain-Generalization to Improve Learning in Meta-Learning Algorithms
提出DGS-MAML元学习算法,在双层优化框架中结合梯度匹配与锐度感知最小化,并基于PAC-Bayes理论分析,有效提升了少样本学习任务下的准确率、泛化能力与快速适应性。
2025-08-13 cs.AI cs.LG
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University(南京大学)
元学习为学习者提供了一种有效的学习方式,并在许多应用中取得了巨大的成功。然而,大多数元学习文献都集中在处理来自同一领域的任务,这使得它很难推广到其他未知领域的任务。在这项工作中,我们解决这个问题,模拟任务从其他看不见的领域,以提高元学习方法的泛化和鲁棒性。具体来说,我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务,并开发了一种新的对抗性学习机制来训练它,基于伪任务,元学习模型可以学习跨领域的元知识,可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明,该方法适用于各种元学习框架。此外,我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准,并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
Meta-learning in healthcare: A survey
Emory University(埃默里大学);University of Tehran(德黑兰大学);University of New England(新英格兰大学);Emory University School of Medicine(埃默里大学医学院)
该综述聚焦医疗领域元学习应用,梳理其理论基础与核心方法,按多/单任务、多/少样本分类调研相关研究,分析现有挑战与潜在方案并给出未来展望,为医疗场景下的元学习应用提供参考。
2024-06-08 cs.AI cs.LG
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题,提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法,在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
Meta Learning for Natural Language Processing: A Survey
National Taiwan University(国立台湾大学);Amazon AI(亚马逊人工智能);University of Stuttgart(斯图加特大学)
深度学习已经成为自然语言处理领域的主流技术。然而,这些技术需要许多标记的数据,并且跨领域的通用性较低。元学习是机器学习中一个新兴的研究领域,旨在研究如何更好地学习学习算法。这些方法旨在从各个方面改进算法,包括数据效率和泛化能力。方法的有效性在许多NLP任务中得到了证实,但在NLP中还没有对这些方法进行系统的调查,这阻碍了更多的研究者加入这一领域。我们这篇调查论文的目标是为研究人员提供NLP中相关元学习作品的指针,并吸引NLP社区更多的关注,以推动未来的创新。本文首先介绍了元学习的一般概念和常用的元学习方法。然后,我们总结了任务的建设,设置和应用元学习的各种NLP问题,并回顾了元学习在NLP社区的发展。
2022-07-02 cs.AI cs.CL cs.LG
Open Domain Generalization with Domain-Augmented Meta-Learning
Tsinghua University(清华大学)
利用可用的数据集来学习对未知领域具有高泛化能力的模型对于计算机视觉非常重要,特别是当未知领域的注释数据不可用时。我们研究了一个新的和实际的问题开放领域泛化(OpenDG),从不同的源域学习,以实现高性能的一个未知的目标域,其中每个单独的源域和目标域的分布和标签集可以是不同的。该问题可以普遍应用于不同的源域,并广泛适用于现实世界的应用。我们提出了一个域增强元学习框架来学习开放域的可泛化表示。我们通过新的Dirichlet混合在特征级别上扩展域,并通过蒸馏软标签在标签级别上扩展域,从而用缺失的类和其他领域知识补充每个域。我们通过设计新的元学习任务和损失来进行跨域元学习,以同时保留域唯一知识和跨域概括知识。在多个领域数据集上的实验结果表明,所提出的领域增强元学习(DAML)方法在未知领域识别方面优于现有方法。
2021-04-08 cs.CV cs.LG
Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning?
Computer Science Department State University of New York at Binghamton(纽约州立大学宾汉姆顿分校计算机科学系)
为了在不引入更多参数的情况下获得更好的性能,已经在提高深度神经网络(DNN)的泛化能力方面做出了大量努力。另一方面,元学习方法在少样本学习中对新任务表现出强大的泛化能力。直观的、少样本学习比标准的监督学习更具挑战性,因为每个目标类只有很少的训练样本或没有训练样本。由此产生的自然问题是,元学习思想是否可以用于提高DNN在标准监督学习上的泛化能力。在本文中,我们提出了一种新的基于元学习的DNN训练过程(MLTP),并证明了元学习的想法确实可以提高DNN的泛化能力。MLTP通过将一批训练样本视为一个任务来模拟元训练过程。其关键思想是,用于提高当前任务性能的梯度下降步骤也应该提高新的任务性能,这被当前用于训练神经网络的标准过程所忽略。MLTP还受益于所有现有的训练技术,如dropout、权重衰减和批量归一化。我们通过在三个基准数据集上训练各种小型和大型神经网络来评估MLTP,即,CIFAR-10、CIFAR-100和Tiny ImageNet。实验结果表明,在所有不同大小的DNN上,泛化性能都得到了一致的提高,这验证了MLTP的承诺,并证明了元学习思想确实能够提高DNN在标准监督学习上的泛化能力。
2020-02-27 cs.CV cs.LG stat.ML
Cross-Modal Generalization: Learning in Low Resource Modalities via Meta-Alignment
Carnegie Mellon University(卡内基梅隆大学);University of Tokyo(东京大学)
自然界中有大量通过视觉、听觉、触觉和语言形式表达的概念。然而,多模式学习方面的现有进展主要集中在训练和考试时存在同一套模式的问题上,这使得在低资源模式下的学习特别困难。在这项工作中,我们提出了跨模态泛化的算法:一种学习范式,用于训练模型,该模型可以(1)在目标模态(即元学习)中快速执行新任务,以及(2)在不同的源模态上进行训练。我们研究一个关键的研究问题:我们如何才能确保泛化跨模态,尽管使用不同的源和目标模态单独的编码器?我们的解决方案基于元对齐,这是一种使用强和弱配对的跨模态数据对齐表示空间的新方法,同时确保快速泛化到不同模态的新任务。我们在3个分类任务上研究这个问题:文本到图像,图像到音频和文本到语音。我们的研究结果表明,即使新的目标模态只有几个(1-10)标记的样本,并在嘈杂的标签的存在下,在低资源的方式特别普遍的情况下,强大的性能。
2020-12-04 cs.AI cs.CL cs.CV
FEED: Fairness-Enhanced Meta-Learning for Domain Generalization
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Baylor University(贝勒大学)
针对元学习中分布外泛化与公平性兼顾的难题,提出FEED框架,通过将数据潜在表示解耦为三类向量并将公平感知不变性准则融入元学习,实现跨域鲁棒泛化,实验验证其在准确率和公平性上均优于现有最优方法。
2024-11-02 cs.AI cs.LG
A Unified Information-Theoretic Framework for Meta-Learning Generalization
School of Computer Science of Technology(科技学院计算机科学系);School of Biomedical Informatics(生物医学信息学系);Department of Oncology(肿瘤学系);Department of Computer Science and Technology(计算机科学与技术系)
本文提出统一的单步信息论框架,推导出更紧致的元泛化界,并通过梯度协方差分析为噪声和迭代元学习算法提供了新的理论见解。
2025-09-28 cs.LG math.ST stat.ML
Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis
Université Laval(拉瓦尔大学)
我们得到一个新的信息理论分析的泛化性能的元学习算法。具体地说,我们的分析提出了一个通用的理解传统的学习到学习的框架和现代模型无关的元学习(MAML)算法。此外,我们还为MAML的随机变体提供了一个数据依赖的泛化界,这对于深度少样本学习来说是非空的。与依赖于梯度的平方范数的以前的界限相比,对模拟数据和一个著名的Few-Shot基准的经验验证表明,我们的界限在大多数情况下是数量级更紧。
2021-12-10 cs.LG stat.ML
Context-Aware Self-Adaptation for Domain Generalization
Carleton University(卡尔顿大学);Amii(Amii研究院)
提出用于领域泛化的两阶段方法CASA,利用小批量特征均值等上下文信息自适应调整预训练模型,并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
Improving Generalization in Meta-learning via Task Augmentation
Stanford University(斯坦福大学);Tencent AI Lab(腾讯人工智能实验室);Rutgers University(罗格斯大学);City University of Hong Kong(香港城市大学);Pennsylvania State University(宾夕法尼亚州立大学)
元学习已被证明是一个强大的范式,从以前的任务转移的知识,以促进新的任务的学习。目前的主流算法训练一个良好的广义模型初始化,这是适应每个任务通过支持集。关键在于优化初始化的泛化能力,这是衡量的性能调整后的模型对每个任务的查询集。不幸的是,经验结果证明,这种泛化措施,推动初始化过拟合的元训练任务,这显着削弱了泛化和适应新的任务。为了解决这个问题,我们在评估泛化时积极地用“更多数据”来增强元训练任务。具体来说,我们提出了两种任务增强方法,包括MetaMix和Channel Shuffle。MetaMix线性组合了支持集和查询集的样本的特征和标签。对于每类样本,通道随机替换其通道的子集与来自不同类的相应通道。理论研究表明任务增强如何提高元学习的泛化能力。此外,MetaMix和Channel Shuffle在许多数据集上的表现都大大优于最先进的结果,并且与现有的元学习算法兼容。
2021-06-09 cs.LG stat.ML
Meta-Learning in Neural Networks: A Survey
Samsung AI Centre, Cambridge(三星人工智能中心剑桥);University of Edinburgh(爱丁堡大学)
近年来,人们对元学习(learning-to-learn)的兴趣急剧上升。与使用固定学习算法从头开始解决任务的传统人工智能方法相反,元学习旨在改进学习算法本身,给出多个学习片段的经验。这种范式为解决深度学习的许多传统挑战提供了机会,包括数据和计算瓶颈以及泛化。本调查描述了当代元学习的前景。我们首先讨论了元学习的定义,并将其与相关领域(如迁移学习和超参数优化)进行了定位。然后,我们提出了一个新的分类法,提供了一个更全面的细分空间的元学习方法今天。我们调查了元学习的应用前景和成功,如少样本学习和强化学习。最后,我们讨论了突出的挑战和有前途的未来研究领域。
2020-11-07 cs.LG stat.ML
Exploring Dualistic Meta-Learning to Enhance Domain Generalization in Open Set Scenarios
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
针对开放集域泛化中未知类识别和决策边界偏移问题,提出双元元学习联合域类匹配策略(MEDIC),通过隐式梯度匹配同时优化域间和类间任务分割,实现平衡边界,在开放集和闭集场景均表现优异。
2026-06-25 cs.AI cs.LG
Meta Dropout: Learning to Perturb Features for Generalization
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
一个推广良好的机器学习模型应该在看不见的测试示例上获得低错误。因此,如果我们知道如何最优地扰动训练样本来解释测试样本,我们可以实现更好的泛化性能。然而,由于测试数据的分布是未知的,因此在标准机器学习框架中不可能获得这种扰动。为了应对这一挑战,我们提出了一种新的正则化方法,元丢弃,学习扰动的潜在特征的训练样本泛化的元学习框架。具体来说,我们元学习一个噪声生成器,它输出潜在特征的乘性噪声分布,以输入依赖的方式在测试实例上获得低错误。然后,学习噪声生成器可以在元测试时间扰动看不见的任务的训练样本,以提高泛化能力。我们在Few-Shot分类数据集上验证了该方法,结果表明,该方法显著提高了基础模型的泛化性能,并且在很大程度上优于现有的正则化方法,如信息瓶颈,流形混淆和信息丢失。
2022-02-12 cs.LG stat.ML
Improving Generalization in Meta-Learning via Meta-Gradient Augmentation
Shandong University(山东大学);Shandong Jianzhu University(山东建筑大学)
针对元学习双循环框架的过拟合问题,提出不依赖数据的元梯度增强方法MGAug,通过三种剪枝策略(含新的鲶鱼剪枝)生成增强元梯度,有理论保证且在少样本基准上性能优于现有基线。
2023-06-14 cs.AI cs.LG
Federated Domain Generalization: A Survey
College of Computer Science and Engineering, Northeastern University(计算机科学与工程学院,东北大学);Distributed Systems Group, TU Wien(分布式系统组,TU Wien);College of Software, Northeastern University(软件学院,东北大学);College of Information Science and Engineering, Northeastern University(信息科学与工程学院,东北大学)
本文首次系统综述联邦域泛化(FDG),梳理其从传统机器学习到域适应与域泛化的发展脉络,将现有方法分为联邦域对齐、数据操作、学习策略和聚合优化四类,并总结常用数据集、评估基准及未来研究方向。
2024-03-01 cs.AI cs.LG
A Survey of Deep Meta-Learning
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
深度神经网络可以在大数据集和足够的计算资源下取得巨大成功。然而,他们快速学习新概念的能力有限。元学习是解决这个问题的一种方法,它使网络能够学习如何学习。深度元学习领域发展迅速,但缺乏对当前技术的统一、深入的概述。通过这项工作,我们的目标是弥合这一差距。在为读者提供了理论基础之后,我们调查并总结了关键方法,这些方法分为i)~度量,ii)~模型和iii)~基于优化的技术。此外,我们确定了主要的开放式挑战,如异构基准的性能评估,并减少元学习的计算成本。
2021-04-21 cs.AI cs.LG stat.ML
Discriminative Adversarial Domain Generalization with Meta-learning based Cross-domain Validation
University of South Florida(南佛罗里达大学)
机器学习模型的泛化能力是指通过从一个或多个可见领域学习来泛化“不可见”领域的知识,对于在现实世界条件下开发和部署机器学习应用非常重要。领域泛化(DG)技术旨在提高机器学习模型的泛化能力,其中学习的特征表示和分类器是提高泛化能力和做出决策的两个关键因素。在本文中,我们提出了判别式对抗领域泛化(DADG)与基于元学习的跨域验证。我们提出的框架包含两个主要组件,它们协同工作以构建域广义DNN模型:(i)判别式对抗学习,它主动学习多个“可见”域上的广义特征表示,以及(ii)基于元学习的跨域验证,它通过在训练过程中应用元学习技术来模拟训练/测试域转移。在实验评估中,我们提出的方法和其他现有的方法在三个基准数据集上进行了全面的比较。结果表明,DADG始终优于强大的基线DeepAll,并且在大多数评估案例中优于其他现有的DG算法。
2022-02-16 cs.LG
MLDGG: Meta-Learning for Domain Generalization on Graphs
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Department of Computer Science, Baylor University(贝勒大学计算机科学系);School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院)
本文提出 MLDGG 框架,通过跨多领域元学习结合结构学习与语义识别,解耦领域不变语义和领域特定变化,提升图神经网络在分布偏移下的可适应泛化能力,并在三种分布偏移设置中超越基线方法。
2024-11-19 cs.AI cs.LG
Modular meta-learning in abstract graph networks for combinatorial generalization
MIT(麻省理工学院)
模块化元学习是一种新的框架,它通过以不同的方式组合一小组神经模块来推广看不见的数据集。在这项工作中,我们提出了抽象的图形网络:使用图形作为系统的子部分的抽象,没有固定的节点分配到系统的子部分,我们需要监督。我们将这一想法与模块化元学习相结合,以获得一个灵活的框架,并将其组合推广到内置的的新任务。然后,我们用它来模拟推任意形状的物体从很少或没有训练数据。
2018-12-19 cs.LG stat.ML
Balanced Direction from Multifarious Choices: Arithmetic Meta-Learning for Domain Generalization
Nanjing University(南京大学);Southeast University(东南大学);Suzhou Laboratory(苏州实验室)
针对域泛化中梯度匹配方向单一的问题,提出算术元学习,通过估计源域最优参数质心实现更精确的平衡,实验验证有效。
2025-03-23 cs.AI cs.LG stat.ML
Meta-Learning: A Survey
Eindhoven University of Technology(埃因霍温理工大学)
元学习,或学习学习,是系统地观察不同的机器学习方法如何在广泛的学习任务上执行的科学,然后从这种经验或元数据中学习,以比其他方式更快地学习新任务。这不仅大大加快和改进了机器学习管道或神经架构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在这一章中,我们提供了在这个迷人的和不断发展的领域的艺术状态的概述。
2018-10-08 cs.LG stat.ML
Learning to Generalize: Meta-Learning for Domain Generalization
Queen Mary University of London(伦敦玛丽女王大学);University of Edinburgh(爱丁堡大学)
域偏移是指在一个源域中训练的模型在应用于具有不同统计数据的目标域时表现不佳的众所周知的问题。领域泛化(DG)技术试图通过产生模型来缓解这个问题,所述模型通过设计很好地泛化到新的测试领域。提出了一种新的领域泛化{元学习}方法。而不是设计一个特定的模型,是强大的域转移在大多数以前的DG工作,我们提出了一个模型不可知的训练过程DG。我们的算法模拟训练/测试域转移在训练过程中合成虚拟测试域内的每个小批量。元优化目标要求提高训练域性能的步骤也应该提高测试域性能。这个元学习过程训练具有良好泛化能力的模型到新的领域。我们评估了我们的方法,并在最近的跨域图像分类基准上取得了最先进的结果,同时在两个经典的强化学习任务上展示了其潜力。
2017-10-10 cs.LG
Improving Meta-Learning Generalization with Activation-Based Early-Stopping
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔综合理工学院)
用于少样本学习的元学习算法旨在训练神经网络,该神经网络能够仅使用少量示例来推广到新任务。早期停止对性能至关重要,当模型训练达到对新任务分布的最佳泛化时,停止模型训练。元学习中的早期停止机制通常依赖于从训练(源)数据集提取的元验证集的标记示例上测量模型性能。这在Few-Shot迁移学习设置中是有问题的,其中元测试集来自不同的目标数据集(OOD),并且可能与元验证集具有较大的分布偏移。在这项工作中,我们提出了基于激活的早期停止(ABE),一种替代使用基于验证的早期停止元学习。具体来说,我们分析了在元训练期间,每个隐藏层的神经激活的演变,在目标任务分布的单个任务的一小部分未标记的支持示例上,因为这构成了目标问题的最小和可扩展的可访问信息。我们的实验表明,简单的,标签不可知的统计激活提供了一种有效的方法来估计目标泛化如何随着时间的推移而演变。在每个隐藏层,我们表征的激活分布,从他们的第一和第二阶矩,然后进一步总结沿特征尺寸,从而在一个紧凑而直观的表征在四维空间。在整个训练时间内,检测目标激活轨迹何时以及在哪一层偏离源数据的激活轨迹,使我们能够在不同算法、源数据集和目标数据集之间的大量Few-Shot迁移学习设置中执行早期停止并改进泛化。
2022-08-03 cs.AI cs.LG stat.ML
Multimodality in Meta-Learning: A Comprehensive Survey
Lenovo Machine Intelligence Center(联想机器智能中心);Delft University of Technology(代尔夫特理工大学);The Chinese University of Hong Kong(香港中文大学)
元学习作为一种比传统机器学习方法更有效的训练框架已经得到了广泛的普及。然而,其在复杂任务分布,如多模态任务,泛化能力还没有得到深入研究。近年来,基于多模态的元学习研究不断涌现。本调查提供了一个全面的概述,基于多模态的元学习景观的方法和应用。我们首先形式化了多模态元学习的定义,以及在这个不断发展的领域中的研究挑战,例如如何在多模态场景中丰富少样本学习(FSL)或零样本学习(ZML)的输入,以及如何将模型推广到新的任务。然后,我们提出了一个新的分类系统讨论典型的元学习算法在多模态任务。我们调查了相关论文的贡献,并根据我们的分类法进行了总结。最后,我们提出了这个有前途的领域的潜在研究方向。
2022-05-07 cs.LG
Generalization of Model-Agnostic Meta-Learning Algorithms: Recurring and Unseen Tasks
Massachusetts Institute of Technology(麻省理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了模型无关元学习(MAML)算法在监督学习问题中的泛化特性。我们专注于设置中,我们训练的MAML模型的$m$任务,每个$n$数据点,并从两个角度描述其泛化误差:首先,我们假设在测试时的新任务是训练任务之一,我们表明,对于强凸目标函数,预期的超额人口损失是有界的${\mathcal{O}}(1/mn)$。其次,我们认为MAML算法的泛化到一个看不见的任务,并表明所产生的泛化误差取决于总的变化之间的新任务和任务的基本分布的训练过程中观察到的距离。我们的证明技术依赖于算法的稳定性和算法的泛化界之间的联系。特别是,我们提出了一个新的定义的稳定性元学习算法,这使我们能够捕获的任务数$m$和每个任务的样本数$n$的MAML的泛化误差的作用。
2021-11-17 cs.LG math.OC stat.ML
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出自监督元提示学习框架SUPMER,通过自监督元学习学习通用提示初始化并联合元学习梯度正则化函数,缓解少样本场景下软提示初始化依赖和过拟合问题,提升下游任务的泛化能力。
2023-10-23 cs.CL cs.LG
Learning to generate imaginary tasks for improving generalization in meta-learning
City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯人工智能实验室)
元学习在现有基准上的成功是基于元训练任务的分布覆盖元测试任务的假设。在任务不足或元训练任务分布非常窄的应用中,经常违反假设会导致记忆或学习者过拟合。最近的解决方案追求元训练任务的增强,而生成正确和足够想象的任务仍然是一个悬而未决的问题。在本文中,我们寻求一种方法,通过任务上采样网络从任务表示中对元训练任务进行上采样。此外,由此产生的方法称为对抗任务上采样(ATU)足以生成任务,可以通过最大化对抗损失来最大限度地为最新的元学习者做出贡献。在Few-Shot正弦回归和图像分类数据集上,我们经验性地验证了ATU在元测试性能和上采样任务的质量方面比最先进的任务增强策略有显著的改进。
2022-06-09 cs.LG
A Comprehensive Overview and Survey of Recent Advances in Meta-Learning
这篇文章回顾了元学习,也被称为学习,它寻求快速和准确的模型适应看不见的任务,应用于高度自动化的人工智能,少样本学习,自然语言处理和机器人技术。与深度学习不同,元学习可以应用于Few-Shot高维数据集,并考虑进一步改进模型对未知任务的泛化。深度学习关注样本内预测,而元学习关注样本外预测的模型自适应。元学习可以不断进行自我改进,以实现高度自主的AI。元学习可以用作补充原始深度学习模型的附加泛化块。元学习寻求将机器学习模型适应于与训练任务大不相同的看不见的任务。元学习与智能体和环境之间的协同进化为从头开始训练无法解决的复杂任务提供了解决方案。元学习方法论涵盖了广泛的伟大思想。我们简要介绍了以下几类元学习方法:黑盒元学习,基于度量的元学习,分层元学习和贝叶斯元学习框架。最近的应用集中在元学习与其他机器学习框架的集成,以提供可行的集成问题解决方案。我们简要介绍了最近的元学习的进展,并讨论了潜在的未来研究方向。
2020-10-26 cs.LG stat.ML
Domain Generalization via Semi-supervised Meta Learning
Simon Fraser University(西蒙弗雷泽大学)
领域泛化的目标是从多个源领域中学习,在分布不一致的情况下泛化到未知的目标领域。目前在这一领域的最先进的方法是完全监督,但对于许多现实世界的问题,它几乎是不可能获得足够的标记样本。在本文中,我们提出了第一种利用未标记样本的领域泛化方法,将元学习的情景训练和半监督学习相结合,称为DGSML。DGSML采用基于熵的伪标记方法为未标记的样本分配标签,然后利用一种新的差异损失来确保标记未标记样本之前和之后的类质心彼此接近。为了学习域不变表示,它还利用一种新的对齐损失来确保在添加未标记样本后计算的类质心对之间的距离在不同的域中保持不变。DGSML通过元学习方法来训练,以模拟输入源域和看不见的目标域之间的分布偏移。在基准数据集上的实验结果表明,DGSML优于最先进的领域泛化和半监督学习方法。
2020-09-30 cs.LG stat.ML
Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Department of ECE, The Hong Kong University of Science and Technology(香港科学与技术大学电子工程系);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文研究了无线环境下基于元学习的个性化联邦学习在泛化与收敛之间的权衡,通过空中计算分析了信道损伤对泛化和收敛的影响。
2025-12-01 cs.IT cs.LG eess.SP
A Survey of Generalization of Graph Anomaly Detection: From Transfer Learning to Foundation Models
School of ICT Griffith University(信息与通信技术学院 格里菲斯大学);School of CSE University of New South Wales(计算机科学与工程学院 新南威尔士大学)
本文系统综述图异常检测的泛化问题,从迁移学习到基础模型,提出细粒度分类法,总结现有方法并指出挑战与未来方向。
2025-09-08 cs.LG
Towards Sleep Scoring Generalization Through Self-Supervised Meta-Learning
University of Bern(伯尔尼大学)
在这项工作中,我们介绍了一种新的元学习方法睡眠评分的基础上自监督学习。我们的方法旨在构建睡眠评分模型,该模型可以在不同的患者和记录设施中推广,但不需要对目标数据进行进一步的调整。为了实现这一目标,我们将我们的方法建立在模型不可知的元学习(MAML)框架之上,通过引入自监督学习(SSL)阶段,并将其称为S2MAML。我们表明,S2MAML可以显着优于MAML。性能的提高来自SSL阶段,我们基于一个通用的伪任务,该任务将过拟合限制在训练数据集中存在的特定于主题的模式。我们证明了S2MAML在SC,ST,ISRUC,UCD和CAP数据集上的性能优于标准监督学习和MAML。
2022-07-27 cs.LG
Meta Networks
University of Massachusetts(马萨诸塞大学)
神经网络已经成功地应用于具有大量标记数据的应用中。然而,在保持先前学习的性能的同时,用小的训练数据快速概括新概念的任务仍然对神经网络模型提出了重大挑战。在这项工作中,我们介绍了一种新的元学习方法,Meta Networks(MetaNet),学习跨任务的元级知识,并通过快速参数化快速泛化转移其归纳偏见。在Omniglot和Mini-ImageNet基准测试中进行评估时,我们的MetaNet模型实现了接近人类水平的性能,并以高达6%的准确度优于基线方法。我们展示了MetaNet与泛化和持续学习相关的几个吸引人的特性。
2017-06-08 cs.LG stat.ML
A Short Survey of Systematic Generalization
本调查包括系统概括和机器学习如何解决这个问题的历史。我们的目标是总结和组织传统和最近改进的相关信息。我们首先介绍了系统概括的定义,然后介绍了古典主义和联结主义。然后,我们讨论不同类型的连接主义者,以及他们如何处理的泛化。讨论了变量约束和因果关系两个关键问题。我们研究了语言,视觉和VQA领域的系统泛化。从不同方面讨论了最近的改进。系统泛化在人工智能中有着悠久的历史。我们只能支付许多捐款中的一小部分。我们希望本文提供了一个背景,并有利于在未来的工作中发现。
2022-11-22 cs.AI cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
A Survey on Compositional Generalization in Applications
Columbia University(哥伦比亚大学);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心);Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所)
合成泛化领域目前正在经历人工智能的复兴,因为各种实际应用所激发的新问题设置和算法正在引入,建立在经典合成泛化问题之上。本文旨在提供一个全面的审查最近的发展,在多个现实生活中的应用组合泛化。具体来说,我们介绍了一种常见的应用程序的分类,并总结了这些领域的最新技术。此外,我们还确定了当前的重要趋势,并提供了与这一新兴领域的未来有关的新观点。
2023-02-02 cs.AI cs.LG cs.SC
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University(西蒙弗雷泽大学)
本文从信息论角度研究元强化学习中的分布外泛化,推导了两种分布偏移场景下的泛化界限,并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Generalization Bounds for Meta-Learning via PAC-Bayes and Uniform Stability
Princeton University(普林斯顿大学)
我们的动机是在元学习的背景下提供强泛化保证的问题。现有的泛化界限要么是具有挑战性的评估或提供空洞的保证,即使在相对简单的设置。我们推导出一个可能近似正确(PAC)的范围为基于梯度的元学习使用两种不同的泛化框架,以处理定性不同的挑战,在“基地”和“Meta”水平的泛化。我们采用统一稳定的算法在基础水平和PAC贝叶斯框架在Meta水平的界限。这种方法的结果是一种新的PAC界限,当基本学习者快速适应时,这种界限会更紧,这正是元学习的目标。我们表明,我们的界提供了一个更严格的保证比其他的单位球上的玩具非凸问题和基于文本的分类例子的界限。我们还提出了一个实际的正则化方案的动机在设置的边界是松散的,并证明了改进的性能基线技术。
2021-10-26 cs.AI cs.LG stat.ML
Meta-Generalization for Multiparty Privacy Learning to Identify Anomaly Multimedia Traffic in Graynet
在分布式服务系统、多代网络和未来的万物互联中,识别网络空间中的异常多媒体流量是一个巨大的挑战。这封信探讨了灰网中多方隐私学习模型的元泛化,以提高异常多媒体流量识别的性能。灰网中的多方隐私学习模型是一个全局共享的模型,它通过多方参数更新交换来进行分区、分布和训练,并保留隐私数据。元泛化是指发现学习模型的内在属性,以减少其泛化误差。在实验中,三个元泛化原则测试如下。通过改变字节级嵌入维数,降低了灰网多方隐私学习模型的泛化误差。之后,通过调整用于提取分组级特征的深度来减少误差。最后,通过调整支持集的大小对流量级数据进行预处理,减小了误差。实验结果表明,该建议优于国家的最先进的学习模型识别异常多媒体流量。
2022-12-14 cs.AI cs.CR cs.LG
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University(米拉 - 麦吉尔大学);Google DeepMind(谷歌DeepMind)
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境,因此已经有几项研究调查了这些算法的泛化性能。然而,还没有类似的研究评估专门为泛化设计的算法的泛化性能,即Meta强化学习算法。在本文中,我们评估这些算法的泛化性能,利用高维,程序生成的环境。我们发现,这些算法可以显示强大的过拟合时,他们具有挑战性的任务进行评估。我们还观察到,在当前的许多Meta强化学习算法中,具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果,我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Survey on Generalization Theory for Graph Neural Networks
RWTH Aachen University(亚琛工业大学);Technical University of Munich(慕尼黑工业大学);Massachusetts Institute of Technology(麻省理工学院);Technion - Israel Institute of Technology(以色列理工学院)
本文系统梳理了消息传递图神经网络(MPNNs)泛化能力的现有研究,分析各类研究的优劣与方法结论,提出未来研究方向,以深化对MPNNs泛化能力的认知。
2025-03-19 cs.AI cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University(纽约大学);Northeastern University(东北大学)
本文提出理论框架分析元强化学习的泛化界限与收敛保证,揭示算法设计与任务复杂度关系,并证明收敛条件,评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples
Robert Bosch GmbH, Automated Driving Research(罗伯特·博世有限公司,自动驾驶研究);University of Lübeck, Institute of Signal Processing(吕贝克大学,信号处理研究所)
深度神经网络(DNN)在众多应用中实现了最先进的性能。然而,很难事先判断接收输入的DNN是否会提供正确的输出,因为它们的决策标准通常是不透明的。如果输入在其泛化包络所包围的区域内,则DNN会提供正确的输出。在这种情况下,包含在输入样本中的信息被网络合理地处理。在推理时评估DNN是否正确泛化具有很大的实际意义。目前,实现这一目标的方法在不同的问题设置,而彼此独立的调查,导致三个主要的研究和文献领域:预测不确定性,分布外检测和敌对的例子检测。本调查在调查机器学习方法(特别是DNN)的泛化性能的更大框架内将这三个领域联系起来。我们强调了共同点,指出了最有前途的方法,并给出了在推理时提供方法的结构化概述,以确定当前输入是否在DNN的泛化包络内。
2021-09-06 cs.CV cs.LG stat.ML
Invariant Meta Learning for Out-of-Distribution Generalization
The Australian National University(澳大利亚国立大学)
现代深度学习技术已经在许多领域展示了其出色的能力,但依赖于大量的训练数据。基于优化的元学习训练模型是针对多种任务进行的,因此它可以使用少量的训练样本来解决新的学习任务,但是这些方法都假设训练数据和测试数据是相同且独立分布的。为了克服这种局限性,在本文中,我们提出了不变量元学习的分布任务。具体来说,不变元学习找到不变的最优元初始化,并快速适应正则化惩罚的分布外任务。大量的实验表明,我们提出的不变元学习的有效性外的分布Few-Shot任务。
2023-02-21 cs.CV cs.LG
A Survey of Out-of-distribution Generalization for Graph Machine Learning from a Causal View
Case Western Reserve University(凯斯西储大学)
本文从因果视角全面综述了图机器学习的分布外泛化问题,介绍了因果驱动方法如何通过探究数据生成与模型预测的因果机制提升泛化能力,并探讨了其在可信赖GML领域的应用与未来方向。
2024-10-16 cs.AI cs.LG
Out-of-Distribution Generalization in Time Series: A Survey
School of Computing and Artificial Intelligence, Southwest Jiaotong University(计算机与人工智能学院,西南交通大学);Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education(可持续城市智能交通工程研究中心,教育部);Information Sciences and Technology Department, the Pennsylvania State University(信息科学与技术系,宾夕法尼亚州立大学)
本文综述了时间序列中分布外泛化的方法,分析了数据分布、表示学习和分布外评估三个维度,总结了主流算法,指出了应用场景和存在的挑战,并提出了未来研究方向。
2025-10-27 cs.AI cs.LG
Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark
Wuhan University(武汉大学);Hong Kong University of Science and Technology(香港科技大学)
该综述系统梳理了联邦学习在泛化性、鲁棒性和公平性三方面的研究进展,并基于多个数据集进行基准测试,同时提供公开平台以持续追踪领域发展。
2023-11-12 cs.AI cs.LG