Improving Generalization in Meta-learning via Task Augmentation
Stanford University（斯坦福大学）；Tencent AI Lab（腾讯人工智能实验室）；Rutgers University（罗格斯大学）；City University of Hong Kong（香港城市大学）；Pennsylvania State University（宾夕法尼亚州立大学）
元学习已被证明是一个强大的范式，从以前的任务转移的知识，以促进新的任务的学习。目前的主流算法训练一个良好的广义模型初始化，这是适应每个任务通过支持集。关键在于优化初始化的泛化能力，这是衡量的性能调整后的模型对每个任务的查询集。不幸的是，经验结果证明，这种泛化措施，推动初始化过拟合的元训练任务，这显着削弱了泛化和适应新的任务。为了解决这个问题，我们在评估泛化时积极地用“更多数据”来增强元训练任务。具体来说，我们提出了两种任务增强方法，包括MetaMix和Channel Shuffle。MetaMix线性组合了支持集和查询集的样本的特征和标签。对于每类样本，通道随机替换其通道的子集与来自不同类的相应通道。理论研究表明任务增强如何提高元学习的泛化能力。此外，MetaMix和Channel Shuffle在许多数据集上的表现都大大优于最先进的结果，并且与现有的元学习算法兼容。
2021-06-09 cs.LG stat.ML
MetaDefa: Meta-learning based on Domain Enhancement and Feature Alignment for Single Domain Generalization
Central South University（中南大学）
针对单领域泛化中数据分布不匹配和特征分离困难的问题，提出基于领域增强和特征对齐的元学习方法MetaDefa，通过背景替换生成增强领域并利用多通道特征对齐模块提取领域不变特征，显著提升了模型在未知目标领域的泛化性能。
2023-11-27 cs.CV cs.LG
Meta Dropout: Learning to Perturb Features for Generalization
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）
一个推广良好的机器学习模型应该在看不见的测试示例上获得低错误。因此，如果我们知道如何最优地扰动训练样本来解释测试样本，我们可以实现更好的泛化性能。然而，由于测试数据的分布是未知的，因此在标准机器学习框架中不可能获得这种扰动。为了应对这一挑战，我们提出了一种新的正则化方法，元丢弃，学习扰动的潜在特征的训练样本泛化的元学习框架。具体来说，我们元学习一个噪声生成器，它输出潜在特征的乘性噪声分布，以输入依赖的方式在测试实例上获得低错误。然后，学习噪声生成器可以在元测试时间扰动看不见的任务的训练样本，以提高泛化能力。我们在Few-Shot分类数据集上验证了该方法，结果表明，该方法显著提高了基础模型的泛化性能，并且在很大程度上优于现有的正则化方法，如信息瓶颈，流形混淆和信息丢失。
2022-02-12 cs.LG stat.ML
Towards Understanding Generalization in Gradient-Based Meta-Learning
Mila；Université de Montréal（蒙特利尔大学）；Aalto University（阿尔托大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）；ElementAI
在这项工作中，我们研究了基于梯度的元学习的神经网络的泛化通过分析各种属性的客观景观。我们通过实验证明，随着元训练的进行，通过几步基于梯度的微调，在调整模型的元训练解决方案后获得的元测试解决方案变得更平坦，损失更低，并且远离元训练解决方案。我们还表明，这些元测试的解决方案变得平坦，即使泛化开始退化，从而提供了一个实验证据，对泛化和平坦的最小值之间的相关性，在基于梯度的元学习的范式。此外，我们提供的经验证据表明，新任务的泛化与参数空间中的适应轨迹之间的一致性相关，通过从相同的元训练解决方案开始的任务特定轨迹方向之间的平均余弦相似性来衡量。我们还表明，元测试梯度的一致性，由元训练解决方案中评估的特定于任务的梯度向量之间的平均内积来衡量，也与泛化相关。基于这些观察，我们提出了一种新的正则化MAML，并提供实验证据证明其有效性。
2019-07-16 cs.CV cs.LG stat.ML
Domain-Generalization to Improve Learning in Meta-Learning Algorithms
提出DGS-MAML元学习算法，在双层优化框架中结合梯度匹配与锐度感知最小化，并基于PAC-Bayes理论分析，有效提升了少样本学习任务下的准确率、泛化能力与快速适应性。
2025-08-13 cs.AI cs.LG
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University（南京大学）
元学习为学习者提供了一种有效的学习方式，并在许多应用中取得了巨大的成功。然而，大多数元学习文献都集中在处理来自同一领域的任务，这使得它很难推广到其他未知领域的任务。在这项工作中，我们解决这个问题，模拟任务从其他看不见的领域，以提高元学习方法的泛化和鲁棒性。具体来说，我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务，并开发了一种新的对抗性学习机制来训练它，基于伪任务，元学习模型可以学习跨领域的元知识，可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明，该方法适用于各种元学习框架。此外，我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准，并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
Modular meta-learning in abstract graph networks for combinatorial generalization
MIT（麻省理工学院）
模块化元学习是一种新的框架，它通过以不同的方式组合一小组神经模块来推广看不见的数据集。在这项工作中，我们提出了抽象的图形网络：使用图形作为系统的子部分的抽象，没有固定的节点分配到系统的子部分，我们需要监督。我们将这一想法与模块化元学习相结合，以获得一个灵活的框架，并将其组合推广到内置的的新任务。然后，我们用它来模拟推任意形状的物体从很少或没有训练数据。
2018-12-19 cs.LG stat.ML
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题，提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法，在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
A Unified Information-Theoretic Framework for Meta-Learning Generalization
School of Computer Science of Technology（科技学院计算机科学系）；School of Biomedical Informatics（生物医学信息学系）；Department of Oncology（肿瘤学系）；Department of Computer Science and Technology（计算机科学与技术系）
本文提出统一的单步信息论框架，推导出更紧致的元泛化界，并通过梯度协方差分析为噪声和迭代元学习算法提供了新的理论见解。
2025-09-28 cs.LG math.ST stat.ML
Open Domain Generalization with Domain-Augmented Meta-Learning
Tsinghua University（清华大学）
利用可用的数据集来学习对未知领域具有高泛化能力的模型对于计算机视觉非常重要，特别是当未知领域的注释数据不可用时。我们研究了一个新的和实际的问题开放领域泛化（OpenDG），从不同的源域学习，以实现高性能的一个未知的目标域，其中每个单独的源域和目标域的分布和标签集可以是不同的。该问题可以普遍应用于不同的源域，并广泛适用于现实世界的应用。我们提出了一个域增强元学习框架来学习开放域的可泛化表示。我们通过新的Dirichlet混合在特征级别上扩展域，并通过蒸馏软标签在标签级别上扩展域，从而用缺失的类和其他领域知识补充每个域。我们通过设计新的元学习任务和损失来进行跨域元学习，以同时保留域唯一知识和跨域概括知识。在多个领域数据集上的实验结果表明，所提出的领域增强元学习（DAML）方法在未知领域识别方面优于现有方法。
2021-04-08 cs.CV cs.LG
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出自监督元提示学习框架SUPMER，通过自监督元学习学习通用提示初始化并联合元学习梯度正则化函数，缓解少样本场景下软提示初始化依赖和过拟合问题，提升下游任务的泛化能力。
2023-10-23 cs.CL cs.LG
Domain Generalization via Semi-supervised Meta Learning
Simon Fraser University（西蒙弗雷泽大学）
领域泛化的目标是从多个源领域中学习，在分布不一致的情况下泛化到未知的目标领域。目前在这一领域的最先进的方法是完全监督，但对于许多现实世界的问题，它几乎是不可能获得足够的标记样本。在本文中，我们提出了第一种利用未标记样本的领域泛化方法，将元学习的情景训练和半监督学习相结合，称为DGSML。DGSML采用基于熵的伪标记方法为未标记的样本分配标签，然后利用一种新的差异损失来确保标记未标记样本之前和之后的类质心彼此接近。为了学习域不变表示，它还利用一种新的对齐损失来确保在添加未标记样本后计算的类质心对之间的距离在不同的域中保持不变。DGSML通过元学习方法来训练，以模拟输入源域和看不见的目标域之间的分布偏移。在基准数据集上的实验结果表明，DGSML优于最先进的领域泛化和半监督学习方法。
2020-09-30 cs.LG stat.ML
FEED: Fairness-Enhanced Meta-Learning for Domain Generalization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Baylor University（贝勒大学）
针对元学习中分布外泛化与公平性兼顾的难题，提出FEED框架，通过将数据潜在表示解耦为三类向量并将公平感知不变性准则融入元学习，实现跨域鲁棒泛化，实验验证其在准确率和公平性上均优于现有最优方法。
2024-11-02 cs.AI cs.LG
Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning?
Computer Science Department State University of New York at Binghamton（纽约州立大学宾汉姆顿分校计算机科学系）
为了在不引入更多参数的情况下获得更好的性能，已经在提高深度神经网络（DNN）的泛化能力方面做出了大量努力。另一方面，元学习方法在少样本学习中对新任务表现出强大的泛化能力。直观的、少样本学习比标准的监督学习更具挑战性，因为每个目标类只有很少的训练样本或没有训练样本。由此产生的自然问题是，元学习思想是否可以用于提高DNN在标准监督学习上的泛化能力。在本文中，我们提出了一种新的基于元学习的DNN训练过程（MLTP），并证明了元学习的想法确实可以提高DNN的泛化能力。MLTP通过将一批训练样本视为一个任务来模拟元训练过程。其关键思想是，用于提高当前任务性能的梯度下降步骤也应该提高新的任务性能，这被当前用于训练神经网络的标准过程所忽略。MLTP还受益于所有现有的训练技术，如dropout、权重衰减和批量归一化。我们通过在三个基准数据集上训练各种小型和大型神经网络来评估MLTP，即，CIFAR-10、CIFAR-100和Tiny ImageNet。实验结果表明，在所有不同大小的DNN上，泛化性能都得到了一致的提高，这验证了MLTP的承诺，并证明了元学习思想确实能够提高DNN在标准监督学习上的泛化能力。
2020-02-27 cs.CV cs.LG stat.ML
Context-Aware Self-Adaptation for Domain Generalization
Carleton University（卡尔顿大学）；Amii（Amii研究院）
提出用于领域泛化的两阶段方法CASA，利用小批量特征均值等上下文信息自适应调整预训练模型，并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
Generalization of Model-Agnostic Meta-Learning Algorithms: Recurring and Unseen Tasks
Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了模型无关元学习（MAML）算法在监督学习问题中的泛化特性。我们专注于设置中，我们训练的MAML模型的$m$任务，每个$n$数据点，并从两个角度描述其泛化误差：首先，我们假设在测试时的新任务是训练任务之一，我们表明，对于强凸目标函数，预期的超额人口损失是有界的${\mathcal{O}}(1/mn)$。其次，我们认为MAML算法的泛化到一个看不见的任务，并表明所产生的泛化误差取决于总的变化之间的新任务和任务的基本分布的训练过程中观察到的距离。我们的证明技术依赖于算法的稳定性和算法的泛化界之间的联系。特别是，我们提出了一个新的定义的稳定性元学习算法，这使我们能够捕获的任务数$m$和每个任务的样本数$n$的MAML的泛化误差的作用。
2021-11-17 cs.LG math.OC stat.ML
Meta Networks
University of Massachusetts（马萨诸塞大学）
神经网络已经成功地应用于具有大量标记数据的应用中。然而，在保持先前学习的性能的同时，用小的训练数据快速概括新概念的任务仍然对神经网络模型提出了重大挑战。在这项工作中，我们介绍了一种新的元学习方法，Meta Networks（MetaNet），学习跨任务的元级知识，并通过快速参数化快速泛化转移其归纳偏见。在Omniglot和Mini-ImageNet基准测试中进行评估时，我们的MetaNet模型实现了接近人类水平的性能，并以高达6%的准确度优于基线方法。我们展示了MetaNet与泛化和持续学习相关的几个吸引人的特性。
2017-06-08 cs.LG stat.ML
Exploring Dualistic Meta-Learning to Enhance Domain Generalization in Open Set Scenarios
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
针对开放集域泛化中未知类识别和决策边界偏移问题，提出双元元学习联合域类匹配策略（MEDIC），通过隐式梯度匹配同时优化域间和类间任务分割，实现平衡边界，在开放集和闭集场景均表现优异。
2026-06-25 cs.AI cs.LG
Improving Generalization in Meta-Learning via Meta-Gradient Augmentation
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）
针对元学习双循环框架的过拟合问题，提出不依赖数据的元梯度增强方法MGAug，通过三种剪枝策略（含新的鲶鱼剪枝）生成增强元梯度，有理论保证且在少样本基准上性能优于现有基线。
2023-06-14 cs.AI cs.LG
MLDGG: Meta-Learning for Domain Generalization on Graphs
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Department of Computer Science, Baylor University（贝勒大学计算机科学系）；School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）
本文提出 MLDGG 框架，通过跨多领域元学习结合结构学习与语义识别，解耦领域不变语义和领域特定变化，提升图神经网络在分布偏移下的可适应泛化能力，并在三种分布偏移设置中超越基线方法。
2024-11-19 cs.AI cs.LG
Dynamic Kernel Selection for Improved Generalization and Memory Efficiency in Meta-learning
Transmute AI Lab (Texmin Hub), Indian Institute of Technology, ISM Dhanbad（印度理工学院（印度矿业学院丹巴德分校）变形人工智能实验室（Texmin中心））
基于梯度的元学习方法容易在元训练集上过拟合，并且这种行为在大型复杂网络中更加突出。此外，大型网络限制了元学习模型在低功耗边缘设备上的应用。虽然选择较小的网络可以在一定程度上避免这些问题，但它会影响整体泛化能力，从而降低性能。显然，存在最适合每个元学习问题的近似最优网络架构选择，然而，事先识别它并不简单。在本文中，我们提出了MetaDOCK，这是一种特定于任务的动态内核选择策略，用于设计压缩的CNN模型，该模型可以很好地概括元学习中看不见的任务。我们的方法是基于这样的假设，即对于一组给定的类似任务，不是每个任务都需要网络的所有内核。相反，每个任务仅使用一部分内核，并且每个任务的内核选择可以作为内部更新步骤的一部分动态学习。MetaDOCK压缩了元模型以及特定于任务的内部模型，从而为每个任务提供了模型大小的显着减少，并且通过约束每个任务的活动内核的数量，它隐式地减轻了元过拟合的问题。我们表明，对于相同的推理预算，使用我们的方法获得的大型CNN模型的修剪版本始终优于CNN模型的传统选择。MetaDOCK与流行的元学习方法（如iMAML）结合得很好。我们的方法的有效性在CIFAR-fs和mini-ImageNet数据集上得到了验证，我们观察到我们的方法可以在标准元学习基准上将模型准确性提高高达2%，同时将模型大小减少75%以上。
2022-06-03 cs.CV cs.LG
Balanced Direction from Multifarious Choices: Arithmetic Meta-Learning for Domain Generalization
Nanjing University（南京大学）；Southeast University（东南大学）；Suzhou Laboratory（苏州实验室）
针对域泛化中梯度匹配方向单一的问题，提出算术元学习，通过估计源域最优参数质心实现更精确的平衡，实验验证有效。
2025-03-23 cs.AI cs.LG stat.ML
Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Department of ECE, The Hong Kong University of Science and Technology（香港科学与技术大学电子工程系）；Department of Engineering, King’s College London（伦敦国王学院工程系）
本文研究了无线环境下基于元学习的个性化联邦学习在泛化与收敛之间的权衡，通过空中计算分析了信道损伤对泛化和收敛的影响。
2025-12-01 cs.IT cs.LG eess.SP
Global Convergence and Generalization Bound of Gradient-Based Meta-Learning with Deep Neural Nets
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有深度神经网络（DNN）的基于约束的元学习（GBML）已经成为少样本学习的流行方法。然而，由于DNN的非凸性和GBML中的双层优化，具有DNN的GBML的理论特性在很大程度上仍然未知。在本文中，我们首先要回答以下问题：带有DNN的GBML是否具有全局收敛保证？我们通过证明具有过参数化DNN的GBML保证以线性速率收敛到全局最优值来对此问题提供肯定的答案。我们要解决的第二个问题是：GBML如何利用过去任务的经验快速适应新任务？为了回答这个问题，我们从理论上证明了GBML等价于一个函数梯度下降操作，该操作将经验从过去的任务显式地传播到新的任务，然后我们证明了具有过参数化DNN的GBML的泛化误差界。
2020-11-16 cs.LG stat.ML
Improving Meta-Learning Generalization with Activation-Based Early-Stopping
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）
用于少样本学习的元学习算法旨在训练神经网络，该神经网络能够仅使用少量示例来推广到新任务。早期停止对性能至关重要，当模型训练达到对新任务分布的最佳泛化时，停止模型训练。元学习中的早期停止机制通常依赖于从训练（源）数据集提取的元验证集的标记示例上测量模型性能。这在Few-Shot迁移学习设置中是有问题的，其中元测试集来自不同的目标数据集（OOD），并且可能与元验证集具有较大的分布偏移。在这项工作中，我们提出了基于激活的早期停止（ABE），一种替代使用基于验证的早期停止元学习。具体来说，我们分析了在元训练期间，每个隐藏层的神经激活的演变，在目标任务分布的单个任务的一小部分未标记的支持示例上，因为这构成了目标问题的最小和可扩展的可访问信息。我们的实验表明，简单的，标签不可知的统计激活提供了一种有效的方法来估计目标泛化如何随着时间的推移而演变。在每个隐藏层，我们表征的激活分布，从他们的第一和第二阶矩，然后进一步总结沿特征尺寸，从而在一个紧凑而直观的表征在四维空间。在整个训练时间内，检测目标激活轨迹何时以及在哪一层偏离源数据的激活轨迹，使我们能够在不同算法、源数据集和目标数据集之间的大量Few-Shot迁移学习设置中执行早期停止并改进泛化。
2022-08-03 cs.AI cs.LG stat.ML
Dynamics-Aware Meta-Imitation for Generalization to Unseen Robotic Manipulation
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Shenyang University of Technology（沈阳工业大学）
研究针对机器人模仿学习的数据稀缺与环境泛化问题，提出动力学感知元模仿（DAMI）框架，通过整合元学习、引入视觉运动轨迹模块等方法，有效捕捉任务动力学，在模拟和真实场景实验中表现优于现有基线。
2026-11-03 cs.LG cs.RO
Meta-Curvature
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了元曲率（MC），一个框架来学习曲率信息，以更好地泛化和快速模型自适应。MC通过学习在内部优化中变换梯度来扩展模型不可知元学习器（MAML），使得变换后的梯度对新任务实现更好的泛化性能。为了训练大规模的神经网络，我们将曲率矩阵分解成更小的矩阵，在一个新的方案中，我们捕获模型的参数与一系列张量积的依赖关系。我们展示了我们提出的方法对几个少样本学习任务和数据集的影响。在没有任何任务特定的技术和架构，所提出的方法实现了实质性的改进，以前的MAML变体，并优于最近的国家的最先进的方法。此外，我们观察到元训练过程的收敛速度更快。最后，我们提出了一个分析，解释了更好的泛化性能与元训练曲率。
2020-01-09 cs.LG stat.ML
Improving Generalization via Meta-Learning on Hard Samples
Google Research India（谷歌研究院印度分部）
本文提出在可学习重加权训练中优化选择困难样本作为验证集以提升泛化能力，并设计高效元优化算法，在多个数据集上取得显著性能提升。
2024-03-29 cs.CV cs.LG
Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts
City University of Hong Kong（香港城市大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Oxford（牛津大学）；Harvard University（哈佛大学）；Nanyang Technological University（南洋理工大学）
本文提出稀疏元调优方法SMAT，通过自动隔离预训练参数子集进行逐任务元调优，克服分布外敏感性问题，并在Meta-Dataset扩展基准上取得零样本与梯度自适应设置下的新最优结果。
2024-07-01 cs.CV cs.LG
Cross-Modal Generalization: Learning in Low Resource Modalities via Meta-Alignment
Carnegie Mellon University（卡内基梅隆大学）；University of Tokyo（东京大学）
自然界中有大量通过视觉、听觉、触觉和语言形式表达的概念。然而，多模式学习方面的现有进展主要集中在训练和考试时存在同一套模式的问题上，这使得在低资源模式下的学习特别困难。在这项工作中，我们提出了跨模态泛化的算法：一种学习范式，用于训练模型，该模型可以（1）在目标模态（即元学习）中快速执行新任务，以及（2）在不同的源模态上进行训练。我们研究一个关键的研究问题：我们如何才能确保泛化跨模态，尽管使用不同的源和目标模态单独的编码器？我们的解决方案基于元对齐，这是一种使用强和弱配对的跨模态数据对齐表示空间的新方法，同时确保快速泛化到不同模态的新任务。我们在3个分类任务上研究这个问题：文本到图像，图像到音频和文本到语音。我们的研究结果表明，即使新的目标模态只有几个（1-10）标记的样本，并在嘈杂的标签的存在下，在低资源的方式特别普遍的情况下，强大的性能。
2020-12-04 cs.AI cs.CL cs.CV
Domain Generalizer: A Few-shot Meta Learning Framework for Domain Generalization in Medical Imaging
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型在目标（测试）数据域上测试时表现最佳，其分布与源（训练）域的集合相似。然而，当目标域和源域之间的基础统计数据存在显著差异时，模型泛化可能会受到阻碍。在这项工作中，我们适应一个领域泛化方法的基础上，模型不可知的元学习框架，生物医学成像。该方法学习一个领域不可知的特征表示，以提高模型的泛化到看不见的测试分布。该方法可用于任何成像任务，因为它不依赖于底层模型架构。我们通过三个数据集上的健康和病理病例的计算机断层扫描（CT）椎骨分割任务来验证该方法。接下来，我们采用少样本学习，即使用来自未知领域的非常少的示例来训练广义模型，以快速使模型适应新的未知数据分布。我们的研究结果表明，该方法可以帮助在不同的医疗中心，图像采集协议，解剖结构，给定扫描中的不同区域，不同成像模式的健康和患病人群中推广模型。
2020-08-18 cs.CV cs.LG eess.IV
Meta Adaptive Task Sampling for Few-Domain Generalization
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出少域泛化（FDG）框架和元自适应任务采样（MATS）方法，利用基础任务知识按语义与域偏移相似性采样，在极少数领域下显著提升分布外泛化性能，并在PACS和DomainNet上超越现有DG基线。
2023-05-25 cs.AI cs.CV cs.LG
MetaLint: Easy-to-Hard Generalization for Code Linting
Carnegie Mellon University（卡内基梅隆大学）
MetaLint通过元学习框架将代码检查转化为指令遵循任务，能根据自然语言规范评估代码是否符合最佳实践，实现无需重新训练的泛化能力，且在不同编程语言和场景中表现优异。
2026-08-11 cs.CL cs.LG cs.SE
Domain Generalization through Meta-Learning: A Survey
Chalmers University of Technology（查尔姆斯理工大学）
本综述探讨了元学习在解决深度神经网络分布外泛化问题中的应用，基于特征提取与分类器学习方法提出新分类法与决策图，为领域泛化模型的选择与开发提供系统指导。
2024-08-22 cs.AI cs.CV cs.LG
An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning
元学习的目的是通过对来自多个相关任务的数据的观察来优化模型类或训练算法的超参数。在Baxter [1]的设置之后，假设任务属于相同的任务环境，该任务环境由任务空间上的分布和每个任务的数据分布定义。因此，任务环境的统计特性决定了任务的相似性。元学习器的目标是确保超参数在应用于从任务环境采样的新任务的训练时获得小的损失。由此产生的平均损失（称为元种群损失）与从相关任务中获得的可用数据测量的相应经验损失（称为元泛化差距）之间的差异是元学习者泛化能力的度量。在本文中，我们提出了新的信息理论界的平均绝对值的元泛化差距。与以前的工作不同[2]，我们的边界明确地捕获了任务相关性，任务数量和每个任务的数据样本数量对元泛化差距的影响。任务相似性通过Kullback-Leibler（KL）和Jensen-Shannon（JS）分歧来衡量。我们以具有元学习偏差的岭回归为例说明了拟议的界限。
2021-05-08 cs.IT cs.LG eess.SP
Causal-Symbolic Meta-Learning (CSML): Inducing Causal World Models for Few-Shot Generalization
smail.iitm.ac.in（印度理工学院）
针对深度学习依赖虚假相关性导致泛化差的问题，提出CSML框架，通过感知、可微因果诱导和图推理模块学习共享因果世界模型，实现少样本快速适应，并在CausalWorld基准上显著优于基线。
2025-09-15 cs.AI cs.LG stat.ML
Towards Cross Domain Generalization of Hamiltonian Representation via Meta Learning
KAIST（韩国科学技术院）；Center for Complex Systems, KAIST（韩国科学技术院复杂系统中心）
本文针对哈密顿动力学提出基于元学习和图神经网络的跨域泛化框架，通过学习统一哈密顿量表示，使模型能适应不同物理定律的新系统，克服了传统方法局限于单一系统域的缺陷。
2024-04-27 cs.AI cs.LG physics.comp-ph
$μ$LO: Compute-Efficient Meta-Generalization of Learned Optimizers
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Concordia University（康科迪亚大学）；Samsung AI Lab（三星AI实验室）；ISIR, Sorbonne University, CNRS, Paris, France（巴黎法国索邦大学ISIR研究所、法国国家科学研究中心）
本文提出$μ$LO，通过最大更新参数化提升已学习优化器对未见任务的泛化能力，实验显示其在更宽网络和更长训练周期上表现更优。
2026-03-19 cs.LG
Improving Generalization in Meta-RL with Imaginary Tasks from Latent Dynamics Mixture
KAIST（韩国科学技术院）
大多数Meta强化学习（meta-RL）方法的泛化能力在很大程度上限于从用于对训练任务进行采样的相同分布中采样的测试任务。为了克服这一局限性，我们提出了潜在动力学混合（LDM），训练一个强化学习代理与虚拟任务产生的混合物学习的潜在动力学。通过在混合任务和原始训练任务上训练策略，LDM允许代理在训练期间为看不见的测试任务做准备，并防止代理过度拟合训练任务。LDM在网格世界导航和MuJoCo任务的测试返回中显着优于标准的元RL方法，其中我们严格分离了训练任务分布和测试任务分布。
2022-01-18 cs.LG
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University（西蒙弗雷泽大学）
本文从信息论角度研究元强化学习中的分布外泛化，推导了两种分布偏移场景下的泛化界限，并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Temporal Consistency Improves Generalization in Contextual Offline Meta Reinforcement Learning
Aalto University（阿alto大学）；University of Edinburgh（爱丁堡大学）
本文提出上下文潜在世界模型，通过联合训练潜在世界模型和上下文编码器，提升任务表示的表达能力，从而增强跨任务泛化性能。
2026-09-09 cs.LG
Generalization Bounds via Meta-Learned Model Representations: PAC-Bayes and Sample Compression Hypernetworks
ServiceNow Research（ServiceNow研究院）
本文提出一种元学习方案，利用超网络从数据集生成下游预测器参数，并通过PAC-Bayes编码器、样本压缩编码器及其混合架构推导紧致泛化界。
2025-06-05 cs.LG
Good Actions Succeed, Bad Actions Generalize: A Case Study on Why RL Generalizes Better
UC San Diego（加州大学圣地亚哥分校）
本研究以Habitat视觉导航为测试平台，对比监督学习与强化学习的零样本泛化能力，发现强化学习通过组合过往轨迹片段（多为失败轨迹）的经验拼接机制，泛化表现优于模仿成功轨迹的行为克隆方法，并提出了提升两类算法泛化能力的设计指引。
2025-03-19 cs.LG
Provable Generalization of Overparameterized Meta-learning Trained with SGD
Tsinghua University（清华大学）；The Ohio State University（俄亥俄州立大学）
尽管深度元学习在经验上取得了巨大成功，但对过度参数化元学习的理论理解仍然有限。本文研究了一种广泛使用的元学习方法，模型不可知元学习（MAML），其目的是找到一个良好的初始化快速适应新的任务。在混合线性回归模型下，我们分析了在过参数化机制下用SGD训练的MAML的泛化特性。我们提供了MAML的超额风险的上限和下限，它捕捉了SGD动态如何影响这些泛化界限。有了这些尖锐的特征，我们进一步探讨了各种学习参数如何影响过参数化MAML的泛化能力，包括明确识别典型的数据和任务分布，可以实现减少泛化误差与过参数化，并表征自适应学习率对过度风险和提前停止时间的影响。我们的理论研究结果得到了实验的进一步验证。
2022-06-18 cs.LG math.ST stat.TH
Understanding Robust Generalization in Learning Regular Languages
University of Pennsylvania（宾夕法尼亚大学）
人类智能的一个关键特征是超越训练分布的能力，例如，解析比过去更长的句子。目前，深度神经网络很难对数据分布中的这种变化进行鲁棒的概括。我们在使用递归神经网络（RNN）学习正则语言的背景下研究鲁棒泛化。我们假设标准的端到端建模策略不能很好地推广到系统的分布偏移，并提出了一个组合策略来解决这个问题。我们比较了一个端到端的战略，将字符串映射到标签的组合策略，预测结构的确定性有限状态自动机（DFA），接受正则语言。我们从理论上证明，组合策略的推广显着优于端到端的策略。在我们的实验中，我们通过一个辅助任务来实现组合策略，其目标是预测DFA在解析字符串时访问的中间状态。我们的实证结果支持我们的假设，表明辅助任务可以实现强大的泛化。有趣的是，端到端RNN的泛化能力明显优于理论下限，这表明它至少能够实现某种程度的鲁棒泛化。
2022-02-20 cs.LG
On the Generalization Error of Meta Learning for the Gibbs Algorithm
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
本文利用对称化及条件对称化 KL 信息，精确刻画元 Gibbs 与超任务 Gibbs 算法的期望元泛化误差，并给出新的无分布上界。
2023-04-27 cs.IT cs.LG math.IT
Generalization Bounds for Meta-Learning via PAC-Bayes and Uniform Stability
Princeton University（普林斯顿大学）
我们的动机是在元学习的背景下提供强泛化保证的问题。现有的泛化界限要么是具有挑战性的评估或提供空洞的保证，即使在相对简单的设置。我们推导出一个可能近似正确（PAC）的范围为基于梯度的元学习使用两种不同的泛化框架，以处理定性不同的挑战，在“基地”和“Meta”水平的泛化。我们采用统一稳定的算法在基础水平和PAC贝叶斯框架在Meta水平的界限。这种方法的结果是一种新的PAC界限，当基本学习者快速适应时，这种界限会更紧，这正是元学习的目标。我们表明，我们的界提供了一个更严格的保证比其他的单位球上的玩具非凸问题和基于文本的分类例子的界限。我们还提出了一个实际的正则化方案的动机在设置的边界是松散的，并证明了改进的性能基线技术。
2021-10-26 cs.AI cs.LG stat.ML
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；Google DeepMind（谷歌DeepMind）
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境，因此已经有几项研究调查了这些算法的泛化性能。然而，还没有类似的研究评估专门为泛化设计的算法的泛化性能，即Meta强化学习算法。在本文中，我们评估这些算法的泛化性能，利用高维，程序生成的环境。我们发现，这些算法可以显示强大的过拟合时，他们具有挑战性的任务进行评估。我们还观察到，在当前的许多Meta强化学习算法中，具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果，我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University（纽约大学）；Northeastern University（东北大学）
本文提出理论框架分析元强化学习的泛化界限与收敛保证，揭示算法设计与任务复杂度关系，并证明收敛条件，评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
Invariant Meta Learning for Out-of-Distribution Generalization
The Australian National University（澳大利亚国立大学）
现代深度学习技术已经在许多领域展示了其出色的能力，但依赖于大量的训练数据。基于优化的元学习训练模型是针对多种任务进行的，因此它可以使用少量的训练样本来解决新的学习任务，但是这些方法都假设训练数据和测试数据是相同且独立分布的。为了克服这种局限性，在本文中，我们提出了不变量元学习的分布任务。具体来说，不变元学习找到不变的最优元初始化，并快速适应正则化惩罚的分布外任务。大量的实验表明，我们提出的不变元学习的有效性外的分布Few-Shot任务。
2023-02-21 cs.CV cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior
元学习算法通过利用以往任务的经验，在遇到新任务时能够实现有效的快速适应能力。然而，尚不清楚泛化属性如何应用于新任务。概率近似正确贝叶斯界理论为元学习的泛化性能分析提供了一个理论框架。基于PAC-Bayes相对熵界，我们推导出了三个新的元学习泛化误差界。此外，使用经验风险最小化（ERM）方法，一个PAC贝叶斯界的元学习与数据相关的先验。实验结果表明，提出的3种元学习PAC-Bayes界具有较好的泛化性能，而基于数据相关先验的扩展PAC-Bayes界具有快速收敛能力.
2021-02-07 cs.LG stat.ML
Information-Theoretic Generalization Bounds for Meta-Learning and Applications
King's College London（伦敦国王学院）
元学习或“学习以学习”是指从对应于多个相关任务的数据推断归纳偏差的技术，其目的是提高新的、先前未观察到的任务的样本效率。元学习的一个关键性能指标是元泛化差距，即在Meta训练数据上测量的平均损失与在新的随机选择的任务上测量的平均损失之间的差异。本文提出了新的信息论上界的元泛化差距。两大类元学习算法被认为是使用单独的任务内训练和测试集，如MAML，或联合任务内训练和测试集，如爬行动物。扩展现有的工作，传统的学习，上界的元泛化间隙推导出前一类，这取决于互信息（MI）之间的输出的元学习算法和它的输入Meta训练数据。对于后者，导出的界限包括一个额外的MI之间的输出的每任务的学习过程和相应的数据集，以捕捉任务内的不确定性。更严格的界限，然后开发，在给定的技术条件下，这两个类通过新的个人任务MI（ITMI）的界限。最后讨论了导出的界限的应用，包括广泛的一类噪声迭代算法的元学习。
2021-01-15 cs.IT cs.LG eess.SP
Meta-Generalization for Multiparty Privacy Learning to Identify Anomaly Multimedia Traffic in Graynet
在分布式服务系统、多代网络和未来的万物互联中，识别网络空间中的异常多媒体流量是一个巨大的挑战。这封信探讨了灰网中多方隐私学习模型的元泛化，以提高异常多媒体流量识别的性能。灰网中的多方隐私学习模型是一个全局共享的模型，它通过多方参数更新交换来进行分区、分布和训练，并保留隐私数据。元泛化是指发现学习模型的内在属性，以减少其泛化误差。在实验中，三个元泛化原则测试如下。通过改变字节级嵌入维数，降低了灰网多方隐私学习模型的泛化误差。之后，通过调整用于提取分组级特征的深度来减少误差。最后，通过调整支持集的大小对流量级数据进行预处理，减小了误差。实验结果表明，该建议优于国家的最先进的学习模型识别异常多媒体流量。
2022-12-14 cs.AI cs.CR cs.LG
