On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
受预处理概念的启发，我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度，而不会产生额外的参数。我们证明，重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法，积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明，该方法显着优于其无约束的对应，特别是在初始适应步骤，同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性，动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
The effects of negative adaptation in Model-Agnostic Meta-Learning
Mila – Université de Montréal（米拉研究所——蒙特利尔大学）
元学习算法快速适应各种任务的能力，包括它们在元训练期间没有经历过的任务，是这些方法最近在少样本学习问题上取得成功的关键因素。使用元学习优于标准监督学习或强化学习的这种特殊优势只有在假设适应阶段确实提高了我们模型在感兴趣任务上的性能的情况下才有充分的依据。然而，在元学习的经典框架中，这种约束即使没有也只是温和地强制执行，我们只能看到任务分配的平均改善。在本文中，我们证明了MAML算法中的自适应可以显着降低Meta强化学习设置中代理的性能，即使是在一系列元训练任务中。
2018-12-05 cs.LG stat.ML
Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided Exploration for Mitigating Scale Shift on Combinatorial Optimization
KAIST（韩国科学技术院）
提出 Meta-SAGE，通过尺度元学习器和带引导探索的调度式自适应，在测试时将组合优化深度强化学习模型迁移到更大规模问题并提升性能。
2023-06-07 cs.LG stat.ML
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis（加利福尼亚大学戴维斯分校）；Google Inc.（谷歌公司）
每天都有许多新的对话域被创建，而收集这些域的数据是非常昂贵的，因为它涉及到人类的交互。因此，在构建数据驱动的对话模型时，开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化，而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型，它采用了元教师模型，强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中，元教师引导对话模型关注重要的标记，以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型，并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau（澳门大学）
元学习已被充分验证，对低资源神经机器翻译（NMT）有益。然而，我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中，我们的目的是缓解这个问题，提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中，NMT首先学习各领域的相似课程，避免过早陷入局部最优，最后学习各领域的个性化课程，提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明，Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
On the adaptation of in-context learners for system identification
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA达莱·莫尔人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文研究上下文系统辨识中的元模型自适应问题，并通过三类现实数值场景表明，自适应可提升预测性能并增强元学习框架的稳健性与通用性。
2023-12-07 cs.LG cs.SY eess.SY
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法，用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动，可以快速适应未来帧中的特定目标。理想情况下，生成的模型将重点放在对未来帧有用的特征上，并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代，最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部：跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明，我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Fast Context Adaptation via Meta-Learning
University of Oxford（牛津大学）；Latent Logic（潜在逻辑公司）；Microsoft Research（微软研究院）
我们提出了CAVIA的元学习，一个简单的扩展MAML，是不太容易元过拟合，更容易并行化，更可解释。CAVIA将模型参数分为两部分：上下文参数，作为模型的额外输入，并根据各个任务进行调整;以及共享参数，经过元训练并在任务之间共享。在测试时，只有上下文参数被更新，导致低维的任务表示。我们的经验表明，CAVIA优于MAML回归，分类，和强化学习。我们的实验还突出了当前基准的弱点，在某些情况下，所需的适应量很小。
2019-06-10 cs.LG stat.ML
Blending-target Domain Adaptation by Adversarial Meta-Adaptation Networks
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
（无监督）领域自适应（DA）寻求在仅提供源标记和目标未标记的样本用于训练时对目标实例进行分类。学习域不变特征有助于实现这一目标，而它支持从单个或多个显式目标域（多目标DA）提取的未标记样本。在本文中，我们考虑了一个更现实的迁移场景：我们的目标域是由多个子目标隐式地相互混合，使学习者无法识别每个未标记的样本属于哪个子目标。这种混合目标领域自适应（BTDA）场景在实践中经常出现，并威胁到大多数现有DA算法的有效性，这是由于这些隐藏子目标之间存在域间隙和类别失配。为了在这种新的场景中获得传输性能的提升，我们提出了对抗性元适应网络（AMEAN）。AMEAN需要两个对抗性的迁移学习过程。第一种是传统的对抗性转移，以连接我们的源域和混合目标域。为了避免目标类别内的不一致，第二个过程表现为“学习适应”：它部署了一个无监督的元学习器，接收目标数据及其正在进行的特征学习反馈，以发现目标集群作为我们的“元-子目标”域。这些元-子目标自动设计了我们的元-子目标DA损失，这根据经验消除了我们的混合目标中的隐式类别不匹配。我们评估AMEAN和各种DA算法在BTDA设置下的三个基准测试。实验结果表明，BTDA是一个相当具有挑战性的转移设置为大多数现有的DA算法，但AMEAN显着优于这些国家的最先进的基线，并有效地抑制了BTDA的负转移效应。
2019-07-08 cs.LG stat.ML
MetaCropFollow: Few-Shot Adaptation with Meta-Learning for Under-Canopy Navigation
Technical University of Munich（慕尼黑工业大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出MetaCropFollow方法，利用元学习训练基学习器以极少数据快速适应新农业环境，解决冠层下导航中的领域偏移问题，提升低数据场景下的导航鲁棒性。
2024-11-21 cs.AI cs.CV cs.LG
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge（三星人工智能中心剑桥）；The University of Edinburgh（爱丁堡大学）
领域自适应（Domain adaptation，DA）是一个热门的问题，它从标记的源数据集调整模型，使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题，通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中，我们采取了正交的角度来看，并提出了一个框架，以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度，与更广泛考虑的Few-Shot元学习的设置相比，这是具有挑战性的。因此，我们提出了一个在线最短路径元学习框架，这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应（MSDA）和半监督领域自适应（SSDA）的变体。重要的是，我们的方法是不可知的基础适应算法，并可以应用于改善许多技术。在实验中，我们展示了经典（DANN）和最近（MCD和MME）的MSDA和SSDA技术的改进，并最终实现了几个DA基准测试，包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
Meta Reinforcement Learning for Sim-to-real Domain Adaptation
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
现代强化学习方法存在样本效率低和探索不安全的问题，使得完全在真实硬件上训练机器人策略是不可行的。在这项工作中，我们建议解决的问题，通过使用Meta学习训练的政策，可以适应各种动态条件，并使用特定于任务的轨迹生成模型，以提供一个行动空间，便于快速探索的模拟到真实的域转移。我们评估的方法，通过执行领域自适应在模拟和分析适应过程中的潜在空间的结构。然后，我们将此策略部署在KUKA LBR 4+机器人上，并评估其在将冰球击中目标的任务上的性能。我们的方法显示出更一致和稳定的领域自适应比基线，从而更好的整体性能。
2019-09-16 cs.CV cs.RO
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley（加州大学伯克利分校）
人类和动物可以学习复杂的预测模型，使他们能够准确可靠地推理现实世界的现象，并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能，但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序，使用随机梯度下降更新模型参数，并与中国餐厅的过程之前，开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整，新模型针对任务更改进行实例化，旧模型在再次遇到以前看到的任务时被调用。此外，我们观察到元学习可以用于元训练模型，使得SGD的这种直接在线自适应是有效的，否则对于大型函数逼近器来说就不是这种情况。在这项工作中，我们将我们的元学习在线学习（MOLe）方法应用于基于模型的强化学习，其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法，并在非平稳任务分布（如变化的地形，电机故障和意外干扰）中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings
Department of Computer Science, Aalto University, Espoo, Finland（Aalto大学计算机科学系）；ELLIS Institute Finland, Espoo, Finland（芬兰ELLIS研究所）；Department of Computer Science, University of Manchester, United Kingdom（曼彻斯特大学计算机科学系）
本文提出一种基于因果嵌入的贝叶斯元学习方法，通过专家反馈减少任务转移中的负转移，提升分布外适应性能。
2026-02-23 cs.LG
Domain adaptation strategies for cancer-independent detection of lymph node metastases
Nijmegen, the Netherlands
最近，大型高质量的公共数据集导致了卷积神经网络的发展，可以在专家病理学家的水平上检测乳腺癌的淋巴结转移。许多癌症，无论起源部位如何，都可以转移到淋巴结。然而，收集和注释每种癌症类型的高容量，高质量数据集是具有挑战性的。在本文中，我们研究了如何在多任务设置中最有效地利用现有的高质量数据集来执行密切相关的任务。具体来说，我们将探索不同的训练和域适应策略，包括预防灾难性遗忘，用于结肠癌和头颈癌淋巴结转移检测。我们的研究结果显示了两种癌症转移检测任务的最新性能。此外，我们证明了从一种癌症类型到另一种癌症类型的网络重复适应的有效性，以获得多任务转移检测网络。最后，我们证明了利用现有的高质量数据集可以显着提高新目标任务的性能，并且可以使用正则化有效地减轻灾难性遗忘。
2022-07-13 cs.CV cs.LG eess.IV
Context-Aware Self-Adaptation for Domain Generalization
Carleton University（卡尔顿大学）；Amii（Amii研究院）
提出用于领域泛化的两阶段方法CASA，利用小批量特征均值等上下文信息自适应调整预训练模型，并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
One-Class Domain Adaptation via Meta-Learning
Vienna University of Technology（维也纳工业大学）；Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子公司）
针对一类域适应问题，提出基于元学习的OC-DA MAML算法，通过任务采样策略实现跨域快速适应，在基准和真实数据集上显著优于标准MAML。
2025-01-22 cs.LG
A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm
College of Science, National University of Defense Technology（国防科技大学理学院）；College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
针对元学习中部分任务快速适应效果差的问题，提出从分布鲁棒性角度、以期望尾部风险为指标的两阶段启发式策略，提升元学习对任务分布的鲁棒性。
2023-10-01 cs.AI cs.LG
Test-Time Meta-Adaptation with Self-Synthesis
Stanford University（斯坦福大学）
MASS通过自动生成问题特定的合成训练数据，实现大语言模型在测试时的自我适应与优化，提升下游任务性能。
2026-03-08 cs.AI cs.LG
Fast Adaptation with Kernel and Gradient based Meta Leaning
Opt-AI（奥普特-AI）；Ajou University（明知大学）；Sungkyunkwan University（成均馆大学）
针对MAML在训练和推理中不稳定、效率低的问题，提出两种分别改进其内、外循环的算法，优化收敛性，为小样本学习和元学习新范式提供更高效的思路与基础。
2024-11-01 cs.LG
MetaLDC: Meta Learning of Low-Dimensional Computing Classifiers for Fast On-Device Adaption
UC Riverside（加州大学河滨分校）；Northeastern University（东北大学）
智能边缘设备上看不见的任务的快速模型更新至关重要，但由于计算能力有限，也具有挑战性。在本文中，我们提出了MetaLDC，它可以元训练受大脑启发的超高效低维计算分类器，以最小的计算成本快速适应微型设备。具体地说，在元训练阶段，MetaLDC通过明确考虑最终（二进制）类层将被微调以快速适应微小设备上的不可见任务来离线元训练表示;在元测试阶段，MetaLDC使用损失函数的闭合形式梯度来实现类层的快速适应。与传统的神经网络不同，MetaLDC是基于新兴的LDC框架设计的，以实现超高效的设备上推理。我们的实验表明，与SOTA基线相比，MetaLDC实现了更高的精度，对随机比特错误的鲁棒性，以及具有成本效益的硬件计算。
2023-02-23 cs.LG
Provable Meta-Learning with Low-Rank Adaptations
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, TX, USA（Chandra Family 电子与计算机工程系，德克萨斯大学奥斯汀分校）；Snap, Inc.（Snap公司）；Google Research（Google研究）
本研究提出基于PEFT的元学习框架，证明标准重训练在LoRA线性模型上不可证明最优，并通过理论与实验验证其性能优势。
2025-10-22 cs.LG
Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning
King’s College London（伦敦国王学院）
脉冲神经网络（SNN）最近因其低功耗特性而成为移动医疗管理和自然语言处理等应用的设备上边缘智能的机器学习模型。在这种高度个性化的用例中，重要的是模型能够仅用最少量的训练数据来适应个体的独特特征。元学习已经被提出作为一种训练模型的方法，这些模型面向快速适应新任务。SNN的少数现有元学习解决方案离线运行，需要某种形式的反向传播，这与当前的神经形态边缘设备不兼容。在本文中，我们提出了一个名为OWOML-SNN的SNN的在线内在线元学习规则，该规则可以在任务流上进行终身学习，并依赖于本地，无反向传播，嵌套更新。
2021-02-21 cs.LG cs.NE eess.SP
MetaLoRA: Tensor-Enhanced Adaptive Low-Rank Fine-tuning
City University of Hong Kong（香港城市大学）
针对LoRA固定参数限制动态任务适应的问题，本研究提出MetaLoRA框架，结合元学习与自适应低秩分解生成任务感知参数，首次实现元学习增强的LoRA变体，在保持计算效率的同时提升模型适应能力。
2025-04-01 cs.AI cs.LG
Variable-Shot Adaptation for Online Meta-Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而，在许多现实世界中，更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究，其中任务按顺序呈现。当在这种在线环境中研究元学习时，出现了一个关键问题：当同时考虑元训练和适应时，元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾？对于需要大量Meta训练数据的复杂双层优化的元学习算法，答案尤其不明显。为了回答这个问题，我们扩展了以前的元学习算法，以处理顺序学习中自然出现的可变镜头设置：从开始的多镜头学习到最后的零样本学习。在顺序学习问题上，我们发现，与标准的监督方法相比，元学习用更少的整体标签解决了整个任务集，并实现了更高的累积性能。这些结果表明，元学习是构建学习系统的一个重要组成部分，该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
Towards Foundation Model for Chemical Reactor Modeling: Meta-Learning with Physics-Informed Adaptation
Department of Chemical and Biomolecular Engineering, National University of Singapore（化学与生物分子工程系，新加坡国立大学）；Artificial Intelligence Institute, National University of Singapore（人工智能研究所，新加坡国立大学）
本研究提出结合元学习与物理信息微调的神经网络框架，实现化学反应器模型跨类型泛化与少样本高效适应，为化工基础模型奠定基础。
2025-05-15 cs.CE cs.LG
Time and Frequency Synergy for Source-Free Time-Series Domain Adaptations
University of South Australia（南澳大学）；Institut Teknologi Sepuluh Nopember（十十一月技术学院）
针对无源时间序列领域自适应问题，提出TFDA方法，通过时频双分支网络、邻域伪标签、对比学习、自蒸馏和课程学习提升跨域适应性能，实验验证其明显优于现有方法。
2024-10-23 cs.AI cs.LG
Come Together, But Not Right Now: A Progressive Strategy to Boost Low-Rank Adaptation
Southern University of Science（南方科技大学）；City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；Hong Kong University of Science（香港科学大学）；University of Surrey（萨里大学）；New York University（纽约大学）
本文提出渐进式 LoRA 训练策略 CoTo，通过随机停用并逐步提高适配器激活概率，改善优化与损失景观探索，从而提升单任务、合并、剪枝表现并降低开销。
2025-07-27 cs.LG
DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for Domain Adaptation
National University of Defense Technology（国防科技大学）；Beijing Institute of Biotechnology（北京生物技术研究所）
本文提出DaMSTF框架，通过元学习估计伪实例重要性以降低标签噪声并保留困难样本，结合元构造器构建高质量元验证集，并利用领域对抗学习初始化网络以改善元学习收敛，在跨领域情感分类中将BERT性能平均提升近4%。
2023-08-05 cs.LG
Continual Adaptation of Visual Representations via Domain Randomization and Meta-learning
NAVER LABS Europe（NAVER欧洲实验室）
大多数标准的学习方法导致脆弱的模型，当在不同性质的样本上顺序训练时，这些模型容易漂移-众所周知的“灾难性遗忘“问题。特别是，当一个模型从不同的视觉领域连续学习时，它往往会忘记过去的领域，而倾向于最近的领域。在这种情况下，我们表明，学习本质上对遗忘更鲁棒的模型的一种方法是域随机化-对于视觉任务，通过大量图像操作随机化当前域的分布。基于这一结果，我们设计了一个元学习策略，其中正则化器明确惩罚与将模型从当前域转移到不同的“辅助”元域相关的任何损失，同时也便于适应它们。这样的元域也通过随机化图像操作生成。我们经验证明，在各种各样的实验-从分类到语义分割-我们的方法的结果模型是不太容易灾难性遗忘时，转移到新的领域。
2021-04-08 cs.AI cs.CV cs.LG
Meta ControlNet: Enhancing Task Adaptation via Meta Learning
Ohio State University（俄亥俄州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出Meta ControlNet，通过元学习与层冻结设计，将控制能力学习步数从5000降至1000，实现边缘任务零样本适应，并在非边缘任务中仅需100步微调超越现有方法。
2025-04-02 cs.CV cs.LG
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
When Does Adaptation Win? Scaling Laws for Meta-Learning in Quantum Control
The MITRE Corporation（MITRE公司）
本文研究了元学习在量子控制中的适应性问题，推导了适应增益的缩放定律，表明适应增益随着梯度步数指数饱和，而随任务方差线性增长，为判断适应的必要性提供了量化标准。
2026-05-19 cs.AI cs.LG cs.SY
Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
针对联邦 LoRA 中客户端秩异构导致零填充聚合稀释高秩信息的问题，提出基于复制的填充策略，以保留高质量客户端信息并提升全局模型收敛与预测性能。
2025-02-15 cs.DC cs.LG
Is Fast Adaptation All You Need?
University of Alberta（阿尔伯塔大学）；HiSilicon（海思）
基于一致性的元学习已被证明在学习模型初始化、表示和更新规则方面非常有效，这些规则允许从几个样本中快速适应。这些方法背后的核心思想是使用快速适应和泛化-两个二阶度量-作为元训练数据集上的训练信号。然而，很少有人注意到其他可能的二阶度量。在本文中，我们研究了一个不同的训练信号-鲁棒性灾难性干扰-并证明，通过指导最小化干扰学习的表示比通过最大化快速适应学习的表示更有利于增量学习。
2019-10-03 cs.LG stat.ML
Speaker Adaptive Training using Model Agnostic Meta-Learning
Bloomberg（彭博社）
神经网络声学模型的说话人自适应训练（SAT）以使模型更适合于适应测试条件的方式来学习模型。传统上，基于模型的说话者自适应训练是通过具有一组与说话者无关参数联合优化的说话者相关参数来执行的，以便去除说话者变化。然而，如果所有神经网络权重都要适应说话者，则这不能很好地缩放。在本文中，我们制定了说话人自适应训练作为一个元学习任务，其中使用梯度下降的自适应过程直接编码到模型的训练。我们将我们的方法与标准基线模型的仅测试适应和具有学习的扬声器适应时间表的SAT-LHUC模型进行比较，并证明元学习方法取得了可比的结果。
2019-10-23 cs.CL cs.LG eess.AS
Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for Domain Adaptation on Text Classification
National University of Defense Technology（国防科技大学）；Beijing Institute of Biotechnology（北京生物技术研究所）；Suiren Information（燧人信息）
本文提出Meta-Tsallis熵最小化（MTEM）方法，通过元学习优化实例自适应Tsallis熵，并结合二阶导数近似和退火采样机制，有效提升文本分类模型在跨领域场景下的自训练适应性能。
2023-08-04 cs.CL cs.LG
Meta-Learning with Adaptive Hyperparameters
Seoul National University（首尔国立大学）
尽管它的普及，最近的一些作品的有效性MAML的问题时，测试任务是不同的训练任务，从而提出了各种任务条件的方法来改善初始化。我们没有寻找更好的任务感知初始化，而是关注MAML框架中的一个补充因素，即内环优化（或快速自适应）。因此，我们提出了一个新的权重更新规则，大大提高了快速适应过程。具体来说，我们引入了一个小型元网络，可以自适应地生成每步超参数：学习率和权重衰减系数。实验结果表明，超参数自适应学习（ALFA）是当前少样本学习方法中经常被忽视的一个重要组成部分。令人惊讶的是，使用ALFA从随机初始化进行快速自适应已经超过了MAML。
2020-12-08 cs.CV cs.LG
Meta-Learning with Neural Tangent Kernels
State University of New York at Buffalo（纽约州立大学布法罗分校）
模型不可知元学习（MAML）已经成为元学习的标准框架，其中元模型具有快速适应新任务的能力。然而，作为一个双循环优化问题，MAML需要区分整个内环优化路径的每个外循环训练步骤，这可能会导致计算效率低下和次优解决方案。在本文中，我们推广MAML允许元学习被定义在函数空间中，并提出了第一个元学习范式在再生核希尔伯特空间（RKHS）诱导的元模型的神经切线核（NTK）。在这种模式下，我们引入了两个元学习算法的RKHS，它不再需要一个次优的迭代内循环适应的MAML框架。我们通过以下方式实现这一目标：1）在RKHS中用快速自适应正则化器替换自适应; 2）基于NTK理论解析地求解自适应。大量的实验研究表明，我们的范例的效率和质量的解决方案相比，相关的元学习算法的优势。我们提出的方法的另一个有趣的特点是，它们被证明比流行的基线对对抗攻击和分布外适应更鲁棒，正如我们的实验所证明的那样。
2021-02-09 cs.AI cs.LG
Adversarial Learning and Self-Teaching Techniques for Domain Adaptation in Semantic Segmentation
University of Padova（帕多瓦大学）
深度学习技术已经广泛应用于自动驾驶系统中，用于城市场景的语义理解。然而，它们需要大量的标记数据进行训练，这是困难和昂贵的。最近提出的解决方案是使用合成数据来训练深度网络，但现实世界和合成表示之间的域转移限制了性能。在这项工作中，一种新的无监督领域自适应（UDA）策略被引入到解决这个问题。所提出的学习策略由三个部分驱动：标记合成数据上的标准监督学习损失;利用标记合成数据和未标记真实数据的对抗学习模块;最后，应用于未标记数据的自学策略。最后一个部分利用了一个区域增长框架的分割信心的指导下。此外，我们根据类别频率对该组件进行加权，以提高对不太常见类别的性能。实验结果证明了所提出的策略的有效性，在适应分割网络训练的合成数据集，如GTA 5和SYNTHIA，现实世界的数据集，如城市景观和Mapillary。
2020-03-02 cs.CV cs.LG eess.IV
Rethinking the Role of Pre-Trained Networks in Source-Free Domain Adaptation
Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）前沿人工智能研究中心（CFAR））；Institute for Infocomm Research (IR), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）资讯通信研究院（IR））
针对无源域适应中源模型易过拟合源域、丢失目标域知识的问题，提出将预训练网络融入目标适配，通过协同学习策略提取目标域信息优化伪标签以微调源模型，在4个基准数据集上有效提升适配性能且可兼容现有方法。
2023-08-25 cs.CV cs.LG
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI（ElementAI公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
持续学习研究的是在适应新任务的同时，从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中，模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中，目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上，提出一个更一般的场景，大坂，代理必须快速解决新的（分布外）任务，同时还需要快速记忆。我们表明，目前的持续学习，元学习，Meta-持续学习，和持续元学习技术在这个新的情况下失败。我们建议连续MAML，流行的MAML算法的在线扩展作为一个强有力的基线，这种情况下。我们的经验表明，连续MAML比上述方法更适合新的场景，以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
MetaPhys: Few-Shot Adaptation for Non-Contact Physiological Measurement
University of Washington（华盛顿大学）；OctoML；Microsoft Research AI（微软研究院AI）
生理过程中存在很大的个体差异，这使得设计个性化的健康感测算法具有挑战性。现有的机器学习系统很难很好地推广到看不见的主题或上下文，并且经常包含有问题的偏见。基于视频的生理测量也不例外。因此，从少量未标记的样本中学习个性化或定制的模型是非常有吸引力的，因为它将允许快速校准以提高泛化能力并帮助纠正偏差。在本文中，我们提出了一种新的元学习方法，称为MetaPhys，用于基于视频的个性化心脏测量，用于非接触式脉搏和心率监测。我们的方法仅使用18秒的视频进行定制，并且在监督和无监督方式下都有效。我们在两个基准数据集上评估了我们提出的方法，并在交叉数据集评估中表现出卓越的性能，与最先进的方法相比，错误大幅减少（42%至44%）。我们还证明了我们提出的方法显着有助于减少皮肤类型的偏见。
2021-03-06 cs.CV cs.LG
Adapt under Attack and Domain Shift: Unified Adversarial Meta-Learning and Domain Adaptation for Robust Automatic Modulation Classification
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
针对自动调制分类（AMC）中对抗攻击与数据分布偏移问题，提出一种结合元学习与领域自适应的统一两阶段框架，显著提升了模型在组合威胁下的分类准确率与鲁棒性。
2025-11-03 cs.AI cs.LG eess.SP
Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）
虽然模型无关元学习（MAML）是元学习实践中非常成功的算法，但由于它在特定任务自适应的内环和Meta初始化训练的外环上更新所有模型参数，因此具有很高的计算成本。Raghu et al. 2019最近提出了一种更有效的算法ANIL（几乎没有内部循环），它只适应内部循环中的一小部分参数，因此计算成本比MAML低得多。然而，ANIL的理论收敛性尚未得到研究。在本文中，我们描述了收敛速度和计算复杂性的ANIL下的两个代表性的内环损失的几何形状，即，强凸性和非凸性我们的研究结果表明，这样的几何属性可以显着影响ANIL的整体收敛性能。例如，随着内环梯度下降步骤的数量$N$的增加，ANIL实现了对于强凸内环损失的更快的收敛速率，但是随着$N$的增加，对于非凸内环损失的收敛速率较慢。此外，我们的复杂性分析提供了一个理论量化的ANIL的效率提高MAML。在标准Few-Shot元学习基准上的实验验证了我们的理论发现。
2020-10-22 cs.LG math.OC stat.ML
On-the-Fly Adaptation of Source Code Models using Meta-Learning
本文提出将源代码模型适应视为元学习问题，训练基础模型利用文件内支持标记预测缺失标记，在行级维护任务上优于动态评估等基线，标识符和字面量性能分别提升44%和15%。
2020-09-19 cs.AI cs.LG cs.SE
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA（LexisNexis美国公司）
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能，发现超网络适应无显著提升，提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多任务学习（MTL）旨在通过联合学习多个相关任务来提高它们的泛化能力。相比之下，除了联合训练方案之外，现代元学习允许在测试阶段使用有限标签的不可见任务，希望快速适应它们。尽管MTL和元学习在问题表述上存在细微差异，但两种学习范式都有相同的见解，即现有训练任务之间的共享结构可以导致更好的泛化和适应。本文通过理论分析和实证研究，进一步理解了这两种学习范式之间的密切联系。理论上，我们首先证明MTL共享相同的优化配方与一类基于梯度的元学习（GBML）算法。然后，我们证明了具有足够深度的过参数化神经网络，MTL和GBML的学习预测函数是接近的。特别是，这个结果意味着这两个模型给出的预测在相同的看不见的任务上是相似的。从经验上讲，我们证实了我们的理论研究结果表明，适当的实施，MTL是竞争力对国家的最先进的GBML算法的一组Few-Shot图像分类基准。由于现有的GBML算法通常涉及昂贵的二阶双层优化，因此我们的一阶MTL方法在小型ImageNet等大规模数据集上快了一个数量级。我们相信这项工作可以帮助弥合这两种学习范式之间的差距，并提供一个计算效率高的替代GBML，也支持快速任务适应。
2021-06-16 cs.CV cs.LG stat.ML
On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Michigan（密歇根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）；Michigan State University（密歇根州立大学）
与模型无关的元学习（MAML）已经成为少样本学习中最成功的元学习技术之一。它使我们能够学习模型参数的元初始化（我们称之为元模型），以使用少量标记的训练数据快速适应新任务。尽管元模型具有泛化能力，但MAML如何在少样本学习中保持对抗鲁棒性仍然是难以捉摸的。除了泛化之外，元模型还需要鲁棒性来防御对抗性示例（攻击）。为了提高MAML的对抗鲁棒性，我们首先研究了何时应该引入鲁棒性促进正则化，因为MAML采用了双层（微调与元更新）学习过程。我们表明，鲁棒的元更新阶段是足够的鲁棒性适应特定于任务的微调阶段，即使后者使用标准的训练协议。我们还通过窥视神经元激活图的可解释性对获得的鲁棒性自适应进行了额外的论证。此外，我们研究如何强大的正则化可以有效地设计在MAML。我们提出了一个通用但易于优化的鲁棒正则化元学习框架，它允许使用未标记的数据增强，快速对抗攻击生成和计算轻微调。特别是，我们第一次表明，辅助对比学习任务可以提高MAML的对抗鲁棒性。最后，大量的实验证明了我们提出的方法在鲁棒少样本学习中的有效性。
2021-02-20 cs.AI cs.CV cs.LG
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University（乌普萨拉大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
在社会辅助机器人中，一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法，用于解决人与机器人交互中的适应问题，并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景，我们测试了我们的假设，即双向信任可以受到不同的适应算法的影响。我们发现，我们提出的模型增加了机器人的感知可信度，并影响了获得人类信任的动态。此外，参与者评价说，机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比，以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
CoRMA: Contrastive RMA for Contact-Rich Meta-Adaptation
Synthoid AI
提出CoRMA框架，通过语义接触上下文和对比学习实现力主导装配任务的元适应，无需演示或梯度更新，在仿真和真实机器人上优于基线。
2026-05-28 cs.LG cs.RO
Runtime Architecture and Task Plan Co-Adaptation for Autonomous Robots with Metaplan
Delft University of Technology（代尔夫特理工大学）
针对真实世界中自主机器人的不确定性应对需求，提出可跨域复用的Metaplan框架，结合机器人与环境模型及PDDL规划器实现架构与任务计划的运行时协同自适应，并通过两类无人载具验证其有效性与可复用性。
2023-12-16 cs.RO
Evaluating Model-Agnostic Meta-Learning on MetaWorld ML10 Benchmark: Fast Adaptation in Robotic Manipulation Tasks
MetaWorld ML10 Benchmark（MetaWorld ML10基准）
本文在MetaWorld ML10机器人操控基准上评估结合TRPO的MAML算法，验证其少样本适配效果，分析其泛化差距与性能方差，指出该类方法的潜力与局限。
2025-11-15 cs.RO
