MetaPhys: Few-Shot Adaptation for Non-Contact Physiological Measurement
University of Washington（华盛顿大学）；OctoML；Microsoft Research AI（微软研究院AI）
生理过程中存在很大的个体差异，这使得设计个性化的健康感测算法具有挑战性。现有的机器学习系统很难很好地推广到看不见的主题或上下文，并且经常包含有问题的偏见。基于视频的生理测量也不例外。因此，从少量未标记的样本中学习个性化或定制的模型是非常有吸引力的，因为它将允许快速校准以提高泛化能力并帮助纠正偏差。在本文中，我们提出了一种新的元学习方法，称为MetaPhys，用于基于视频的个性化心脏测量，用于非接触式脉搏和心率监测。我们的方法仅使用18秒的视频进行定制，并且在监督和无监督方式下都有效。我们在两个基准数据集上评估了我们提出的方法，并在交叉数据集评估中表现出卓越的性能，与最先进的方法相比，错误大幅减少（42%至44%）。我们还证明了我们提出的方法显着有助于减少皮肤类型的偏见。
2021-03-06 cs.CV cs.LG
Domain adaptation strategies for cancer-independent detection of lymph node metastases
Nijmegen, the Netherlands
最近，大型高质量的公共数据集导致了卷积神经网络的发展，可以在专家病理学家的水平上检测乳腺癌的淋巴结转移。许多癌症，无论起源部位如何，都可以转移到淋巴结。然而，收集和注释每种癌症类型的高容量，高质量数据集是具有挑战性的。在本文中，我们研究了如何在多任务设置中最有效地利用现有的高质量数据集来执行密切相关的任务。具体来说，我们将探索不同的训练和域适应策略，包括预防灾难性遗忘，用于结肠癌和头颈癌淋巴结转移检测。我们的研究结果显示了两种癌症转移检测任务的最新性能。此外，我们证明了从一种癌症类型到另一种癌症类型的网络重复适应的有效性，以获得多任务转移检测网络。最后，我们证明了利用现有的高质量数据集可以显着提高新目标任务的性能，并且可以使用正则化有效地减轻灾难性遗忘。
2022-07-13 cs.CV cs.LG eess.IV
Continual Adaptation of Visual Representations via Domain Randomization and Meta-learning
NAVER LABS Europe（NAVER欧洲实验室）
大多数标准的学习方法导致脆弱的模型，当在不同性质的样本上顺序训练时，这些模型容易漂移-众所周知的“灾难性遗忘“问题。特别是，当一个模型从不同的视觉领域连续学习时，它往往会忘记过去的领域，而倾向于最近的领域。在这种情况下，我们表明，学习本质上对遗忘更鲁棒的模型的一种方法是域随机化-对于视觉任务，通过大量图像操作随机化当前域的分布。基于这一结果，我们设计了一个元学习策略，其中正则化器明确惩罚与将模型从当前域转移到不同的“辅助”元域相关的任何损失，同时也便于适应它们。这样的元域也通过随机化图像操作生成。我们经验证明，在各种各样的实验-从分类到语义分割-我们的方法的结果模型是不太容易灾难性遗忘时，转移到新的领域。
2021-04-08 cs.AI cs.CV cs.LG
Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments
CMU（卡内基梅隆大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；OpenAI（开放人工智能研究中心）；UC Berkeley（加利福尼亚大学伯克利分校）
在非平稳环境中从有限的经验中不断学习和适应的能力是通往通用智能道路上的一个重要里程碑。在本文中，我们投的问题，不断适应学习的框架。我们开发了一个简单的基于梯度的元学习算法，适用于适应动态变化和对抗性的情况。此外，我们设计了一个新的多智能体竞争环境，RoboSumo，并定义了迭代适应游戏，用于测试连续适应策略的各个方面。我们证明了元学习比Few-Shot机制中的反应性基线能够实现更有效的适应。我们对一群学习和竞争的代理人的实验表明，元学习者是最合适的。
2018-02-23 cs.AI cs.LG
Weakly-Supervised Domain Adaptation of Deep Regression Trackers via Reinforced Knowledge Distillation
University of Udine（乌迪内大学）
深度回归跟踪器是最快的跟踪算法之一，因此适合实时机器人应用。然而，由于分布偏移和过拟合，它们的精度在许多领域是不够的。在本文中，我们克服了这样的局限性，提出了第一种方法域适应这样一类的跟踪器。为了减少标签的努力，我们提出了一个弱监督的适应策略，其中强化学习是用来表示弱监督作为一个标量的应用程序相关的和时间延迟的反馈。同时，采用知识蒸馏来保证学习稳定性，并压缩和传输来自功能更强大但速度更慢的跟踪器的知识。五个不同的机器人视觉领域的广泛实验证明了我们的方法的相关性。在嵌入式设备和没有GPU的机器上实现了实时速度，同时精度也达到了显著的效果。
2021-03-26 cs.CV cs.RO
Online Visual Tracking with One-Shot Context-Aware Domain Adaptation
Iran University of Science and Technology（伊朗科技大学）
在线学习策略通过学习特定领域的线索使视觉跟踪器对不同的失真更加鲁棒。然而，采用该策略的跟踪器未能充分利用背景区域的歧视性上下文。此外，由于缺乏足够的数据在每个时间步，在线学习的方法也可以使跟踪器容易过度拟合的背景区域。在本文中，我们提出了一个领域自适应的方法来加强的语义背景上下文的贡献。领域自适应方法仅以现成的深度模型为基础。所提出的方法的优势来自于其处理严重遮挡和背景杂波挑战的辨别能力。我们进一步引入了一个成本敏感的损失，减轻非语义背景候选人的语义候选人的主导地位，从而处理数据不平衡的问题。实验结果表明，我们的跟踪器实现竞争力的结果，在实时速度相比，国家的最先进的跟踪器。
2021-04-17 cs.CV
The effects of negative adaptation in Model-Agnostic Meta-Learning
Mila – Université de Montréal（米拉研究所——蒙特利尔大学）
元学习算法快速适应各种任务的能力，包括它们在元训练期间没有经历过的任务，是这些方法最近在少样本学习问题上取得成功的关键因素。使用元学习优于标准监督学习或强化学习的这种特殊优势只有在假设适应阶段确实提高了我们模型在感兴趣任务上的性能的情况下才有充分的依据。然而，在元学习的经典框架中，这种约束即使没有也只是温和地强制执行，我们只能看到任务分配的平均改善。在本文中，我们证明了MAML算法中的自适应可以显着降低Meta强化学习设置中代理的性能，即使是在一系列元训练任务中。
2018-12-05 cs.LG stat.ML
Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多任务学习（MTL）旨在通过联合学习多个相关任务来提高它们的泛化能力。相比之下，除了联合训练方案之外，现代元学习允许在测试阶段使用有限标签的不可见任务，希望快速适应它们。尽管MTL和元学习在问题表述上存在细微差异，但两种学习范式都有相同的见解，即现有训练任务之间的共享结构可以导致更好的泛化和适应。本文通过理论分析和实证研究，进一步理解了这两种学习范式之间的密切联系。理论上，我们首先证明MTL共享相同的优化配方与一类基于梯度的元学习（GBML）算法。然后，我们证明了具有足够深度的过参数化神经网络，MTL和GBML的学习预测函数是接近的。特别是，这个结果意味着这两个模型给出的预测在相同的看不见的任务上是相似的。从经验上讲，我们证实了我们的理论研究结果表明，适当的实施，MTL是竞争力对国家的最先进的GBML算法的一组Few-Shot图像分类基准。由于现有的GBML算法通常涉及昂贵的二阶双层优化，因此我们的一阶MTL方法在小型ImageNet等大规模数据集上快了一个数量级。我们相信这项工作可以帮助弥合这两种学习范式之间的差距，并提供一个计算效率高的替代GBML，也支持快速任务适应。
2021-06-16 cs.CV cs.LG stat.ML
On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Michigan（密歇根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）；Michigan State University（密歇根州立大学）
与模型无关的元学习（MAML）已经成为少样本学习中最成功的元学习技术之一。它使我们能够学习模型参数的元初始化（我们称之为元模型），以使用少量标记的训练数据快速适应新任务。尽管元模型具有泛化能力，但MAML如何在少样本学习中保持对抗鲁棒性仍然是难以捉摸的。除了泛化之外，元模型还需要鲁棒性来防御对抗性示例（攻击）。为了提高MAML的对抗鲁棒性，我们首先研究了何时应该引入鲁棒性促进正则化，因为MAML采用了双层（微调与元更新）学习过程。我们表明，鲁棒的元更新阶段是足够的鲁棒性适应特定于任务的微调阶段，即使后者使用标准的训练协议。我们还通过窥视神经元激活图的可解释性对获得的鲁棒性自适应进行了额外的论证。此外，我们研究如何强大的正则化可以有效地设计在MAML。我们提出了一个通用但易于优化的鲁棒正则化元学习框架，它允许使用未标记的数据增强，快速对抗攻击生成和计算轻微调。特别是，我们第一次表明，辅助对比学习任务可以提高MAML的对抗鲁棒性。最后，大量的实验证明了我们提出的方法在鲁棒少样本学习中的有效性。
2021-02-20 cs.AI cs.CV cs.LG
Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided Exploration for Mitigating Scale Shift on Combinatorial Optimization
KAIST（韩国科学技术院）
提出 Meta-SAGE，通过尺度元学习器和带引导探索的调度式自适应，在测试时将组合优化深度强化学习模型迁移到更大规模问题并提升性能。
2023-06-07 cs.LG stat.ML
Tracking-by-Trackers with a Distilled and Reinforced Model
University of Udine（乌迪内大学）
视觉目标跟踪通常通过快速处理算法、精确在线自适应方法和跟踪器融合的独立推理来解决。在本文中，我们统一了这些目标，提出了一种新的跟踪方法，利用其他视觉跟踪器，离线和在线。通过知识蒸馏和强化学习的结合来训练紧凑的学生模型。第一个允许传输和压缩其他跟踪器的跟踪知识。第二个是学习评价措施，然后在线利用。在学习之后，学生可以最终用于构建（i）非常快速的单次跟踪器，（ii）具有简单有效的在线自适应机制的跟踪器，（iii）执行其他跟踪器融合的跟踪器。广泛的验证表明，所提出的算法竞争的实时国家的最先进的跟踪器。
2020-09-30 cs.CV
MetaCropFollow: Few-Shot Adaptation with Meta-Learning for Under-Canopy Navigation
Technical University of Munich（慕尼黑工业大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出MetaCropFollow方法，利用元学习训练基学习器以极少数据快速适应新农业环境，解决冠层下导航中的领域偏移问题，提升低数据场景下的导航鲁棒性。
2024-11-21 cs.AI cs.CV cs.LG
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis（加利福尼亚大学戴维斯分校）；Google Inc.（谷歌公司）
每天都有许多新的对话域被创建，而收集这些域的数据是非常昂贵的，因为它涉及到人类的交互。因此，在构建数据驱动的对话模型时，开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化，而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型，它采用了元教师模型，强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中，元教师引导对话模型关注重要的标记，以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型，并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau（澳门大学）
元学习已被充分验证，对低资源神经机器翻译（NMT）有益。然而，我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中，我们的目的是缓解这个问题，提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中，NMT首先学习各领域的相似课程，避免过早陷入局部最优，最后学习各领域的个性化课程，提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明，Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Learning Fast Adaptation with Meta Strategy Optimization
Georgia Institute of Technology（佐治亚理工学院）；Robotics at Google（谷歌机器人部门）
在新场景中行走的能力是足式机器人走向现实世界应用道路上的一个关键里程碑。在这项工作中，我们介绍了Meta Strategy Optimization，这是一种元学习算法，用于训练具有潜在变量输入的策略，可以快速适应目标环境中少量试验的新场景。MSO背后的关键思想是在训练和测试阶段暴露相同的适应过程，即策略优化（SO）。这使得MSO能够有效地学习运动技能以及适合快速适应的潜在空间。我们评估我们的方法在一个真正的四足机器人，并证明成功的适应在各种情况下，包括仿真到现实迁移，步行与削弱电机，或爬上斜坡。此外，我们定量地分析了在模拟环境中的训练策略的泛化能力。真实和模拟实验表明，我们的方法优于以前的方法，在适应新的任务。
2020-02-16 cs.LG cs.RO
Fast Context Adaptation via Meta-Learning
University of Oxford（牛津大学）；Latent Logic（潜在逻辑公司）；Microsoft Research（微软研究院）
我们提出了CAVIA的元学习，一个简单的扩展MAML，是不太容易元过拟合，更容易并行化，更可解释。CAVIA将模型参数分为两部分：上下文参数，作为模型的额外输入，并根据各个任务进行调整;以及共享参数，经过元训练并在任务之间共享。在测试时，只有上下文参数被更新，导致低维的任务表示。我们的经验表明，CAVIA优于MAML回归，分类，和强化学习。我们的实验还突出了当前基准的弱点，在某些情况下，所需的适应量很小。
2019-06-10 cs.LG stat.ML
Blending-target Domain Adaptation by Adversarial Meta-Adaptation Networks
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
（无监督）领域自适应（DA）寻求在仅提供源标记和目标未标记的样本用于训练时对目标实例进行分类。学习域不变特征有助于实现这一目标，而它支持从单个或多个显式目标域（多目标DA）提取的未标记样本。在本文中，我们考虑了一个更现实的迁移场景：我们的目标域是由多个子目标隐式地相互混合，使学习者无法识别每个未标记的样本属于哪个子目标。这种混合目标领域自适应（BTDA）场景在实践中经常出现，并威胁到大多数现有DA算法的有效性，这是由于这些隐藏子目标之间存在域间隙和类别失配。为了在这种新的场景中获得传输性能的提升，我们提出了对抗性元适应网络（AMEAN）。AMEAN需要两个对抗性的迁移学习过程。第一种是传统的对抗性转移，以连接我们的源域和混合目标域。为了避免目标类别内的不一致，第二个过程表现为“学习适应”：它部署了一个无监督的元学习器，接收目标数据及其正在进行的特征学习反馈，以发现目标集群作为我们的“元-子目标”域。这些元-子目标自动设计了我们的元-子目标DA损失，这根据经验消除了我们的混合目标中的隐式类别不匹配。我们评估AMEAN和各种DA算法在BTDA设置下的三个基准测试。实验结果表明，BTDA是一个相当具有挑战性的转移设置为大多数现有的DA算法，但AMEAN显着优于这些国家的最先进的基线，并有效地抑制了BTDA的负转移效应。
2019-07-08 cs.LG stat.ML
On the adaptation of in-context learners for system identification
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA达莱·莫尔人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文研究上下文系统辨识中的元模型自适应问题，并通过三类现实数值场景表明，自适应可提升预测性能并增强元学习框架的稳健性与通用性。
2023-12-07 cs.LG cs.SY eess.SY
Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings
Department of Computer Science, Aalto University, Espoo, Finland（Aalto大学计算机科学系）；ELLIS Institute Finland, Espoo, Finland（芬兰ELLIS研究所）；Department of Computer Science, University of Manchester, United Kingdom（曼彻斯特大学计算机科学系）
本文提出一种基于因果嵌入的贝叶斯元学习方法，通过专家反馈减少任务转移中的负转移，提升分布外适应性能。
2026-02-23 cs.LG
One-Class Domain Adaptation via Meta-Learning
Vienna University of Technology（维也纳工业大学）；Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子公司）
针对一类域适应问题，提出基于元学习的OC-DA MAML算法，通过任务采样策略实现跨域快速适应，在基准和真实数据集上显著优于标准MAML。
2025-01-22 cs.LG
Adaptation of Quadruped Robot Locomotion with Meta-Learning
Russian Quantum Center（俄罗斯量子中心）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；University of Oxford（牛津大学）
动物有非凡的能力来适应不同的地形和任务。然而，通过强化学习训练的机器人通常只能解决单个任务，并且转移的策略通常不如从头开始训练的策略。在这项工作中，我们证明了Meta强化学习可以用来成功地训练一个机器人能够解决广泛的运动任务。经过元训练的机器人的性能类似于在单个任务上训练的机器人的性能。
2021-07-08 cs.LG cs.RO
Context-Aware Self-Adaptation for Domain Generalization
Carleton University（卡尔顿大学）；Amii（Amii研究院）
提出用于领域泛化的两阶段方法CASA，利用小批量特征均值等上下文信息自适应调整预训练模型，并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
Fast Adaptation with Kernel and Gradient based Meta Leaning
Opt-AI（奥普特-AI）；Ajou University（明知大学）；Sungkyunkwan University（成均馆大学）
针对MAML在训练和推理中不稳定、效率低的问题，提出两种分别改进其内、外循环的算法，优化收敛性，为小样本学习和元学习新范式提供更高效的思路与基础。
2024-11-01 cs.LG
MetaLDC: Meta Learning of Low-Dimensional Computing Classifiers for Fast On-Device Adaption
UC Riverside（加州大学河滨分校）；Northeastern University（东北大学）
智能边缘设备上看不见的任务的快速模型更新至关重要，但由于计算能力有限，也具有挑战性。在本文中，我们提出了MetaLDC，它可以元训练受大脑启发的超高效低维计算分类器，以最小的计算成本快速适应微型设备。具体地说，在元训练阶段，MetaLDC通过明确考虑最终（二进制）类层将被微调以快速适应微小设备上的不可见任务来离线元训练表示;在元测试阶段，MetaLDC使用损失函数的闭合形式梯度来实现类层的快速适应。与传统的神经网络不同，MetaLDC是基于新兴的LDC框架设计的，以实现超高效的设备上推理。我们的实验表明，与SOTA基线相比，MetaLDC实现了更高的精度，对随机比特错误的鲁棒性，以及具有成本效益的硬件计算。
2023-02-23 cs.LG
Provable Meta-Learning with Low-Rank Adaptations
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, TX, USA（Chandra Family 电子与计算机工程系，德克萨斯大学奥斯汀分校）；Snap, Inc.（Snap公司）；Google Research（Google研究）
本研究提出基于PEFT的元学习框架，证明标准重训练在LoRA线性模型上不可证明最优，并通过理论与实验验证其性能优势。
2025-10-22 cs.LG
Test-Time Meta-Adaptation with Self-Synthesis
Stanford University（斯坦福大学）
MASS通过自动生成问题特定的合成训练数据，实现大语言模型在测试时的自我适应与优化，提升下游任务性能。
2026-03-08 cs.AI cs.LG
Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving
Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室、加州理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）
针对高速越野自动驾驶中地形-车辆相互作用建模困难的问题，提出结合卡尔曼滤波在线自适应与元学习参数的框架，通过离线优化基函数与自适应参数，实现实时动力学模型调整，实验证明其在预测精度、性能与安全性上优于基线方法。
2025-04-23 cs.LG cs.RO cs.SY
DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for Domain Adaptation
National University of Defense Technology（国防科技大学）；Beijing Institute of Biotechnology（北京生物技术研究所）
本文提出DaMSTF框架，通过元学习估计伪实例重要性以降低标签噪声并保留困难样本，结合元构造器构建高质量元验证集，并利用领域对抗学习初始化网络以改善元学习收敛，在跨领域情感分类中将BERT性能平均提升近4%。
2023-08-05 cs.LG
Negative Inner-Loop Learning Rates Learn Universal Features
Stanford University（斯坦福大学）
模型不可知元学习（MAML）由两个优化循环组成：外部循环学习跨任务共享的模型参数的元初始化，以及内部循环任务特定的自适应步骤。MAML的变体Meta-SGD使用相同的双循环结构，但也学习自适应步骤的学习速率。很少有人关注Meta-SGD的学习率如何影响特征重用。在本文中，我们研究了学习率对Meta-SGD中每个任务的特征表示的影响。Meta-SGD的学习率经常包含负值。在适应阶段，这些负学习率推动功能远离任务特定的功能和任务无关的功能。我们在Mini-Imagenet数据集上进行了几次实验。训练了两个神经网络，一个使用MAML，一个使用Meta-SGD。两种模型的特征质量测试如下：剥离线性分类层，通过该编码器传递标记和未标记样本，根据其最近邻对未标记样本进行分类。执行该过程：1）在训练和使用元初始化参数之后; 2）在适应之后，并在该任务上验证;以及3）在适应之后，并在不同的任务上验证。MAML训练的模型在它适应的任务上有所改进，但在其他任务上的性能较差。Meta-SGD训练模型则相反;它在适应的任务上表现较差，但在其他任务上有所改善。这证实了Meta-SGD的负学习率导致模型学习任务不可知特征而不是简单地适应任务特定特征的假设。
2022-03-18 cs.LG
MetaLoRA: Tensor-Enhanced Adaptive Low-Rank Fine-tuning
City University of Hong Kong（香港城市大学）
针对LoRA固定参数限制动态任务适应的问题，本研究提出MetaLoRA框架，结合元学习与自适应低秩分解生成任务感知参数，首次实现元学习增强的LoRA变体，在保持计算效率的同时提升模型适应能力。
2025-04-01 cs.AI cs.LG
A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm
College of Science, National University of Defense Technology（国防科技大学理学院）；College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
针对元学习中部分任务快速适应效果差的问题，提出从分布鲁棒性角度、以期望尾部风险为指标的两阶段启发式策略，提升元学习对任务分布的鲁棒性。
2023-10-01 cs.AI cs.LG
Variable-Shot Adaptation for Online Meta-Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而，在许多现实世界中，更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究，其中任务按顺序呈现。当在这种在线环境中研究元学习时，出现了一个关键问题：当同时考虑元训练和适应时，元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾？对于需要大量Meta训练数据的复杂双层优化的元学习算法，答案尤其不明显。为了回答这个问题，我们扩展了以前的元学习算法，以处理顺序学习中自然出现的可变镜头设置：从开始的多镜头学习到最后的零样本学习。在顺序学习问题上，我们发现，与标准的监督方法相比，元学习用更少的整体标签解决了整个任务集，并实现了更高的累积性能。这些结果表明，元学习是构建学习系统的一个重要组成部分，该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
Towards Foundation Model for Chemical Reactor Modeling: Meta-Learning with Physics-Informed Adaptation
Department of Chemical and Biomolecular Engineering, National University of Singapore（化学与生物分子工程系，新加坡国立大学）；Artificial Intelligence Institute, National University of Singapore（人工智能研究所，新加坡国立大学）
本研究提出结合元学习与物理信息微调的神经网络框架，实现化学反应器模型跨类型泛化与少样本高效适应，为化工基础模型奠定基础。
2025-05-15 cs.CE cs.LG
Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning
King’s College London（伦敦国王学院）
脉冲神经网络（SNN）最近因其低功耗特性而成为移动医疗管理和自然语言处理等应用的设备上边缘智能的机器学习模型。在这种高度个性化的用例中，重要的是模型能够仅用最少量的训练数据来适应个体的独特特征。元学习已经被提出作为一种训练模型的方法，这些模型面向快速适应新任务。SNN的少数现有元学习解决方案离线运行，需要某种形式的反向传播，这与当前的神经形态边缘设备不兼容。在本文中，我们提出了一个名为OWOML-SNN的SNN的在线内在线元学习规则，该规则可以在任务流上进行终身学习，并依赖于本地，无反向传播，嵌套更新。
2021-02-21 cs.LG cs.NE eess.SP
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
Is Fast Adaptation All You Need?
University of Alberta（阿尔伯塔大学）；HiSilicon（海思）
基于一致性的元学习已被证明在学习模型初始化、表示和更新规则方面非常有效，这些规则允许从几个样本中快速适应。这些方法背后的核心思想是使用快速适应和泛化-两个二阶度量-作为元训练数据集上的训练信号。然而，很少有人注意到其他可能的二阶度量。在本文中，我们研究了一个不同的训练信号-鲁棒性灾难性干扰-并证明，通过指导最小化干扰学习的表示比通过最大化快速适应学习的表示更有利于增量学习。
2019-10-03 cs.LG stat.ML
Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for Domain Adaptation on Text Classification
National University of Defense Technology（国防科技大学）；Beijing Institute of Biotechnology（北京生物技术研究所）；Suiren Information（燧人信息）
本文提出Meta-Tsallis熵最小化（MTEM）方法，通过元学习优化实例自适应Tsallis熵，并结合二阶导数近似和退火采样机制，有效提升文本分类模型在跨领域场景下的自训练适应性能。
2023-08-04 cs.CL cs.LG
Meta-Learning with Neural Tangent Kernels
State University of New York at Buffalo（纽约州立大学布法罗分校）
模型不可知元学习（MAML）已经成为元学习的标准框架，其中元模型具有快速适应新任务的能力。然而，作为一个双循环优化问题，MAML需要区分整个内环优化路径的每个外循环训练步骤，这可能会导致计算效率低下和次优解决方案。在本文中，我们推广MAML允许元学习被定义在函数空间中，并提出了第一个元学习范式在再生核希尔伯特空间（RKHS）诱导的元模型的神经切线核（NTK）。在这种模式下，我们引入了两个元学习算法的RKHS，它不再需要一个次优的迭代内循环适应的MAML框架。我们通过以下方式实现这一目标：1）在RKHS中用快速自适应正则化器替换自适应; 2）基于NTK理论解析地求解自适应。大量的实验研究表明，我们的范例的效率和质量的解决方案相比，相关的元学习算法的优势。我们提出的方法的另一个有趣的特点是，它们被证明比流行的基线对对抗攻击和分布外适应更鲁棒，正如我们的实验所证明的那样。
2021-02-09 cs.AI cs.LG
Speaker Adaptive Training using Model Agnostic Meta-Learning
Bloomberg（彭博社）
神经网络声学模型的说话人自适应训练（SAT）以使模型更适合于适应测试条件的方式来学习模型。传统上，基于模型的说话者自适应训练是通过具有一组与说话者无关参数联合优化的说话者相关参数来执行的，以便去除说话者变化。然而，如果所有神经网络权重都要适应说话者，则这不能很好地缩放。在本文中，我们制定了说话人自适应训练作为一个元学习任务，其中使用梯度下降的自适应过程直接编码到模型的训练。我们将我们的方法与标准基线模型的仅测试适应和具有学习的扬声器适应时间表的SAT-LHUC模型进行比较，并证明元学习方法取得了可比的结果。
2019-10-23 cs.CL cs.LG eess.AS
When Does Adaptation Win? Scaling Laws for Meta-Learning in Quantum Control
The MITRE Corporation（MITRE公司）
本文研究了元学习在量子控制中的适应性问题，推导了适应增益的缩放定律，表明适应增益随着梯度步数指数饱和，而随任务方差线性增长，为判断适应的必要性提供了量化标准。
2026-05-19 cs.AI cs.LG cs.SY
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI（ElementAI公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
持续学习研究的是在适应新任务的同时，从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中，模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中，目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上，提出一个更一般的场景，大坂，代理必须快速解决新的（分布外）任务，同时还需要快速记忆。我们表明，目前的持续学习，元学习，Meta-持续学习，和持续元学习技术在这个新的情况下失败。我们建议连续MAML，流行的MAML算法的在线扩展作为一个强有力的基线，这种情况下。我们的经验表明，连续MAML比上述方法更适合新的场景，以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
Real-Time Object Tracking via Meta-Learning: Efficient Model Adaptation and One-Shot Channel Pruning
POSTECH（浦项科技大学）；Seoul National University（首尔国立大学）
我们提出了一种新的元学习框架，用于实时的【形】对象跟踪，具有有效的模型自适应和通道修剪。给定一个对象跟踪器，我们的框架在跟踪过程中只需要几次梯度下降迭代就可以学习微调其模型参数，同时在第一帧使用目标地面实况修剪其网络通道。这样的学习问题被公式化为元学习任务，其中元跟踪器通过经由精心设计的跟踪模拟更新其用于初始权重、学习率和修剪掩模的元参数来训练。集成的元跟踪器通过加速在线学习的收敛和降低特征计算的成本，极大地提高了跟踪性能。在标准数据集上的实验评估表明，与最先进的方法相比，它具有出色的准确性和速度。
2019-12-04 cs.CV
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley（加州大学伯克利分校）
人类和动物可以学习复杂的预测模型，使他们能够准确可靠地推理现实世界的现象，并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能，但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序，使用随机梯度下降更新模型参数，并与中国餐厅的过程之前，开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整，新模型针对任务更改进行实例化，旧模型在再次遇到以前看到的任务时被调用。此外，我们观察到元学习可以用于元训练模型，使得SGD的这种直接在线自适应是有效的，否则对于大型函数逼近器来说就不是这种情况。在这项工作中，我们将我们的元学习在线学习（MOLe）方法应用于基于模型的强化学习，其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法，并在非平稳任务分布（如变化的地形，电机故障和意外干扰）中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Task-Adaptive Pseudo Labeling for Transductive Meta-Learning
Inha University（仁荷大学）
针对元学习支持集有限导致的样本偏差，本文提出直推式任务自适应伪标签方法，利用标签传播为查询集生成伪标签，并在 5-way 1-shot 分类中超越 SOTA。
2023-04-21 cs.AI cs.LG
Adapt under Attack and Domain Shift: Unified Adversarial Meta-Learning and Domain Adaptation for Robust Automatic Modulation Classification
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
针对自动调制分类（AMC）中对抗攻击与数据分布偏移问题，提出一种结合元学习与领域自适应的统一两阶段框架，显著提升了模型在组合威胁下的分类准确率与鲁棒性。
2025-11-03 cs.AI cs.LG eess.SP
Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）
虽然模型无关元学习（MAML）是元学习实践中非常成功的算法，但由于它在特定任务自适应的内环和Meta初始化训练的外环上更新所有模型参数，因此具有很高的计算成本。Raghu et al. 2019最近提出了一种更有效的算法ANIL（几乎没有内部循环），它只适应内部循环中的一小部分参数，因此计算成本比MAML低得多。然而，ANIL的理论收敛性尚未得到研究。在本文中，我们描述了收敛速度和计算复杂性的ANIL下的两个代表性的内环损失的几何形状，即，强凸性和非凸性我们的研究结果表明，这样的几何属性可以显着影响ANIL的整体收敛性能。例如，随着内环梯度下降步骤的数量$N$的增加，ANIL实现了对于强凸内环损失的更快的收敛速率，但是随着$N$的增加，对于非凸内环损失的收敛速率较慢。此外，我们的复杂性分析提供了一个理论量化的ANIL的效率提高MAML。在标准Few-Shot元学习基准上的实验验证了我们的理论发现。
2020-10-22 cs.LG math.OC stat.ML
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA（LexisNexis美国公司）
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能，发现超网络适应无显著提升，提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
On-the-Fly Adaptation of Source Code Models using Meta-Learning
本文提出将源代码模型适应视为元学习问题，训练基础模型利用文件内支持标记预测缺失标记，在行级维护任务上优于动态评估等基线，标识符和字面量性能分别提升44%和15%。
2020-09-19 cs.AI cs.LG cs.SE
Joint Representation and Truncated Inference Learning for Correlation Filter based Tracking
Harbin Institute of Technology（哈尔滨工业大学）；University of Pittsburgh（匹兹堡大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
基于相关滤波器（CF）的跟踪器通常包括两个模块，即，特征表示和在线模型自适应。在用于CF跟踪器的现有离线深度学习模型中，模型自适应通常被放弃或者具有封闭形式的解决方案，以使得以端到端的方式学习深度表示是可行的。然而，这样的解决方案未能利用CF模型的进步，并且与最先进的CF跟踪器相比不能实现有竞争力的准确性。在本文中，我们研究了深度表示和模型自适应的联合学习，其中引入了一个更新器网络，通过将当前帧表示，跟踪结果和最后一个CF跟踪器作为输入来更好地跟踪未来帧。通过将表示器建模为卷积神经网络（CNN），我们截断了交替方向乘法器（ADMM）并将其解释为更新器的深度网络，从而产生了我们的学习表示和截断推理模型（RTINet）。实验表明，我们的RTINet跟踪器实现了良好的跟踪精度对国家的最先进的跟踪器，其快速版本可以运行在24 fps的实时速度。代码和预训练模型将在https://github.com/tourmaline612/RTINet上公开。
2018-07-29 cs.CV
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）
AutoLoRA提出基于元学习的框架，自动为LoRA各层确定最优秩，通过选择变量和阈值化避免穷举搜索，提升微调性能，并在多种NLP任务上验证有效性。
2024-03-17 cs.AI cs.CL cs.LG
AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking
University of Surrey（萨里大学）；Jiangnan University（江南大学）
近年来，Siamese方法在视觉目标跟踪中取得了很好的效果。Siamese跟踪器成功的关键是通过在大规模视频数据集上进行成对离线训练来学习外观不变的特征嵌入函数。然而，暹罗范式使用一次性学习来模拟在线跟踪任务，这阻碍了跟踪过程中的在线适应。此外，在线跟踪响应的不确定性没有被测量，导致忽略潜在故障的问题。在本文中，我们主张在跟踪阶段的在线适应。为此，我们提出了一个故障感知系统，该系统由质量预测网络（QPN）实现，基于决策阶段的卷积和LSTM模块，能够在线报告潜在的跟踪故障。具体地说，从先前的连续帧以及当前帧的序列响应图收集预测跟踪的信心，实现时空融合的决策层。此外，我们还提供了一个自适应故障感知跟踪器（AFAT），通过结合国家的最先进的暹罗跟踪器与我们的系统。在标准基准测试数据集上获得的实验结果证明了所提出的故障感知系统的有效性和我们的AFAT跟踪器的优点，在准确性和速度方面具有出色和平衡的性能。
2020-05-27 cs.CV
High-Performance Long-Term Tracking with Meta-Updater
Dalian University of Technology（大连理工大学）；University of Amsterdam（阿姆斯特丹大学）；Peng Cheng Laboratory（鹏城实验室）；China Science IntelliCloud Technology Co., Ltd（中科智能云科技有限公司）
长期视觉跟踪由于比短期跟踪更接近实际应用而受到越来越多的关注。大多数排名靠前的长期跟踪器采用离线训练的暹罗架构，因此，它们无法从在线更新的短期跟踪器的巨大进步中受益。然而，由于长期的不确定性和噪声观测，直接引入基于在线更新的跟踪器来解决长期问题是相当危险的。在这项工作中，我们提出了一种新的离线训练的元更新器，以解决一个重要但未解决的问题：跟踪器是否准备好在当前帧中更新？所提出的元更新器可以以顺序的方式有效地集成几何、区分和外观线索，然后使用设计的级联LSTM模块来挖掘顺序信息。我们的元更新器学习二进制输出来指导跟踪器的更新，并且可以很容易地嵌入到不同的跟踪器中。这项工作还引入了一个长期的跟踪框架，包括一个在线本地跟踪器，一个在线验证器，一个基于SiamRPN的重检测器，和我们的元更新器。在VOT 2018 LT、VOT 2019 LT、OxUvALT、TLP和LaSOT基准测试上的大量实验结果表明，我们的跟踪器的性能明显优于其他竞争算法。我们的项目可以在网站上找到：https://github.com/Daikenan/LTMU。
2020-04-01 cs.CV
Robust and Real-time Deep Tracking Via Multi-Scale Domain Adaptation
Jiangxi Normal University（江西师范大学）；Toyota Research Institute of North America（丰田北美研究院）；University of Electronic Science and Technology of China（电子科技大学）；Australian National University（澳大利亚国立大学）
视觉跟踪是计算机视觉中的一个基本问题。最近，一些基于深度学习的跟踪算法已经实现了破纪录的性能。然而，由于深度学习的高复杂性，大多数深度跟踪器的跟踪速度都很低，因此在许多现实应用中是不切实际的。一些新的深度跟踪器具有较小的网络结构，实现了高效率，但代价是精度显着下降。在本文中，我们提出了通过卷积通道减少图像分类的功能转移到视觉跟踪域。通道缩减可以简单地被视为具有特定任务的附加卷积层。它不仅提取了有用的信息，目标跟踪，但也显着提高跟踪速度。为了更好地适应目标在不同尺度下的有用特征，自适应滤波器被设计为具有不同的尺寸。产生的视觉跟踪器是实时的【形】，也说明了国家的最先进的精度在实验中涉及两个良好采用的基准超过100个测试视频。
2017-01-03 cs.CV
Automatic Parameter Adaptation for Multi-object Tracking
INRIA（法国国家信息与自动化研究所）
对象跟踪质量通常取决于视频上下文（例如对象遮挡水平、对象密度）。为了减少这种依赖性，本文提出了一种学习方法，以适应跟踪器参数的上下文变化。在离线阶段中，为视频上下文聚类学习令人满意的跟踪参数。在在线控制阶段，一旦检测到上下文变化，就使用学习值来调谐跟踪参数。实验结果表明，该方法的性能优于现有的跟踪器。本文的主要贡献有两个方面：（1）提出了一种基于视频序列分类的离线跟踪参数学习方法;（2）提出了一种基于跟踪上下文的在线跟踪参数调整方法。
2013-05-13 cs.CV
