Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Hypothesis Network Planned Exploration for Rapid Meta-Reinforcement Learning Adaptation
针对元强化学习中被动探索适配速度慢的问题，提出HyPE方法，通过潜在空间主动规划动作序列快速识别相似任务，可即插即用改进多数基于模型的元强化学习算法，在稀疏信息场景下失败概率指数级降低，在Alchemy游戏中适配表现远超基线。
2025-08-30 cs.AI cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University（乌普萨拉大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
在社会辅助机器人中，一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法，用于解决人与机器人交互中的适应问题，并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景，我们测试了我们的假设，即双向信任可以受到不同的适应算法的影响。我们发现，我们提出的模型增加了机器人的感知可信度，并影响了获得人类信任的动态。此外，参与者评价说，机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比，以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
ProMP: Proximal Meta-Policy Search
UC Berkeley（加州大学伯克利分校）；KIT（卡尔斯鲁厄理工学院）；Karlsruhe Inst. of Technology (KIT)（卡尔斯鲁厄理工学院）
Meta-强化学习（Meta-RL）中的信用分配仍然知之甚少。现有的方法要么忽略了信用分配的预适应行为或实现它的天真。这导致元训练过程中样本效率低下以及任务识别策略无效。对基于梯度的元强化学习中的信用分配进行了理论分析。在所获得的见解的基础上，我们开发了一种新的元学习算法，克服了不良信用分配和以前的困难，估计Meta策略梯度的问题。通过控制元策略搜索过程中预适应策略和适应策略的统计距离，该算法赋予元学习高效、稳定的性能。我们的方法带来了卓越的预适应策略行为，并在样本效率、挂钟时间和渐进性能方面始终优于之前的Meta-RL算法。
2022-02-11 cs.LG stat.ML
p-Meta: Towards On-device Deep Model Adaptation
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）；Beihang University（北京航空航天大学）
物联网设备收集的数据通常是私有的，并且在用户之间具有很大的多样性。因此，学习需要使用可用的代表性数据样本预训练模型，在物联网设备上部署预训练模型，并使用本地数据调整设备上部署的模型。这种针对深度学习授权应用的设备上适配要求数据和存储器效率。然而，现有的基于梯度的元学习方案不能支持记忆高效的适应。为此，我们提出了p-Meta，这是一种新的元学习方法，它可以强制执行结构方面的部分参数更新，同时确保快速泛化到看不见的任务。对Few-Shot图像分类和强化学习任务的评估表明，与最先进的Few-Shot自适应方法相比，p-Meta不仅提高了准确性，而且将峰值动态记忆平均降低了2.5倍。
2022-06-25 cs.CV cs.LG
Meta-RL with Shared Representations Enables Fast Adaptation in Energy Systems
Université Sorbonne Paris Nord（索邦巴黎北大学）；INSA Rouen（里昂大学 Rouen 分校）；Université Lumière Lyon 2, Université Claude Bernard Lyon 1, ERIC（里昂大学二分校、里昂大学一分校、ERIC）
本文提出了一种具有共享表示的元强化学习框架，通过改进的知识转移和参数共享机制，实现能源系统中的快速适应与高效泛化。
2026-03-09 cs.LG
Meta Generative Flow Networks with Personalization for Task-Specific Adaptation
Xi’an Jiaotong University（西安交通大学）；Leiden University（莱顿大学）；Chinese Academy of Sciences（中国科学院）；Tianjin University（天津大学）；Huawei Technologies（华为技术有限公司）
针对现有元强化学习在稀疏奖励任务表现差、GFlowMeta遇异构转移性能下降的问题，提出结合任务特定个性化策略与元策略的pGFlowMeta算法，经理论证明次线性收敛，实验显示其在离散环境中优于现有SOTA强化学习算法。
2023-06-16 cs.AI cs.LG
MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance
安全探索对于在风险敏感环境中使用强化学习（RL）至关重要。最近的工作学习风险措施，衡量违反约束的概率，然后可以用来实现安全。然而，学习这样的风险措施，需要与环境的显着互动，导致过度的约束违反在学习过程中。此外，这些措施不容易转移到新的环境。我们将安全探索作为离线元RL问题，其目标是利用各种环境中安全和不安全行为的示例，快速将学习到的风险措施适应具有以前看不见的动态的新环境。然后，我们提出了安全适应的元学习（MESA），这是一种元学习安全RL风险度量的方法。跨5个连续控制域的仿真实验表明，MESA可以利用来自一系列不同环境的离线数据，在保持任务性能的同时，将看不见的环境中的约束违反减少到2倍。有关代码和补充材料，请参见https://tinyurl.com/safe-meta-rl。
2021-12-07 cs.AI cs.LG cs.RO
Connecting Context-specific Adaptation in Humans to Meta-learning
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
认知控制是系统适应任务要求的能力，是认知的一个组成部分。关于认知控制的一个被广泛接受的事实是，它是上下文敏感的：成人和儿童都从上下文线索中推断出关于任务要求的信息，并使用这些推断从模糊的线索中学习。然而，人们使用上下文线索来指导适应新任务的确切方式仍然知之甚少。这项工作将认知控制的上下文敏感性质与具有上下文条件适应的元学习方法联系起来。我们首先确定人类学习和当前元学习方法之间的本质区别：与人类相比，现有的Meta学习算法不使用特定于任务的上下文线索，而是完全依赖于特定于任务的标签或奖励形式的在线反馈。为了解决这个问题，我们引入了一个框架，使用上下文信息的任务，以指导特定于任务的模型的初始化之前，适应在线反馈。我们展示了上下文条件元学习如何在认知任务中捕获人类行为，以及如何扩展它以提高各种设置中的学习速度，包括Few-Shot分类和低样本强化学习。我们的工作表明，用任务信息指导元学习可以捕捉复杂的、类似人类的行为，从而加深我们对认知控制的理解。
2020-12-01 cs.AI
Improved Robustness and Safety for Pre-Adaptation of Meta Reinforcement Learning with Prior Regularization
University of Michigan（密歇根大学）；Ford Research and Advanced Engineering（福特研究与高级工程中心）
Meta强化学习（Meta-RL）最近取得了重大进展。特别是，开发了off-policy方法来提高Meta-RL技术的数据效率。\textit{Probabilistic embeddings for actor-critic RL}（PEARL）是解决多MDP适应问题的领先方法。许多现有的Meta-RL方法（包括PEARL）的一个主要缺点是，当第一次暴露给新任务时，它们没有明确考虑先前策略的安全性。安全对于许多现实世界的应用至关重要，包括现场机器人和自动驾驶汽车（AV）。在本文中，我们开发了PEARL PLUS（PEARL $^+$）算法，该算法优化了先前（预适应）的安全性和之后（适应后）的性能。在PEARL算法的基础上，我们提出的PEARL $^+$算法在奖励函数中引入了一个先验正则化项，并引入了一个新的Q-网络，用于在先验上下文假设下恢复状态-动作值，以提高对任务分布偏移的鲁棒性和训练网络首次暴露于新任务时的安全性。PEARL $^+$的性能进行了验证，通过解决三个安全关键问题的机器人和自动驾驶汽车，包括两个MuJoCo基准问题。仿真实验表明，与PEARL相比，该策略的安全性得到了显著提高，并且对任务分布偏移具有更强的鲁棒性。
2023-02-09 cs.LG
Efficient Continual Adaptation of Pretrained Robotic Policy with Online Meta-Learned Adapters
King’s College London（伦敦国王学院）
针对预训练机器人策略持续自适应中任务间知识迁移受限的问题，提出在线元学习适配器（OMLA），通过新颖的元学习目标促进知识迁移，在模拟和真实环境中优于基线方法。
2025-03-27 cs.AI cs.RO
Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
强化学习方法可以实现显著的性能，但需要在同一机器人平台上收集大量的训练数据。用昂贵的数据训练的策略在对机器人硬件进行哪怕是微小的更改后都变得无用。在本文中，我们解决了具有挑战性的问题，适应的政策，训练执行任务，一个新的机器人硬件平台，只有几个演示的机器人运动轨迹的目标机器人。我们将其表述为一个Few-Shot元学习问题，其目标是找到一个元模型，该元模型捕获不同机器人平台之间共享的共同结构，以便可以执行数据高效的自适应。我们通过引入由基于概率梯度的Meta学习算法组成的学习框架来实现这样的适应，该元学习算法利用低维潜变量对由Few-Shot设置引起的不确定性进行建模。我们实验评估我们的框架上的模拟达到和一个真正的机器人采摘任务，使用400个模拟机器人产生的物理参数不同的现有的一组机器人平台。我们的研究结果表明，所提出的方法可以成功地适应不同的机器人平台与新的物理参数和我们的Meta学习算法的优越性相比，国家的最先进的方法引入的Few-Shot政策适应问题。
2021-03-05 cs.AI cs.RO
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab（滴滴出行AI实验室）
近年来，基于Meta强化学习的交通信号控制方法得到了越来越多的关注，与传统的控制方法相比，该方法具有更好的性能。然而，以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性，这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中，我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中，在新的情况下，利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化，顺应EM贝叶斯元学习和快速更新的优势DQN，它允许快速适应新的情况下，持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明，我们提出的框架适应更快，更强大的新的场景比以前的方法，特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
A Few Shot Adaptation of Visual Navigation Skills to New Observations using Meta-Learning
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）
目标驱动的视觉导航是一个具有挑战性的问题，它要求机器人只使用视觉输入来找到目标。许多研究人员已经在各种机器人平台上使用深度强化学习（deep RL）展示了有希望的结果，但典型的端到端学习因其对新场景的外推能力差而闻名。因此，学习一个新的机器人与一个新的传感器配置或一个新的目标的导航策略仍然是一个具有挑战性的问题。在本文中，我们介绍了一种学习算法，使快速适应新的传感器配置或目标对象与几个镜头。我们设计了一个具有感知网络和推理网络之间潜在特征的策略架构，并通过元学习快速适应感知网络，同时冻结推理网络。我们的实验表明，我们的算法适应学习的导航策略，只有三个镜头看不见的情况下，不同的传感器配置或不同的目标颜色。我们还分析了所提出的算法，通过调查各种超参数。
2021-06-04 cs.AI cs.RO
Reinforcement learning based adaptive metaheuristics
University of Trento（特伦托大学）
参数自适应是演化计算应用于数值优化的主要趋势之一，是根据问题的性质自动调整算法超参数的能力。虽然多年来已经提出了几种手工制作的适应策略来解决这个问题，但到目前为止，在应用机器学习来学习这些策略方面的尝试很少。在这里，我们介绍了一个通用的框架，用于执行参数自适应连续域元分析的基础上，国家的最先进的强化学习算法。我们证明了这一框架的适用性的两个算法，即协方差矩阵自适应演化策略（CMA-ES）和差分进化（DE），我们学习，分别适应政策的步长（CMA-ES），和比例因子和交叉率（DE）。我们在两种设置中对这些策略进行训练，一组46个不同维度的基准函数，对策略进行各种输入：每个函数一个策略，所有函数一个全局策略。分别比较，累积步长适应（CSA）的政策和两个著名的自适应DE的变种（iDE和jDE），我们的政策是能够产生竞争力的结果在大多数情况下，特别是在DE的情况下。
2022-06-29 cs.LG cs.NE
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
University of California, Berkeley（加州大学伯克利分校）；OpenAI
我们提出了一种与模型无关的元学习算法，在这个意义上，它与任何使用梯度下降训练的模型兼容，并适用于各种不同的学习问题，包括分类，回归和强化学习。元学习的目标是对各种学习任务进行训练，使其可以仅使用少量训练样本来解决新的学习任务。在我们的方法中，模型的参数被显式地训练，使得少量的梯度步骤和来自新任务的少量训练数据将在该任务上产生良好的泛化性能。实际上，我们的方法训练模型，使其易于微调。我们证明了这种方法在两个Few-Shot图像分类基准上具有最先进的性能，在Few-Shot回归上产生了良好的结果，并加速了策略梯度强化学习与神经网络策略的微调。
2017-07-18 cs.AI cs.CV cs.LG
Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Google Research（谷歌研究院）
随着电力系统正在经历一场重大变革，不确定性增加，惯性减小，接近运行极限，大规模停电的风险越来越大。因此，迫切需要加强电网紧急控制，以维护系统的可靠性和安全性。为此，近年来在开发基于深度强化学习（DRL）的网格控制解决方案方面取得了很大进展。然而，现有的基于DRL的解决方案具有两个主要局限性：1）它们不能很好地处理大范围的电网操作条件、系统参数和突发事件; 2）它们通常缺乏快速适应新的电网操作条件、系统参数和突发事件的能力，限制了它们对于现实世界应用的适用性。在本文中，我们通过开发一种新的深度Meta强化学习（DMRL）算法来减轻这些限制。DMRL将Meta策略优化与DRL相结合，并训练由潜在空间调制的策略，可以快速适应新的场景。我们测试的IEEE 300节点系统上开发的DMRL算法。我们证明了快速适应的元训练DRL政策与潜在变量，以新的操作条件和情况下，使用所提出的方法，并实现优越的性能相比，国家的最先进的DRL和模型预测控制（MPC）的方法。
2022-02-05 cs.LG cs.SY eess.SY
Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments
CMU（卡内基梅隆大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；OpenAI（开放人工智能研究中心）；UC Berkeley（加利福尼亚大学伯克利分校）
在非平稳环境中从有限的经验中不断学习和适应的能力是通往通用智能道路上的一个重要里程碑。在本文中，我们投的问题，不断适应学习的框架。我们开发了一个简单的基于梯度的元学习算法，适用于适应动态变化和对抗性的情况。此外，我们设计了一个新的多智能体竞争环境，RoboSumo，并定义了迭代适应游戏，用于测试连续适应策略的各个方面。我们证明了元学习比Few-Shot机制中的反应性基线能够实现更有效的适应。我们对一群学习和竞争的代理人的实验表明，元学习者是最合适的。
2018-02-23 cs.AI cs.LG
Meta-Forecasting by combining Global Deep Representations with Local Adaptation
IIT（意大利理工学院）；UCL（伦敦大学学院）；Amazon Web Services（亚马逊云服务）
虽然经典的时间序列预测孤立地考虑单个时间序列，但基于深度学习的最新进展表明，从大量相关时间序列中联合学习可以提高预测准确性。然而，当对样本外时间序列建模时，这些方法的准确性会受到很大影响，与经典预测方法相比，显着限制了它们的适用性。为了弥合这一差距，我们采用元学习的时间序列预测问题的观点。我们引入了一种新的预测方法，称为Meta全局-局部自回归（Meta-GLAR），它通过学习从递归神经网络（RNN）产生的表示到一步预测的封闭形式的映射来适应每个时间序列。至关重要的是，RNN的参数是通过封闭形式的自适应机制通过反向传播在多个时间序列中学习的。在我们广泛的实证评估中，我们表明，我们的方法是有竞争力的国家的最先进的样本预测精度在早期的工作。
2021-11-12 cs.AI cs.LG stat.ML
The effects of negative adaptation in Model-Agnostic Meta-Learning
Mila – Université de Montréal（米拉研究所——蒙特利尔大学）
元学习算法快速适应各种任务的能力，包括它们在元训练期间没有经历过的任务，是这些方法最近在少样本学习问题上取得成功的关键因素。使用元学习优于标准监督学习或强化学习的这种特殊优势只有在假设适应阶段确实提高了我们模型在感兴趣任务上的性能的情况下才有充分的依据。然而，在元学习的经典框架中，这种约束即使没有也只是温和地强制执行，我们只能看到任务分配的平均改善。在本文中，我们证明了MAML算法中的自适应可以显着降低Meta强化学习设置中代理的性能，即使是在一系列元训练任务中。
2018-12-05 cs.LG stat.ML
Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided Exploration for Mitigating Scale Shift on Combinatorial Optimization
KAIST（韩国科学技术院）
提出 Meta-SAGE，通过尺度元学习器和带引导探索的调度式自适应，在测试时将组合优化深度强化学习模型迁移到更大规模问题并提升性能。
2023-06-07 cs.LG stat.ML
Fast Context Adaptation via Meta-Learning
University of Oxford（牛津大学）；Latent Logic（潜在逻辑公司）；Microsoft Research（微软研究院）
我们提出了CAVIA的元学习，一个简单的扩展MAML，是不太容易元过拟合，更容易并行化，更可解释。CAVIA将模型参数分为两部分：上下文参数，作为模型的额外输入，并根据各个任务进行调整;以及共享参数，经过元训练并在任务之间共享。在测试时，只有上下文参数被更新，导致低维的任务表示。我们的经验表明，CAVIA优于MAML回归，分类，和强化学习。我们的实验还突出了当前基准的弱点，在某些情况下，所需的适应量很小。
2019-06-10 cs.LG stat.ML
Blending-target Domain Adaptation by Adversarial Meta-Adaptation Networks
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
（无监督）领域自适应（DA）寻求在仅提供源标记和目标未标记的样本用于训练时对目标实例进行分类。学习域不变特征有助于实现这一目标，而它支持从单个或多个显式目标域（多目标DA）提取的未标记样本。在本文中，我们考虑了一个更现实的迁移场景：我们的目标域是由多个子目标隐式地相互混合，使学习者无法识别每个未标记的样本属于哪个子目标。这种混合目标领域自适应（BTDA）场景在实践中经常出现，并威胁到大多数现有DA算法的有效性，这是由于这些隐藏子目标之间存在域间隙和类别失配。为了在这种新的场景中获得传输性能的提升，我们提出了对抗性元适应网络（AMEAN）。AMEAN需要两个对抗性的迁移学习过程。第一种是传统的对抗性转移，以连接我们的源域和混合目标域。为了避免目标类别内的不一致，第二个过程表现为“学习适应”：它部署了一个无监督的元学习器，接收目标数据及其正在进行的特征学习反馈，以发现目标集群作为我们的“元-子目标”域。这些元-子目标自动设计了我们的元-子目标DA损失，这根据经验消除了我们的混合目标中的隐式类别不匹配。我们评估AMEAN和各种DA算法在BTDA设置下的三个基准测试。实验结果表明，BTDA是一个相当具有挑战性的转移设置为大多数现有的DA算法，但AMEAN显着优于这些国家的最先进的基线，并有效地抑制了BTDA的负转移效应。
2019-07-08 cs.LG stat.ML
Adaptation-Agnostic Meta-Training
The Hong Kong Polytechnic University（香港理工大学）
许多元学习算法可以被公式化为交错过程，在这个意义上，任务特定的预测器在内部任务自适应期间被学习，并且元参数在元更新期间被更新。常规的元训练策略需要通过任务内自适应过程进行区分，以优化元参数。这导致了一个约束，即内部任务算法应该解析求解。在此约束下，只有简单的算法与解析解可以作为内部任务的算法，限制了模型的表达能力。为了解除限制，我们提出了一个适应不可知的元训练策略。按照我们提出的策略，我们可以应用更强大的算法（例如，不同类型算法的集合）作为内部任务算法，以实现与流行基线相比更优的性能。源代码可在https://github.com/jiaxinchen666/AdaptationAgnosticMetaLearning上获得。
2021-08-24 cs.LG
Context-Aware Self-Adaptation for Domain Generalization
Carleton University（卡尔顿大学）；Amii（Amii研究院）
提出用于领域泛化的两阶段方法CASA，利用小批量特征均值等上下文信息自适应调整预训练模型，并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
Contrastive Conditional Neural Processes
The University of New South Wales（新南威尔士大学）
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation
Harbin Institute of Technology（哈尔滨工程大学）；Imperial College London（伦敦帝国理工学院）；KigLand Machine Learning Lab（KigLand机器学习实验室）
研究揭示超网络方法在知识冲突中的失败源于幅度问题，通过选择性层提升和意识冲突内部化技术，显著提升深度冲突准确性，同时保持新知识召回。
2026-05-11 cs.AI cs.LG
Test-Time Meta-Adaptation with Self-Synthesis
Stanford University（斯坦福大学）
MASS通过自动生成问题特定的合成训练数据，实现大语言模型在测试时的自我适应与优化，提升下游任务性能。
2026-03-08 cs.AI cs.LG
Faster Optimization-Based Meta-Learning Adaptation Phase
Dnipro University of Technology（第聂伯罗理工大学）
神经网络需要大量带注释的数据来学习。元学习算法提出了一种将训练样本的数量减少到仅几个的方法。最突出的基于优化的元学习算法之一是模型无关的元学习（MAML）。然而，MAML的关键过程适应新的任务是相当缓慢的。在这项工作中，我们提出了一个改进的MAML元学习算法。我们引入了Lambda模式，通过它我们限制了在适应阶段网络中更新的权重。这使得可以跳过某些梯度计算。给定允许的质量降级阈值参数，选择最快的模式。在某些情况下，通过仔细的模式选择，质量改进是可能的。所进行的实验表明，通过λ自适应模式选择，可以在以下方面显着改善MAML方法：自适应时间减少了3倍，精度损失最小;一步自适应的精度得到了大幅提高。
2022-06-13 cs.CV cs.LG
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
MetaLoRA: Tensor-Enhanced Adaptive Low-Rank Fine-tuning
City University of Hong Kong（香港城市大学）
针对LoRA固定参数限制动态任务适应的问题，本研究提出MetaLoRA框架，结合元学习与自适应低秩分解生成任务感知参数，首次实现元学习增强的LoRA变体，在保持计算效率的同时提升模型适应能力。
2025-04-01 cs.AI cs.LG
A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm
College of Science, National University of Defense Technology（国防科技大学理学院）；College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
针对元学习中部分任务快速适应效果差的问题，提出从分布鲁棒性角度、以期望尾部风险为指标的两阶段启发式策略，提升元学习对任务分布的鲁棒性。
2023-10-01 cs.AI cs.LG
Variable-Shot Adaptation for Online Meta-Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而，在许多现实世界中，更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究，其中任务按顺序呈现。当在这种在线环境中研究元学习时，出现了一个关键问题：当同时考虑元训练和适应时，元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾？对于需要大量Meta训练数据的复杂双层优化的元学习算法，答案尤其不明显。为了回答这个问题，我们扩展了以前的元学习算法，以处理顺序学习中自然出现的可变镜头设置：从开始的多镜头学习到最后的零样本学习。在顺序学习问题上，我们发现，与标准的监督方法相比，元学习用更少的整体标签解决了整个任务集，并实现了更高的累积性能。这些结果表明，元学习是构建学习系统的一个重要组成部分，该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
Meta Adaptation using Importance Weighted Demonstrations
University of Southern California（南加州大学）
提出一种基于重要性加权过去示范的元适应算法，解决任务分布动态变化下的模仿学习泛化问题，并在视觉导航任务上验证了其少样本适应能力。
2023-07-03 cs.AI cs.LG stat.ML
On-the-Fly Adaptation of Source Code Models using Meta-Learning
本文提出将源代码模型适应视为元学习问题，训练基础模型利用文件内支持标记预测缺失标记，在行级维护任务上优于动态评估等基线，标识符和字面量性能分别提升44%和15%。
2020-09-19 cs.AI cs.LG cs.SE
On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
受预处理概念的启发，我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度，而不会产生额外的参数。我们证明，重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法，积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明，该方法显着优于其无约束的对应，特别是在初始适应步骤，同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性，动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
Is Fast Adaptation All You Need?
University of Alberta（阿尔伯塔大学）；HiSilicon（海思）
基于一致性的元学习已被证明在学习模型初始化、表示和更新规则方面非常有效，这些规则允许从几个样本中快速适应。这些方法背后的核心思想是使用快速适应和泛化-两个二阶度量-作为元训练数据集上的训练信号。然而，很少有人注意到其他可能的二阶度量。在本文中，我们研究了一个不同的训练信号-鲁棒性灾难性干扰-并证明，通过指导最小化干扰学习的表示比通过最大化快速适应学习的表示更有利于增量学习。
2019-10-03 cs.LG stat.ML
On the adaptation of in-context learners for system identification
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA达莱·莫尔人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文研究上下文系统辨识中的元模型自适应问题，并通过三类现实数值场景表明，自适应可提升预测性能并增强元学习框架的稳健性与通用性。
2023-12-07 cs.LG cs.SY eess.SY
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis（加利福尼亚大学戴维斯分校）；Google Inc.（谷歌公司）
每天都有许多新的对话域被创建，而收集这些域的数据是非常昂贵的，因为它涉及到人类的交互。因此，在构建数据驱动的对话模型时，开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化，而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型，它采用了元教师模型，强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中，元教师引导对话模型关注重要的标记，以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型，并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
Continual Adaptation of Visual Representations via Domain Randomization and Meta-learning
NAVER LABS Europe（NAVER欧洲实验室）
大多数标准的学习方法导致脆弱的模型，当在不同性质的样本上顺序训练时，这些模型容易漂移-众所周知的“灾难性遗忘“问题。特别是，当一个模型从不同的视觉领域连续学习时，它往往会忘记过去的领域，而倾向于最近的领域。在这种情况下，我们表明，学习本质上对遗忘更鲁棒的模型的一种方法是域随机化-对于视觉任务，通过大量图像操作随机化当前域的分布。基于这一结果，我们设计了一个元学习策略，其中正则化器明确惩罚与将模型从当前域转移到不同的“辅助”元域相关的任何损失，同时也便于适应它们。这样的元域也通过随机化图像操作生成。我们经验证明，在各种各样的实验-从分类到语义分割-我们的方法的结果模型是不太容易灾难性遗忘时，转移到新的领域。
2021-04-08 cs.AI cs.CV cs.LG
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau（澳门大学）
元学习已被充分验证，对低资源神经机器翻译（NMT）有益。然而，我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中，我们的目的是缓解这个问题，提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中，NMT首先学习各领域的相似课程，避免过早陷入局部最优，最后学习各领域的个性化课程，提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明，Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Learning Fast Adaptation with Meta Strategy Optimization
Georgia Institute of Technology（佐治亚理工学院）；Robotics at Google（谷歌机器人部门）
在新场景中行走的能力是足式机器人走向现实世界应用道路上的一个关键里程碑。在这项工作中，我们介绍了Meta Strategy Optimization，这是一种元学习算法，用于训练具有潜在变量输入的策略，可以快速适应目标环境中少量试验的新场景。MSO背后的关键思想是在训练和测试阶段暴露相同的适应过程，即策略优化（SO）。这使得MSO能够有效地学习运动技能以及适合快速适应的潜在空间。我们评估我们的方法在一个真正的四足机器人，并证明成功的适应在各种情况下，包括仿真到现实迁移，步行与削弱电机，或爬上斜坡。此外，我们定量地分析了在模拟环境中的训练策略的泛化能力。真实和模拟实验表明，我们的方法优于以前的方法，在适应新的任务。
2020-02-16 cs.LG cs.RO
MoEMeta: Mixture-of-Experts Meta Learning for Few-Shot Relational Learning
The University of Sydney, Australia（悉尼大学）；Peking University, China（北京大学）
MoEMeta通过混合专家模型和任务定制适应机制，提升少样本关系学习的泛化与适应能力。
2026-01-12 cs.AI cs.LG
Meta-Learning with Neural Tangent Kernels
State University of New York at Buffalo（纽约州立大学布法罗分校）
模型不可知元学习（MAML）已经成为元学习的标准框架，其中元模型具有快速适应新任务的能力。然而，作为一个双循环优化问题，MAML需要区分整个内环优化路径的每个外循环训练步骤，这可能会导致计算效率低下和次优解决方案。在本文中，我们推广MAML允许元学习被定义在函数空间中，并提出了第一个元学习范式在再生核希尔伯特空间（RKHS）诱导的元模型的神经切线核（NTK）。在这种模式下，我们引入了两个元学习算法的RKHS，它不再需要一个次优的迭代内循环适应的MAML框架。我们通过以下方式实现这一目标：1）在RKHS中用快速自适应正则化器替换自适应; 2）基于NTK理论解析地求解自适应。大量的实验研究表明，我们的范例的效率和质量的解决方案相比，相关的元学习算法的优势。我们提出的方法的另一个有趣的特点是，它们被证明比流行的基线对对抗攻击和分布外适应更鲁棒，正如我们的实验所证明的那样。
2021-02-09 cs.AI cs.LG
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI（ElementAI公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
持续学习研究的是在适应新任务的同时，从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中，模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中，目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上，提出一个更一般的场景，大坂，代理必须快速解决新的（分布外）任务，同时还需要快速记忆。我们表明，目前的持续学习，元学习，Meta-持续学习，和持续元学习技术在这个新的情况下失败。我们建议连续MAML，流行的MAML算法的在线扩展作为一个强有力的基线，这种情况下。我们的经验表明，连续MAML比上述方法更适合新的场景，以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法，用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动，可以快速适应未来帧中的特定目标。理想情况下，生成的模型将重点放在对未来帧有用的特征上，并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代，最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部：跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明，我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge（三星人工智能中心剑桥）；The University of Edinburgh（爱丁堡大学）
领域自适应（Domain adaptation，DA）是一个热门的问题，它从标记的源数据集调整模型，使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题，通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中，我们采取了正交的角度来看，并提出了一个框架，以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度，与更广泛考虑的Few-Shot元学习的设置相比，这是具有挑战性的。因此，我们提出了一个在线最短路径元学习框架，这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应（MSDA）和半监督领域自适应（SSDA）的变体。重要的是，我们的方法是不可知的基础适应算法，并可以应用于改善许多技术。在实验中，我们展示了经典（DANN）和最近（MCD和MME）的MSDA和SSDA技术的改进，并最终实现了几个DA基准测试，包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
MetaCropFollow: Few-Shot Adaptation with Meta-Learning for Under-Canopy Navigation
Technical University of Munich（慕尼黑工业大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出MetaCropFollow方法，利用元学习训练基学习器以极少数据快速适应新农业环境，解决冠层下导航中的领域偏移问题，提升低数据场景下的导航鲁棒性。
2024-11-21 cs.AI cs.CV cs.LG
Task-Adaptive Pseudo Labeling for Transductive Meta-Learning
Inha University（仁荷大学）
针对元学习支持集有限导致的样本偏差，本文提出直推式任务自适应伪标签方法，利用标签传播为查询集生成伪标签，并在 5-way 1-shot 分类中超越 SOTA。
2023-04-21 cs.AI cs.LG
Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection
NTT Communication Science Laboratories（NTT通信科学研究所）；NTT Software Innovation Center（NTT软件创新中心）
基于神经网络的异常检测方法已经显示出实现高性能。然而，它们需要为每个任务提供大量的训练数据。我们提出了一种基于神经网络的元学习方法的监督异常检测。该方法通过对不同数据集进行元训练，提高了对包含少量标记正常和异常实例的不可见任务的异常检测性能。对于元学习框架，快速适应每个任务及其有效的反向传播非常重要，因为模型是通过每个时期的适应来训练的。我们的模型使他们通过制定适应作为一个广义特征值问题，一类分类，其全局最优解，求解器是可微的。我们的实验证明，该方法在各种数据集上比现有的异常检测和少镜头学习方法（Few-Shot learning）获得了更好的性能。
2021-03-01 cs.LG stat.ML
Fast Adaptation in Generative Models with Generative Matching Networks
Higher School of Economics（高等经济学院）；Yandex
尽管最近取得了进展，但深度生成模型中仍然存在的瓶颈是大量训练的必要性以及从少量训练示例中泛化的困难。我们开发了一个新的生成模型，称为生成匹配网络，它的灵感来自最近提出的匹配网络在判别任务中的一次性学习。通过对额外的输入数据集进行调节，我们的模型可以立即学习训练数据中不可用但符合类似生成过程的新概念。所提出的框架没有明确限制条件数据的多样性，也不需要广泛的推理过程进行训练或适应。我们在Omniglot数据集上的实验表明，生成匹配网络显着提高了预测性能，因为有更多的额外数据可用，并且优于现有的最先进的条件生成模型。
2017-09-05 cs.LG stat.ML
