MAC: A Meta-Learning Approach for Feature Learning and Recombination
Indian Institute of Information Technology（印度信息技术学院）
本文提出MAC方法，通过增加网络宽度和额外计算单元，在元测试时学习新特征并与现有特征重组，在非相似任务分布上比ANIL提升约13%。
2024-05-25 cs.LG
Meta Temporal Point Processes
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI（Borealis人工智能研究院）
时间点过程（TPP）是一种随机过程，其实现是时间上的离散事件序列。TPP的最新研究在监督学习框架中使用神经网络对过程进行建模，其中训练集是所有序列的集合。在这项工作中，我们建议训练TPPs在一个元学习框架，其中每个序列被视为一个不同的任务，通过一个新的框架TPPs神经过程（NP）。我们引入上下文集模型TPP作为NP的实例化。出于注意NP的动机，我们还引入了本地历史匹配，以帮助学习更多的信息特征。我们展示了所提出的方法在流行的公共基准数据集和任务上的潜力，并与最先进的TPP方法进行了比较。
2023-01-27 cs.LG
Exploring the Similarity of Representations in Model-Agnostic Meta-Learning
Technische Universität Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
近年来，与模型无关的元学习（MAML）一直是元学习中最有前途的方法之一。它可以应用于不同类型的问题，例如，强化学习，而且在少样本学习任务上也显示出良好的结果。除了他们在这些任务中取得的巨大成功，它仍然没有完全揭示，为什么它工作得这么好。最近的研究表明，MAML更倾向于重用特征，而不是快速学习。在本文中，我们希望通过分析MAML的表示，启发对这个问题有更深入的理解。我们应用表示相似性分析（RSA），在神经科学中的一个成熟的方法，MAML的少样本学习实例化。虽然我们的分析的一部分支持他们的一般结果，功能重用是占主导地位的，我们也揭示了反对他们的结论的论点。接近输入层的层的相似性增加来自学习任务本身，而不是来自模型。此外，内部梯度步骤之后的表示比元训练期间的变化对表示进行更广泛的改变。
2021-05-12 cs.AI cs.LG cs.NE
A Simple Neural Attentive Meta-Learner
UC Berkeley（加州大学伯克利分校）；OpenAI
深度神经网络在拥有大量数据的情况下表现出色，但在数据稀缺或需要快速适应任务变化时往往会遇到困难。作为回应，元学习领域最近的工作提出了在类似任务的分布上训练元学习者，希望通过学习一种高级策略来概括新的但相关的任务，该策略抓住了它被要求解决的问题的本质。然而，许多最近的元学习方法都是大量手工设计的，要么使用专门针对特定应用的架构，要么使用硬编码算法组件来约束元学习者如何解决任务。我们提出了一类简单而通用的元学习器架构，它使用时间卷积和软注意力的新组合;前者从过去的经验中聚合信息，后者确定特定的信息。在迄今为止最广泛的一组元学习实验中，我们在几个高度基准化的任务上评估了由此产生的简单神经AttentIve Learner（或SNAIL）。在所有任务中，无论是在监督学习还是强化学习中，SNAIL都以显著的优势获得了最先进的性能。
2018-02-25 cs.AI cs.LG cs.NE
BOIL: Towards Representation Change for Few-shot Learning
Graduate School of Knowledge Service Engineering, KAIST（韩国科学技术院知识服务工程研究生院）；Graduate School of Artificial Intelligence, KAIST（韩国科学技术院人工智能研究生院）
模型不可知元学习（MAML）是基于梯度的元学习算法中最具代表性的算法之一。MAML从元初始化点使用内部更新来学习具有少量数据样本的新任务，并使用外部更新来学习元初始化参数。最近有人假设，表示重用，这使得在有效的表示变化不大，是在性能的元初始化模型，通过MAML表示的变化，这会导致显着的变化表示相反的主导因素。在这项研究中，我们调查的必要性表征变化的最终目标，少样本学习，这是解决领域不可知的任务。为此，我们提出了一种新的元学习算法，称为BOIL（仅在内部循环中更新身体），它只更新模型的身体（提取器），并在内部循环更新期间冻结头部（分类器）。BOIL利用表示变化而不是表示重用。这是因为特征向量（表示）必须快速移动到其对应的冻结头部向量。我们使用余弦相似性，CKA和经验结果，没有头部可视化这个属性。BOIL的经验表明，显着的性能改善MAML，特别是在跨域的任务。结果表明，在基于梯度的元学习方法的表征变化是一个关键组成部分。
2021-03-03 cs.CV cs.LG stat.ML
HAHE: Hierarchical Attentive Heterogeneous Information Network Embedding
Zhejiang University（浙江大学）；Tsinghua University（清华大学）
异构信息网络（HIN）嵌入由于其在处理复杂异构数据方面的有效性而受到广泛关注。Meta路径是连接具有不同语义的对象类型的一种路径，在现有的HIN嵌入工作中得到了广泛的应用。然而，迄今为止，一些挑战尚未得到解决。首先，不同的Meta路径传达不同的语义，而现有的工作假设，所有节点共享相同的权重的Meta路径，忽略了不同的Meta路径上的不同节点的个性化偏好。第二，给定Meta路径，HIN中的节点通过路径实例连接，而现有的工作未能充分探索路径实例之间的差异，反映节点在语义空间中的偏好。为了解决上述问题，本文提出了一种分层注意异构信息网络嵌入（HAHE）模型，用于捕获每个语义空间中的Meta路径和路径实例的个性化偏好。由于路径实例基于特定的Meta路径，因此自然地利用分层注意力机制来对Meta路径和路径实例的个性化偏好进行建模。在几个真实数据集上的大量实验表明，我们提出的\model模型在各种数据采掘任务方面显着优于最先进的方法。
2019-05-14 cs.LG cs.SI
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
Eliminating Meta Optimization Through Self-Referential Meta Learning
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南部应用科学与艺术大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
元学习自动搜索学习算法。与此同时，它在元层面上依赖于人类工程，需要设计元学习算法。在本文中，我们研究自我参考元学习系统，修改自己，而不需要明确的Meta优化。我们讨论了这种系统的关系，在上下文和基于记忆的元学习，并表明，自我参考神经网络需要的功能，以参数共享的形式被重用。最后，我们提出了适应单调执行（FME），一个简单的方法来避免显式的Meta优化。一个神经网络自我修改以解决强盗和经典控制任务，改进其自我修改，并学习如何学习，纯粹是通过分配更多的计算资源，以更好地执行解决方案。
2022-12-29 cs.AI cs.LG cs.NE
Meta Attentive Graph Convolutional Recurrent Network for Traffic Forecasting
针对现有交通预测方法难以全局捕捉节点特定模式、无法同时建模长短时依赖的问题，提出融合节点特定元模式学习与节点注意力权重生成模块的MAGCRN模型，在6个真实数据集上的长短时预测性能均优于SOTA基线。
2023-08-28 cs.LG
Meta R-CNN : Towards General Solver for Instance-level Few-shot Learning
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
少样本学习类似于人类的快速学习能力，通过使用少量样本进行训练，使视觉系统能够理解新的概念。从单一视觉对象的图像元学习中获得的领先方法。复杂的背景和多目标的模糊化使得Few-Shot目标检测/分割的研究难以深入。在这项工作中，我们提出了一个灵活的和一般的方法来实现这些任务。我们的工作扩展了Faster /Mask R-CNN，提出了对RoI（感兴趣区域）特征而不是完整图像特征的元学习。这种简单的精神将多对象信息与背景融合在一起，没有花里胡哨的东西，使Faster /Mask R-CNN成为一个元学习者来完成任务。具体来说，我们引入了一个预测头重塑网络（PRN），该网络与Faster /Mask R-CNN共享其主要主干。PRN接收包含具有其边界框或掩模的Few-Shot对象的图像，以推断其类关注向量。这些向量对RoI特征进行通道级软关注，重新构建这些R-CNN预测器头，以检测或分割与这些向量表示的类一致的对象。在我们的实验中，Meta R-CNN在Few-Shot目标检测方面达到了最先进的水平，并通过Mask R-CNN改进了Few-Shot对象分割。
2020-03-14 cs.CV cs.LG
Staircase Network: structural language identification via hierarchical attentive units
University of Eastern Finland（东芬兰大学）；AIST（日本产业技术综合研究所）
语言识别系统通常直接训练以优化目标语言标签上的分类错误，而不使用模型参数估计中的外部或元信息。然而，标签并不是相互独立的，例如，语言家族强制执行依赖性，这对分类产生了负面影响。其他外部信息源（例如音频编码、电话或视频语音）也会降低分类准确度。在本文中，我们试图解决这些问题，通过构建一个深层次的神经网络，其中不同层次的元信息被封装的关注预测单元，也嵌入到训练过程中。所提出的方法学习辅助任务，以获得强大的内部表示，并构建一个层次模型内的注意单元的变体。最终的结果是对目标语言和一个密切相关的语系的结构预测。该算法在其架构和训练中反映了一种“阶梯”学习方式，从基本音频编码到语言族级别，最后到目标语言级别。该过程不仅提高了泛化能力，而且解决了深度神经网络模型中的不平衡类先验和信道可变性问题。我们的实验结果表明，所提出的架构优于国家的最先进的i向量的方法上的小型和大型语言语料库的显着保证金。
2018-04-30 cs.AI cs.CL cs.LG
Meta-learning enhanced next POI recommendation by leveraging check-ins from auxiliary cities
Macquarie University（麦考瑞大学）；Chengdu University of Information Technology（成都信息工程大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）；Nanyang Technological University（南洋理工大学）
针对城市级签到数据稀缺问题，提出MERec框架，通过城市级相关性注意力策略从辅助城市迁移共同行为模式，并以元学习提升目标城市的下一POI推荐效果。
2023-08-18 cs.IR cs.LG
Optimization Encoders: Rethinking Second-Order Meta-Learning for Neural Fields
Weill Cornell Medicine（威尔康奈尔医学院）；Cornell Tech（康奈尔科技学院）；Amsterdam UMC（阿姆斯特丹大学医学中心）
本文提出优化编码器视角，统一二阶元学习中的潜在优化，并据此设计基于等变变换器的MetaLF神经场，通过自注意力协调潜在点云，实现高效重建与语义预测。
2026-10-07 cs.CV cs.LG
Compositional meta-learning through probabilistic task inference
Department of Basic Neurosciences, University of Geneva（日内瓦大学基础神经科学系）；Champalimaud Research, Champalimaud Foundation（恰帕拉米德研究，恰帕拉米德基金会）；Sainsbury Wellcome Centre, University College London（萨金斯堡沃来中心，伦敦大学学院）
针对元学习中少样本新任务求解问题，提出将任务显式表示为可复用计算单元结构化组合的组合式元学习模型，通过生成模型捕捉共享组件与统计特性，将新任务学习转化为概率推断问题，结合神经网络表达力与概率推断数据效率，实现单样本快速推断的高效组合式元学习。
2025-10-02 cs.LG q-bio.NC
FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds
University of Isfahan（伊斯法罕大学）；EPFL（洛桑联邦理工学院）
本文提出 FORML，一种用于 Stiefel 流形上元学习的无 Hessian 方法，通过一阶近似降低计算与内存开销，并利用 Stiefel 全连接层增强表示重用，在少样本学习任务中优于 MAML 等方法。
2024-05-31 cs.LG
Improving the performance of weak supervision searches using transfer and meta-learning
National Center for Theoretical Sciences（国家理论科学中心）；National Taiwan University（台湾大学）
针对弱监督搜索训练需大量信号的问题，本文提出先在模拟数据上进行迁移学习或元学习、再在实验数据上训练的方法，显著减少了所需信号并提升搜索性能。
2024-03-01 cs.LG hep-ex hep-ph
Graph Neighborhood Attentive Pooling
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Royal Institute of Technology (KTH)（皇家理工学院（KTH））；Stockholm（斯德哥尔摩）
网络表示学习（NRL）是一种用于学习高维稀疏图的低维向量表示的强大技术。大多数研究使用随机游走探索与图相关联的结构和元数据，并采用无监督或半监督学习方案。这些方法中的学习是与上下文无关的，因为每个节点只学习一个表示。最近的研究争论的充分性，一个单一的表示，并提出了一个上下文敏感的方法，被证明是非常有效的应用，如链接预测和排名。然而，这些方法中的大多数依赖于额外的文本特征，这些特征需要RNN或CNN来捕获高级特征，或者依赖于社区发现算法来识别节点的多个上下文。在这项研究中，不需要额外的功能，也不需要社区发现算法，我们提出了一种新的上下文敏感的算法称为GAP，学习参加一个节点的邻居的不同部分使用细心的池网络。我们使用三个真实世界的数据集上的链接预测和节点聚类任务的GAP的功效，并将其与10个流行的和最先进的（SOTA）基线进行比较。GAP始终优于它们，并分别在链接预测和聚类任务上实现了高达9%和20%的增益。
2020-01-29 cs.LG cs.SI stat.ML
Meta-Learning Guided Label Noise Distillation for Robust Signal Modulation Classification
针对自动调制分类中的标签误标问题，提出元学习引导的TSHN噪声蒸馏框架与MVS方法，显著提升复杂噪声场景下的分类性能与鲁棒性。
2024-08-09 cs.AI cs.LG eess.SP
SkillTrace: Multi-Trace Provenance Auditing for LLM-Agent Skill Reuse
本文提出SKILLTRACE框架，通过提取三种溯源审计LLM智能体技能复用，在SKILLTRACE-BENCH上取得高指标，野外审计显示其能生成更具操作性的复用审查队列。
2026-08-10 cs.AI cs.LG
Memory Efficient Neural Processes via Constant Memory Attention Block
Borealis AI（博雷亚利斯人工智能公司）；Mila – Université de Montréal（米拉-蒙特利尔大学）
针对神经过程注意力机制内存开销大的问题，提出常数内存注意力块（CMAB）及CMANPs模型，实现常数内存与计算更新，在基准上取得最先进结果且内存效率显著提升。
2024-05-27 cs.CV cs.LG
Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies
Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
针对AD难以处理高敏感、不连续或黑盒展开图的问题，提出无偏在线进化策略并识别出最低方差的NRES，实验证明其在多类任务上收敛更快。
2023-12-09 cs.AI cs.LG cs.NE
Introducing Symmetries to Black Box Meta Reinforcement Learning
DeepMind（深度思维）；The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科学大学）
Meta强化学习（RL）试图从环境交互中自动发现新的强化学习算法。在所谓的黑盒方法中，策略和学习算法由单个神经网络共同表示。这些方法非常灵活，但在推广到新的、看不见的环境方面往往表现不佳。在本文中，我们将探讨对称性在元泛化中的作用。我们发现，最近一个成功的Meta RL方法，元学习基于反向传播的学习的目标表现出一定的对称性（特别是重复使用的学习规则，输入和输出排列的不变性），不存在于典型的黑盒Meta RL系统。我们假设，这些对称性可以发挥重要作用，在元概括。基于最近在黑盒监督元学习方面的工作，我们开发了一个黑盒Meta RL系统，该系统具有相同的对称性。我们通过仔细的实验表明，结合这些对称性可以使算法具有更大的能力来概括看不见的动作和观察空间，任务和环境。
2022-06-05 cs.AI cs.LG cs.NE
Matching options to tasks using Option-Indexed Hierarchical Reinforcement Learning
Google Research India（谷歌印度研究院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
分层强化学习中的选项框架将总体目标分解为选项或更简单的任务和相关策略的组合，允许在动作空间中进行抽象。理想情况下，这些选项可以在不同的更高级别的目标中重用;事实上，这种重用对于实现持续学习代理的愿景是必要的，该代理可以有效地利用其先前的经验。以前的方法只提出了有限的形式转移的预先学习的选项，以新的任务设置。我们提出了一种新的选项索引方法分层学习（OI-HRL），在那里我们学习选项和环境中存在的项目之间的亲和力函数。这使我们能够有效地重用一个大型的预训练选项库，在测试时进行zero-shot泛化，将目标导向学习限制在与手头任务相关的选项上。我们开发了一个元训练循环，通过将有关检索到的选项与更高级别目标的相关性的反馈纳入HRL问题中，来学习选项和环境的表示。我们在两个模拟环境中评估了OI-HRL-CraftWorld和AI 2 THOR环境-并表明我们实现了与Oracle基线竞争的性能，并且在具有可用于学习分层策略的整个选项池的基线上获得了实质性收益。
2022-06-12 cs.LG
