Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark
Google Research, Brain Team（谷歌研究院，大脑团队）
Meta和迁移学习是少样本学习的两种成功的方法。尽管目标高度相关，但每个家庭的最新进展在很大程度上是孤立地衡量的。由于评价规范各不相同，直接或彻底比较不同的方法是一项挑战。为了弥补这一差距，我们进行了跨家庭的研究，最好的迁移和Meta学习者的大规模元学习基准（元数据集，MD），和迁移学习基准（视觉任务适应基准，VTAB）。我们发现，平均而言，大规模转移方法（Big Transfer，BiT）在MD上的表现优于竞争方法，即使只在ImageNet上训练。相比之下，元学习方法在MD上训练和验证时很难在VTAB上竞争。然而，BiT并非没有限制，并且推动规模并不能提高高度分布MD任务的性能。在执行这项研究中，我们揭示了一些差异的评价规范和研究其中一些在光的性能差距。我们希望这项工作有助于分享来自每个社区的见解，并加快少样本学习的进展。
2021-04-06 cs.CV cs.LG
MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures
KAIST（韩国科学技术院）；AITRICS
正则化和迁移学习是两种常用的对未知数据进行泛化的技术，这是机器学习的一个基本问题。正则化技术是通用的，因为它们与任务和架构无关，但它们不利用大量可用数据。迁移学习方法学习将知识从一个领域转移到另一个领域，但可能不会跨任务和架构进行泛化，并且可能会引入新的训练成本以适应目标任务。为了弥合两者之间的差距，我们提出了一个可转移的扰动，MetaPerturb，这是元学习，以提高泛化性能看不见的数据。MetaPerturb被实现为一个基于集合的轻量级网络，它不知道输入的大小和顺序，这些输入在各层之间共享。然后，我们提出了一个元学习框架，共同训练的扰动函数在异构任务并行。由于MetaPerturb是一个在跨层和任务的不同分布上训练的集合函数，因此它可以推广到异构任务和架构。我们验证了MetaPerturb在特定源域和架构上训练的有效性和通用性，通过将其应用于针对各种正则化器和微调的异构目标数据集上的各种神经架构的训练。结果表明，使用MetaPerturb训练的网络在大多数任务和架构上的表现都明显优于基线，参数大小的增加可以忽略不计，并且没有超参数需要调整。
2022-02-15 cs.LG stat.ML
Transfer Bayesian Meta-learning via Weighted Free Energy Minimization
元学习基于从多个辅助任务采样的数据来优化训练过程的超参数，例如其初始化、内核或学习率。一个关键的基本假设是，辅助任务（称为元训练任务）与部署时遇到的任务（称为元测试任务）共享相同的生成分布。然而，当测试环境不同于元训练条件时，情况可能并非如此。为了解决元训练阶段和元测试阶段之间任务生成分布的变化，本文引入了用于转移元学习的加权自由能最小化（WFEM）。我们实例化所提出的方法，通过高斯过程（GP）的非参数贝叶斯回归和分类。玩具正弦回归问题，以及分类使用miniImagenet和CUB数据集，通过比较与标准的元学习的GP先验的PACOH实现的方法进行验证。
2021-11-09 cs.LG eess.SP
MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出元学习学习率调节器MetaLR，通过在线为不同层自动学习合适学习率，解决医学影像迁移学习中手动选层微调费时且易遗忘医学表示能力的问题，并在多个医学应用上超越现有最优微调策略。
2023-05-29 cs.CV cs.LG eess.IV
Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization
King’s College London（伦敦国王学院）；Chalmers Institute of Technology（查尔姆斯理工大学）
元学习通过观察来自多个相关任务的数据来自动推断归纳偏差。归纳偏差由确定模型类或训练算法的方面的超参数编码，例如初始化或学习率。元学习假设学习任务属于一个任务环境，并且在元训练和元测试期间任务都是从同一个任务环境中提取的。然而，这在实践中可能不成立。在本文中，我们介绍了迁移元学习的问题，其中任务是从目标任务环境中提取的元测试过程中，可能不同于元训练过程中观察到的源任务环境。新的信息理论上界获得的转移元泛化差距，衡量元训练损失之间的差异，在元学习者，和Meta测试数据的平均损失从一个新的，随机选择的，在目标任务环境中的任务。第一个界限，在平均传输元泛化差距，通过源和目标数据分布之间的KL分歧捕获源和目标任务环境之间的元环境转移。第二，PAC贝叶斯界，和第三，单次抽奖界，占这种转变通过源和目标任务分布之间的对数似然比。此外，介绍了两种迁移元学习解决方案。对于第一个，称为经验元风险最小化（EMRM），我们得出的平均最优差距的界限。第二，称为信息元风险最小化（IMRM），是通过最小化PAC贝叶斯界。通过实验表明，IMRM可能优于EMRM。
2020-11-06 cs.IT cs.LG eess.SP
Homomorphisms Between Transfer, Multi-Task, and Meta-Learning Systems
National Security Institute（国家安全研究所）；Virginia Tech（弗吉尼亚理工大学）
迁移学习、多任务学习和元学习都是关于跨学习任务的知识概括的研究课题，与一般智力密切相关。但是，正式的，一般的系统之间的差异，在文献中探索不足。这种缺乏系统级形式主义的情况导致了协调相关的跨学科工程工作的困难。这份手稿将迁移学习、多任务学习和元学习形式化为抽象学习系统，与Mesarovic和Takahara的形式最简抽象系统理论相一致。此外，它使用所提出的形式主义，涉及的组成，层次结构和结构同态方面的学习的三个概念。研究结果很容易描述的输入输出系统，突出了容易划定正式的，一般的系统之间的差异转移，多任务，和元学习。
2022-08-04 cs.AI cs.LG cs.SY
Robustifying Sequential Neural Processes
University of Torontoland（托伦托兰大学）；Googol ShallowMind；University of Edenborrow（伊登伯勒大学）
当任务随时间变化时，Meta迁移学习试图通过元学习和迁移学习来提高学习新任务的效率。虽然标准注意力在各种环境中都是有效的，但我们质疑它在改善Meta迁移学习方面的有效性，因为学习的任务是动态的，上下文的数量可以小得多。在本文中，使用最近提出的Meta迁移学习模型，顺序神经过程（SNP），我们首先经验表明，它遭受了类似的欠拟合问题，神经过程推断的功能。然而，我们进一步证明，与元学习设置，标准的注意力机制是无效的元迁移设置。为了解决这个问题，我们提出了一种新的注意力机制，递归记忆重建（RMR），并证明了提供一个虚构的上下文，是递归更新和重建的互动是至关重要的，在实现有效的注意力的Meta迁移学习。此外，将RMR纳入SNP，我们提出了注意顺序神经过程-RMR（ASNP-RMR），并在各种任务中证明ASNP-RMR显着优于基线。
2020-06-29 cs.LG stat.ML
MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
多语言预训练表示和跨语言迁移学习的结合是为低资源语言构建功能性NLP系统的最有效方法之一。然而，对于没有大规模单语语料库进行预训练或没有足够的注释数据进行微调的极低资源语言，迁移学习仍然是一个研究不足和具有挑战性的任务。此外，最近的工作表明，多语言表示在不同语言之间令人惊讶地不相交，这给迁移到资源极低的语言带来了额外的挑战。在本文中，我们提出了MetaXL，这是一个基于元学习的框架，它学会明智地将表示从辅助语言转换为目标语言，并使它们的表示空间更接近以进行有效的转换。在现实世界的低资源语言上进行的大量实验-没有访问大规模单语语料库或大量标记数据-用于跨语言情感分析和命名实体识别等任务，显示了我们方法的有效性。MetaXL的代码可在github.com/microsoft/MetaXL上公开获取。
2021-04-16 cs.CL cs.LG
Transfer Learning for Finetuning Large Language Models
University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本研究提出通过元学习代理模型进行迁移学习，以优化大型语言模型微调配置，在合成数据集和Phi-3微调元数据集上优于基线方法。
2024-11-02 cs.CL cs.LG
Transfer Learning for Algorithm Recommendation
University of São Paulo（圣保罗大学）；Federal Technology University of Paraná（巴拉那联邦科技大学）
元学习是机器学习的一个子领域，旨在利用先验知识以更快的速度和更少的数据进行学习[1]。元学习可以应用于不同的场景，最常见的一种是算法推荐，其中可以使用之前在多个数据集上应用机器学习算法的经验来学习从一组选项中选择哪种算法更适合新的数据集[2]。也许最流行的元学习形式是迁移学习，它包括在先前的学习任务中转移机器学习算法获得的知识，以在另一个类似的任务中更快地提高其性能[3]。迁移学习已广泛应用于各种复杂任务，如图像分类、机器翻译和语音识别，并取得了显著的效果[4，5，6，7，8]。虽然迁移学习在传统学习或基础学习中非常常用，但它在元学习设置中是否有用仍然是未知的。为此，在本文中，我们调查的影响，转移知识的元水平，而不是基础水平。因此，我们在与算法推荐相关的元数据集上训练神经网络，然后使用迁移学习，我们在来自同一领域的其他类似数据集中重用由神经网络学习的知识，以验证所获得的元知识的可迁移性。
2019-10-15 cs.LG cs.NE stat.ML
The Curse of Zero Task Diversity: On the Failure of Transfer Learning to Outperform MAML and their Empirical Equivalence
最近，有人观察到，迁移学习解决方案可能是我们解决许多少样本学习基准测试所需的全部-因此提出了关于何时以及如何部署元学习算法的重要问题。在本文中，我们试图澄清这些问题，提出了一种新的度量-多样性系数-来衡量任务的多样性在少样本学习基准。我们假设少样本学习基准的多样性系数可以预测元学习解决方案是否会成功。使用多样性系数，我们表明MiniImagenet基准具有零多样性。这种新颖的见解将迁移学习解决方案优于元学习解决方案的主张置于情境中。具体来说，我们根据经验发现，多样性系数为零与迁移学习和模型不可知元学习（MAML）学习的解决方案在元准确性方面（在元测试时）的高度相似性相关。因此，我们推测元学习的解决方案具有相同的元测试性能的迁移学习时的多样性系数为零。我们的工作提供了多样性是否与元学习成功相关的第一个测试。
2022-11-28 cs.AI cs.CV cs.LG
MetaNO: How to Transfer Your Knowledge on Learning Hidden Physics
Lehigh University（理海大学）；IBM Research（IBM研究院）；Tencent Inc（腾讯公司）；The University of Oklahoma（俄克拉荷马大学）
基于约束的元学习方法主要应用于经典的机器学习任务，例如图像分类。最近，求解偏微分方程的深度学习方法，如神经运算符，开始对直接从观测数据学习和预测复杂物理系统的响应产生重要影响。由于这种情况下的数据采集通常具有挑战性且成本高昂，因此利用现有知识并将其转移到新的和看不见的物理系统的要求更加迫切。在这里，我们提出了一种新的元学习方法的神经运营商，它可以被看作是转移的知识的解决方案之间的运营商的管理（未知）偏微分方程与不同的参数字段。我们的方法是一个可证明的通用解决方案运营商为多个PDE求解任务，与一个关键的理论观察，底层参数字段可以被捕获在第一层的神经操作模型，而不是典型的最后一层转移在现有的元学习方法。作为应用，我们证明了我们提出的方法在基于偏微分方程的数据集和现实世界的材料建模问题上的有效性，说明我们的方法可以处理复杂和非线性的物理响应学习任务，同时大大提高了看不见的任务的采样效率。
2023-02-03 cs.LG cs.NA math.NA
Exploring the potential of transfer learning for metamodels of heterogeneous material deformation
Boston University（波士顿大学）
从纳米尺度到宏观尺度，生物组织在空间上是不均匀的。即使在很好地理解组织行为时，材料特性的确切受试者特定空间分布也常常是未知的。而且，当开发生物组织的计算模型时，针对每个感兴趣的问题来模拟材料属性的每个合理的空间分布通常在计算上是昂贵的。因此，开发生物组织的精确计算模型的主要挑战之一是捕捉这种空间异质性的潜在影响。最近，基于机器学习的元模型作为一种在计算上易于处理的方法来克服这个问题，因为它们可以基于有限数量的直接模拟运行进行预测，因此已经获得了普及。这些元模型是有前途的，但他们往往仍然需要大量的直接模拟，以达到可接受的性能。在这里，我们表明，迁移学习，一种策略，在解决一个问题时获得的知识转移到解决一个不同但相关的问题，可以帮助克服这一限制。重要的是，迁移学习可用于利用低保真度仿真数据和仿真数据，这些数据是解决不同但相关的机械问题的结果。在本文中，我们扩展了Mechanical MNIST，这是我们的开源基准数据集，用于大变形的异质材料，包括一系列低保真度的模拟结果，这些结果需要2-4个数量级的CPU时间来运行。然后，我们表明，转移存储在元模型中的知识，这些低保真度的模拟结果进行训练，可以大大提高元模型的性能，用于预测高保真模拟的结果。
2020-10-28 cs.LG physics.data-an q-bio.TO
Combining Image Features and Patient Metadata to Enhance Transfer Learning
National Physical Laboratory（国家物理实验室）
在这项工作中，我们比较了六种最先进的深度神经网络在分类任务中仅使用图像特征时的性能，以及与患者元数据相结合时的性能。我们利用在ImageNet上预训练的网络的迁移学习，在分类之前从ISIC HAM10000数据集中提取图像特征。使用几个分类性能指标，我们评估的影响，包括元数据的图像特征。此外，我们重复我们的实验与数据增强。我们的研究结果显示，通过所有指标评估，每个网络的性能都得到了全面增强，只注意到vgg16架构中的性能下降。我们的研究结果表明，这种性能增强可能是深度网络的一般属性，应该在其他领域进行探索。此外，这些改进在计算时间上的额外成本可以忽略不计，因此是其他应用的实用方法。
2021-10-08 cs.CV cs.LG eess.IV
Improving the performance of weak supervision searches using transfer and meta-learning
National Center for Theoretical Sciences（国家理论科学中心）；National Taiwan University（台湾大学）
针对弱监督搜索训练需大量信号的问题，本文提出先在模拟数据上进行迁移学习或元学习、再在实验数据上训练的方法，显著减少了所需信号并提升搜索性能。
2024-03-01 cs.LG hep-ex hep-ph
Ultra Efficient Transfer Learning with Meta Update for Cross Subject EEG Classification
University at Buffalo（布法罗大学）
不同受试者的脑电（EEG）信号模式存在显著差异，这对EEG分类器提出了以下挑战：1）有效地将学习的分类器适应新的受试者; 2）在适应后保留已知受试者的知识。我们提出了一种有效的迁移学习方法，命名为Meta更新策略（MUPS-EEG），连续EEG分类在不同的主题。该模型通过Meta更新来学习有效的表示，从而加速了对新主题的适应，同时减轻了对先前主题知识的遗忘。所提出的机制源于元学习，并致力于1）找到广泛适用于不同主题的特征表示，2）最大化损失函数的灵敏度，以快速适应新的主题。该方法可以应用于所有面向深度学习的模型。在两个公共数据集上进行的大量实验证明了该模型的有效性，在适应新主题和保留所学主题知识方面都大大优于当前的艺术水平。
2021-03-01 cs.LG eess.SP stat.ML
Meta-Transfer Learning through Hard Tasks
Singapore Management University（新加坡管理大学）；Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）；Max-Plank Institute for Informatics（马克斯·普朗克信息学研究所）
元学习已经被提出作为一个框架，以解决具有挑战性的少样本学习设置。其关键思想是利用大量类似的Few-Shot任务，以学习如何使基本学习者适应只有少数标记样本可用的新任务。由于深度神经网络（DNN）往往只使用少量样本进行过拟合，因此典型的元学习模型使用浅层神经网络，从而限制了其有效性。为了实现最佳性能，最近的一些工作尝试使用在大规模数据集上预训练的DNN，但大多数是以直接的方式，例如，(1)把它们的权重作为元训练的一个温暖的开始，以及（2）冻结它们的卷积层作为基本学习者的特征提取器。在本文中，我们提出了一种称为元迁移学习（MTL）的新方法，该方法学习为少样本学习任务转移深度NN的权重。具体来说，元是指训练多个任务，而迁移是通过学习每个任务的DNN权重的缩放和移位函数来实现的。此外，我们引入了硬任务（HT）元批处理方案作为一个有效的学习课程，进一步提高MTL的学习效率。我们进行了Few-Shot学习实验，并在三个具有挑战性的基准测试中报告了五类Few-Shot识别任务的最佳性能：miniImageNet，tieredImageNet和Fewshot-CIFAR100（FC100）。与相关工作的广泛比较验证了我们用建议的HT元批处理方案训练的MTL方法达到了最佳性能。消融研究还表明，这两个组件有助于快速收敛和高精度。
2019-10-07 cs.CV cs.LG stat.ML
Toward Improved Generalization: Meta Transfer of Self-supervised Knowledge on Graphs
University of Southern California（南加州大学）
尽管图卷积网络在功能性脑活动分析中取得了显著的成功，但功能模式的异质性和成像数据的稀缺性仍然给许多任务带来了挑战。将知识从具有丰富训练数据的源域转移到目标域对于改进在稀缺训练数据上的表示学习是有效的。然而，传统的迁移学习方法往往无法推广的预训练知识的目标任务，由于领域的差异。图上的自监督学习可以增加图特征的泛化能力，因为自监督集中于不限于特定监督任务的固有图属性。针对功能磁共振成像数据的异质性和稀缺性，提出了一种新的融合元学习和自监督学习的知识转移策略。具体来说，我们在源域上执行自监督任务，并应用元学习，这大大提高了使用双层优化的模型的泛化能力，将自监督知识转移到目标域。通过对神经系统疾病分类任务的实验，我们证明了所提出的策略通过增加基于图的知识的泛化性和可转移性来显着提高目标任务的性能。
2022-12-16 cs.LG
MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces
Microsoft（微软）；Microsoft Research（微软研究院）
尽管预训练的语言模型具有普遍的代表性，但将它们适应特定的NLP任务仍然需要大量的标记数据。有效的任务微调遇到的挑战时，只有少数标记的例子是目前的任务。在本文中，我们的目标是解决问题的Few Shot任务学习的开发和转移，从不同的任务，承认一个相关的，但不同的标签空间。具体来说，我们设计了一个标签传输网络（LTN），将标签从源任务转换到目标任务进行训练。LTN和任务预测模型都是通过一个双层优化框架学习的，我们称之为MetaXT。MetaXT提供了一个原则性的解决方案，通过从源任务转移知识，使预训练的语言模型最好地适应目标任务。通过对两种不同类型的标签空间差异的四个NLP任务的跨任务迁移设置的实证评估，证明了MetaXT的有效性，特别是当目标任务中的标签数据有限时。
2021-09-09 cs.CL cs.LG
Meta-Evolve: Continuous Robot Evolution for One-to-many Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Meta-Evolve 方法，通过共享树状进化路径实现连续机器人进化，将专家策略高效地从源机器人迁移到多个目标机器人，实验显示一对三操作策略迁移效率提升最高 3.2 倍，一对六运动策略迁移提升 2.4 倍。
2024-05-06 cs.AI cs.LG cs.NE
