Stress Testing of Meta-learning Approaches for Few-shot Learning
Indian Institute of Technology, Ropar（印度理工学院罗巴尔分校）
元学习（ML）已经成为一种有前途的学习方法，在资源约束下，如少样本学习。ML方法通常提出一种学习可推广模型的方法。在这篇正在进行的论文中，我们对最近的ML方法进行了压力测试，以发现它们的局限性。准确地说，我们测量了ML方法在少样本学习中的性能，以对抗不断增加的任务复杂性。我们的研究结果表明，ML（MAML，TAML和MetaSGD）的初始化策略的性能迅速下降，而令人惊讶的是，使用优化策略（MetaLSTM）的方法表现得更好。我们进一步证明了以MAML方式训练的ML（MetaLSTM++）优化策略在纯优化策略上的有效性。我们的实验还表明，ML的优化策略实现了从简单到复杂的任务更高的可移植性。
2021-01-21 cs.AI cs.LG
A Meta-Learning Approach to One-Step Active Learning
Sorbonne Universites, UPMC Univ Paris 06（索邦大学，巴黎第六大学）；Ecole Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）
我们认为，当获得训练标签时，学习的问题是昂贵的，这通常是在文献中使用主动学习技术解决的。这些方法提供了在训练之前或训练期间选择要标记的示例的策略。这些策略通常是基于数学甚至理论的措施，但没有学习，因为它们是直接在培训中使用。我们设计了一个模型，其目的是在\textit{learning active-learning strategies}使用元学习设置。更具体地说，我们考虑基于池的设置，其中系统观察问题的数据集的所有示例，并且必须选择示例的子集以在Single Shot中进行标记。实验结果令人鼓舞。
2017-07-17 cs.LG
Meta-Learning Regrasping Strategies for Physical-Agnostic Objects
Bosch Center for Artificial Intelligence（博世人工智能中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对未知物理属性非均质物体抓取难题，提出元学习算法ConDex，结合CNP与DexNet-2.0通过深度图像在线估计物理属性并优化抓取点，在仿真和真实环境中均展现出优于基线的泛化性能。
2023-09-14 cs.AI cs.CV cs.LG
First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
University of British Columbia（英属哥伦比亚大学）；Vector Institute（矢量研究所）
针对元强化学习在需要牺牲即时奖励的探索场景中陷入局部最优的问题，提出First-Explore方法，通过分离探索与利用策略，显著提升性能。
2024-11-04 cs.AI cs.LG
Meta-Learning of Structured Task Distributions in Humans and Machines
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
近年来，元学习（其中模型在一系列任务（即任务分布）上进行训练）已经成为训练神经网络执行先前被认为需要结构化表示的任务的方法，朝着缩小人类和机器之间的差距迈出了大步。然而，我们认为，评估元学习仍然是一个挑战，并可能错过元学习是否实际上使用嵌入在任务中的结构。因此，这些元学习者可能仍然与人类学习者有很大的不同。为了证明这种差异，我们首先定义了一个新的Meta强化学习任务，其中使用组合语法生成结构化任务分布。然后，我们引入了一种新的方法来构建一个“空任务分布”，具有相同的统计复杂性，这种结构化的任务分布，但没有明确的规则为基础的结构，用于生成结构化的任务。我们训练一个标准的元学习代理，一个用无模型强化学习训练的循环网络，并将其与两种任务分布的人类表现进行比较。我们发现了一个双重分离，其中人类在结构化任务分布中做得更好，而代理在空任务分布中做得更好-尽管具有可比的统计复杂性。这项工作强调了多种策略可以实现合理的元测试性能，并且仔细构建控制任务分布是了解元学习者获得哪些策略以及它们与人类有何不同的有价值的方法。
2021-03-18 cs.AI cs.LG
Improving Generalization in Meta-Learning via Meta-Gradient Augmentation
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）
针对元学习双循环框架的过拟合问题，提出不依赖数据的元梯度增强方法MGAug，通过三种剪枝策略（含新的鲶鱼剪枝）生成增强元梯度，有理论保证且在少样本基准上性能优于现有基线。
2023-06-14 cs.AI cs.LG
Approximating Nash Equilibria in General-Sum Games via Meta-Learning
Charles University Prague（布拉格查尔斯大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Brown University（布朗大学）
针对一般和博弈中寻找纳什均衡的难题，提出基于元学习的遗憾最小化方法以降低策略相关性，促使算法逼近纳什均衡，实验证明其近似效果显著优于现有技术。
2025-04-26 cs.GT cs.LG
On Hard Episodes in Meta-Learning
Microsoft AI（微软人工智能）；Microsoft Research（微软研究院）；University of Maryland, College Park（马里兰大学学院市分校）
现有的元学习器主要专注于提高多个片段的平均任务准确性。然而，不同的片段可能在硬度和质量上有所不同，导致元学习者在片段之间的表现存在很大差距。了解这个问题在工业Few-Shot设置中尤其重要，因为测试片段通常由最终用户上传，因此对测试片段的控制有限。在本文中，我们实证分析了元学习者在三个标准基准数据集（CIFAR-FS，mini-ImageNet和tiered-ImageNet）上不同硬度事件上的行为。令人惊讶的是，我们观察到在所有标准基准和元学习器中，最难和最容易的情节之间的准确率差距约为50%。我们还研究了硬事件的各种属性，并强调了它们与元训练期间的灾难性遗忘的联系。为了解决在困难事件上表现不佳的问题，我们调查并基准测试了基于对抗训练和课程学习的不同元训练策略。我们发现，对抗性训练策略比课程学习更有效地提高了对困难事件的预测性能。
2021-10-21 cs.CV cs.LG
Meta-learning with Stochastic Linear Bandits
University of Milan（米兰大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University College London（伦敦大学学院）；Facebook AI Research（脸书人工智能研究院）
我们研究了随机线性强盗任务中的元学习过程。我们的目标是选择一个学习算法，平均工作在一类土匪任务，这是从任务分布采样。最近的工作学习学习线性回归的启发，我们考虑一类的强盗算法，实现了一个正则化版本的著名的OFUL算法，其中正则化是一个平方欧几里德距离偏置向量。我们首先研究的好处有偏见的OFUL算法的遗憾最小化。然后，我们提出了两种策略来估计学习学习设置内的偏见。我们从理论和实验上表明，当任务的数量增长和任务分布的方差是小的，我们的策略有一个显着的优势，在孤立的学习任务。
2020-05-18 cs.LG stat.ML
In-Loop Meta-Learning with Gradient-Alignment Reward
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
标准深度学习训练循环的核心是一个贪婪的梯度步骤，以最小化给定的损失。我们建议增加第二步，以最大限度地提高训练泛化能力。为此，我们优化了下一个训练步骤的损失。虽然为此计算梯度通常非常昂贵，并且许多有趣的应用程序考虑不可微参数（例如，由于硬样本），但我们提出了一种计算成本低且节省内存的奖励，即梯度对齐奖励（GAR），可以指导优化。我们使用这个奖励来优化模型训练期间的多个分布。首先，我们提出了GAR的应用程序选择的数据分布作为一个混合的多个数据集分裂在一个小规模的设置。其次，我们证明了它可以成功地指导学习增强策略与CIFAR-10和CIFAR-100上最先进的增强策略竞争。
2021-02-05 cs.LG
Data-Efficient Brain Connectome Analysis via Multi-Task Meta-Learning
Emory University（埃默里大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Lehigh University（利哈伊大学）
脑网络以图形结构的形式表征了脑区域之间的复杂连接，为研究脑连接组提供了有力的手段。近年来，图神经网络已经成为结构化数据学习的流行范例。然而，由于数据采集成本相对较高，大多数大脑网络数据集的样本量有限，这阻碍了深度学习模型的充分训练。受元学习的启发，本文研究了在跨数据集环境下分析大脑连接组的数据高效训练策略。元学习可以通过有限的训练样本快速学习新概念。具体来说，我们建议在大样本数据集上对模型进行元训练，并将知识转移到小数据集上。此外，我们还探讨了两个面向脑网络的设计，包括地图集转换和自适应任务重新加权。与其他预训练策略相比，我们基于元学习的方法实现了更高和更稳定的性能，这证明了我们提出的解决方案的有效性。该框架还能够以数据驱动的方式获得关于数据集和疾病之间相似性的新见解。
2022-06-09 cs.LG q-bio.NC
Representations and Strategies for Transferable Machine Learning Models in Chemical Discovery
Massachusetts Institute of Technology（麻省理工学院）
机器学习（ML）加速发现的策略在材料成分空间中是普遍的，但ML的演示主要限于狭窄的成分变化。通过解决化学空间中有希望的区域的数据稀缺问题，以实现具有挑战性的目标，如开壳过渡金属络合物，利用现有数据中已知关系的一般表示和可转移ML模型将加速发现。在一个大的集合（CA）。1000）的等价过渡金属络合物，我们量化了不同性质的明显关系（即，自旋分裂和配体解离）在周期表的行之间（即，3D/4D金属和2 P/3 P配体）。我们展示了对基于图的修正自相关（RAC）表示的扩展（即，eRAC），其结合了有效核电荷以及核电荷启发法，否则核电荷启发法会高估等价复合物的相异性。为了解决在数据有限的新空间中发现的共同挑战，我们引入了一种迁移学习方法，在这种方法中，我们将周期表一行的大量数据训练的模型与来自附加行的少量数据点进行种子训练。我们证明了eRAC与这种迁移学习策略的协同价值，以持续提高模型性能。对这些模型的分析强调了这种方法是如何通过重新排序络合物之间的距离以使其与周期表更一致而取得成功的，我们预计这种特性将广泛用于其他材料领域。
2021-06-20 cond-mat.mtrl-sci cs.LG physics.chem-ph
MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Salesforce（赛富时）；Wayve Technologies Ltd（Wayve科技有限公司）；Stanford University（斯坦福大学）；Asari AI
提出基于模型的元学习框架MERMAIDE，训练委托人少样本快速适应未见学习智能体，以低成本干预诱导期望结果，在多设定下优于基线方法。
2024-01-09 cs.LG
Meta-Learning to Improve Pre-Training
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）
预训练（PT）后进行微调（FT）是训练神经网络的一种有效方法，并在许多领域导致了显着的性能改善。PT可以包含各种设计选择，例如任务和数据重新加权策略，增强策略和噪声模型，所有这些都可以显着影响学习的表示质量。因此，这些策略引入的超参数必须适当调整。然而，设置这些超参数的值具有挑战性。大多数现有的方法要么难以扩展到高维，要么太慢且内存密集，要么不能直接应用于两阶段PT和FT学习过程。在这项工作中，我们提出了一个有效的，基于梯度的算法来元学习PT超参数。我们形式化的PT超参数优化问题，并提出了一种新的方法来获得PT超参数梯度相结合的隐式微分和反向传播通过展开优化。我们证明了我们的方法提高了两个现实世界域的预测性能。首先，我们优化了蛋白质-蛋白质相互作用图上多任务预训练的高维任务加权超参数，并将AUROC提高了3.9%。其次，我们优化了一个数据增强神经网络，用于心电图数据上的Simplified自监督PT，并将AUROC提高了1.9%。
2021-11-02 cs.LG
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley（加州大学伯克利分校）；Embodied Intelligence（具身智能公司）
探索是强化学习（RL）的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标，例如基于状态访问的信息增益或奖金。然而，RL的许多实际应用涉及学习多个任务，并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中，我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索（MAESN）-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策，并获得一个潜在的探索空间，可以注入结构化的随机性到一个政策，产生的探索策略，是由先验知识，比随机动作空间噪声更有效。我们表明，MAESN是更有效的学习探索策略相比，以前的元RL方法，RL没有学习的探索策略，任务不可知的探索方法。我们评估我们的方法在各种模拟任务：运动与轮式机器人，运动与四足步行机，和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Discovering Evolution Strategies via Meta-Black-Box Optimization
Technical University Berlin（柏林工业大学）；DeepMind（深度思维）；University of Oxford（牛津大学）
在不使用梯度的情况下优化函数是黑箱方法（如演化策略）的职责。虽然高度通用，但它们的学习动态往往是启发式的和不灵活的-正是元学习可以解决的局限性。因此，我们建议通过元学习来发现有效的演化策略更新规则。具体地说，我们的方法采用了一个搜索策略参数化的自注意为基础的架构，这保证了更新规则是不变的候选解决方案的顺序。我们表明，在一小组有代表性的低维分析优化问题上对该系统进行元进化足以发现能够推广到看不见的优化问题、种群规模和优化范围的新的演化策略。此外，相同的学习演化策略可以在监督和连续控制任务上优于已建立的神经进化基线。作为额外的贡献，我们消融我们的方法的个别神经网络组件;逆向工程的学习策略到一个明确的启发式的形式，这仍然是非常有竞争力的;并表明，它是可以自我参考训练一个演化策略从头开始，与学习的更新规则用于驱动外元学习循环。
2023-03-02 cs.AI cs.NE
Meta-control of social learning strategies
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Eindhoven University of Technology（埃因霍温理工大学）；DeepMind（深度思维）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
社会学习，即在没有实际经验的情况下模仿他人的行为，提供了一种成本效益高的知识获取方式。然而，它提出了一个基本问题，即哪些人拥有可靠的信息：成功的个人还是大多数人。前者和后者分别被称为基于成功的社会学习策略和顺从的社会学习策略。我们在这里表明，虽然成功为基础的战略充分利用低不确定性的良性环境，它失败的不确定性环境。另一方面，从众策略可以有效地缓解这种不利影响。基于这些发现，我们假设，元控制的个人和社会学习策略提供了有效的和样本效率的学习在动荡和不确定的环境。在一组具有不同波动性和不确定性的环境中进行的模拟证实了我们的假设。结果表明，社会学习的元控制提供代理的杠杆，以解决环境的不确定性，以最小的探索成本，通过利用他人的学习作为外部知识库。
2022-03-07 cs.AI cs.MA cs.NE
MetaDE: Evolving Differential Evolution by Differential Evolution
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）
MetaDE利用差分进化在元层面自动进化DE自身的超参数与策略，通过GPU加速实现高效优化，在CEC2022基准和机器人控制任务中表现优异。
2025-03-26 cs.AI cs.NE
Uncertainty Quantification in Detecting Choroidal Metastases on MRI via Evolutionary Strategies
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
针对放射学小数据场景，本研究采用深度神经进化训练CNN进行眼部MRI脉络膜转移瘤二分类，通过保存的高准确率模型构建集成方法实现不确定性量化，发现高不确定性影像与放射科医生识别的主观特征相关，验证了其在AI放射分析中的价值。
2024-04-12 cs.CV cs.LG cs.NE
Online Hyper-parameter Tuning in Off-policy Learning via Evolutionary Strategies
Columbia University（哥伦比亚大学）；Google Brain Robotics（谷歌大脑机器人部门）
已知离策略学习算法对超参数的选择敏感。然而，与超参数可以经由例如元梯度来优化的接近策略算法不同，类似的技术不能直接应用于离策略学习。在这项工作中，我们提出了一个框架，需要应用进化策略在线超参数调整离策略学习。我们的公式与元梯度密切相关，并利用相对低维搜索空间的黑盒优化的优势。我们表明，我们的方法优于最先进的离策略学习基线与静态超参数和最近的工作在广泛的连续控制基准。
2020-06-13 cs.LG cs.NE stat.ML
Distributed Evolution Strategies with Multi-Level Learning for Large-Scale Black-Box Optimization
提出基于多级学习的分布式LM-CMA元框架，通过分层Meta-ES结构结合内外层ES、并行均值更新与步长适应策略，实现大规模黑盒优化的高效并行求解。
2024-10-11 cs.NE
Evolving the Hearthstone Meta
New York University（纽约大学）；New Jersey Institute of Technology（新泽西理工学院）
平衡一个不断增长的高度复杂的战略游戏，如炉石传说是一项复杂的任务。使策略多样化和可定制的目标导致了一个微妙复杂的系统。调整超过2000张卡片以生成所需的结果而不破坏现有环境成为一项艰巨的挑战。在本文中，我们讨论了现有卡片的变化对炉石传说中的策略的影响。通过分析在不同的甲板上的比赛，被发挥不同的策略，我们建议比较他们的表现之前和之后的变化，以改善或恶化不同的卡。然后，使用进化算法，我们搜索卡片属性的变化组合，使卡片接近相等的50%胜率。然后，我们将我们的进化算法扩展到一个多目标的解决方案来搜索这个结果，同时对现有的卡进行最小量的更改，并因此中断。最后，我们提出并评估指标，以决定哪些卡的目标与平衡的变化，作为一种策略。
2019-07-02 cs.AI cs.NE
EvoX: Meta-Evolution for Automated Discovery
EvoX通过自适应进化方法优化进化过程，动态调整搜索策略，提升多领域优化任务性能。
2026-03-16 cs.CL cs.LG cs.NE
