Meta-learning with negative learning rates
MediaTek Research(联发科研究院)
深度学习模型需要大量数据才能表现良好。当目标任务的数据稀缺时,我们可以转移通过类似任务训练获得的知识,以快速学习目标。一种成功的方法是元学习,或“学习学习”任务的分布,其中“学习”由外循环表示,而“学习”由梯度下降的内循环表示。然而,最近的一些实证研究认为,内部循环是不必要的,更简单的模型同样有效,甚至更好。我们研究了MAML的性能作为内环的学习率的函数,其中零学习率意味着没有内环。利用随机矩阵理论和线性模型的精确解,给出了MAML在混合线性回归和过参数非线性回归中检验损失的代数表达式.令人惊讶的是,虽然适应的最佳学习率是正的,但我们发现训练的最佳学习率总是负的,这是以前从未考虑过的设置。因此,不仅性能通过将学习率降低到零来增加,如最近的工作所建议的,而且性能还可以通过将学习率降低到负值来进一步增加。这些结果有助于澄清在什么情况下元学习表现最好。
2021-03-17 cs.LG
Accelerating Meta-Learning by Sharing Gradients
针对基于梯度的元学习因内循环任务无交互导致初期过拟合、训练速度慢的问题,提出通过内循环正则化共享历史及同批次任务梯度的方法,可在更大内循环学习率下训练,最多加速134%。
2023-12-13 cs.LG
Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in Multi-Domain Loss Landscapes by Inner-Loop Learning
University of Pittsburgh(匹兹堡大学);University of Maryland, Baltimore(马里兰大学巴尔的摩分校)
我们考虑一个模型不可知的解决方案的问题的多域学习(MDL)的多模态应用程序。许多现有的MDL技术是依赖于模型的解决方案,明确要求非平凡的架构变化,以构建特定领域的模块。因此,将这些MDL技术适当地应用于具有良好建立的模型的新问题,例如,用于语义分割的U-Net,可能需要各种低级实现工作。在本文中,给定新兴的多模态数据(例如,各种结构神经成像模式),我们的目标是使MDL纯粹的算法,使广泛使用的神经网络可以平凡地实现MDL的模型无关的方式。为此,我们考虑一个加权损失函数,并将其扩展到一个有效的程序,通过采用技术,从最近活跃的区域学习学习(元学习)。具体来说,我们采取内循环梯度步骤来动态估计损失函数超参数的后验分布。因此,我们的方法是模型不可知的,不需要额外的模型参数和网络架构的变化,相反,只需要一些有效的算法修改,以提高MDL的性能。我们展示了我们的解决方案,在医学成像中的拟合问题,特别是在白质高信号(WMH)的自动分割。我们看看两个神经成像模式(T1-MR和FLAIR)与互补的信息适合我们的问题。
2021-02-25 cs.CV cs.LG eess.IV
Greedy dynamical meta-learning
研究针对梯度下降和无梯度优化器在大型模型长时间学习中的问题,提出一种元学习算法,通过内、外循环,智能体可修改自身权重偏差,外循环用标准零阶方法处理少量参数,有望加速学习。
2026-07-28 cs.LG
Cooperative Meta-Learning with Gradient Augmentation
Kookmin University(国民大学)
本文提出协同元学习框架CML,通过引入无内更新、仅参与外循环更新的协同学习器对梯度进行可学习噪声增强,在不增加推理成本的情况下提升MAML等梯度元学习方法在少样本回归、图像分类和节点分类任务上的性能。
2024-06-07 cs.AI cs.CV cs.LG
Large-Scale Meta-Learning with Continual Trajectory Shifting
KAIST(韩国科学技术院);Google(谷歌);AITRICS(艾特里克斯)
共享初始化参数的元学习已被证明在解决少样本学习任务方面非常有效。然而,将该框架扩展到多镜头场景,这可能会进一步增强其实用性,由于元学习在长链的内部梯度步骤上的技术困难而相对被忽视。在本文中,我们首先表明,允许元学习器采取更多的内部梯度步骤,更好地捕捉异构和大规模任务分布的结构,从而获得更好的初始化点。此外,为了增加元更新的频率,即使与过长的内部优化轨迹,我们建议估计所需的移位的任务特定的参数相对于初始化参数的变化。通过这样做,我们可以任意增加元更新的频率,从而大大提高元级收敛以及学习初始化的质量。我们验证了我们的方法在一组异构的大规模任务,并表明该算法大大优于以前的一阶元学习方法的泛化性能和收敛性,以及多任务学习和微调基线。
2022-02-16 cs.LG
MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Technology University(深圳技术大学)
本文提出MetaDiff,一种基于任务条件扩散的元学习方法,将内层梯度下降建模为权重去噪的扩散逆过程,无需计算二阶导数,有效缓解内存负担和梯度消失,在小样本学习任务中优于现有方法。
2024-01-08 cs.LG
Meta-Learning with a Geometry-Adaptive Preconditioner
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究院)
本文提出几何自适应预条件梯度下降(GAP),通过元学习任务特定且路径依赖的黎曼度量预条件器,改进MAML内层循环优化,并在多种少样本学习任务中超越现有MAML及PGD-MAML系列方法。
2023-11-29 cs.AI cs.CV cs.LG
Learning to (Learn at Test Time)
Stanford University(斯坦福大学);UC San Diego(加州大学圣迭戈分校);UC Berkeley(加州大学伯克利分校);Meta AI
本文将监督学习重构为包含内外双循环的学习框架,内循环在预测前对实例自监督学习,外循环优化自监督任务,该方法在ImageNet上以更低FLOPs大幅超越线性注意力transformer。
2024-01-07 cs.LG
Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training
IMT Atlantique, Lab-STICC, UMR CNRS 6285, Brest, France(IMT Atlantique,Lab-STICC,CNRS 6285,法国布列塔尼);Sony Europe Ltd. Stuttgart Technology Center, EUREC, Germany(索尼欧洲有限公司斯图加特技术中心,EUREC,德国)
通过在预训练语言模型中引入推理时的内循环,无需训练即可提升模型的潜在能力,实现更稳定的语义细化。
2026-03-02 cs.AI cs.LG
From Trajectories to Instructions: Language-Conditioned Meta-Reinforcement Learning
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
研究如何改进强化学习中模型无关元学习的内循环适应机制,提出LA - MAML,利用任务语言指令替代传统的轨迹收集和梯度更新,实验证明其在降低训练时间的同时性能相当或更优。
2026-07-22 cs.AI cs.LG
Almost Tune-Free Variance Reduction
University of Minnesota - Twin Cities(明尼苏达大学双城分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
方差缩减类算法,包括代表性的,SVRG和SARAH,有很好的记录的优点,经验风险最小化问题。然而,它们需要网格搜索来调整参数(步长和每个内部循环的迭代次数)以获得最佳性能。这项工作介绍了“几乎无调谐”SVRG和SARAH计划配备i)Barzilai-Borwein(BB)步长; ii)平均;和,iii)调整到BB步长的内环长度。特别是,SVRG,SARAH,和他们的BB变种首先重新检查通过“估计序列”镜头,使新的平均方法,收紧其收敛速度理论上,并提高其性能的经验时,步长或内环长度选择大。然后,一个简单而有效的手段来调整每个内部循环的迭代次数,以提高所提出的平均计划和BB步长的优点。数值试验证实了所提出的方法。
2020-06-10 cs.LG math.OC stat.ML
A Fully Single Loop Algorithm for Bilevel Optimization without Hessian Inverse
Electrical and Computer Engineering, University of Pittsburgh(匹兹堡大学电气与计算机工程系);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种新的求解双层优化问题的无Hessian逆的完全单循环算法(FSLA)。经典的两层优化算法承认一个双循环结构,这是计算昂贵的。近年来,人们提出了几种交替优化内外变量的单循环算法。然而,这些算法尚未实现完全的单循环。因为它们忽略了为给定的内部和外部状态评估超梯度所需的循环。为了开发一个完整的单循环算法,我们首先研究了超梯度的结构,并确定了一个通用的近似公式的超梯度计算,其中包括几个以前的常见方法,例如通过时间的反向传播,共轭梯度,\emph{etc.}基于这个公式,我们引入了一个新的状态变量来保持历史的超梯度信息。结合我们的新配方与交替更新的内部和外部变量,我们提出了一个有效的完全单循环算法。我们从理论上证明了新状态产生的误差是有界的,并且我们的算法以$O(ε^{-2})$的速度收敛。最后,我们通过多个基于双层优化的机器学习任务验证了我们的算法的有效性。
2021-12-10 cs.LG
Fair Representation Learning through Implicit Path Alignment
Université Laval(拉瓦尔大学);University of Western Ontario(西安大略大学);Mila(米拉人工智能研究所)
我们考虑一个公平的表示学习的角度来看,最佳的预测,在数据表示的顶部,确保相对于不同的子组是不变的。具体来说,我们将这种直觉表述为双层优化,其中表示在外循环中学习,不变最优组预测在内环中更新。此外,所提出的双层目标证明,以满足充分性规则,这是可取的,在各种实际情况下,但不常见的公平学习研究。此外,为了避免双层目标内循环微分的高计算量和内存开销,本文提出了一种隐式路径对齐算法,该算法只依赖于内部优化和隐式微分的解,而不依赖于精确的优化路径,并进一步分析了隐式方法的误差差距,在分类和回归两种环境下对所提出的方法进行了实验验证.实验结果表明,在预测性能和公平性测量一致更好的权衡。
2022-05-26 cs.LG stat.ML
Beyond Random: Automatic Inner-loop Optimization in Dataset Distillation
University of Electronic Science and Technology of China(电子科技大学)
本文提出AT-BPTT框架,通过动态调整截断位置和窗口大小,提升数据集蒸馏的内循环优化性能,实现准确率提升和计算效率提升。
2026-02-03 cs.CV cs.LG
Randomized Stochastic Gradient Descent Ascent
越来越多的机器学习问题,例如现有算法的鲁棒或对抗性变体,需要最小化本身被定义为最大值的损失函数。在(内部)最大化问题上执行随机梯度上升(SGA)步骤的循环,然后在(外部)最小化问题上执行SGD步骤,称为历元随机梯度\textit{Descent Ascent}(ESGDA)。虽然在实践中取得了成功,但ESGDA的理论分析仍然具有挑战性,对于内环尺寸的选择以及内外步长之间的相互作用没有明确的指导。我们提出了RSGDA(随机SGDA),一个变体的ESGDA随机循环大小与一个简单的理论分析。RSGDA在非凸最小值/强凹最大值设置上使用时具有第一个(SGDA算法中)几乎肯定的收敛速度。RSGDA可以使用最佳循环大小进行参数化,以保证SGDA已知的最佳收敛速度。我们在玩具和更大规模的问题上测试RSGDA,使用分布式鲁棒优化和单细胞数据匹配,使用最佳运输作为测试平台。
2021-11-25 cs.LG math.OC stat.ML