Understanding Benign Overfitting in Gradient-Based Meta Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
元学习在有限监督数据的少样本学习中取得了巨大的成功。在这些设置中,Meta模型通常是过度参数化的。虽然传统的统计学习理论表明,过度参数化的模型往往过拟合,但经验证据表明,过度参数化的元学习方法仍然有效-这种现象通常被称为“良性过拟合”。“为了理解这种现象,我们专注于具有挑战性的双层结构的元学习设置,我们称之为基于梯度的元学习,并在过参数化的Meta线性回归模型下分析其泛化性能。虽然我们的分析使用了相对容易处理的线性模型,但我们的理论有助于理解基于梯度的元学习任务中数据异质性,模型适应性和良性过拟合之间的微妙相互作用。我们通过数值模拟证实了我们的理论主张。
2022-11-09 cs.LG math.OC stat.ML
Lightweight and Versatile Learned Optimization by Recombination of Gradient History
KAIST(韩国科学技术院)
本文提出一种轻量通用优化器,通过重组梯度历史(按时间跨度平均)减少预测空间,以37k参数网络在0.87 GPU小时内训练,零样本泛化并提升多种模型性能,FLOPs开销低至0.3%。
2026-10-08 cs.LG
CAST: History-Adaptive Spectral Clipping for LLM Pretraining
Meituan(美团)
提出历史自适应谱裁剪方法CAST,改进软谱裁剪,训练190.8亿参数的MoE模型,在更少步数内达到最佳基线损失,且损失更低、梯度尖峰最少。
2026-10-14 cs.LG
History-Gradient Aided Batch Size Adaptation for Variance Reduced Algorithms
The Ohio State University(俄亥俄州立大学);University of Utah(犹他大学);Southern University of Science and Technology(南方科技大学)
方差缩减算法虽然在理论上取得了很好的性能,但由于大批量数据的周期性梯度估计,在实际应用中运行缓慢。因此,批量大小自适应出现作为一个有前途的方法来加速这样的算法。然而,现有的计划要么应用规定的批量大小的自适应规则或利用沿优化路径的信息,通过额外的回溯和条件验证步骤。在本文中,我们提出了一种新的计划,它消除了回溯线搜索,但仍然利用沿优化路径的信息,通过调整批量大小通过历史随机梯度。我们进一步从理论上表明,这种方案大大降低了流行的方差减少算法SVRG和SARAH/SPIDER的整体复杂性,为传统的非凸优化和强化学习问题。为此,我们开发了一个新的收敛分析框架,以处理历史随机梯度的批量大小的依赖。大量的实验验证了所提出的批量大小自适应计划的有效性。
2020-07-27 cs.LG math.OC stat.ML
Memory Augmented Optimizers for Deep Learning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
在数据驱动的学习中,最小化损失的流行方法通常涉及抽象或显式保留梯度的历史,以进行有效的参数更新。即使在任何给定步骤的梯度没有信息时,梯度的聚合历史也会在正确的方向上推动参数更新。尽管在元参数中总结的或明确地存储在存储器中的梯度的历史在理论和实践中已经被证明是有效的,但是在决定参数更新时,历史中的梯度的$all$或仅子集是否足够的问题仍然没有答案。在本文中,我们提出了一个框架的内存增强的梯度下降优化,保留在其内部存储器的梯度历史的有限的看法。这样的优化器可以很好地扩展到大型现实数据集,我们的实验表明,标准优化器的内存增强扩展在我们考虑的大多数计算机视觉和语言任务上都可以加速收敛并提高性能。此外,我们证明了所提出的一类优化与固定大小的内存收敛强凸性的假设下,无论梯度被选择或它们是如何线性组合,形成更新步骤。
2021-06-20 cs.LG math.OC
Continuous Delayed-Memory Stochastic Gradient Descent and Continuous-Time Reinforcement Learning from History of Astrophysical Time Series Studies
本文提出连续延迟记忆随机梯度下降,在二维景观上比普通SGD探索更广、收敛更精确,并设计无需求解HJB方程的连续时间强化学习结构,其最优性条件恢复吉布斯策略。
2026-09-23 cs.LG stat.AP
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise
Electrical Engineering and Computer Science University of California, Merced(电气工程与计算机科学大学加州大学默塞德分校)
本文提出可预测的历史自适应虚拟扰动,通过条件高斯相对熵论证,推导出具有自适应虚拟噪声几何的随机梯度下降泛化界限,改进了传统固定敏感性和梯度偏差项。
2026-04-30 cs.LG
Meta-Gradients in Non-Stationary Environments
University of Oxford(牛津大学);DeepMind(深度思维)
元梯度方法(Xu等人,2018; Zahavy等人,2020)为非平稳强化学习问题中的超参数选择和自适应问题提供了一个有前途的解决方案。然而,在这样的环境中的元梯度的性质还没有得到系统的研究。在这项工作中,我们带来了新的清晰度元梯度在非平稳环境。具体而言,我们要问:(i)应该向学习的优化器提供多少信息,以便在生命周期内实现更快的自适应和泛化,(ii)在此过程中学习什么元优化器函数,以及(iii)元梯度方法是否在高度非平稳环境中提供更大的优势。为了研究提供给元优化器的信息的效果,如在最近的作品中(Flennerhag等人,2021; Almeida等人,2021),我们用所选上下文特征的学习元参数函数替换固定更新规则的调整元参数。上下文特征携带关于代理性能和环境变化的信息,因此可以通知学习的元参数调度。我们发现,添加更多的上下文信息通常是有益的,从而更快地适应元参数值和提高性能的生命周期。我们支持这些结果的定性分析所产生的元参数时间表和学习功能的上下文功能。最后,我们发现,没有上下文,元梯度不提供一个一致的优势,在高度非平稳的环境中的基线。我们的研究结果表明,上下文元梯度可以发挥关键作用,在非平稳设置中提取高性能的元梯度。
2022-09-13 cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习(meta-RL)在经验上取得了成功,但理论和实践之间仍然存在一些难以理解的差异。重要的是,有偏梯度估计几乎总是在实践中实现,而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中,我们调查这样的差异。特别是,(1)我们表明,无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;(2)我们提出了线性得分函数(LSF)梯度估计,其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;(3)我们表明,大多数经验的工作,实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差,以实现更好的性能;(4)我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点,表现出更好的依赖于$N$比以前的工作时,$N$是大的。
2021-12-14 cs.LG
An Investigation of the Bias-Variance Tradeoff in Meta-Gradients
University of Oxford(牛津大学);DeepMind(深度思维)
元梯度为优化强化学习(RL)算法的元参数提供了一种通用方法。元梯度的估计对于这些元算法的性能至关重要,并且已经在MAML风格的短期元RL问题的设置中进行了研究。在这种情况下,先前的工作已经研究了RL目标的Hessian的估计,以及通过进行采样校正来解决信用分配到预适应行为的问题。然而,我们表明,海森估计,例如由DiCE及其变体实现,总是增加偏差,也可以增加方差的元梯度估计。同时,元梯度估计在重要的长视野设置中研究较少,其中通过完整的内部优化轨迹的反向传播是不可行的。我们研究了截断反向传播和采样校正所产生的偏差和方差权衡,并与演化策略进行了比较,这是最近流行的长期元学习的替代策略。虽然以前的工作隐含地选择点在这个偏差方差空间,我们解开的偏差和方差的来源,并提出了一个实证研究,现有的估计相互关联。
2022-09-22 cs.LG
Long-Short History of Gradients is All You Need: Detecting Malicious and Unreliable Clients in Federated Learning
Missouri University of Science and Technology(密苏里科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
联邦学习提供了一种以分布式方式训练机器学习模型的框架,同时保护参与者的隐私。由于服务器无法控制客户端的行为,恶意客户端可能会通过发送恶意的本地梯度来攻击全局模型。同时,还可能存在不可靠的客户端,其是良性的,但是每个客户端具有低质量训练数据的一部分(例如,模糊或低分辨率图像),因此可能看起来类似于恶意客户端。因此,防御机制将需要执行三重分化,这比传统的(两重)情况更具挑战性。本文介绍了MUD-HoG,一种新的防御算法,它使用梯度的长短历史来解决联邦学习中的这一挑战,并将检测到的恶意和不可靠的客户端区别对待。不仅如此,我们还可以区分恶意客户端中的目标攻击和非目标攻击,而不像大多数以前的作品只考虑一种类型的攻击。具体来说,我们考虑到符号翻转,加性噪声,标签翻转和多标签翻转攻击,在非IID设置。我们在两个数据集上使用六种最先进的方法评估MUD-HoG。结果表明,MUD-HoG在准确率、准确率和召回率方面优于所有这些算法,同时存在多种(四种)类型的攻击者以及不可靠的客户端。此外,与大多数只能容忍少量有害用户的现有作品不同,MUD-HoG可以使用并成功检测各种恶意和不可靠的客户端-分别高达总人口的47.5%和10%。我们的代码在https://github.com/LabSAINT/MUD-HoG_Federated_Learning上开源。
2022-08-14 cs.CR cs.LG
Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
Mathalyse Research(马萨莱研究机构)
Phase-HDC用梯度阈值替代优化器历史记录,在离散相位学习中大幅降低存储需求,精度优于8比特Adam且接近6比特Adam,在多类数据集上表现突出。
2026-10-09 cs.AI cs.LG
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning
InstaDeep
在线调整学习过程的自调整算法鼓励更有效和更强大的学习。在所有可用的方法中,元梯度已成为一种有前途的方法。他们利用学习规则相对于一些超参数的可微性,以在线方式调整它们。虽然元梯度可以在多个学习步骤中累积以避免近视更新,但这在实践中很少使用。在这项工作中,我们证明了虽然多步元梯度确实提供了预期中更好的学习信号,但这是以方差显著增加为代价的,从而阻碍了性能。根据这种分析,我们引入了一种新的方法,混合多个内部步骤,享有更准确和鲁棒的元梯度信号,本质上权衡偏置和方差的元梯度估计。当应用于Snake游戏时,混合元梯度算法可以将方差削减3倍,同时实现类似或更高的性能。
2021-10-30 cs.AI cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习(RL)允许代理在训练期间以在线方式自我调整其超参数。在本文中,我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者,该批评者是使用元学习的折扣因子训练的,用于外部目标中的优势估计,这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子,因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案,这个问题:我们消除这种偏见,使用替代,\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头,并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上,我们证明了偏置会导致当前元梯度RL方法的灾难性失败,并表明我们提出的解决方案修复了它。然后,我们将我们的方法应用于更复杂的环境,并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Optimistic Meta-Gradients
DeepMind(深度思维)
我们研究了基于梯度的元学习和凸优化之间的联系。我们观察到,具有动量的梯度下降是元梯度的一个特例,并且基于最近的优化结果,我们证明了单任务设置中元学习的收敛速度。虽然元学习更新规则可以产生更快的收敛到常数因子,但它不足以加速。相反,需要某种形式的乐观。我们表明,元学习中的乐观情绪可以通过Bootstrapped Meta-Projectients(Flennerhag et al.,2022年),提供更深入的了解其基本机制。
2023-01-09 cs.AI cs.LG math.OC
Meta-learning Spiking Neural Networks with Surrogate Gradient Descent
Peter Grünberg Institute – Neuromorphic Software Ecosystems(彼得·格伦贝格研究所——神经形态软件生态系统);Forschungszentrum Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学);UC Irvine(加州大学欧文分校)
在边缘和在线任务执行期间进行自适应“终身”学习是人工智能研究的一个理想目标。实现脉冲神经网络(SNN)的神经形态硬件在这方面特别有吸引力,因为它们的实时、基于事件的本地计算范例使它们适合于边缘实现和快速学习。然而,最先进的SNN训练所特有的长时间和迭代学习与神经形态硬件的物理性质和实时操作不兼容。双层学习,如元学习,越来越多地用于深度学习,以克服这些限制。在这项工作中,我们展示了SNN中基于梯度的元学习,使用替代梯度方法来近似梯度估计的尖峰阈值函数。因为代理梯度可以被二次可微,所以可以使用良好建立的有效的二阶梯度元学习方法,例如模型不可知Meta Learning(MAML)。我们表明,使用MAML元训练的SNN匹配或超过基于事件的元数据集上使用MAML元训练的传统ANN的性能。此外,我们还展示了元学习的具体优势:快速学习,无需高精度权重或梯度。我们的研究结果强调了元学习技术如何成为部署神经形态学习技术在现实世界中的问题。
2022-01-26 cs.LG cs.NE
On the Gradient Domination of the LQG Problem
Department of Electrical Engineering at Columbia University(哥伦比亚大学电气工程系)
本文通过引入历史表示参数化和提升论证,克服了LQG问题在经典参数化下缺乏梯度支配性的问题,证明了策略梯度方法在基于模型和无模型设定下的全局收敛与稳定性。
2026-10-23 cs.LG cs.SY eess.SY
Dense Recurrent Neural Networks for Accelerated MRI: History-Cognizant Unrolling of Optimization Algorithms
University of Minnesota(明尼苏达大学)
加速MRI的逆问题通常包含关于正则化重建框架中的前向编码算子的特定领域知识。最近,物理驱动的深度学习(DL)方法被提出来使用神经网络进行数据驱动的正则化。这些方法展开迭代优化算法来解决反问题目标函数,通过神经网络在特定领域的数据一致性和数据驱动的正则化之间交替。然后,整个展开的网络被端到端地训练,以学习网络的参数。由于梯度下降步骤的数据一致性更新的简单性,近端梯度下降(PGD)是展开物理驱动的DL重建方法的常用方法。然而,PGD方法收敛速度慢,需要更多的展开迭代,导致训练中的内存问题和测试中的重建时间较慢。受PGD方法的有效变体的启发,使用以前的迭代的历史,我们提出了一个历史认知展开的优化算法与密集的连接在迭代中,以提高性能。在我们的方法中,梯度下降步骤是在所有先前正则化单元的输出的可训练组合上计算的。我们也将这一思想应用于二次松弛展开变量分裂方法。我们在fastMRI膝关节数据集重建的结果表明,所提出的历史认知方法减少了残余混叠伪影相比,其传统的展开对应,而不需要额外的计算能力或增加重建时间。
2020-07-08 cs.CV cs.LG eess.IV
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila(米拉);Polytechnique Montréal(蒙特利尔综合理工学院);CIFAR AI Chair(加拿大高级研究院人工智能主席)
诸如模型不可知元学习(MAML)之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而,特别是在Meta强化学习(元RL)的情况下,我们可以证明,基于梯度的元学习器是敏感的任务分布。在错误的课程中,代理遭受元过拟合,浅适应和适应不稳定的影响。在这项工作中,我们首先强调了基于梯度的元RL的有趣的失败案例,并表明任务分布可以广泛地影响算法输出,稳定性和性能。为了解决这个问题,我们利用最近关于域随机化的文献中的见解,并提出了Meta主动域随机化(元ADR),它学习基于梯度的元RL的任务课程,类似于ADR对sim 2 real传输的任务。我们表明,这种方法诱导更稳定的政策,对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化,发现即使在非结构化任务空间中,学习到的任务分布也大大提高了MAML的适应性能。最后,我们激发了元RL中更好的基准测试的需求,该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Auto-Meta: Automated Gradient Based Meta Learner Search
SK T-Brain;Yale University(耶鲁大学)
完全自动化机器学习管道是当前人工智能研究的关键挑战之一,因为实际的机器学习通常需要昂贵且耗时的人力流程,例如模型设计,算法开发和超参数调整。在本文中,我们验证了自动化架构搜索与基于梯度的元学习的效果协同作用。我们采用渐进式神经结构搜索\cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559}来寻找元学习器的最佳结构。基于梯度的元学习器的架构是自动发现的,它在5次5路Mini-ImageNet分类问题上取得了最先进的结果,具有$74.65\%$精度,这是$11.54\%$对第一个基于梯度的元学习器MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}获得的结果的改进。据我们所知,这项工作是在元学习的背景下第一个成功的神经架构搜索实现。
2018-12-10 cs.AI cs.CV cs.LG