Gradient Episodic Memory for Continual Learning
Facebook Artificial Intelligence Research(脸书人工智能研究院)
人工智能的一个主要障碍是模型在更快地解决新问题的能力差,并且不会忘记以前获得的知识。为了更好地理解这个问题,我们研究了持续学习的问题,在这个问题中,模型一次又一次地观察关于一系列任务的例子。首先,我们提出了一组指标来评估模型在连续数据上的学习。这些指标不仅通过测试准确性来表征模型,还通过跨任务传输知识的能力来表征模型。其次,我们提出了一个持续学习的模型,称为梯度情景记忆(GEM),它可以消除遗忘,同时允许将知识有益地转移到以前的任务中。我们对MNIST和CIFAR-100数据集变体的实验表明,与最先进的数据集相比,GEM具有强大的性能。
2022-09-13 cs.AI cs.LG
Backward-Friendly Optimization: Training Large Language Models with Approximate Gradients under Memory Constraints
Sun Yat-sen University(中山大学)
针对LLM全参数微调内存瓶颈,提出反向友好优化器GradLite,通过低秩雅可比近似和误差反馈校正放宽精确梯度要求,减少高达50%内存且性能不降。
2025-10-26 cs.AI cs.LG
Memory Efficient Full-gradient Attacks (MEFA) Framework for Adversarial Defense Evaluations
InnoPeak Technology(InnoPeak技术公司)
本文提出MEFA框架,通过梯度检查点技术实现长净化轨迹的精确端到端梯度计算,提升对抗性防御评估的准确性,揭示了近似梯度评估的局限性。
2026-05-07 cs.AI cs.CV cs.LG
A Fixed Version of Quadratic Program in Gradient Episodic Memory
National University of Defense Technology(国防科技大学)
梯度情景记忆确实是一种持续学习的新方法,它可以快速解决新问题,而不会忘记以前获得的知识。然而,在研究过程中,我们发现二次规划对偶问题的证明中存在一些问题,因此在此给出了我们对这个问题的修正版本。
2021-07-07 cs.LG
Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients
Carnegie Mellon University(卡内基梅隆大学)
本文提出Grass方法,利用稀疏投影将梯度转化为结构化稀疏更新,显著降低LLM训练的内存、计算与通信开销,在单张40GB A100上实现13B LLaMA半精度预训练并提升2倍吞吐量。
2024-06-25 cs.LG
Contractive error feedback for gradient compression
Amazon Web Services(亚马逊云科技);Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
针对分布式深度学习端侧内存紧张问题,提出通信高效的压缩误差反馈方法ConEF,在多任务上实现高内存节省、性能无损及训练加速,并验证了其集成至主流内存高效框架的可行性。
2023-12-13 cs.AI cs.LG
Memory-Efficient LLM Training by Various-Grained Low-Rank Projection of Gradients
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 VLoRP 框架,通过引入投影粒度这一新自由度扩展低秩梯度投影,并设计自适应优化器 ProjFactor,在固定内存预算下提升大语言模型微调的稳定性、效率与收敛性。
2025-05-03 cs.LG
COAP: Memory-Efficient Training with Correlation-Aware Gradient Projection
ByteDance Inc.(字节跳动公司);Rutgers University(罗格斯大学)
本文提出COAP方法,通过相关性感知的低秩梯度投影减少优化器内存占用,在保持训练性能的同时降低计算开销,并在多种任务上优于现有方法。
2025-03-12 cs.AI cs.CL cs.CV
ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation
Shanghai Jiao Tong University(上海交通大学);Meituan(美团)
针对单路径DARTS因跳跃连接过多导致性能崩溃的问题,提出ROME算法,通过解耦拓扑与操作搜索、引入Gumbel-Top2重参数化和梯度累积优化双层优化,在15个基准上验证了其有效性与鲁棒性。
2023-08-03 cs.AI cs.CV cs.LG
Memory-Efficient Backpropagation through Large Linear Layers
Skoltech(斯科尔科沃科技学院);AIRI(人工智能研究院)
在像Transformers这样的现代神经网络中,线性层需要大量的内存来存储反向传递期间的激活。这项研究提出了一种内存减少的方法来执行反向传播通过线性层。由于线性层的梯度计算矩阵乘法,我们认为随机矩阵乘法的方法,并证明他们需要较少的内存与适度降低的测试精度。此外,我们还研究了随机矩阵乘法引起的梯度估计的方差。我们将此方差与基于该批样本的梯度估计的方差进行比较。我们证明了所提出的方法在GLUE任务上对预训练的RoBERTa模型进行微调的好处。
2022-02-02 cs.AI cs.LG stat.ML
Symplectic Adjoint Method for Exact Gradient of Neural ODE with Minimal Memory
Osaka University(大阪大学);Kobe University(神户大学)
微分方程的神经网络模型,即神经ODE,使得能够以高精度学习连续时间动态系统和概率分布。神经ODE在数值积分期间重复使用相同的网络。反向传播算法的内存消耗与使用次数乘以网络大小成正比。即使检查点方案将计算图划分为子图,也是如此。否则,伴随方法通过在时间上向后的数值积分来获得梯度。虽然这种方法只消耗一个网络使用的内存,它需要高的计算成本,以抑制数值误差。本研究提出了辛伴随方法,这是一种通过辛积分器求解的伴随方法。辛伴随方法获得精确的梯度(直到舍入误差),其记忆与使用次数加上网络大小成正比。实验结果表明,辛伴随方法消耗的内存比朴素反向传播算法和检查点方案少得多,执行速度比伴随方法,并且对舍入误差更鲁棒。
2021-10-19 cs.LG
Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence
Omni-Masked Gradient Descent通过遮蔽遍历实现内存高效的优化,提供非凸情况下改进的收敛分析和更优的迭代复杂度。
2026-03-10 cs.LG
Memory Augmented Optimizers for Deep Learning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
在数据驱动的学习中,最小化损失的流行方法通常涉及抽象或显式保留梯度的历史,以进行有效的参数更新。即使在任何给定步骤的梯度没有信息时,梯度的聚合历史也会在正确的方向上推动参数更新。尽管在元参数中总结的或明确地存储在存储器中的梯度的历史在理论和实践中已经被证明是有效的,但是在决定参数更新时,历史中的梯度的$all$或仅子集是否足够的问题仍然没有答案。在本文中,我们提出了一个框架的内存增强的梯度下降优化,保留在其内部存储器的梯度历史的有限的看法。这样的优化器可以很好地扩展到大型现实数据集,我们的实验表明,标准优化器的内存增强扩展在我们考虑的大多数计算机视觉和语言任务上都可以加速收敛并提高性能。此外,我们证明了所提出的一类优化与固定大小的内存收敛强凸性的假设下,无论梯度被选择或它们是如何线性组合,形成更新步骤。
2021-06-20 cs.LG math.OC
Low-rank Gradient Approximation For Memory-Efficient On-device Training of Deep Neural Network
Google(谷歌)
在移动设备上训练机器学习模型有可能提高模型的隐私性和准确性。然而,实现这一目标的主要障碍之一是移动设备的内存限制。减少训练内存使具有高维权重矩阵的模型(如自动语音识别(ASR)模型)能够在设备上进行训练。在本文中,我们提出使用低秩参数化来近似深度神经网络的梯度矩阵,作为节省训练内存的一种途径。低秩梯度近似使更高级的内存密集型优化技术能够在设备上运行。我们的实验结果表明,我们可以减少约33.0%的亚当优化的训练记忆。它使用了与动量优化相当的内存,并在ASR个性化任务中实现了4.5%的相对较低的字错误率。
2020-01-24 cs.LG cs.SD eess.AS
Efficient Dialog Policy Learning via Positive Memory Retention
Ludwig Maximilian University(路德维希-马克西米利安大学);Siemens AG(西门子股份公司)
本文研究了利用强化学习训练递归神经网络作为面向目标的对话代理。用策略梯度训练这样的代理通常需要大量的样本。然而,以聊天机器人和人类代理之间对话的形式收集所需数据是耗时且昂贵的。为了缓解这个问题,我们描述了一个有效的策略梯度方法,使用积极的内存保留,这显着提高了采样效率。我们表明,我们的方法是10倍以上的样本效率比策略梯度在广泛的实验上一个新的合成数字猜测游戏。此外,在一个真实世界的视觉对象发现游戏中,所提出的方法是两倍的采样效率的策略梯度,并显示出国家的最先进的性能。
2020-05-24 cs.AI cs.CL cs.LG
ANODE: Unconditionally Accurate Memory-Efficient Gradients for Neural ODEs
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校)
残差神经网络可以看作是单位时间步长的常微分方程的前向欧拉离散。最近,这促使研究人员探索其他离散化方法和训练基于ODE的网络。然而,神经ODE的一个重要挑战是它们在梯度反向传播期间的禁止存储成本。最近在[8]中提出的一种方法声称,通过在时间上向后求解前向ODE,可以将这种内存开销从O(LN_t)减少到O(L),其中N_t是时间步长的数量,其中L是网络的深度。然而,我们将证明这种方法可能会导致几个问题:(i)对于ReLU/非ReLU激活和一般卷积运算符,它可能在数值上不稳定,以及(ii)由于小时间步长的梯度不一致,所提出的优化然后离散化方法可能会导致发散训练。我们讨论了潜在的问题,并解决他们,我们提出了ANODE,一个基于伴随的神经ODE框架,避免了上述数值不稳定相关的问题,并提供无条件准确的梯度。ANODE的内存占用为O(L)+ O(N_t),计算量与逆向ODE求解相同。此外,我们讨论了一个内存效率的算法,可以进一步减少这种足迹与额外的计算成本的权衡。我们使用ResNet和SqueezeNext神经网络在Cifar-10/100数据集上显示了结果。
2019-07-01 cs.LG
Gradient Projection Memory for Continual Learning
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
持续学习而不忘记过去的任务的能力是人工学习系统的期望属性。在人工神经网络中实现这种学习的现有方法通常依赖于网络增长、基于重要性的权重更新或来自存储器的旧数据的重放。相比之下,我们提出了一种新的方法,其中神经网络学习新的任务,在正交方向上的梯度子空间被认为是重要的过去的任务。我们发现这些子空间的基础,通过分析网络表示(激活)后,学习每个任务与奇异值分解(SVD)在一个Single Shot的方式,并将它们存储在内存中的梯度投影内存(GPM)。通过定性和定量的分析,我们表明,这种正交梯度下降诱导最小的干扰与过去的任务,从而减轻遗忘。我们评估我们的算法在不同的图像分类数据集与短期和长期的任务序列,并报告更好的或同等的性能相比,国家的最先进的方法。
2021-03-17 cs.CV cs.LG
Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
Google Research(谷歌研究院)
针对语言模型微调中Adam内存占用高、MeZO收敛慢且性能差的问题,提出Addax方法,结合零阶与一阶梯度优化,在降低内存的同时提升收敛速度与性能,效果优于现有多种微调方法。
2024-10-09 cs.CL cs.LG
SAGE: Sign-Adaptive Gradient for Memory-Efficient LLM Optimization
London, United Kingdom(英国伦敦);Seoul, Republic of Korea(韩国首尔)
本文提出SAGE优化器,通过结合Lion风格的更新方向和新的内存高效O(d)自适应缩放,解决嵌入层稀疏高方差梯度问题,实现更稳定的收敛并提升性能。
2026-04-15 cs.LG
Randomized Matrix Sketching for Neural Network Training and Gradient Monitoring
Department of Mathematical Sciences(数学科学系);Center for Mathematics(数学中心);Artificial Intelligence (CMAI), George Mason University. Fairfax, VA 22030.(人工智能(CMAI),乔治·马歇尔大学,弗吉尼亚州 Fairfax,22030);School of Mathematical(数学系);Statistical Sciences, Clemson University, Clemson, SC 29634.(统计科学系,克莱姆森大学,SC州 Clemson,29634)
针对神经网络训练中层激活值存储的内存瓶颈,提出基于自适应秩EMA的三矩阵概要方法,实现内存高效的梯度重建与监控,在多个基准上验证了可控的精度-内存权衡。
2025-10-01 cs.LG
Memory-Efficient Differentially Private Training with Gradient Random Projection
University of Delaware(德克萨斯大学);University of Southern California(南加州大学);Meta;Amazon(亚马逊)
本文提出DP-GRAPE方法,通过随机高斯矩阵替代SVD子空间,减少内存使用并保持与一阶DP方法相当的效用,同时消除了昂贵的SVD计算需求,显著提升内存效率和模型性能。
2026-05-18 cs.LG
LiteMORT: A memory efficient gradient boosting tree system on adaptive compact distributions
Department of Electronic Science, Xiamen University(厦门大学电子科学系)
梯度提升决策树(GBDT)是许多商业和学术数据应用的主要算法。本文对该算法进行了深入的分析,特别是直方图技术,它是紧支集正则化分布的基础。我们提出了三个新的修改。1)共享内存技术,减少内存使用。在许多情况下,它只需要数据源本身,而不需要额外的内存。2)“合并溢出问题”的隐式合并。“合并溢出”是指将一些小的数据集合并成大的数据集,这些数据集太大而无法解决。通过隐式合并,我们只需要原始的小数据集来训练GBDT模型。3)自适应调整直方图箱的大小算法,以提高准确性。两个大型Kaggle竞赛的实验验证了我们的方法。它们使用的内存比LightGBM少得多,精度更高。我们已经实现了这些算法在一个开源软件包LiteMORT。源代码可在https://github.com/closest-git/LiteMORT上获得
2020-01-26 cs.LG stat.ML
Second-Moment Memory in Coordinatewise Adam
该研究针对坐标式Adam,证明其二阶矩记忆会在有限方差随机梯度下抑制优化收敛,给出了相关方向界与平稳性下界,指出长二阶矩记忆会减缓优化。
2026-08-18 cs.LG
Long Timescale Credit Assignment in NeuralNetworks with External Memory
Stanford University(斯坦福大学)
传统递归神经网络中的信用分配通常涉及通过一长串捆绑权重矩阵的反向传播。这个链的长度与时间步长的数量成线性比例,因为在每个时间步长运行相同的网络。这就产生了许多问题,比如梯度消失,这些问题已经得到了很好的研究。相比之下,NNEM的体系结构递归活动不涉及长链活动(尽管某些体系结构(如NTM)确实使用传统的递归体系结构作为控制器)。相反,在每个时间步使用外部存储的嵌入向量,但不传递来自先前时间步的消息。这意味着消失的梯度不是问题,因为所有必要的梯度路径都很短。然而,这些路径非常多(内存中的每个嵌入向量一个),并且重用很长时间(直到它离开内存)。因此,每个存储器的前向传递信息必须在存储器的整个持续时间内被存储。这是有问题的,因为这种额外的存储远远超过实际存储器的存储,以至于大存储器在高维设置中不可能反向传播。避免保留前向传递信息的一种方法是,只要梯度信息可用,就重新计算前向传递。然而,如果观测值太大而不能存储在感兴趣的域中,则不能直接恢复前向传递。相反,我们依赖于一个学习的自动编码器来恢复观察,然后使用嵌入网络来重新计算前向传递。由于重新计算的嵌入向量不太可能完全匹配存储在内存中的嵌入向量,因此我们尝试2个近似值以利用误差梯度w.r.t. vector在内存中
2017-01-14 cs.AI cs.LG cs.NE
GRASP: Gradient-Aligned Sequential Parameter Transfer for Memory-Efficient Multi-Source Learning
San Diego State University(圣地亚哥州立大学);University of Utah(犹他大学);University of Maine(缅因大学)
提出GRASP方法,通过序列处理、参数梯度对齐和迭代微调,在O(1)内存下实现多源知识融合,在三个持续学习基准上平均准确率93.5%,优于集成方法的71.7%。
2026-06-16 cs.LG
Online Learning of a Memory for Learning Rates
MPI-IS(马克斯·普朗克智能系统研究所);University of Washington(华盛顿大学);USC(南加利福尼亚大学)
机器人学会学习的希望在于希望通过提取一些关于学习过程本身的信息,我们可以加快后续类似的学习任务。在这里,我们介绍了一个计算效率高的在线元学习算法,建立和优化记忆模型的最佳学习率景观从以前观察到的梯度行为。在执行特定于任务的优化时,该学习率的记忆预测如何缩放当前观察到的梯度。在应用梯度缩放后,我们的元学习器根据观察到的预测效果更新其内部内存。我们的元学习器可以与任何基于梯度的优化器相结合,动态学习,并可以转移到新的优化任务。在我们的评估中,我们表明,我们的元学习算法加快学习MNIST分类和各种学习控制任务,无论是在批量或在线学习设置。
2018-03-23 cs.LG
AdaX: Adaptive Gradient Descent with Exponential Long Term Memory
Purdue University(普渡大学);Sensetime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学);University of Hong Kong(香港大学)
虽然自适应优化算法,如亚当显示在许多机器学习任务的快速收敛,本文确定了亚当的问题,通过分析其在一个简单的非凸综合问题的性能,表明亚当的快速收敛可能会导致算法的局部极小值。为了解决这个问题,我们改进亚当提出了一种新的自适应梯度下降算法AdaX。与Adam忽略过去的梯度不同,AdaX在训练过程中以指数方式累积过去的长期梯度信息,以自适应地调整学习率。我们彻底证明了AdaX的收敛性在凸和非凸设置。大量的实验表明,AdaX在计算机视觉和自然语言处理的各种任务中表现优于Adam,并且可以赶上随机梯度下降。
2020-05-04 cs.LG stat.ML
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research(计算机工程系,Zeal工程与研究学院)
本文提出分数阶策略梯度(FPG)框架,利用Caputo分数阶导数建模状态转移间的幂律长程相关性,通过高效递归计算实现恒定时间与内存开销,在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
Taking gradients through experiments: LSTMs and memory proximal policy optimization for black-box quantum control
Technical University of Munich(慕尼黑工业大学);University of Cambridge(剑桥大学)
在这项工作中,我们介绍了黑盒量子控制的应用程序作为一个有趣的再学习问题的机器学习社区。我们分析了量子物理中出现的强化学习问题的结构,并认为通过随机策略梯度训练的长短期记忆(LSTM)网络参数化的代理产生了解决这些问题的通用方法。在这种情况下,我们介绍了一个变种的邻近策略优化(PPO)算法称为内存邻近策略优化(MPPO),这是基于这种分析。然后,我们将展示如何将其应用于特定的学习任务,并给出数值实验的结果,表明我们的方法在具有离散和连续控制参数的量子控制中的几个学习任务中实现了最先进的结果。
2018-04-13 cs.LG quant-ph
Gradient-based Editing of Memory Examples for Online Task-free Continual Learning
University of Southern California(南加州大学)
我们探索了无任务的持续学习(CL),在这种学习中,一个模型被训练来避免在没有明确的任务边界或身份的情况下发生灾难性的遗忘。在无任务CL的许多努力中,一个值得注意的方法家族是基于记忆的,存储和重放训练示例的子集。然而,由于CL模型不断更新,因此存储的可见示例的效用可能会随着时间的推移而减少。在这里,我们提出了基于梯度的内存编辑(GMED),一个框架,用于编辑存储的例子在连续的输入空间通过梯度更新,以创建更多的“挑战性”的例子重放。GMED编辑的例子仍然类似于它们未经编辑的形式,但在即将到来的模型更新中可能会产生更多的损失,从而使未来的重放在克服灾难性遗忘方面更加有效。通过构造,GMED可以无缝地与其他基于内存的CL算法结合应用,以带来进一步的改进。实验验证了GMED的有效性,我们的最佳方法在六个数据集中的五个数据集上显著优于基线和以前的最新技术。代码可以在https://github.com/INK-USC/GMED上找到。
2021-12-07 cs.LG stat.ML
Challenges and Research Directions for Large Language Model Inference Hardware
Google(谷歌)
本文探讨了大语言模型推理硬件面临的挑战,提出了高带宽闪存、内存-逻辑堆叠和低延迟互连等研究方向,以提升内存带宽和通信效率。
2026-02-06 cs.AI cs.AR cs.LG
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工科大学);Hiroshima City University(广岛市立大学)
Nesterov的加速拟牛顿(L)NAQ方法已被证明在几个神经网络(NN)应用中使用Nesterov的加速梯度来加速传统的(L)BFGS拟牛顿法。然而,每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿(MoQ)方法表明,Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
Sketchy: Memory-efficient Adaptive Regularization with Frequent Directions
Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
提出基于频繁方向草图的自适应正则化方法,在降低内存与计算成本的同时保持性能,并扩展到Shampoo,实现亚线性内存下的高效优化。
2023-10-16 cs.AI cs.LG stat.ML
GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent
AXXX, Cognitive AI Systems Lab, Moscow, Russia(AXXX认知人工智能系统实验室,莫斯科,俄罗斯);London Institute for Mathematical Sciences, London, UK(伦敦数学科学研究所,伦敦,英国)
提出GradMem方法,利用测试时梯度下降将上下文写入紧凑记忆状态,通过自监督重构损失优化记忆令牌,在键值检索和自然语言任务上优于前向式记忆写入方法。
2026-05-29 cs.CL cs.LG
Gradient-matching coresets for continual learning
Amazon Web Services(亚马逊云科技)
我们设计了一种基于梯度匹配思想的核心集选择方法:由核心集引起的梯度应该尽可能接近地匹配原始训练数据集引起的梯度。我们在持续学习的背景下评估该方法,在那里它可以用来策划一个排练记忆。我们的方法执行强有力的竞争对手,如在一系列内存大小的水库采样。
2021-12-09 cs.LG
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School(圣保罗学校)
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块,发现赫布规则在小样本泛化上更强,梯度更新擅长长时程信用分配,并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training
Puch AI;Singapore Institute of Technology(新加坡理工大学);Nanyang Technological University(南洋理工大学);NVIDIA(英伟达);IIIT-Delhi(德里印度理工学院)
提出FORGE方法,将优化器步骤融合到反向传播中,逐块在寄存器中应用,消除梯度张量,减少内存占用并加速训练,在微调和持续预训练中速度提升约1.5倍。
2026-07-31 cs.LG
Optimal low-rank stochastic gradient estimation for LLM training
Guanghua School of Management, Peking University(北京大学光华管理学院);Stern School of Business, New York University(纽约大学 Stern 商学院)
本文提出一种低秩矩阵估计器,通过随机低维子空间投影减少内存占用并控制均方误差,实验证明在RoBERTa-large微调和LLaMA-20M/60M/100M预训练中均取得优异效果。
2026-03-21 cs.LG
Optimal Gradient Checkpoint Search for Arbitrary Computation Graphs
Carnegie Mellon University(卡内基梅隆大学)
深度神经网络(DNN)在现代图像/视频数据库上训练时需要巨大的GPU内存。不幸的是,GPU内存在物理上是有限的,这限制了图像分辨率和批处理大小,这些图像分辨率和批处理大小可以用于训练以获得更好的DNN性能。与需要物理升级GPU的解决方案不同,梯度检查点(GCP)训练将计算转换为超出现有GPU硬件的更多内存。GCP只存储中间张量的子集,称为梯度检查点(GC),在向前。然后在向后期间,进行额外的局部向前以计算丢失的张量。总的训练内存成本变为(1)梯度检查点的内存成本和(2)本地转发的最大内存成本之和。为了实现最大的内存截止,需要最优算法来选择GC。现有的GCP方法要么依赖于GC的手动输入,要么依赖于线性计算图(LCG)上基于几何学的GC搜索,并且不能应用于任意计算图(ACG)。在本文中,我们提出的理论和优化算法GC选择,第一次,适用于ACG和实现最大的内存截止。大量的实验表明,我们的方法不仅优于现有的方法(仅适用于LCG),并适用于一个庞大的家庭的LCG和ACG网络,如Alexnet,VGG,ResNet,Densenet,Inception Net和高度复杂的DNN通过网络架构搜索。我们的工作使ACG上的GCP训练成为可能,并以适度的时间开销(约30%-50%)切断高达80%的训练记忆。码可用
2021-03-18 cs.DC cs.LG stat.ML
GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
California Institute of Technology(加州理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本研究提出GaLore训练策略,通过梯度低秩投影实现全参数学习,在保持性能的同时显著减少内存使用,首次证明在24GB消费级GPU上预训练7B模型的可行性。
2024-06-02 cs.LG
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对核化在线成对学习,提出有限内存方差缩减OGD算法,利用分层样本和随机傅里叶特征降低梯度方差,实现改进的次线性遗憾,实验验证其优越性。
2023-10-10 cs.LG
OASIS: Online Activation Subspace Learning for Memory-Efficient Training
Purdue University(普渡大学);Advanced Micro Devices, Inc. (AMD)(超威半导体公司(AMD))
OASIS通过在线学习动态激活子空间,减少内存消耗,无需修改前向计算,实现比全微调低2倍的峰值内存使用,同时保持性能并优于现有低秩方法。
2026-04-10 cs.LG
Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Chinese Academy of Sciences(中国科学院);Tianjin University(天津大学)
反向传播网络特别容易受到灾难性遗忘的影响,其中网络在学习新技能时往往会忘记先前学习的技能。为了解决这种“敏感性-稳定性”的困境,大多数以前的努力都有助于最大限度地减少经验风险与不同的参数正则化项和情景记忆,但很少探索减肥景观的用途。本文研究了持续学习场景中的权重损失景观与敏感性-稳定性之间的关系,并在此基础上提出了一种新的动态梯度投影记忆平坦化方法(FlatteningSharpingforDynamicGradientProjection Memory,FS-DGPM)。特别是,我们引入了一个软权重来表示GPM中代表过去任务的每个基础的重要性,它可以在学习过程中自适应地学习,从而可以动态地释放不太重要的基础,以提高新技能学习的灵敏度。我们进一步引入了扁平化Shartening(FS),通过显式调节所有可见任务的重量损失景观的平坦度来减少泛化差距。如经验所示,我们提出的方法始终优于基线,具有学习新技能的卓越能力,同时有效地减轻遗忘。
2021-10-09 cs.LG
TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training
University of Copenhagen(哥本哈根大学);California Institute of Technology(加州理工学院);Meta FAIR;NVIDIA AI
提出TensorGRaD方法,通过鲁棒张量分解和混合精度训练解决神经算子高分辨率训练的内存瓶颈,在保持精度的同时减少超50%内存。
2025-05-30 cs.LG
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
National University of Defense Technology(国防科技大学);Information Support Force Engineering University(信息支援部队工程大学)
GRASS提出一种基于梯度的自适应层级重要性采样方法,通过动态调整层采样概率和优化器状态卸载机制,在降低内存使用的同时提升微调性能,实验显示其在多个模型和基准测试中均优于现有方法。
2026-04-09 cs.CL cs.LG
When Does Backpropagating Through Policy Memory Matter? Separating Representation Credit from Closed-Loop Credit
本文研究策略记忆反向传播中切断存储路径的影响,发现物理信用、优化器更新和可观测性决定其重要性,建议用初始化训练和优化器更新评估记忆切断成本。
2026-10-20 cs.LG cs.RO
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
OptAI Inc.(OptAI公司)
提出MeSP方法,通过手动推导利用LoRA低秩结构的反向传播,在计算数学等价梯度的同时平均减少49%内存,使内存受限设备上的微调成为可能。
2026-05-29 cs.CL cs.LG
On the Duality between Gradient Transformations and Adapters
Massachusetts Institute of Technology(麻省理工学院)
研究线性梯度变换与适配器重参数化之间的对偶性,证明在变换空间优化等价于通过线性适配器修改参数,揭示GaLore与单边LoRA的等价关系,统一内存高效训练方法。
2025-08-09 cs.CL cs.LG
AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections
Department of Statistics(统计学系);College of Information Sciences and Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出 AltLoRA,通过交替投影避免低秩矩阵联合更新的梯度近似问题,并以低内存复杂度整合动量,在多任务上优于 LoRA 及变体。
2025-09-27 cs.LG
Principal Gradient Direction and Confidence Reservoir Sampling for Continual Learning
Georgia Institute of Technology(佐治亚理工学院);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
无任务在线持续学习旨在减轻学习者在非iid数据流上的灾难性遗忘。经验重放(Experience Replay,ER)是一种SOTA持续学习方法,被广泛用作其它基于重放的方法的骨干算法。然而,ER的训练策略过于简单,不能充分利用重放的例子,其水库采样策略也是次优的。在这项工作中,我们提出了一个一般的近端梯度框架,使ER可以被视为一个特殊的情况。我们进一步提出了两个相应的改进:主梯度方向(PGD)和置信水库采样(CRS)。在主梯度方向中,我们优化了一个目标梯度,它不仅代表了过去梯度的主要贡献,而且还保留了当前梯度的新知识。然后,我们提出了信心水库采样维护一个更翔实的内存缓冲区的基础上,基于保证金的度量,衡量存储的例子的价值。实验证实了我们的改进和我们的新算法的有效性一致提高了MIR-replay,SOTA ER为基础的方法的性能:我们的算法提高了平均精度高达7.9%,并减少遗忘高达15.4%的四个数据集。
2021-08-21 cs.LG
Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC
Vector Institute(向量研究所);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
针对 KFAC 二阶方法在神经网络训练中存在的内存低效与低精度数值不稳定问题,提出结构化免逆自然梯度下降 (SINGD),实现内存高效与数值稳健,并在半精度下常优于 AdamW,填补了低精度训练中一阶与二阶方法的空白。
2024-07-23 cs.LG stat.ML
Data Augmentation for Continual RL via Adversarial Gradient Episodic Memory
University of Liverpool(利物浦大学);WMG, University of Warwick(华威大学WMG学院)
本文研究了数据增强在持续强化学习中的有效性,提出了新的Adv-GEM增强方法并构建了基准测试,实验证明多种数据增强方法能显著提升现有算法在平均性能、灾难性遗忘和前向迁移方面的表现。
2024-10-16 cs.LG
Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions
ETH Zürich(苏黎世联邦理工学院)
进化策略(ES)是一种有效的黑盒优化技术,适用于无法计算真实梯度的深度神经网络,例如强化学习。我们继续最近的一系列研究,使用代理梯度,以提高梯度估计ES。我们提出了一种新的方法,最佳地将替代梯度信息。与以前的工作不同,我们的方法不需要关于代理梯度质量的信息,并且总是保证找到比代理梯度更好的下降方向。这允许迭代地使用先前的梯度估计作为当前搜索点的替代梯度。我们从理论上证明,这会产生快速收敛到真正的梯度线性函数和简化的假设下,它显着提高一般函数的梯度估计。最后,我们评估我们的方法经验MNIST和强化学习任务,并表明它大大提高了ES的梯度估计,没有额外的计算成本。
2019-10-11 cs.LG cs.NE
Q-GaLore: Quantized GaLore with INT4 Projection and Layer-Adaptive Low-Rank Gradients
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Surrey(萨里大学);University of Oxford(牛津大学);California Institute of Technology(加州理工学院);Meta AI
针对大语言模型训练内存开销高、GaLore方法SVD运算耗时及微调场景提升有限的问题,提出结合INT4量化投影与层自适应低秩梯度的Q-GaLore,大幅降低内存占用且性能优异。
2024-07-11 cs.LG