Reparameterization Gradient for Non-differentiable Models
KAIST(韩国科学技术院)
针对密度不可微的模型,提出了一种新的随机变分推理算法。随机变分推理中的一个关键挑战是提出变分目标梯度的低方差估计。我们通过推广重新参数化技巧来应对这一挑战,这是解决可微模型方差问题的最有效技术之一,因此该技巧也适用于不可微模型。我们的算法将潜在变量的空间划分为变量密度可微的区域和密度可能无法微的边界。对于每个可微区域,该算法应用标准的重新参数化技巧并估计限制在该区域的梯度。对于每个潜在的不可微边界,它使用一种形式的流形采样,并计算变分参数的方向,如果遵循,将增加边界对变分目标的贡献。所有估计的和成为我们算法的梯度估计。我们的估计享有减少方差的重新参数化梯度,同时保持无偏,即使是不可微的模型。我们初步实施的实验证实了减少方差和无偏性的好处。
2018-10-25 cs.LG stat.ML
A unified view of likelihood ratio and reparameterization gradients and an optimal importance sampling scheme
Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
重新参数化(RP)和似然比(LR)梯度估计器在整个机器和强化学习中使用;然而,它们通常被解释为简单的数学技巧,而没有提供对其本质的任何见解。我们使用第一原理的方法来解释LR和RP,并通过发散定理显示两者之间的联系。该理论促使我们推导出最优的重要性采样方案,以减少LR梯度方差。我们新推导的分布具有解析概率密度,可以直接从中采样。高斯目标分布的改进是适度的,但对于其他分布,如Beta分布,我们的方法可以导致任意大的改进,并且对于在演化策略实验中获得有竞争力的性能至关重要。
2019-10-14 cs.LG stat.ML
Approximation Based Variance Reduction for Reparameterization Gradients
College of Information and Computer Science(信息与计算机科学学院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
灵活的变分分布改进了变分推理,但更难优化。在这项工作中,我们提出了一个控制变量,适用于任何重新参数化的分布与已知的均值和协方差矩阵,例如高斯与任何协方差结构。控制变量基于模型的二次近似,其参数通过最小化梯度估计器的方差使用双下降方案来设置。我们的经验表明,这个控制变量导致了很大的改善梯度方差和优化收敛的推断与非因式分解变分分布。
2020-10-23 cs.LG stat.ML
Reparameterization Proximal Policy Optimization
重参数化近端策略优化通过统一框架和稳定性机制,在保持高样本效率的同时,提升了训练稳定性并超越了现有方法。
2026-02-06 cs.AI cs.LG
Reparameterization Flow Policy Optimization
本文提出重参数化流策略优化方法,通过联合反向传播流生成过程和系统动力学,提升模型驱动强化学习的样本效率和探索能力。
2026-02-03 cs.AI cs.LG
Variance reduction properties of the reparameterization trick
University of New South Wales(新南威尔士大学);UNSW Business School(新南威尔士大学商学院)
重新参数化技巧被广泛用于变分推断,因为它比其他方法(如得分函数方法)更准确地估计变分目标的梯度。虽然在文献中有大量的经验证据表明它的成功,但很少有研究探索为什么重新参数化技巧如此有效。我们探讨这一理想化的假设下,变分近似是一个平均场高斯密度和日志的联合密度的模型参数和数据是一个二次函数,取决于变分均值。由此,我们证明了重新参数化梯度估计的边际方差小于得分函数梯度估计的边际方差。我们将理想化分析的结果应用于现实世界的例子。
2018-12-27 cs.LG stat.CO stat.ML
Categorical Reparameterization with Denoising Diffusion models
KTH Royal Institute of Technology(皇家理工学院);Institute of Foundation Models, MBZUAI(基础模型研究所);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
ReDGE是一种基于扩散模型的新型软重参数化方法,用于高效优化分类分布的梯度估计。
2026-02-09 cs.LG stat.ML
Generalized Transformation-based Gradient
重新参数化技巧已成为变分推理领域中最有用的工具之一。然而,重新参数化的技巧是基于标准化变换,它将该方法的应用范围限制在具有易处理的逆累积分布函数或可表示为此类分布的确定性变换的分布上。在本文中,我们通过允许一般的变换来推广重新参数化技巧。我们发现,该模型是一个特殊的情况下,控制变量表明,该模型可以结合CV和广义重参数化的优点。
2020-02-25 cs.LG math.OC stat.ML
Faster Adaptive Optimization via Expected Gradient Outer Product Reparameterization
Committee on Computational and Applied Mathematics, University of Chicago(计算与应用数学委员会,芝加哥大学);Data Science Institute, University of Chicago(数据科学研究所,芝加哥大学);Department of Statistics, University of Chicago(统计学系,芝加哥大学);Department of Electrical & Computer Engineering, University of Washington(电气与计算机工程系,华盛顿大学);NSF-Simons National Institute for Theory and Mathematics in Biology(NSF-西蒙斯国家理论与生物学数学研究所);Department of Computer Science, University of Chicago(计算机科学系,芝加哥大学)
本文提出基于预期梯度外积矩阵的正交变换重参数化方法,通过理论和实验证明其能提升自适应优化算法的收敛性能。
2026-02-13 cs.LG math.OC
Reparameterization trick for discrete variables
Preferred Networks, Inc.(Preferred Networks公司);The University of Tokyo(东京大学)
低方差梯度估计对于学习由神经网络参数化的有向图模型至关重要,其中重新参数化技巧广泛用于具有连续变量的模型。虽然这种技术给出了低方差梯度估计,但它并不直接适用于离散变量,因为离散变量的采样本质上需要不连续的操作。我们认为,不连续性可以绕过边缘化的变量的利益,这将导致一个新的重新参数化技巧离散变量。这种重新参数化极大地减少了方差,这可以通过将该方法视为普通随机数在估计中的应用来理解。由此产生的估计理论上保证有一个方差不大于似然比方法与最佳的输入相关的基线。我们给出了sigmoid信念网络变分学习的经验结果。
2016-11-04 cs.LG stat.ML
Reparameterizing Mirror Descent as Gradient Descent
Google Research(谷歌研究院)
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而,对于一些小型网络,当目标稀疏时,其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架,用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下,镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的,并涵盖了广泛的镜像下降更新,即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Categorical Reparameterization with Gumbel-Softmax
Google Brain(谷歌大脑);University of Cambridge(剑桥大学);MPI Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Stanford University(斯坦福大学)
分类变量是表示世界离散结构的自然选择。然而,随机神经网络很少使用分类潜变量,因为它不能通过样本反向传播。在这项工作中,我们提出了一个有效的梯度估计,从一个新的Gumbel-Softmax分布的可微样本,取代不可微的样本从分类分布。这种分布具有一个基本性质,即它可以被平滑地退火成一个范畴分布。我们表明,我们的Gumbel-Softmax估计器在结构化输出预测和具有分类潜变量的无监督生成建模任务上优于最先进的梯度估计器,并在半监督分类上实现了大幅加速。
2017-08-05 cs.LG stat.ML
Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization
University of Oxford(牛津大学);Meta
优化离散(和潜在连续)设计参数的昂贵评估黑箱函数是科学和工程应用中普遍存在的问题。贝叶斯优化(BO)是一种流行的,样本效率高的方法,它利用概率代理模型和获取函数(AF)来选择有前途的设计进行评估。然而,在混合或高基数离散搜索空间上最大化AF是具有挑战性的,不能直接使用标准的基于梯度的方法,或者在搜索空间中的每个点处评估AF将在计算上是禁止的。为了解决这个问题,我们建议使用概率重新参数化(PR)。我们不是在包含离散参数的搜索空间上直接优化AF,而是在由连续参数定义的概率分布上最大化AF的期望。我们证明,在适当的reparameterizations,BO政策,最大限度地提高了概率目标是相同的,最大限度地提高了AF,因此,PR享有相同的遗憾界作为原来的BO政策使用的基础AF。此外,我们的方法可证明收敛到一个平稳点的概率目标下梯度上升使用可扩展的,无偏估计的概率目标和梯度。因此,随着起始点和梯度步长数量的增加,我们的方法将恢复AF的最大化(通常被忽视的常用BO遗憾界限的必要条件)。我们通过经验验证了我们的方法,并在广泛的实际应用中展示了最先进的优化性能。PR是对最近工作的补充(也是好处),自然地推广到具有多个目标和黑盒约束的环境。
2022-10-18 cs.AI cs.LG math.OC
ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization
Georgia Institute of Technology(佐治亚理工学院);Intel Labs(英特尔实验室);Google(谷歌公司);Google DeepMind(谷歌DeepMind)
ShiftAddLLM通过训练后移位相加重参数化将预训练LLM中的乘法替换为移位和加法,并结合多目标优化与自动比特分配,在保持精度的同时显著降低内存、能耗和延迟。
2024-11-18 cs.AI cs.CL cs.LG
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School(埃塞克高等商学院);The University of Sydney Business School(悉尼大学商学院);Peking University(北京大学)
本文提出了一种改进的VIMCO-$\star$梯度估计器,解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题,提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks
OpenAI
我们提出权重归一化:在神经网络中对权重向量的重新参数化,该重新参数化使这些权重向量的长度与它们的方向相反。通过以这种方式重新参数化权重,我们改进了优化问题的条件,并且我们加快了随机梯度下降的收敛。我们的重新参数化的灵感来自于批量归一化,但不会在minibatch中的示例之间引入任何依赖关系。这意味着我们的方法也可以成功地应用于LSTM等递归模型和对噪声敏感的应用,如深度强化学习或生成模型,其中批量归一化不太适合。虽然我们的方法要简单得多,但它仍然提供了完全批量归一化的大部分加速。此外,我们的方法的计算开销较低,允许在相同的时间内采取更多的优化步骤。我们证明了我们的方法在监督图像识别,生成建模和深度强化学习中的应用的有用性。
2016-06-04 cs.AI cs.LG cs.NE
The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
DeepMind;University of Oxford(牛津大学)
重新参数化技巧使得能够通过梯度下降来优化大规模随机计算图。其实质是将每个随机节点重构为其参数的可微函数和具有固定分布的随机变量。重构后,链规则通过图传播的损失梯度是预期损失梯度的低方差无偏估计。虽然许多连续随机变量具有这样的重新参数化,但由于离散状态的不连续性,离散随机变量缺乏有用的重新参数化。本文介绍了具体随机变量--离散随机变量的连续松弛。混凝土分布是一个新的分布族,具有封闭形式的密度和简单的重新参数化。每当计算图的离散随机节点可以被重构为被连续处理的独热位表示时,具体随机节点可以与自动微分一起使用,以在相应的离散图上产生目标(包括依赖于潜在随机节点的对数概率的目标)的低方差偏置梯度。我们证明了使用神经网络的密度估计和结构化预测任务的混凝土松弛的有效性。
2017-03-05 cs.LG stat.ML
Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能中心)
本研究将 Stein 引理扩展至指数族混合分布,建立其与重新参数化技巧的联系,在弱假设下推导出多种非高斯分布的全新梯度恒等式。
2025-02-01 cs.LG stat.ML
DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick
ELLIS Institute Finland & Department of Computer Science, Aalto University, Finland(芬兰ELLIS研究所及阿尔托大学计算机科学系);Department of Information and Communications Engineering, Aalto University, Finland(芬兰阿尔托大学信息与通信工程系)
提出DiVeQ方法,通过重参数化技巧将量化视为添加模拟量化失真的误差向量,实现前向传播硬量化而梯度可流动,并引入空间填充变体SF-DiVeQ减少量化误差并充分利用码本,在VQ-VAE、VQGAN和DAC任务中提升重建质量和样本质量。
2026-05-26 cs.LG
Discrete Variational Autoencoding via Policy Search
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所)
本文提出了一种基于策略搜索的离散VAE训练框架,利用非参数编码器的自然梯度提升编码器性能,实现高效高维数据重建。
2026-02-11 cs.AI cs.LG cs.RO
Implicit Regularization for Group Sparsity
Texas A&M University(德克萨斯农工大学);New York University(纽约大学)
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化,我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质:在平方回归损失上的梯度下降,没有任何明确的正则化,偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比,我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学,并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比,我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下,大小一组,我们的方法产生了一个新的算法稀疏线性回归。最后,我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Generalized Doubly Reparameterized Gradient Estimators
DeepMind(深度思维)
由重新参数化技巧(RT)实现的高效低方差梯度估计对于变分自动编码器的成功至关重要。双重参数化梯度(DReG)通过第二次应用重参数化以进一步减少方差来提高多样本变分边界的RT。在这里,我们开发了两个概括的DReGs估计,并表明它们可以用来训练条件和层次VAE图像建模任务更有效地。首先,我们将估计扩展到具有多个随机层的分层模型,通过展示如何处理由于分层变分后验而产生的附加得分函数项。然后,我们将DReGs推广到任意分布的得分函数,而不仅仅是抽样分布的分数函数,这使得估计量除了适用于后验参数之外,还适用于先验参数。
2021-07-13 cs.LG stat.ML
Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry
Technical University of Denmark(丹麦技术大学)
针对SAM因依赖欧几里得度量导致重参数化下不具不变性的问题,提出基于损失曲面诱导的黎曼度量的M-SAM,其适用于任意建模选择、计算高效,理论和实证表明其增强超参数鲁棒性并减少次优均衡吸引。
2025-02-12 cs.LG stat.ML
Implicit and explicit reparameterizations of the Folded Normal and Rice distributions
Harvard University(哈佛大学);SLAC National Accelerator Laboratory(斯坦福直线加速器中心);Flatiron Institute(平顿研究所)
本研究在PyTorch中推导实现了折叠正态与莱斯分布的隐式、显式重参数化梯度估计器,对比其方差,将French-Wilson缩放化为变分推断问题,两种估计器表现优异且实现开源。
2026-10-14 cs.LG physics.data-an stat.ME
PIPPS: Flexible Model-Based Policy Search Robust to the Curse of Chaos
Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学);University of Cambridge(剑桥大学);TU Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
以前,爆炸梯度问题被解释为深度学习和基于模型的强化学习的核心,因为它会导致数值问题和优化的不稳定性。我们在基于模型的强化学习中的实验表明,这个问题不仅仅是一个数值问题,它可能是由长链非线性计算的基本混沌性质引起的。不仅梯度的幅度变大,梯度的方向也变得基本上随机。我们表明,重新参数化梯度遭受的问题,而似然比梯度是强大的。利用我们的见解,我们开发了一个基于模型的策略搜索框架,概率推理基于粒子的策略搜索(PIPPS),这是很容易扩展的,并允许几乎任意的模型和政策,同时匹配以前的数据高效的学习算法的性能。最后,我们发明了总传播算法,它有效地计算在一个单一的向后传递过程中的所有路径导数深度的联合,自动给予更大的权重,以较低的方差估计,有时改善了重新参数化梯度的$10^6$倍。
2019-02-04 cs.AI cs.LG cs.RO
Symmetry-invariant optimization in deep networks
Cambridge University(剑桥大学);University of Liège(列日大学);Amazon Development Centre India(亚马逊印度开发中心)
最近的工作强调了典型深度网络的权重空间中存在的尺度不变性或对称性,以及它对基于欧氏梯度的随机梯度下降优化的不利影响。在这项工作中,我们展示了这些和其他常用的深度网络,例如使用最大池和子采样层的深度网络,具有更复杂的对称形式,这些对称形式来自于基于缩放的网络权重重新参数化。然后,我们提出了两个基于不变梯度的权重更新随机梯度下降为基础的学习。我们基于MNIST数据集的经验证据表明,这些更新在不牺牲权重更新的计算效率的情况下提高了测试性能。我们还展示了一个图像分割问题的训练结果与建议的权重更新。
2015-11-07 cs.AI cs.CV cs.LG
DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation
Cornell University(康奈尔大学)
消失和爆炸梯度问题是研究得很好的障碍,使得循环神经网络很难学习长期的时间依赖性。我们提出了一种标准循环神经网络的重新参数化,通过Givens旋转以可证明的范数保持方式更新线性变换。此外,我们使用绝对价值函数作为逐元素非线性,以保持整个网络上反向传播信号的范数。我们表明,这种重新参数化减少了参数的数量,并保持相同的算法复杂度作为一个标准的递归神经网络,同时优于标准的递归神经网络与正交初始化和长短期记忆网络的复制问题。
2016-12-13 cs.LG
Understanding symmetries in deep networks
Cambridge University(剑桥大学);University of Liège(列日大学);Amazon Development Centre India(亚马逊印度开发中心)
最近的工作强调了典型深度网络的权重空间中存在的尺度不变性或对称性,以及它对基于欧氏梯度的随机梯度下降优化的不利影响。在这项工作中,我们展示了一个常用的深度网络,它使用卷积,批量归一化,reLU,最大池化和子采样管道,具有更复杂的对称形式,这是由网络权重的基于缩放的重新参数化引起的。我们建议通过将滤波器约束在单位范数流形上来解决权空间对称性的问题。因此,训练网络归结为在单位范数流形上使用随机梯度下降更新。基于MNIST数据集的经验证据表明,所提出的更新提高了测试性能,超出了批量归一化的效果,并且不会牺牲权重更新的计算效率。
2015-11-03 cs.AI cs.CV cs.LG
Dataset Distillation with Convexified Implicit Gradients
Massachusetts Institute of Technology (MIT)(麻省理工学院)
提出RCIG算法,通过重参数化和凸化隐式梯度解决数据集蒸馏问题,在多个基准上显著超越现有最先进方法。
2023-11-09 cs.CV cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
A Coordinate-Free Construction of Scalable Natural Gradient
Borealis AI;University of Toronto(多伦多大学);Vector Institute(Vector研究所)
大多数神经网络使用一阶优化方法进行训练,这对模型的参数化敏感。自然梯度下降是不变的平滑重新参数化,因为它是在一个坐标自由的方式定义,但易于处理的近似通常是在坐标系中定义,因此可能会失去不变性。通过构造一种与坐标无关的K-FAC算法,分析了K-FAC算法的不变性。我们明确地构建了一个黎曼度量,在该度量下,自然梯度与K-FAC更新相匹配;对激活的仿射变换的不变性立即发生。我们扩展了我们的框架来分析应用于卷积网络和递归神经网络的K-FAC的不变性,以及通常的Fisher度量以外的度量。
2018-08-30 cs.LG math.DG math.OC
ARM: Augment-REINFORCE-Merge Gradient for Stochastic Binary Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了通过随机二进制层反向传播梯度,我们提出了增强-增强-合并(ARM)估计器,该估计器是无偏的,具有低方差,并且具有低计算复杂度。利用变量增广、REINFORCE和重新参数化,ARM估计器通过经由公共随机数合并两个期望来实现蒙特卡罗积分的自适应方差减小。ARM估计器的方差减小机制也可以归因于在增强空间中的对偶采样,或者在该增强空间中使用最佳反对称“自我控制”基线函数以及REINFORCE估计器。实验结果表明,ARM估计提供了最先进的性能,在自动编码变分推断和极大似然估计,离散潜变量模型与一个或多个随机二进制层。用于可重复研究的Python代码是公开的。
2019-09-09 cs.LG stat.CO stat.ME
Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
Yale University(耶鲁大学)
本文研究单层softmax注意力模型梯度流的隐式正则化,证明其最小化键查询乘积的核范数,对应SVM问题,与合并训练的Frobenius范数正则化形成对比。
2024-03-13 cs.AI cs.LG math.OC
RepNN: Tackling spectral bias in deep neural networks for regression and PDE problems via parameter reparameterization
Institute of Interdisciplinary Research for Mathematics and Applied Science, School of Mathematics and Statistics, Huazhong University of Science and Technology(华中科技大学数学与统计学院交叉科学与应用数学研究所);Institute of Computational Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院计算数学研究所)
针对深度神经网络在捕捉振荡和多尺度行为时的谱偏差问题,提出RepNet模型,通过重参数化第一隐藏层的权重和偏置,有效控制初始斜率尺度和分区点分布,实现自适应频率缩放,在函数逼近、PDE求解和算子学习中显著提升精度。
2026-09-29 cs.LG math-ph math.MP
S7: Selective and Simplified State Space Layers for Sequence Modeling
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
本文提出简化状态空间模型 S7,通过稳定重参数化实现输入依赖的动态状态转移,在长序列建模中保证稳定性并控制梯度,在多个基准上显著超越基线。
2024-10-04 cs.LG eess.SP math.DS
Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight
School of Computer Science and Big Data, Minjiang University(闽江学院计算机科学与大数据学院);School of Information, Renmin University of China(中国人民大学信息学院);RMIT University(皇家墨尔本理工大学)
本文提出DP-PSASC,通过非单调自适应梯度缩放替代传统裁剪,并集成动量方法,以增强DP-SGD在隐私保护下的模型效用,尤其在处理小梯度时表现优越。
2024-11-05 cs.AI cs.LG
Unnatural Algorithms in Machine Learning
Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所);University of Texas(得克萨斯大学)
本文用范畴论中的自然变换刻画优化算法对网络重参数化的不变性,提出可涵盖投影等不可逆映射的推广框架,并发现多数常用训练算法并不具备这种自然性。
2023-12-07 cs.LG math.CT stat.ML
Taming LLMs by Scaling Learning Rates with Gradient Grouping
Zhejiang University(浙江大学);Westlake University(西湖大学);The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学)
本文提出梯度分组缩放优化器包装器 SGG,通过对梯度统计量进行动态分组和簇特定缩放来改进逐参数学习率估计,在多种大语言模型基准上实现了更稳定的训练、更快的收敛以及与现有优化器和 PEFT 的良好兼容。
2025-06-01 cs.AI cs.LG
SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation
Seoul National University(首尔大学);Hanyang University(汉阳大学)
提出SDS-LoRA,通过结构解耦奇异值与反向传播,消除LoRA中梯度各向异性缩放导致的秩降低和次优对齐问题,提升收敛速度和适应性能。
2026-11-09 cs.AI cs.LG
Scaling Forward Gradient With Local Losses
NYU(纽约大学);Google(谷歌);UBC(不列颠哥伦比亚大学);Vector Institute(向量研究所)
前向梯度学习计算有噪声的方向梯度,是学习深度神经网络的反向传播的生物学上合理的替代方案。然而,标准的前向梯度算法,当天真地应用时,遭受高方差时,要学习的参数的数量是大的。在本文中,我们提出了一系列架构和算法修改,共同使前向梯度学习适用于标准深度学习基准任务。我们表明,它是可能的,以大大减少前向梯度估计的方差,通过施加扰动激活,而不是权重。通过引入大量的局部贪婪损失函数,每个函数只涉及少量的可学习参数,以及一个新的MLPMixer启发的架构LocalMixer,更适合于局部学习,我们进一步提高了前向梯度的可扩展性。我们的方法在MNIST和CIFAR-10上匹配反向传播,并且在ImageNet上显著优于先前提出的无反向传播算法。
2023-03-02 cs.CV cs.LG cs.NE
CProp: Adaptive Learning Rate Scaling from Past Gradient Conformity
Chulalongkorn University(朱拉隆功大学)
包括随机梯度下降(SGD)及其自适应梯度导数的大多数优化器面临相同的问题,其中训练期间的有效学习率差异很大。学习率调度,主要是调整的手,通常在实践中使用。在本文中,我们提出了CProp,梯度缩放方法,它作为第二级学习率适应整个训练过程的基础上,从过去的梯度一致性线索。当过去的梯度在方向上一致时,CProp保持原始的学习率。相反,如果梯度方向不一致,CProp会根据梯度的不确定性按比例缩小梯度。由于它通过缩放来工作,因此它可以应用于任何现有的优化器,以扩展其学习率调度能力。我们对CProp进行了一系列测试,显示SGD和Adam等自适应梯度方法的训练速度都有显着提高。代码可在https://github.com/phizaz/cprop上获得。
2019-12-24 cs.LG stat.ML
A Kronecker-factored approximate Fisher matrix for convolution layers
University of Toronto(多伦多大学)
二阶优化方法,如自然梯度下降,有可能通过校正损失函数的曲率来加速神经网络的训练。不幸的是,精确的自然梯度是不切实际的计算大型模型,大多数近似要么需要一个昂贵的迭代过程或使粗糙的近似曲率。我们提出了卷积的克罗内克因子(KFC),这是卷积网络的Fisher矩阵的一个易于处理的近似,基于反向传播导数分布的结构化概率模型。类似于最近提出的Kronecker因子近似曲率(K-FAC),近似Fisher矩阵的每个块分解为小矩阵的Kronecker积,允许有效的求逆。KFC捕获了重要的曲率信息,同时仍然对随机梯度下降(SGD)进行了高效的更新。我们表明,更新是不变的常用的重新参数化,如中心的激活。在我们的实验中,使用KFC的近似自然梯度下降能够比精心调整的SGD快几倍地训练卷积网络。此外,它能够在比SGD少10-20倍的迭代中训练网络,这表明它在分布式环境中的潜在适用性。
2016-05-23 cs.LG stat.ML
Quantifying Depth Sufficiency in Residual Neural Networks: A First-Order Criterion
该研究提出一阶准则量化残差神经网络的深度充分性,证明残差非退化是深度有一阶价值的充要条件,验证激活梯度幅度可作为深度剩余一阶价值的保守诊断指标。
2026-08-18 cs.LG
A second-order-like optimizer with adaptive gradient scaling for deep learning
Toulouse School of Economics(图卢兹经济学院);Université de Toulouse(图卢兹大学);Thales LAS France(泰雷兹法国LAS公司)
该研究提出结合INNA方法与RMSprop自适应梯度缩放的优化算法INNAprop,在维持标准深度学习方法内存需求的同时,多数据集多模型场景下训练速度和准确率持平或优于AdamW,且超参数调优成本低。
2024-12-12 cs.AI cs.LG math.OC
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology(长春理工大学);Northeast Normal University(东北师范大学)
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向,具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数,它是最优方向,它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点,提出了一种从动量随机梯度下降到普通随机梯度下降(TSGD)的尺度转换方法.同时,使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练,并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明,TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Gradient-free neural topology optimization: Towards effective fracture-resistant designs
School of Engineering Brown University(布朗大学工程学院)
该研究提出一种基于预训练神经重参数化的无梯度神经拓扑优化方法,既大幅降低了柔度优化的迭代次数,又在脆性断裂结构韧性优化上较传统梯度法提升约30%,为梯度法受限的拓扑优化问题提供了新方向。
2024-09-20 cs.LG cs.NA math.NA
On the SDEs and Scaling Rules for Adaptive Gradient Algorithms
Princeton University(普林斯顿大学)
本文针对自适应梯度方法缺乏严格SDE近似的问题,推导了RMSprop和Adam的SDE近似并提供理论保证,还提出批量大小调整时的平方根缩放规则,经实验验证适用于大规模视觉与语言场景。
2024-11-01 cs.LG
Scaling Policy Gradient Quality-Diversity with Massive Parallelization via Behavioral Variations
Imperial College London(帝国理工学院)
提出ASCII-ME算法,通过基于时间步性能指标的行为变异和策略梯度映射,实现不依赖集中式actor-critic训练的大规模并行化质量多样性优化,在单GPU上不到250秒即可生成高性能深度神经网络策略,速度提升五倍且保持样本效率。
2025-01-30 cs.AI cs.LG cs.NE
Scaling up the randomized gradient-free adversarial attack reveals overestimation of robustness using established attacks
University of Tübingen(图宾根大学)
现代神经网络对于对抗性操纵是高度不鲁棒的。大量的工作已经投入到技术,通过正式的保证计算鲁棒性的下限,并建立可证明的鲁棒模型。然而,仍然很难保证较大的网络或对较大扰动的鲁棒性。因此,攻击策略需要提供严格的实际鲁棒性上界。我们显着改进了ReLU网络的随机无梯度攻击[9],特别是通过将其扩展到大型网络。我们表明,我们的攻击实现了类似或显着较小的鲁棒性的准确性比国家的最先进的攻击,如PGD或Carlini和瓦格纳之一,从而揭示了高估的鲁棒性,这些国家的最先进的方法。我们的攻击不是基于梯度下降方案,在这个意义上是无梯度的,这使得它对超参数的选择不太敏感,因为不需要仔细选择步长。
2019-09-25 cs.CR cs.CV cs.LG
MiCRO: Near-Zero Cost Gradient Sparsification for Scaling and Accelerating Distributed DNN Training
Ajou University(明知大学)
MiCRO通过梯度分区分配和基于压缩比误差最小化的阈值估计,实现近零成本的梯度稀疏化,从而提升分布式DNN训练的可扩展性和加速效果。
2024-02-20 cs.DC cs.LG
Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization
Seoul National University(首尔大学)
针对深度神经网络训练中自适应梯度方法的学习率估计难题,本文将其解释为参数缩放网络上的最速下降,提出免学习率自适应梯度方法,实验证明其性能与手动调优相当。
2024-01-06 cs.LG math.OC
Scaling Private Deep Learning with Low-Rank and Sparse Gradients
Osaka University(大阪大学);LINE Corporation(LINE公司)
将差分私有随机梯度下降(DPSGD)应用于训练现代大规模神经网络(例如基于变换器的模型)是一项具有挑战性的任务,因为在每次迭代时添加到梯度的噪声的大小随模型维度而缩放,从而显著地阻碍了学习能力。我们提出了一个统一的框架,$\textsf{LSG}$,充分利用低秩和稀疏结构的神经网络,以减少梯度更新的维数,从而减轻DPSGD的负面影响。首先用一对低秩矩阵近似梯度更新。然后,一种新的策略被用来稀疏的梯度,导致低维,噪声较小的更新,但仍能够保持神经网络的性能。对自然语言处理和计算机视觉任务的实证评估表明,我们的方法优于其他国家的最先进的基线。
2022-07-06 cs.CR cs.LG
Soft-Radial Projection for Constrained End-to-End Learning
Risk Analytics and Optimization Chair(风险分析与优化chair)
本文提出软径向投影方法,通过径向映射解决约束端到端学习中的梯度饱和问题,保证严格可行性并提升优化性能。
2026-11-10 cs.LG math.OC q-fin.CP
Nonlinear Conjugate Gradients For Scaling Synchronous Distributed DNN Training
Apple Inc.(苹果公司)
与传统的基于梯度下降的优化算法相比,基于非线性共轭梯度(NLCG)的优化算法具有更好的损失收敛特性。然而,在深度神经网络(DNN)训练中,选择的主要优化算法仍然是随机梯度下降(SGD)及其变体。在这项工作中,我们提出并评估了用于大规模DNN训练任务的随机预处理非线性共轭梯度算法。我们发现,非线性共轭梯度算法提高了DNN训练的收敛速度,特别是在大型小批量场景中,这对于将同步分布式DNN训练扩展到大量工作者至关重要。我们展示了如何在NLCG预处理器中有效地使用二阶信息来提高DNN训练收敛性。对于ImageNet分类任务,在超过65 k的超大型小批量时,NLCG优化器能够将Resnet-50模型的标准训练的top-1准确率提高10个百分点以上。对于CIFAR-100分类任务,在超过16 k的超大型小批量时,NLCG优化器能够将Resnet-32模型的标准训练提高15个百分点以上,用于200个epoch。
2019-11-20 cs.LG stat.ML