Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
人们普遍认为,由于快速梯度法的不稳定性和误差积累,不可能有效地利用快速梯度法(例如Nesterov的加速法、共轭梯度法、重球法)进行随机最优化,这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近,我们的主要结果驳斥了传统的智慧,表明加速可以强大的统计误差。特别是,这项工作介绍了一种加速随机梯度方法,可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题,设计简单,有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra
University of Pavia(帕维亚大学);Department of Mathematics(数学系);Department of Civil Engineering and Architecture(土木工程与建筑系);Institut Camille Jordan, Lyon 1 Université(让·乔丹研究所,里昂1大学)
针对物理信息神经网络(PINNs)中自然梯度下降(NGD)因Gram矩阵病态导致计算成本高的问题,提出基于随机数值线性代数(RandNLA)的预条件技术加速共轭梯度求解器,显著提升优化效率。
2026-09-29 cs.LG cs.NA math.NA
Accelerating Inexact HyperGradient Descent for Bilevel Optimization
Fudan University(复旦大学);University of California, Berkeley(加州大学伯克利分校)
提出RAHGD方法求解非凸-强凸双层优化问题,以最优复杂度找到一阶和二阶驻点,刷新了该领域及极小极大优化的理论基准。
2023-06-30 cs.LG math.OC stat.ML
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对病态低秩估计问题,提出缩放梯度下降(ScaledGD)算法,其收敛速率独立于条件数,保持GD的低迭代成本,并在过参数化及噪声下实现快速全局收敛,强调预处理在非凸估计中的价值。
2023-10-09 cs.LG math.OC stat.ML
Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
低秩矩阵估计是在信号处理、机器学习和成像科学中发现大量应用的典型问题。在实践中,一种流行的方法是将矩阵分解为两个紧凑的低秩因子,然后通过简单的迭代法(如梯度下降和交替最小化)直接优化这些因子。尽管非凸性,最近的文献表明,这些简单的算法实际上实现线性收敛时,适当的初始化越来越多的问题的兴趣。然而,经过仔细检查,现有的方法仍然可以是计算昂贵的,特别是病态矩阵:梯度下降的收敛速度线性依赖于低秩矩阵的条件数,而交替最小化的每次迭代的成本往往是禁止的大矩阵。本文的目标是提出一种有竞争力的算法方法,称为缩放梯度下降(ScaledGD),它可以被视为预条件或对角缩放的梯度下降,其中的预条件是自适应的和迭代变化的最小的计算开销。通过针对低秩矩阵检测、鲁棒主成分分析和矩阵完备的定制变体,我们从理论上证明了ScaledGD实现了两全其美:它以独立于低秩矩阵的条件数的速率线性收敛,类似于交替最小化,同时保持了梯度下降的低迭代成本。我们的分析也适用于一般的损失函数,限制强凸和光滑的低秩矩阵。据我们所知,ScaledGD是第一个可证明在广泛的低秩矩阵估计任务中具有此类属性的算法。
2021-06-14 cs.IT cs.LG eess.SP
Accelerating Ill-conditioned Hankel Matrix Recovery via Structured Newton-like Descent
Department of Statistics and Data Science and Department of Computer Science, University of Central Florida(统计与数据科学系和计算机科学系,中央佛罗里达大学);Department of Computational Mathematics, Science and Engineering and Department of Mathematics, Michigan State University(计算数学、科学与工程系和数学系,密歇根州立大学);School of Mathematics and Statistics, and Hubei Key Laboratory of Computational Science, Wuhan University(数学与统计学系,和湖北计算科学重点实验室,武汉大学);School of Artificial Intelligence, Wuhan University, National Center for Applied Mathematics in Hubei, and Hubei Key Laboratory of Computational Science, Wuhan, China(人工智能学院,武汉大学,湖北应用数学中心,和湖北计算科学重点实验室,中国武汉);Institute for Advanced Study, Shenzhen University(先进研究学院,深圳大学)
本文提出HSNLD算法,通过结构化牛顿-样下降方法高效恢复病态Hankel矩阵,具有线性收敛性并优于现有算法。
2025-04-10 cs.IT cs.LG eess.SP
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University(德克萨斯A&M大学)
这项工作解决了分布式优化,其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和,每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法,使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同,我们在更新中加入了积分反馈,使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验,验证了采用积分反馈的优点,以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
Accelerating Training of Batch Normalization: A Manifold Perspective
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
批量归一化(BN)已成为各种深度神经网络的关键组件。具有BN的网络对正线性尺度变换具有不变性,这使得存在无穷多个不同权值尺度的功能等价网络。然而,使用一阶方法(例如随机梯度下降)优化这些等效网络将获得一系列收敛到不同局部最优值的迭代,这是由于它们在训练过程中的梯度不同。为了解决这个问题,我们提出了一个商流形\emph{PSI manifold},其中所有的等效权的网络BN被视为相同的元素。接下来,我们在建议的PSI流形上构造梯度下降和随机梯度下降来训练具有BN的网络。这两个算法保证了每一组等价权值(由正重标度引起)收敛到等价最优解。此外,我们给出了算法在PSI流形上的收敛速度。实验结果表明,与欧氏权值空间上的算法相比,该方法加快了训练速度。最后,实验结果表明,我们的算法一致提高现有的方法在收敛速度和泛化能力在各种实验设置。
2022-06-06 cs.LG
Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation
Peking University(北京大学)
由于求解大规模最优化问题的迫切需求,异步算法近年来受到了广泛的关注。然而,异步算法的加速版本很少被研究。在本文中,我们提出了“动量补偿”技术来加速凸问题的异步算法。具体来说,我们首先加速普通的异步梯度下降,这实现了更快的$O(1/\sqrtε)$(与$O(1/ε)$)收敛速度,以及$O(\sqrtκ\log(1/ε))$(v.s. $O(κ\log(1/ε))$),使强凸函数达到条件数为$κ$的$ε$ -近似极小元.我们进一步应用该技术来加速现代随机异步算法,如异步随机坐标下降和异步随机梯度下降。这两种实用算法都比现有的算法快。据我们所知,我们是第一个考虑加速算法,允许更新延迟梯度,是第一个提出真正的加速异步算法。最后,在共享内存系统上的实验结果表明,加速可以导致显着的性能增益病态问题。
2018-02-27 cs.LG math.OC
Stochastic Smoothing for Nonsmooth Minimizations: Accelerating SGD by Exploiting Structure
College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑随机最小化的非光滑凸损失函数,一个中心问题,在机器学习。我们提出了一种新的算法称为加速非光滑随机梯度下降(ANSGD),它利用常见的非光滑损失函数的结构,以实现最佳收敛速度的一类问题,包括支持向量机。这是第一个随机算法,可以实现最佳的O(1/t)的速度最小化非光滑损失函数(具有强凸性)。通过实证比较,ANSGD显着优于以前的次梯度下降算法,包括SGD的速度快。
2012-10-01 cs.LG stat.CO stat.ML
A Generic Coordinate Descent Framework for Learning from Implicit Feedback
University of Konstanz(康斯坦茨大学);National University of Singapore(新加坡国立大学);Google Inc.(谷歌公司)
近年来,对推荐系统的研究兴趣已经从显式反馈转向隐式反馈数据。各种各样的复杂模型已经被提出用于各种各样的应用。尽管如此,从内隐反馈中学习仍然是计算上的挑战。到目前为止,大多数工作都依赖于随机梯度下降(SGD)求解器,这些求解器很容易导出,但在实践中应用起来很有挑战性,特别是对于具有许多项目的任务。对于简单的矩阵分解模型,先前已经提出了一种有效的坐标下降(CD)求解器。然而,有效的CD方法还没有得到更复杂的模型。在本文中,我们提供了一个新的框架,推导出有效的CD算法复杂的推荐模型。我们识别并介绍了k-可分模型的性质。我们表明,k-可分性是一个足够的属性,允许有效的优化隐式推荐问题与CD。我们说明了这个框架上的各种国家的最先进的模型,包括因式分解机和塔克分解。总之,我们的工作提供了理论和积木,以获得高效的隐式CD算法复杂的推荐模型。
2016-11-15 cs.IR cs.LG
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院);NEC Laboratories, USA(NEC实验室)
SGD是训练CNN广泛采用的方法。从概念上讲,它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中,我们展示了采样偏差,固有图像差和固定周期伪随机采样区分训练中的批次,从而影响它们的学习速度。因此,SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题,我们提出了不一致的随机梯度下降(ISGD),根据批次的学习状态动态地改变训练工作。具体来说,ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足,ISGD解决一个新的子问题,一个追逐逻辑加上一个保守约束,以加速对批处理的训练,同时避免剧烈的参数变化。在各种数据集上的大量实验表明,ISGD比SGD收敛得更快。在训练AlexNet时,ISGD比SGD快21.05%,在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上,使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论,最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是,ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
Feedback Gradient Descent: Efficient and Stable Optimization with Orthogonality for DNNs
KAIST(韩国科学技术院)
具有正交性的优化已被证明在训练深度神经网络(DNN)中是有用的。为了在DNN上施加正交性,计算效率和稳定性都很重要。然而,现有的方法利用黎曼优化或硬约束只能确保稳定性,而那些使用软约束只能提高效率。在本文中,我们提出了一种新的方法,命名为反馈梯度下降(FGD),据我们所知,第一个工作同时表现出高效率和稳定性。FGD诱导正交性的基础上简单但不可或缺的连续时间动力系统上的Stiefel流形的切丛欧拉离散化。特别是,受到启发的流形上的数值积分方法称为反馈积分器,我们建议将其实例化的Stiefel流形的切丛的第一次。在广泛的图像分类实验中,FGD在准确性、效率和稳定性方面全面优于现有的最先进的方法。
2022-05-12 cs.AI cs.LG
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University(纽约大学);IBM Research(IBM研究院)
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生,但仍然存在同步障碍,以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者(掉队者)的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中,我们提出了(去)集中式非阻塞SGD(非阻塞SGD),它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次,然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现,包括Ring All-reduce,D-PSGD和MATCHA来解决掉队者问题。此外,使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析,并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法(如D-PSGD和MACHA)相比,非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
Q-Newton: Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);The University of Pittsburgh(匹兹堡大学);The University of Chicago(芝加哥大学);University of California Los Angeles(加州大学洛杉矶分校)
提出量子-经典混合调度器 Q-Newton,通过估计和减小条件数并构建稀疏度来协调量子和经典线性求解器,加速牛顿梯度下降的矩阵求逆过程,显著减少神经网络训练时间。
2025-04-29 cs.AI cs.LG quant-ph
DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release
The Hong Kong Polytechnic University(香港理工大学)
本文提出 DPSUR 框架,通过验证测试评估梯度并选择性更新模型,结合裁剪策略和阈值机制,在差分隐私约束下实现比 DPSGD 更快的收敛和更高的模型效用。
2023-11-29 cs.CR cs.LG
On Accelerating Distributed Convex Optimizations
University of Maryland(马里兰大学);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
研究了一个分布式多智能体凸优化问题。该系统包括多个代理在这个问题中,每个具有一组本地数据点和相关的本地费用函数。代理连接到服务器,并且没有代理间通信。智能体的目标是学习一个参数向量,该参数向量优化其本地成本的总和,而不暴露其本地数据点。原则上,代理可以通过使用传统的分布式梯度-下降法与服务器协作来解决这个问题。然而,当总成本是病态的,梯度-下降法(i)需要大量的迭代收敛,(ii)是非常不稳定的过程噪声。我们提出了一种迭代预处理技术,以减轻有害影响的费用函数的条件分布梯度下降的收敛速度。与传统的预处理技术不同,在我们提出的技术中的预处理矩阵迭代更新,以促进分布式网络上的实现。在分布式环境下,我们证明了该算法的线性收敛性,比传统的自适应梯度下降法具有更高的收敛速率。此外,对于总成本的极小值是唯一的特殊情况,我们的算法超线性收敛。我们证明了我们的算法的优越性能相比,突出的分布式算法解决真正的逻辑斯谛回归问题,并通过一个嘈杂的二次模型仿真神经网络训练,从而标志着该算法的效率分布式解决非凸优化。此外,我们的经验表明,该算法的结果在更快的训练,而不影响泛化性能。
2021-08-19 cs.LG cs.SY eess.SY
Learning Accurate Decision Trees with Bandit Feedback via Quantized Gradient Descent
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软研究院印度分院);Google Research, India(谷歌研究院印度分院)
决策树提供了丰富的高度非线性但高效的模型家族,因此它们仍然是跨领域从业者的预测模型家族。但学习树是具有挑战性的,由于其离散的决策边界。最先进的(SOTA)技术诉诸于(a)学习\textit{soft}树,从而损失对数推理时间;或者(b)使用针对特定监督学习设置定制的方法,需要访问标记的示例和损失函数。在这项工作中,通过利用overparameterization和直通估计器等技术,我们提出了一种统一的方法,该方法可以实现精确的端到端基于梯度的树训练,并且可以部署在各种设置中,如离线监督学习和带有bandit反馈的在线学习。使用标准基准测试的广泛验证,我们证明了我们的方法提供了两全其美,即,它是有竞争力的,并且在某些情况下比为监督设置设计的\textit{specifically}方法更准确;并且在大多数现有树学习技术不适用的强盗设置中,我们的模型仍然是准确的并且显著优于适用的SOTA方法。
2022-09-30 cs.LG
Negative Feedback System as Optimizer for Machine Learning Systems
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出将负反馈系统的函数求逆过程作为机器学习优化的物理类比,证明其能学习不可微函数并在特定约束下等价于梯度下降,为神经网络优化提供了新视角。
2024-12-22 cs.AI cs.LG
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory(阿贡国家实验室);Wayne State University(韦恩州立大学)
在分布式机器学习中,跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器,实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中,我们解决了强凸,凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法,(加速)梯度上升多随机梯度下降(GA-MSGD),适用于分布式优化的拉格朗日固有地包含本地更新,因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是,对于强凸目标,(加速)GA-MSGD在通信轮次中实现线性收敛,尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质,使得对偶问题是强凹的。当与Catalyst框架集成时,我们的方法在各种设置中实现了接近最佳的通信复杂性,而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Randomness and Interpolation Improve Gradient Descent
Advanced Computing, XJTLU Entrepreneur College (Taicang), Xi’an Jiaotong-Liverpool University, Suzhou 21523, China tabular
本文提出基于SGD的两种优化器IAGD(利用牛顿插值加速收敛)和NRSGD(引入噪声正则化防过拟合),在CIFAR数据集上验证了其优于经典优化器的潜力。
2025-10-14 cs.AI cs.LG
Accelerating Inverse Learning via Intelligent Localization with Exploratory Sampling
Intuit AI Research(Intuit AI研究院);Walmart Global Tech(沃尔玛全球技术);Georgia Institute of Technology(佐治亚理工学院)
在“人工智能科学”的范围内,解决逆问题是材料和药物发现中的一个长期挑战,其目标是确定给定一组理想属性的隐藏结构。最近提出了深度生成模型来解决逆问题,但这些模型目前使用昂贵的前向算子,并且难以精确定位精确解并充分探索参数空间而不会丢失解。在这项工作中,我们提出了一种新的方法(称为iPage),通过利用深度可逆模型的概率推理和通过快速梯度下降的确定性优化来加速逆学习过程。给定目标属性,学习的可逆模型提供了参数空间的后验;我们将这些后验样本识别为智能先验初始化,这使我们能够缩小搜索空间。然后,我们执行梯度下降来校准局部区域内的逆解。同时,对潜在空间进行空间填充采样,以更好地探索和捕获所有可能的解决方案。我们在三个基准任务和两个创建的数据集上评估了我们的方法,这些数据集具有来自量子化学和增材制造的实际应用,并发现我们的方法与几种最先进的基线方法相比具有更好的性能。iPage代码可在https://github.com/jxzhangjhu/MatDesINNe上获得。
2022-12-02 cs.AI cs.LG
Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
The University of Washington(华盛顿大学);Adobe Research(奥多比研究院);Sun Yat-sen University(中山大学)
针对现有SGD变体算法非凸条件下收敛分析困难的问题,提出统一的一阶方法收敛分析框架,并据此发现两种可直接提升收敛速率的即插即用加速方法。
2024-02-02 cs.AI cs.LG math.OC
Learning Rate Dropout
Xiamen University(厦门大学);Columbia University(哥伦比亚大学)
深度神经网络的性能高度依赖于它的训练,找到更好的局部最优解是许多优化算法的目标。然而,现有的优化算法显示出对收敛缓慢并且不寻求避免坏的局部最优的下降路径的偏好。在这项工作中,我们提出了学习率辍学(LRD),一个简单的梯度下降技术与坐标下降相关的培训。LRD经验性地帮助优化器通过随机地将一些学习率设置为零来积极地探索参数空间;在每次迭代中,仅更新学习率不为0的参数。随着不同参数的学习率下降,优化器将为当前更新采样新的损失下降路径。下降路径的不确定性有助于模型避免鞍点和糟糕的局部最小值。实验表明,LRD在加速训练同时防止过拟合方面非常有效。
2019-12-05 cs.CV cs.LG
"Oddball SGD": Novelty Driven Stochastic Gradient Descent for Training Deep Neural Networks
University of Surrey(萨里大学)
随机梯度下降(SGD)可以说是当今应用于训练深度神经网络(DNN)的最流行的机器学习方法。最近已经证明,SGD可以在统计上有偏差,使得训练集的某些元素比其他元素更快地学习。在这篇文章中,我们将SGD放入一个反馈回路中,从而选择的概率与误差大小成正比。这提供了一个新颖性驱动的oddball SGD过程,通过优先考虑训练集中具有最大新颖性(错误)的元素,比传统SGD更快地学习。在我们的DNN示例中,oddball SGD的训练速度比常规SGD快50倍。
2015-09-18 cs.LG
Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis
Meiji University(明治大学)
该研究基于李雅普诺夫分析扩展理论框架,研究SGDM在三种动态超参数调度下的收敛性,证明递增批量大小及同步递增批量与学习率可加速收敛,且动态调度SGDM及预热策略表现更优。
2026-07-31 cs.LG
ZNorm: Z-Score Gradient Normalization Accelerating Skip-Connected Network Training without Architectural Modification
Stony Brook University(石溪大学)
针对深度神经网络尤其是跳跃连接架构的梯度消失与爆炸问题,提出无需修改网络结构的ZNorm梯度归一化方法,经多数据集验证其性能优于现有方法,可有效提升训练效率与医学影像等场景的模型效果。
2024-12-09 cs.LG
Accelerating Smooth Games by Manipulating Spectral Shapes
SAIT AI Lab, Montreal(SAIT人工智能实验室)
我们使用矩阵迭代理论来刻画光滑博弈中的加速。我们定义的谱形状的一个家庭的游戏作为一组包含所有的特征值的雅可比标准梯度动力学的家庭。限制在实数线上的整数代表了一些很好理解的问题,比如最小化。在求解光滑博弈时,跨越复杂平面的搜索捕捉到了额外的数值挑战。在这个框架中,我们描述了基于梯度的方法,如extragradiation,变换的频谱形状。利用这个观点,我们提出了一个双线性博弈的最优算法。对于光滑和强单调算子,我们确定了凸最小化之间的连续性,其中加速是可能的使用Polyak的动量,和最坏的情况下,梯度下降是最佳的。最后,超越一阶方法,我们提出了一个加速版本的共识优化。
2020-03-09 cs.LG math.OC stat.ML
Accelerating Distributed SGD for Linear Regression using Iterative Pre-Conditioning
University of Maryland, College Park(马里兰大学帕克分校);Georgetown University(乔治城大学)
研究了多智能体分布式线性最小二乘问题。该系统包括多个代理,每个代理具有本地观察的数据点集,以及代理可以与之交互的公共服务器。代理的目标是计算一个线性模型,该模型最适合所有代理观察到的集体数据点。在基于服务器的分布式设置中,服务器不能访问代理持有的数据点。最近提出的迭代预条件连续下降(IPG)方法已被证明收敛速度比其他现有的分布式算法,解决这个问题。在IPG算法中,服务器和代理执行许多迭代计算。这些迭代中的每一个都依赖于代理观察到的整批数据点来更新解决方案的当前估计。在这里,我们将迭代预处理的思想扩展到随机设置,其中服务器在每次迭代时基于单个随机选择的数据点更新估计和迭代预处理矩阵。我们表明,我们提出的迭代预处理随机一致性下降(IPSG)方法的线性收敛的期望接近的解决方案。重要的是,我们的经验表明,建议的IPSG方法的收敛速度相比,毫不逊色,突出的随机算法解决线性最小二乘问题,在基于服务器的网络。
2020-11-28 cs.LG cs.SY eess.SY
Effective Gradient Sample Size via Variation Estimation for Accelerating Sharpness aware Minimization
Beijing University of Technology(北京工业大学);Beihang University(北京航空航天大学)
本文提出一种基于PSF变异的自适应采样方法,通过重用采样梯度显著加速SAM,同时保持与SAM相当的精度。
2024-02-24 cs.CV cs.LG
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University(斯坦福大学);Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中,我们将重点转向DNN的训练。训练阶段是计算密集型的,需要复杂的数据通信,并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索,以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明,集体通信语义的分层支持的架构提供了灵活性,在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明,较小的网络有利于非批处理技术,而较大的网络的性能更高,使用批处理操作。在45纳米技术下,CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率,利用率超过80%,在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率,利用率超过90%,总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
Faster SGD Using Sketched Conditioning
The Hebrew University(希伯来大学)
本文提出通过Sketching方法加速随机优化算法,通过构造低成本的conditioner提升SGD效率,并在深度学习中验证其有效性。
2015-06-08 cs.LG cs.NA math.NA
swCaffe: a Parallel Framework for Accelerating Deep Learning Applications on Sunway TaihuLight
Tsinghua University(清华大学);National Supercomputing Center in Wuxi(国家超级计算无锡中心);Beihang University(北京航空航天大学)
本文报告了我们在swCaffe上的工作,swCaffe是一种高效的并行框架,用于加速Sunway TaihuLight上的深度神经网络(DNN)训练,Sunway TaihuLight是目前世界上最快的超级计算机,采用独特的众核异构架构,通过定制的通信网络连接40,960个SW26010处理器。首先,我们指出了一些有见地的原则,充分利用创新的众核架构的性能。其次,我们提出了一套优化策略,用于重新设计各种基于Caffe的神经网络层。第三,我们提出了一个拓扑感知的参数同步方案,以有效地扩展同步随机梯度下降(SGD)方法到多个处理器。我们通过使用ImageNet数据集训练各种广泛使用的神经网络来评估我们的框架。在单个节点上,swCaffe与运行在K40 m GPU上的Caffe相比,整体性能可以达到23 119%。与CPU上的Caffe相比,swCaffe在所有网络上的运行速度快3.04\~ 7.84倍。最后,我们展示了swCaffe在1024个节点规模上训练ResNet-50和AlexNet的可扩展性。
2019-03-16 cs.DC cs.LG
Accelerating Very Deep Convolutional Networks for Classification and Detection
Microsoft Research(微软研究院)
本文旨在加速卷积神经网络(CNN)的测试时计算,特别是对计算机视觉社区产生重大影响的深度CNN。与以前的方法,设计近似线性滤波器或线性响应,我们的方法考虑到非线性单元。我们开发了一个有效的解决方案,从而产生的非线性优化问题,而不需要随机梯度下降(SGD)。更重要的是,虽然以前的方法主要集中在优化一个或两个层,但我们的非线性方法能够实现非对称重建,当多个(例如,>=10)层近似。对于广泛使用的非常深的VGG-16模型,我们的方法实现了4倍的整体模型加速,而ImageNet分类中的前5个错误仅增加了0.3%。当插入Fast R-CNN检测器时,我们的4倍加速VGG-16模型也显示出目标检测的准确性下降。
2015-11-18 cs.CV cs.LG cs.NE
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah(犹他大学);University of Kentucky(肯塔基大学)
动量在基于随机梯度的优化算法中起着至关重要的作用,用于加速或改进深度神经网络(DNN)的训练。在深度学习实践中,动量通常由校准良好的常数加权。然而,调整动量的超参数可能是一个巨大的计算负担。在本文中,我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量,不需要动量相关的超参数,由非线性共轭梯度(NCG)方法激发。具有这种新的自适应动量的随机梯度下降(SGD)消除了对动量超参数校准的需要,允许显著更大的学习率,加速DNN训练,并提高训练的DNN的最终准确性和鲁棒性。例如,具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外,具有新的自适应动量的SGD也有利于对抗训练,并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training
Faculty of Engineering(工程学院);Tel Aviv University(特拉维夫大学);Department of Computer science(计算机科学系);Ben Gurion University(本· Gurion大学);Faculty of Engineering Bar-Ilan University(巴伊兰大学工程学院);Bar-Ilan University(巴伊兰大学)
SUMO是一种利用子空间内精确SVD进行矩正交化的优化器,通过对齐损失景观谱特征,加速LLM训练收敛,提升稳定性,并减少高达20%的内存需求。
2025-10-25 cs.CL cs.LG math.OC
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University(耶鲁大学)
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到,反向传播算法在生物学上并不合理。从根本上说,它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人(2016)提出了一种生物学上更合理的“反馈对齐”算法,该算法使用随机和固定的反向传播权重,并显示出有希望的模拟。在本文中,我们研究了反馈对准过程的数学性质,通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中,我们证明了误差以指数方式快速收敛到零,并且为了使参数与随机反向传播权重对齐,正则化是必要的。模拟给出了与此分析是一致的,并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习,其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
Learning Provably Improves the Convergence of Gradient Descent
Xiamen University(厦门大学);The Chinese University of Hong Kong(香港中文大学)
本研究提出了一种学习优化框架,通过理论证明和实验验证,展示了其在提升梯度下降收敛性和优化性能方面的显著优势。
2025-12-23 cs.LG math.OC
Learning Large DAGs by Combining Continuous Optimization and Feedback Arc Set Heuristics
University of Bergen(卑尔根大学)
贝叶斯网络使用有向无环图(DAG)表示变量之间的关系。学习DAG是一个NP难问题,精确的学习算法只适用于小的变量集。我们提出了两个可扩展的学习DAGs的线性结构方程的情况下。我们的方法通过在基于无约束梯度下降的步骤之间交替来学习DAG以优化目标函数,并解决最大无环子图问题以增强无环性。由于这种解耦,我们的方法可以扩展到数千个变量。
2021-07-01 cs.LG
Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
University of Illinois-Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出面向含噪测量的预条件非凸梯度下降方法,用于低秩矩阵估计,保证以免疫病态和过参数化的线性速率达到极小极大误差,并在6000万像素医学图像去噪中显著降噪。
2024-02-28 cs.LG math.OC stat.ML
DIVEBATCH: Accelerating Model Training Through Gradient-Diversity Aware Batch Size Adaptation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出DiveBatch算法,利用梯度多样性动态调整批量大小,在保持小批量训练泛化性能的同时显著加速SGD收敛,并在多个数据集上验证其优于标准SGD和AdaBatch。
2025-09-19 cs.LG
FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation
The Ohio State University(俄亥俄州立大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Industrial Engineering(工业工程系);University of Kentucky(肯塔基大学);Air Force Research Laboratory(空军研究实验室)
针对联邦分割学习通信延迟与并行训练缺乏服务器反馈的问题,提出FSL-SAGE算法,利用辅助模型周期性估计服务器梯度反馈,在保证收敛率与精度的同时显著降低通信开销与客户端内存需求。
2025-06-17 cs.LG
Gradient descent with momentum --- to accelerate or to super-accelerate?
Maynooth University(梅努斯大学);Max-Planck Institute for the Physics of Complex Systems(马克斯·普朗克复杂系统物理研究所)
我们考虑梯度下降与“动量”,损失函数最小化在机器学习中广泛使用的方法。该方法通常与“Nesterov加速度”一起使用,这意味着梯度不是在参数空间中的当前位置处评估,而是在一步之后的估计位置处评估。在这项工作中,我们表明,该算法可以通过延长这种“加速”-通过使用在估计位置的梯度几步,而不是仅仅提前一步。在这种“超加速”算法中,人们向前看的距离由一个新的超参数决定。考虑单参数二次型损失函数,可以精确计算和解析估计超加速度的最优值。我们明确表明,超加速的动量算法是有益的,不仅对于这个理想化的问题,而且对于几个合成损失景观和MNIST分类任务与神经网络。超加速也很容易纳入自适应算法,如RMSProp或亚当,并显示,以改善这些算法。
2020-01-17 cs.LG math.OC stat.ML
Weighted Aggregating Stochastic Gradient Descent for Parallel Deep Learning
Stony Brook University(石溪大学)
本文研究了随机优化问题,重点是为深度学习任务开发可扩展的并行算法。我们的解决方案涉及神经网络模型中随机优化的目标函数的改革,以及一种新的并行策略,创造加权聚合随机梯度下降(WASGD)。在对新目标函数特性进行理论分析的基础上,提出了一种基于本地工人绩效的分散加权集结方案。在没有任何中心变量的情况下,新方法自动评估当地工人的重要性,并根据他们的贡献接受他们。此外,我们已经开发了一个增强版本的方法,WASGD+,通过(1)考虑设计的样本顺序和(2)应用更先进的权重评估函数。为了验证新方法,我们将我们的方案与几种流行的算法进行基准测试,包括最先进的技术(例如,弹性平均SGD)用于训练用于分类任务的深度神经网络。在CIFAR-100、CIFAR-10、Fashion-MNIST和MNIST四个经典数据集上进行了全面的实验。随后的结果表明了WASGD方案在加速深层架构训练方面的优越性。更好的是,增强版本WASGD+已经被证明是对其基本版本的重大改进。
2020-04-07 cs.DC cs.LG
On Multilabel Classification and Ranking with Partial Feedback
Universita’ dell’Insubria(因苏布里亚大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们提出了一种新的多标签/排名算法工作在部分信息设置。该算法基于二阶下降法,并依赖于上置信界来权衡探索和开发。我们在部分对抗性设置中分析该算法,其中协变量可以是对抗性的,但多标签概率由(广义)线性模型控制。我们显示O(T^{1/2} log T)的遗憾界,这在几个方面改善现有的结果。我们通过与真实世界多标签数据集上的完整信息基线进行对比来测试我们的上置信度方案的有效性,通常可以获得相当的性能。
2013-01-16 cs.LG
Feed m Birds with One Scone: Accelerating Multi-task Gradient Balancing via Bi-level Optimization
Meta
本文提出MARIGOLD算法,通过双层优化解决多任务学习中的梯度平衡问题,提升计算效率并验证其在不同数据集上的性能优势。
2026-03-08 cs.LG math.OC
Controlled Descent Training
Centiro AB(森蒂罗公司);Chalmers University of Technology(查尔姆斯理工大学)
在这项工作中,一种新的和基于模型的人工神经网络(ANN)的训练方法的支持下,最优控制理论。该方法通过增加训练标签,鲁棒地保证了训练的失收敛性,提高了训练的收敛速度。在梯度下降训练的框架内提出了动态标签增强,其中训练损失的收敛被控制。首先,我们借助经验神经正切核(NTK)捕获训练行为,并借用系统和控制理论的工具来分析局部和全局训练动态(例如稳定性,可达性)。其次,我们建议通过虚拟标签作为控制输入和最优状态反馈策略来动态地改变梯度下降训练机制。通过这种方式,我们实施了局部$\mathcal{H}_2$最优和收敛的训练行为。新的算法,\textit{Controlled Descent Training}(CDT),保证局部收敛。CDT在ANN体系结构的分析、解释和设计中释放了新的潜力。标准的回归和分类问题的方法的适用性证明。
2023-03-16 cs.LG math.OC
Accelerating SGD with momentum for over-parameterized learning
The Ohio State University(俄亥俄州立大学)
Nesterov SGD被广泛用于训练现代神经网络和其他机器学习模型。然而,其相对于SGD的优势尚未在理论上阐明。事实上,正如我们在我们的论文中所示,无论是理论上还是经验上,Nesterov SGD与任何参数选择一般不会提供普通SGD的加速。此外,Nesterov SGD可以发散步长,以确保普通SGD的收敛。这与确定性场景中的经典结果相反,其中相同的步长确保Nesterov方法在最优梯度下降上的加速收敛。为了解决非加速问题,我们向Nesterov SGD引入补偿条款。由此产生的算法,我们称之为MaSS,收敛相同的步长为SGD。我们证明了在线性环境下,对于任何小批量,MaSS都能获得比SGD更快的收敛速度。对于整批,MaSS的收敛速度与众所周知的Nesterov方法的加速速度相匹配。我们还分析了收敛速度和最优超参数对小批量大小的依赖性的实际重要问题,展示了三种不同的制度:线性缩放,收益递减和饱和。针对深度网络的几种标准架构(包括ResNet和卷积网络)对MaSS进行的实验评估显示,其性能优于SGD、Nesterov SGD和Adam。
2019-09-27 cs.LG stat.ML
Accelerating Floating-Point Satisfiability Solving via Gradient Normalization
针对浮点SMT求解中梯度支配导致的局部最优问题,提出GradSAT框架,将每个子句视为多任务学习任务,通过动态梯度归一化平衡梯度,结合GPU加速连续松弛与位精确局部搜索,实现稳健高效的求解。
2026-10-08 cs.AI cs.LG
Communication-Efficient and Byzantine-Robust Distributed Learning with Error Feedback
Halicioglu Data Science Institute, UC San Diego(哈利乔格鲁数据科学研究所,加州大学圣迭戈分校);UC Berkeley(加州大学伯克利分校);UMass Amherst(马萨诸塞大学阿默斯特分校);EECS department, UC Berkeley(加州大学伯克利分校电子工程与计算机科学系)
我们开发了一个通信高效的分布式学习算法,是强大的拜占庭工人机器。我们提出并分析了一个分布式梯度下降算法,执行一个简单的阈值的基础上梯度规范,以减轻拜占庭故障。我们证明了我们算法的(统计)错误率与Yin等人的算法相匹配。\cite{dong},它使用更复杂的方案(坐标系中位数,修剪均值)。此外,为了提高通信效率,我们考虑了Karimireddi等人的一类通用的$δ$ -近似压缩器。\cite{errorfeed},包含基于符号的压缩器和顶部$k$稀疏化。我们的算法分别使用压缩梯度和梯度范数进行聚集和拜占庭移除。我们建立了非凸光滑损失函数的统计出错率。结果表明,在压缩因子$δ$的一定范围内,压缩操作对收敛速度没有影响。此外,我们分析了压缩梯度下降算法与错误反馈(提出在\cite{errorfeed})在分布式设置和拜占庭工人机器的存在。我们发现,利用错误反馈提高了统计出错率。最后,我们通过实验验证了我们的结果,并显示出良好的性能在凸(最小二乘回归)和非凸(神经网络训练)问题的收敛。
2021-08-14 cs.DC cs.LG stat.ML
Adjacent Leader Decentralized Stochastic Gradient Descent
New York University(纽约大学);Tandon School of Engineering(坦登工程学院)
本文提出相邻领导者去中心化梯度下降(AL-DSGD),通过加权聚合和动态通信图提升去中心化深度学习的性能与收敛速度,降低通信开销,并开源了通用分布式训练库。
2024-08-19 cs.LG
Online Sequential Decision-Making with Unknown Delays
Beijing Institute of Technology(北京理工大学)
本文针对在线凸优化中反馈具有未知延迟的问题,提出三族适用于通用范数的延迟算法,并在一般凸性与相对强凸性下给出遗憾界,验证了其与现有最优界的一致性。
2024-02-23 cs.AI cs.LG
Iterate to Accelerate: A Unified Framework for Iterative Reasoning and Feedback Convergence
本文提出统一迭代推理框架,结合 Bregman 散度、高阶算子平均与自适应反馈,统一镜像下降、动态规划和思维链推理,并证明其 $O(1/t^2)$ 收敛速率及反馈架构的必要性。
2025-02-06 cs.LG
DiffLoop: Tuning PID controllers by differentiating through the feedback loop
Princeton University(普林斯顿大学)
由于大多数工业控制应用使用PID控制器,PID整定和抗饱和措施是重要的问题。本文研究了通过反算和自动微分工具调整PID控制器的反馈增益。特别是,我们偶尔使用一个代价函数来生成梯度,并执行梯度下降,以提高控制器的性能。我们提供了一个理论框架来分析这种非凸优化,并建立了反算和干扰反馈策略之间的关系。我们包括数值实验线性系统与致动器饱和,以显示这种方法的有效性。
2022-07-03 cs.LG cs.SY eess.SY