Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Accelerated Convex Optimization via Hamiltonian Dynamics with Deterministic Integration Time
Department of Computer Science, Yale University(耶鲁大学计算机科学系);Department of EECS, Massachusetts Institute of Technology(麻省理工学院电子工程与计算机科学系)
提出基于哈密顿动力学的平滑凸优化算法,通过利用平均哈密顿流轨迹的收缩而非端点收缩,实现确定性加速收敛,并推导出具有最优一阶复杂度的离散实现。
2026-06-17 cs.LG math.OC stat.ML
Accelerated SGD for Non-Strongly-Convex Least Squares
EPFL(洛桑联邦理工学院)
考虑非强凸情形下最小二乘回归问题的随机逼近。我们提出了第一个实用的算法,实现了最佳的预测出错率的依赖于噪声的问题,$O(d/t)$,同时加速忘记的初始条件$O(d/t^2)$。我们的新算法是基于一个简单的修改的加速梯度下降。我们提供了收敛结果的平均值和最后一次的算法。为了描述这些新的界限的紧密性,我们提出了一个匹配的下限在无噪声设置,从而显示我们的算法的最优性。
2022-03-03 cs.LG math.OC stat.ML
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI(微软研究院AI)
最小化非凸函数之和的问题(即,凸函数(即非凸函数的平均值)在机器学习中变得越来越重要,并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数,由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量,并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用,我们的方法享有线性并行加速使用小批量。
2018-02-12 cs.DS cs.LG math.OC
Parameter-free Locally Accelerated Conditional Gradients
Georgia Institute of Technology(佐治亚理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
无投影条件梯度(CG)方法是用于约束优化设置的选择算法,其中投影通常在计算上是禁止的,但是在约束集上的线性最优化在计算上是可行的。与基于投影的方法不同,CG通常无法达到全局加速的收敛速度。然而,最近的一项关于局部加速CG(LaCG)的研究表明,对于许多感兴趣的设置,CG的局部加速是可能的。LaCG的主要缺点是它需要目标函数的光滑性和强凸性参数的知识。我们通过引入一种新的无参数局部加速CG(PF-LaCG)算法来消除这种限制,为此我们提供了严格的收敛保证。我们的理论结果得到了数值实验的补充,这些实验证明了局部加速,并展示了PF-LaCG在迭代次数和挂钟时间方面对非加速算法的实际改进。
2021-06-15 cs.LG math.OC stat.ML
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法,动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降(Sgdm)使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重,已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析,我们的方法,这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明,该方法在实际问题中表现良好,性能优于Sgdm,在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
Fast Algorithms for Computational Optimal Transport and Wasserstein Barycenter
UC Berkeley(加州大学伯克利分校)
我们提供了理论复杂性分析的新算法来计算两个离散的概率分布之间的最佳运输(OT)的距离,并证明其良好的实际性能比国家的最先进的原始-对偶算法和他们的能力,在解决其他问题的大规模,如Wasserstein重心问题的多个概率分布。首先,我们介绍了计算OT距离的\emph{accelerated primal-dual randomized coordinate descent}(APDRCD)算法。我们提供了它的复杂性上界$\bigOtil(\frac{n^{5/2}}{\varepsilon})$,其中$n$代表这些概率测度的原子数,$\varepsilon > 0$是所需的精度。这个复杂性界匹配OT问题的原始-对偶算法的最佳已知复杂性,包括自适应原始-对偶加速梯度下降(APDGD)和自适应原始-对偶加速镜像下降(APDAMD)算法。然后,通过大量的实验研究,证明了APDRCD算法优于APDAGD和APDAMD算法,并提出了一种贪婪算法\emph{accelerated primal-dual greedy coordinate descent}(APDGCD),进一步提高了算法的实际性能.最后,我们将APDRCD和APDGCD算法推广到分布式算法,用于计算多个概率分布的Wasserstein重心。
2020-06-15 cs.DS cs.LG stat.ML
YuriiFormer: A Suite of Nesterov-Accelerated Transformers
MIT(麻省理工学院)
YuriiFormer通过将Transformer层视为优化算法迭代过程,提出了一种基于Nesterov加速的Transformer架构,在多个文本数据集上实现了优于基线模型的性能。
2026-03-04 cs.AI cs.LG math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida(中佛罗里达大学)
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而,对于非凸和非光滑最优化问题,在保证一定性能的前提下,开发有效的方法仍然是一个挑战。近点坐标下降法(PCD)已被广泛应用于求解最优化问题,但对非凸环境下的PCD方法的认识非常有限。另一方面,异步最近坐标下降(APCD)最近受到了广泛的关注,以解决大规模的问题。然而,APCD算法的加速变体很少被研究。在本文中,我们扩展APCD方法的加速算法(AAPCD)的非光滑和非凸的问题,满足充分下降的性质,通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知,我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题,确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质,我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明,我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Accelerated Distributed Optimization with Compression and Error Feedback
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Universität des Saarlandes(萨尔大学)
本文提出 ADEF 算法,将 Nesterov 加速、收缩压缩、误差反馈与梯度差压缩相结合,在一般凸区域下首次实现了带收缩压缩的随机分布式优化的加速收敛,并降低了通信成本。
2025-03-29 cs.LG math.OC
Accelerated Sparsified SGD with Error Feedback
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
研究了同步分布优化问题的随机梯度法。为了降低通信成本,我们特别关注利用通信梯度的压缩。一些工作已经表明,{ \it{sparsified} }随机梯度下降法(SGD)与{ \it{error feedback} }渐近实现相同的速度(非稀疏)并行SGD。然而,从非渐近行为的角度来看,压缩误差可能会导致在早期迭代中比非稀疏SGD收敛更慢。这在实际情况中是有问题的,因为通常采用提前停止来最大化学习模型的泛化能力。为了改进已有的结果,本文提出了一种结合{ \it{Nesterov's acceleration} }的误差反馈稀疏随机梯度法,并进行了理论分析。它表明,必要的每迭代通信成本保持相同的速度香草SGD可以小于非加速方法在凸,甚至在非凸最优化问题。这表明我们提出的方法比以前的方法更好地利用压缩信息。数值实验和经验验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC
Fast quantum state reconstruction via accelerated non-convex programming
Rice University(莱斯大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
我们提出了一种新的量子态重建方法,结合了压缩传感,非凸优化和加速方法的想法。该算法被称为动量激励因子梯度下降(\texttt{MiFGD}),扩展了量子层析成像对更大系统的适用性。尽管是一个非凸的方法,\texttt{MiFGD}收敛\emph{provably}接近真实的密度矩阵在加速的线性速率,在实验和统计噪声的情况下,并在共同的假设。利用这篇文章,我们提出了这种方法,证明了它的收敛性,并提供了关于真密度矩阵的Frobenius范数界保证。从实际的角度来看,我们基准的算法性能相对于其他现有的方法,在IBM的量子处理单元上进行的合成和真实的实验。我们发现,所提出的算法执行数量级的速度比最先进的方法,具有相同或更好的精度。在合成和真实的实验中,我们观察到准确和强大的重建,尽管实验和统计噪声的断层数据。最后,我们提供了一个现成的多量子比特系统的状态层析成像的代码。
2022-03-23 cs.IT cs.LG math.IT
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University(费德里科·圣玛丽亚大学);KU Leuven(荷语鲁汶大学)
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外,存在几种基本程序的变体,以提高其理论特性和实际性能。在本文中,我们调查的应用程序中的一些技术,机器学习,特别是集中在并行切线(PARTAN)的FW算法的变种,以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术,表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
Accelerated and instance-optimal policy evaluation with linear function approximation
Georgia Institute of Technology(佐治亚理工学院)
我们研究了线性函数逼近的政策评估问题,并提出了有效和实用的算法,具有较强的最优性保证。我们首先证明了在这个问题中确定性误差和随机误差的下限。特别是,我们证明了一个甲骨文复杂性下界的确定性错误的实例相关的规范与平稳分布的过渡内核,并使用本地渐近极大极小机器证明了一个实例相关的下界的随机错误的独立同分布。观测模型现有的算法无法匹配这些下限中的至少一个:为了说明,我们分析了时间差异学习的方差减少的变体,特别是它未能实现预言复杂度下限。为了解决这个问题,我们开发了一个加速的,方差减少的快速时间差算法(VRTD),同时匹配两个下界,并达到一个强有力的概念的实例最优。最后,我们将VRFTD算法推广到马尔可夫观测的情况,并给出了依赖于实例的收敛结果。我们的最优性的理论保证是由数值实验证实。
2022-08-14 cs.LG math.OC stat.ML