On the Interplay between Acceleration and Identification for the Proximal Gradient algorithm
在本文中，我们研究了加速和结构识别的邻近梯度算法之间的相互作用。我们报告和分析了几种情况下，这种相互作用对算法的行为（迭代振荡，结构损失等）产生负面影响。我们提出了一种通用的方法，驯服加速度时，结构识别可能处于危险之中，它的好处是从一个收敛速度，在某些条件下的加速近端梯度相匹配。我们的经验表明，所提出的方法是更稳定的子空间识别相比，加速近端梯度法，同时保持类似的功能减少。
2020-08-31 math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中，我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先，我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法，比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation，Popov，和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定，并不同于涅斯捷罗夫的加速。然后，我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Understanding Riemannian Acceleration via a Proximal Extragradient Framework
Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
我们有助于推进黎曼加速梯度法的理解。特别是，我们重新加速混合近端外梯度（A-HPE），获得欧几里德加速方法\citep{monteiro2013accelerated}的一个强大的框架。在A-HPE的基础上，我们提出并分析了黎曼A-HPE。我们分析的核心由两个关键部分组成：（i）对欧几里得A-HPE本身的一系列新见解;以及（ii）对黎曼几何引起的度量失真的仔细控制。我们说明了我们的框架，通过获得一些现有的和新的黎曼加速梯度法的特殊情况下，同时表征其加速我们的主要结果的推论。
2022-02-10 cs.LG math.OC stat.ML
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题，提出自适应框架，在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率，并含凸函数加速版本，数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
Riemannian accelerated gradient methods via extrapolation
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文提出了一种简单的黎曼梯度法的加速格式，它是通过在流形上外推迭代来实现的。我们证明了当迭代由黎曼梯度下降法产生时，加速格式渐近地达到最优收敛速度，并且在计算上比最近提出的黎曼Nesterov加速梯度法更有利.我们的实验验证了新的加速策略的实际效益。
2022-08-13 cs.LG math.OC stat.ML
On Acceleration with Noise-Corrupted Gradients
加速算法具有通用性强、收敛速度快等优点，在大规模优化问题中有着广泛的应用。然而，它们在受噪音破坏的梯度预言机的实际设置中的稳定性还没有得到很好的理解。本文提供了两个主要的技术贡献：（i）一种新的加速方法AGDP，它概括了Nesterov的AGD并改进了最近的方法AXGD（Diakonikolas & Orecchia，2018），以及（ii）在噪声和不精确梯度预言下加速算法的理论研究，这得到了数值实验的支持。本研究利用AGDP及其分析的简单性来澄清噪声和加速度之间的相互作用，并建议对算法进行修改，以减少由于梯度噪声而产生的误差的均值和方差。
2018-07-31 cs.DS math.OC
Randomized Subspace Nesterov Accelerated Gradient
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进情报项目）
本文提出随机子空间Nesterov加速梯度方法，针对矩阵光滑性和通用草图矩假设，实现平滑凸优化和强凸优化的加速oracle复杂度保证，统一比较草图家族并识别随机子空间加速在oracle复杂度上的优势。
2026-05-01 cs.LG math.OC stat.ML
From Nesterov's Estimate Sequence to Riemannian Acceleration
本文提出了第一个求解黎曼流形的整体加速梯度法。为了建立我们的结果，我们重新审视Nesterov的估计序列技术，并开发一种替代分析，它也可能是独立的利益。然后，我们将这种分析扩展到黎曼环境，将由于非欧几里德结构而导致的关键困难定位为一定的度量失真。我们通过发展一个新的几何不等式来控制这种扭曲，这使我们能够提出和分析Nesterov加速梯度法的黎曼对应方法。
2020-01-24 math.OC stat.ML
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
An Accelerated DFO Algorithm for Finite-sum Convex Functions
ETH Zürich（苏黎世联邦理工学院）
无导数优化（Derivative-Free Optimization，DFO）最近在机器学习中获得了很大的发展势头，引起了社区对设计更快的方法来解决梯度无法访问的问题的兴趣。虽然在DFO文献中对加速的概念给予了一定的关注，但在理论上还没有证明具有有限和结构的目标函数的现有随机算法能够实现加速的收敛速率。在这样的设置中使用加速的算法容易不稳定，从而难以达到收敛。在这项工作中，我们利用有限和结构的目标，以设计一个方差减少DFO算法，可证明产生加速。我们证明了光滑凸和强凸有限和目标函数的收敛速度。最后，我们在几个任务和数据集上验证了我们的理论结果。
2020-08-03 cs.LG math.OC
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Accelerated Additive Schwarz Methods for Convex Optimization with Adaptive Restart
基于一般凸优化的加性Schwarz方法可以被解释为梯度法，我们提出了加性Schwarz方法的一个加速方案.采用动量和自适应重新启动等加速梯度法的技术，大大提高了加性Schwarz方法的收敛速度。建议的加速方案不需要任何先验信息的平滑度和尖锐度的目标能量功能，使它可以应用于各种凸优化问题。线性椭圆问题，非线性椭圆问题，非光滑问题，非尖锐问题的数值结果提供突出的优越性和广泛的适用性所提出的计划。
2021-09-24 cs.NA math.NA math.OC
Federated Accelerated Stochastic Gradient Descent
Stanford University（斯坦福大学）
我们提出了联邦加速随机梯度下降（FedAc），联邦平均（FedAvg，也称为本地SGD）的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速，它提高了各种凸函数的收敛速度和通信效率。例如，对于强凸和光滑函数，当使用$M$工作器时，如果给定$M$同步轮，则先前最先进的FedAvg分析可以在$M$中实现线性加速，而FedAc仅需要$M^{\frac{1}{3}}$轮。此外，我们证明了更强的保证FedAc时，目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析，一种新的稳定性分析广义加速SGD，加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
A Variational Perspective on Accelerated Methods in Optimization
加速梯度法在优化中起着核心作用，在许多设置中实现最佳速率。虽然Nesterov的原始加速方法已经提出了许多推广和扩展，但尚不清楚加速概念的自然范围是什么。在本文中，我们从连续时间的角度研究加速方法。我们发现，有一个拉格朗日函数，我们称之为\emph{Bregman Lagrangian}，它产生了一个大类的加速方法在连续时间，包括（但不限于）加速梯度下降，其非欧几里德扩展，和加速高阶梯度法。我们证明了所有这些方法的连续时间极限对应于以不同的速度在时空中行进相同的曲线。从这个角度来看，Nesterov的技术和它的许多推广可以被看作是一种系统的方法，从Bregman Lagrangian生成的连续时间曲线到离散时间加速算法。
2016-03-14 cs.LG math.OC stat.ML
Distributed Proximal Splitting Algorithms with Rates and Acceleration
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
我们分析了几个通用的邻近分裂算法，以及适合于大规模的凸非光滑最优化。我们推导出次线性和线性收敛的结果与新的利率的函数值次优或距离的解决方案，以及新的加速版本，使用不同的步长。此外，我们还提出了这些算法的分布式变体，这些算法也可以加速。虽然大多数现有的结果是遍历的，我们的nonergodic结果显着拓宽了我们的理解原始对偶优化算法。
2022-01-27 cs.LG cs.NA math.NA
