Surpassing Gradient Descent Provably: A Cyclic Incremental Method with Linear Convergence Rate
University of Pennsylvania(宾夕法尼亚大学);Rutgers University(罗格斯大学)
近年来,人们越来越关注开发用于解决大规模机器学习问题的最优化方法。这些问题中的大多数归结为最小化一组光滑和强凸函数的平均值的问题,其中函数$n$的数量很大。梯度下降法(GD)是成功的最小化凸问题在一个快速的线性速度,但它不适用于所考虑的大规模优化设置,因为高的计算复杂性。增量方法通过用增量梯度近似代替下降方向所需的梯度来解决梯度法的这个缺点。它们通过每次迭代评估一个梯度并执行$n$可用梯度的平均值作为梯度近似值来操作。尽管增量方法降低了GD的计算成本,但它们的收敛速度并不能证明它们相对于GD在收敛之前的梯度评估总数方面的优势。在本文中,我们介绍了一种双增量聚合梯度方法(DIAG),在每次迭代中只计算一个函数的梯度,这是基于一个循环的计划选择,并使用聚合的平均梯度的所有功能来近似的完整的梯度。所提出的DIAG方法的迭代使用迭代和梯度两者的平均值,这与利用梯度平均值但不利用梯度平均值的经典增量方法相反。我们证明了所提出的DIAG方法不仅线性收敛到最优解,而且其线性收敛因子证明了增量方法在GD上的优势。特别是,我们证明了DIAG的最坏情况下的性能优于GD的最坏情况下的性能。
2018-02-07 cs.LG math.OC
U-Clip: On-Average Unbiased Stochastic Gradient Clipping
University of Oxford(牛津大学);DeepMind(深度思维)
U形裁剪是对梯度裁剪的一个简单修正,它可以应用于任何迭代梯度优化算法。与常规裁剪一样,U-Clip涉及使用被裁剪到规定大小的梯度(例如,使用分量方式或基于范数的裁剪),但不是丢弃梯度的裁剪部分,U-Clip维护这些值的缓冲区,这些值在下一次迭代(在裁剪之前)添加到梯度。我们表明,累积偏差的U形剪辑更新是有界的常数。这意味着修剪的更新平均而言是无偏的。收敛通过一个引理来保证,只要$\sum_{i=1}^t (u_i - g_i) = o(t)$更新$u_i$就收敛,其中$g_i$是梯度。在CIFAR 10上进行了广泛的实验探索,并在ImageNet上进行了进一步的验证。
2023-02-06 cs.LG math.OC stat.ML
A Fully Stochastic Second-Order Trust Region Method
提出了一种随机二阶置信域方法,该方法可以看作是Curtis等人提出的信赖域ish(TRish)算法的二阶扩展(INFORMS J. Optim. 1(3)200-220,2019)。在每次迭代中,通过(近似)求解由随机梯度和Hessian估计定义的置信域子问题来计算搜索方向。该算法具有收敛保证随机最小化在完全随机制度,这意味着保证举行时,每个随机梯度只需要是一个无偏估计的真梯度有界方差和随机海森估计一致有界的范数。该算法还配备了一个最坏情况下的复杂性保证,在几乎确定性的制度,即,当随机梯度和Hessian估计在期望上非常接近真实梯度和Hessian时。训练卷积神经网络的图像分类和训练的递归神经网络的时间序列预测的数值实验的结果。这些结果表明,该算法在实际应用中的性能优于随机梯度方法和一阶TRish算法。
2019-11-16 math.OC
Adaptive primal dual hybrid gradient algorithms based on average spectrum for saddle point problems
Harbin Institute of Technology(哈尔滨工业大学);Nanjing University(南京大学)
本文提出了一种基于平均谱的自适应对偶混合梯度算法,用于解决鞍点问题,通过预测-校正框架实现加速并提高数值性能。
2026-02-28 math.OC
Multi-Objective Trust-Region Filter Method for Nonlinear Constraints using Inexact Gradients
本文提出一种结合无导数信赖域与过滤方法的多目标优化算法,利用完全线性模型处理不精确梯度,并证明在标准假设下迭代收敛到准稳定点或KKT点。
2023-04-19 math.OC
Non-Uniform Stochastic Average Gradient Method for Training Conditional Random Fields
University of British Columbia(不列颠哥伦比亚大学);Ambiata;Simon Fraser University(西蒙弗雷泽大学)
我们采用随机平均梯度(SAG)算法训练条件随机场(CRF)。我们描述了一个实际的实现,使用结构的CRF梯度,以减少这种线性收敛的随机梯度方法的内存需求,提出了一个非均匀采样方案,大大提高了实际性能,并分析了收敛速度的SAGA变量下的非均匀采样。我们的实验结果表明,我们的方法在训练目标方面往往显着优于现有的方法,并且在测试误差方面表现得与最优调整的随机梯度方法一样好或更好。
2015-04-16 cs.LG math.OC stat.CO
Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition
利用鲁棒控制理论来分析和设计优化和机器学习算法的兴趣越来越大。研究了一类费用函数满足正则性条件的非凸最优化问题。经验研究表明,加速梯度下降(AGD)算法(例如Nesterov的加速和Heavy-ball)与适当的初始化通常在实践中工作得很好。然而,这种AGD算法的收敛性在文献中很大程度上是未知的。本文的主要贡献是通过鲁棒控制工具分析了RC下AGD的收敛区域。由于这种最优化问题经常出现在许多应用中,如相位恢复,神经网络的训练和矩阵传感器,我们的结果表明,在这些领域的鲁棒控制理论的承诺。
2019-12-09 math.OC
Conditional gradient methods on unbounded feasible regions
School of Information Technology, Deakin University(迪肯大学信息技术学院)
研究无界可行域上条件梯度法的收敛性,提出两种紧致限制原则,一种用含初始目标子水平集的紧致凸集,另一种通过迭代中紧致凸集交集更新限制,在特定条件下目标值收敛到全局最优,还给出相关构造性限制及数值实验结果。
2026-07-29 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题(TRS)是在欧氏球上极小化一个可能非凸的二次函数。(TRS)通常有两种情况,即所谓的“简单情况”和“困难情况”。即使在"简单情况“下,当初始点是从非零测度可行集中任意选取时,经典投影梯度法(PG)产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是,当应用(PG)来解决一个廉价的和可能的非凸的(TRS)的重组,生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”,而不假设我们已经拥有的信息,“容易的情况”举行。我们还考虑了如何使用(PG)全局求解等式约束(TRS)。
2022-07-12 math.OC
Regional Boundary Gradient Strategic Sensors Characterizations
本文的目的是描述区域边界梯度战略传感器的概念,为不同的情况下,区域边界梯度观测要实现的。然后,基于如何从内部梯度区域到边界梯度区域的交叉进行了刻画。因此,所得到的结果被应用于希尔伯特空间中的二维线性无穷大系统,其中动力学由强连续半群控制。给出了空间域Omega的子区域小Gama上的区域梯度能观性与边界Omega的子区域Gama上的区域边界梯度能观性之间的关系。最后,结合精确(弱)能观性的区域边界梯度、正定能观性算子和秩条件,对区域边界梯度战略传感器概念的充分条件进行了探索、分析和讨论。
2020-05-01 cs.SY eess.SY math.OC
Explicit Convergence Regions of PID-Damped Accelerated Gradient Methods in Nonconvex Optimization
Hangzhou Dianzi University(杭州电子科技大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang University of Science and Technology(浙江科技大学)
针对非凸优化中动量加速梯度方法的过冲和振荡问题,本文通过控制理论建立步长、动量和导数增益的三维显式收敛区域,并揭示导数增益的严格几何上界。
2026-06-05 math.OC
Gradient descent globally solves average-case non-resonant physical design problems
在包括但不限于光学工程、量子控制、结构工程的各种物理设计问题中出现的最优化问题涉及在受到系统物理约束的同时使系统状态(例如光场、量子状态)的简单费用函数最小化。物理约束往往使这样的问题非凸,因此只有局部可解,留下开放的问题,找到全球最优设计。在本文中,我认为设计问题的物理描述的双仿射等式约束,并表明,在这些约束和非共振的物理系统的稳定性的假设下,梯度下降全局解决了一个典型的物理设计问题。本文的主要技术贡献是(i)概述了一个标准,确保梯度下降收敛到一个近似的全局最优的限制大的问题大小,和(ii)使用随机矩阵理论概述了总体的物理动机的问题,平均而言,满足这一收敛标准。
2021-11-04 math.OC physics.optics quant-ph
Exact Average Consensus under Noisy Communication Links: A Decentralized Gradient Perspective
Linköping University(林雪平大学)
针对持续链路扰动下标准随机逼近迭代无法精确平均的问题,本文提出基于去中心化梯度的锚定机制,证明其几乎必然收敛到精确初始平均值,并给出统一框架与设计原则。
2026-09-24 cs.IT cs.SY eess.SY
Saving Gradient and Negative Curvature Computations: Finding Local Minima More Efficiently
University of Virginia(弗吉尼亚大学)
我们提出了一个家庭的非凸优化算法,能够节省梯度和负曲率计算在很大程度上,并保证找到一个近似的局部最小值,提高运行时的复杂性。我们的算法的核心是将目标函数的整个域划分为小梯度区域和大梯度区域:我们的算法只在大梯度区域执行基于梯度下降的过程,并且只在小梯度区域执行负曲率下降。我们的新的分析表明,所提出的算法可以逃脱小梯度区域在只有一个负曲率下降步骤,每当他们进入它,因此,他们只需要执行最多$N_ε$负曲率方向的计算,其中$N_ε$是算法进入小梯度区域的次数。对于确定性和随机设置,我们表明,所提出的算法可以潜在地击败最先进的局部极小值查找算法。对于有限和的设置,我们的算法也可以优于最好的算法在一定的制度。
2017-12-11 cs.LG math.OC
Minimizing Finite Sums with the Stochastic Average Gradient
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机系)
本文提出了一种随机平均梯度(SAG)方法来优化有限个光滑凸函数的和。与随机梯度(SG)方法一样,SAG方法的迭代成本与和中的项数无关。然而,通过结合先前梯度值的存储器,SAG方法实现了比黑盒SG方法更快的收敛速度。一般来说,收敛速度从O(1/k^{1/2})提高到O(1/k),并且当和是强凸的时,收敛速度从次线性O(1/k)提高到对于p \textless{} 1的形式为O(p^k)的线性收敛速率。此外,在许多情况下,新方法的收敛速度在梯度评估的数量方面也比黑盒确定性梯度法快。数值实验表明,新算法的性能明显优于已有的SG和确定性梯度法,并且通过采用非均匀采样策略,性能可以进一步提高。
2016-05-11 cs.LG math.OC stat.CO
Adaptivity of averaged stochastic gradient descent to local strong convexity for logistic regression
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
在本文中,我们考虑监督学习问题,如逻辑斯谛回归和研究的随机梯度方法平均,在通常的随机近似设置的观察只使用一次。我们发现,$N$迭代后,与一个恒定的步长成比例的$1/R^2 \sqrt{N}$,其中$N$是观察的数量和$R$是最大范数的观察,收敛速度总是顺序$O(1/\sqrt{N})$,并提高到$O(R^2 / μN)$,其中$μ$是最低的特征值的海森在全球最优(当这个特征值大于$R^2/\sqrt{N}$)。由于$μ$不需要事先知道,这表明平均随机梯度是自适应的\emph{unknown local}强凸性的目标函数。我们的证明依赖于逻辑损失的广义自洽性质,从而扩展到所有具有一致有界特征的广义线性模型。
2014-03-16 cs.LG math.OC math.ST
Stochastic Average Gradient : A Simple Empirical Investigation
Université de Montréal(蒙特利尔大学)
本文对比了随机平均梯度(SAG)与标准优化器,并提出SAG与动量及Adam的组合,在简单问题和病态条件下均展现出更快的收敛速度和更优性能。
2023-07-27 cs.LG math.OC
Non-asymptotic estimation of risk measures using stochastic gradient Langevin dynamics
本文研究了任意律不变风险测度的逼近问题。作为一个起点,我们近似的平均风险价值使用随机梯度朗之万动力学,这可以被看作是一个变种的随机梯度下降算法。此外,Kusuoka的谱表示允许我们引导估计的平均风险价值的算法扩展到一般规律不变的风险措施。我们将提出的理论,非渐近收敛速度的近似算法和数值模拟。
2023-02-10 math.OC q-fin.MF q-fin.RM
An Online Multiobjective Policy Gradient for Long-run Average-reward Markov Decision Process
针对多目标决策的长期平均奖励马尔可夫决策过程,提出基于Blackwell可达性定理的动态标量化在线多目标策略梯度框架,保证奖励向量收敛到目标集并通过理论与数值验证。
2026-11-17 cs.SY eess.SY math.OC
A Stochastic Trust Region Algorithm Based on Careful Step Normalization
提出了一种求解随机有限和极小化问题的算法。基于置信域方法,该算法采用归一化步骤,至少只要随机梯度估计的范数在指定的区间内。完整的算法-它动态地选择是否采用规范化的步骤-被证明具有收敛性的保证,具有类似于由一个传统的随机梯度方法在各种条件下的随机梯度估计的准确性和步长序列的选择。数值实验结果时,该方法被用来最小化凸和非凸机器学习测试问题。这些结果表明,该方法可以优于传统的随机梯度方法。
2018-06-26 math.OC stat.ML
Accelerated Gradient Methods with Biased Gradient Estimates: Risk Sensitivity, High-Probability Guarantees, and Large Deviation Bounds
Rutgers University(罗格斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了具有有偏梯度估计的加速梯度方法,通过风险敏感指数分析其鲁棒性,并给出了高概率保证和大偏差界。
2026-01-13 cs.LG math.OC
A Trust Region Proximal Gradient Method for Nonlinear Multi-objective Optimization Problems
针对光滑与非光滑函数之和构成的复合多目标优化问题,提出一种无需预设参数和目标排序的全局收敛信赖域近端梯度法,并通过实验验证其有效性。
2024-10-25 cs.NA math.NA math.OC
DoWG Unleashed: An Efficient Universal Parameter-Free Gradient Descent Method
Princeton University(普林斯顿大学);Samsung AI Center(三星人工智能中心)
该研究提出无参数优化器DoWG,通过基于距离的加权梯度平方滑动平均实现高效通用的梯度下降,在凸优化中达到近最优收敛率,且在实际ML任务中验证有效。
2024-01-30 cs.LG math.OC stat.ML
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe(法国国立信息学及其应用研究院里尔-北欧中心);Adobe Research(奥多比研究院);INRIA Lille(法国国立信息学及其应用研究院里尔中心)
在许多顺序决策问题中,我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而,优化许多这样的标准是已知的是一个困难的问题。在本文中,我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式,我们首先定义一个政策的可变性度量,这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个,我们推导出计算其梯度的公式。然后,我们设计的演员,评论家的算法,在三个时间尺度上操作-TD的最快的时间尺度上的评论家,一个策略梯度(演员)的中间时间尺度上,和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置,我们指出的困难,估计的方差的回报率的梯度,并结合同时扰动的方法来减轻这一点。另一方面,平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后,我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
The Essential Best and Average Rate of Convergence of the Exact Line Search Gradient Descent Method
该研究完善了Akaike对凸二次目标下精确线搜索梯度下降法收敛速率的分析,确定了本质最优收敛速率,揭示了海森矩阵中间特征值的影响,并探讨了其在多项式优化中的应用价值。
2025-05-15 cs.NA math.NA math.OC
Understanding Gradient Orthogonalization for Deep Learning via Non-Euclidean Trust-Region Optimization
Yandex Research(Yandex研究院)
本文将矩阵梯度正交化方法解释为非欧几里得信赖域优化,提出带动量的随机非欧几里得信赖域梯度方法,统一了 Muon、归一化 SGD 和 signSGD,并给出多场景下的收敛性分析。
2025-04-08 cs.LG math.OC stat.ML