Nearly Optimal Linear Convergence of Stochastic Primal-Dual Methods for Linear Programming
The University of Chicago(芝加哥大学)
本文提出一种结合方差缩减与重启的随机原始-对偶算法,用于线性规划,实现高概率线性收敛,并设计高效坐标随机预言机,证明其收敛速率近最优。
2023-12-29 cs.LG math.OC
Last-iterate convergence analysis of stochastic momentum methods for neural networks
Northeast Normal University(东北师范大学);Changchun Humanities and Sciences College(长春人文学院);Imperial College London(帝国理工学院)
随机动量法是人工神经网络中求解大规模随机最优化问题的一种常用加速技术。现有的随机动量方法在非凸随机背景下的收敛性结果大多是从随机输出和最小输出两个方面讨论收敛性的。为此,我们解决的最后一个收敛的最后一个输出(称为最后一个收敛)的随机动量方法的非凸随机最优化问题,与传统的优化理论共形。在统一的框架下,我们证明了随机动量方法的最后收敛性,包括随机重球动量和随机Nesterov加速梯度动量。动量因子可以固定为常数,而不是现有分析中的时变系数。最后,在MNIST和CIFAR-10数据集上验证了随机动量方法的收敛性。
2022-05-30 cs.LG cs.NA math.NA
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中,要么收敛只是在预期或边界依赖于区域的直径。相反,我们表现出高概率收敛的界限取决于初始距离的最优解,而不是域直径。该算法使用类似于标准设置的步长,并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa(爱荷华大学)
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛,即,收敛到近二阶最优平稳点。然而,现有的随机非凸优化的结果是有限的,特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤(命名为NCG-S),利用随机梯度和噪声的负曲率的随机Hessian,其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上,我们开发了两种算法,并建立了它们的高概率二阶收敛性。据我们所知,所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Stochastic Gradient Descent for Stochastic Doubly-Nonconvex Composite Optimization
随机梯度下降算法在大数据分析中被广泛应用于复合优化问题的求解。许多算法和收敛性质已经开发。复合函数最初是凸的,逐渐采用非凸的复合函数来获得更好的性质。收敛性已被研究,但只有当任何一个复合函数是非凸的。当两个复合函数都是非凸函数时,没有收敛性,这被称为\textit{doubly-nonconvex}情况。为了克服这个困难,我们假设罚函数是\textit{quasiconvex}的一个简单而弱的条件,然后我们得到了随机双-非凸复合优化问题的收敛速度,得到的收敛速度与已有的工作是同阶的,并深入地分析了在常数步长和最小批量,并给出了适当的大小的最优收敛速度,这是优于现有的工作。实验结果表明,该方法优于现有的方法。
2020-03-02 cs.LG math.OC stat.ML
Predictive Local Smoothness for Stochastic Gradient Methods
Northeastern University(东北大学);Huaqiao University(华侨大学)
随机梯度法在非凸优化中占主导地位,特别是对于深度模型,但由于固定的光滑性而具有较低的渐近收敛性。为了解决这个问题,我们提出了一个简单而有效的方法来改善随机梯度方法称为预测局部平滑(PLS)。首先,我们创建一个收敛条件来建立随局部平滑度自适应变化的学习率。其次,局部平滑度可以通过最新的梯度来预测。第三,我们使用自适应学习率来更新随机梯度,以探索线性收敛速度。通过应用PLS方法,我们实现了三种流行算法的新变体:PLS-随机梯度下降(PLS-SGD),PLS-加速SGD(PLS-AccSGD)和PLS-AMSGrad。此外,我们提供了更简单的证明,以确保其线性收敛。实验结果表明,改进后的算法具有更好的性能增益,如更快的收敛速度和更好的抑制梯度的爆炸和消失。
2018-05-23 cs.LG math.OC stat.ML
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS(CEREMADE - 法国国家科学研究中心);Université Paris Dauphine - PSL Research University(巴黎第九大学 - PSL研究大学)
本文自包含地证明了随机梯度下降(SGD)的收敛性,无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降,达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时,隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
Convergence Analysis for Training Stochastic Neural Networks via Stochastic Gradient Descent
Oak Ridge National Laboratory(橡树岭国家实验室);Florida State University(佛罗里达州立大学);Auburn University(奥本大学)
在本文中,我们进行数值分析,以证明收敛性的一种新的样本方式的反向传播方法训练一类随机神经网络(SNNs)。SNN的结构被配制为随机微分方程(SDN)的离散化。随机最优控制框架被引入到建模的训练过程中,和一个样本的近似计划的伴随向后迭代,以提高效率的随机最优控制求解器,这是相当于反向传播训练SNN。收敛性分析推导和不凸性假设的SNN参数的优化。特别是,我们的分析表明,SNN的训练步骤的数量应该是成正比的凸优化的情况下的层数的平方。数值实验进行了验证的分析结果,和性能的样本明智的反向传播方法训练SNNs的基准机器学习的例子进行了检查。
2022-12-17 cs.LG cs.NA math.NA
Quantitative Weak Convergence for Discrete Stochastic Processes
UC Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院)
在本文中,我们定量收敛于$W_2$的一个家庭的Langevin类随机过程,包括随机梯度下降和相关的梯度为基础的算法。在一定的正则性假设下,我们证明了这些随机过程的迭代收敛到一个不变的分布在$\tilde{O}\lrp{1/\sqrt{k}}$的速度,其中$k$是步骤的数量,这个速度是可证明的紧对数因子。在势函数为二次函数的特殊情况下,我们的结果退化为经典中心极限定理的一个定量形式。
2019-07-02 cs.LG math.ST stat.ML
Convergence rates for the stochastic gradient descent method for non-convex objective functions
University of Oxford(牛津大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与自然科学研究所);Universität Bielefeld(比勒费尔德大学);ETH Zurich(苏黎世联邦理工学院)
在目标函数不一定是全局凸的或收缩的目标函数的情况下,证明了随机梯度下降法的局部收敛性,并对收敛速率进行了估计.特别是,结果适用于机器学习中出现的简单目标函数。
2019-07-26 cs.LG cs.NA math.NA
Stochastic Optimization of Smooth Loss
Michigan State University(密歇根州立大学)
本文首先证明了光滑损失随机优化问题的一个高概率界而不是期望界。此外,现有的分析需要最佳分类器的知识来调整步长,以达到所需的界限。然而,这些信息通常无法提前获得。我们还提出了一个策略,以解决限制。
2013-11-30 cs.LG
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果,包括一个正式的分析块版本的算法,从随机初始化和收敛。我们还做了一些独立的利益,如如何预初始化,只有一个确切的权力迭代可以显着提高随机方法的运行时间,以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
On the convergence of optimistic policy iteration for stochastic shortest path problem
University of Washington(华盛顿大学)
本文针对终止状态几乎必然可达的随机最短路径问题,证明了乐观策略迭代算法特例的收敛性,并在策略评估步骤中考虑了蒙特卡洛与TD(λ)方法。
2026-08-21 cs.LG stat.ML