Linear Convergence of Stochastic Frank Wolfe Variants
本文证明了逐步随机Frank-Wolfe算法(ASFW)和成对随机Frank-Wolfe算法(PSFW)按期望线性收敛。我们还表明,如果一个算法的线性收敛的期望,那么它几乎肯定线性收敛。为了证明这些结果,我们开发了一种新的证明技术的基础上的经验过程和浓度不等式的概念。这样的技术很少被用来推导随机最优化算法的收敛速度。在大规模的数值实验中,ASFW和PSFW在实际CPU时间上表现得与它们的随机竞争对手一样好或更好。
2017-03-21 math.OC
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学)
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上,而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里,我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降(SGD),随机重球(SHB),和随机Nesterov的加速梯度(SNAG)方法。我们表明,第一次,这些随机梯度方法在强凸函数上获得的几乎必然收敛速度,是任意接近其最佳收敛速度可能的。对于非凸目标函数,我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零,而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析,与文献中大多数现有结果相比,这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
Staggered Time Average Algorithm for Stochastic Non-smooth Optimization with O(1/T) Convergence
随机非光滑凸优化是机器学习和运筹学中的一类问题。研究了基于随机次梯度的非光滑函数的极小化问题。当函数具有局部多面体结构时,证明了交错时间平均算法具有O(1/T)的收敛速度。当局部多面体假设被删除时,一个更一般的收敛结果被证明。在这种情况下,收敛边界取决于最小值附近的函数曲率。最后,局部多面体假设,以提高收敛超过O(1/T)的一个特殊情况下的确定性问题。
2016-07-11 math.OC
A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
在这项工作中,我们提供了一个基本的统一收敛定理,用于推导预期和几乎必然收敛的结果,一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件,而不是针对任何特定的算法。作为一个直接的应用程序,我们恢复预期和几乎必然收敛的结果的随机梯度法(SGD)和随机重排(RR)在更一般的设置。此外,我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法(S-SGD)和随机模型为基础的方法(SMM)的非光滑非凸最优化问题。这些应用表明,我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
On the convergence of stochastic MPC to terminal modes of operation
随机模型预测控制(MPC)在加性扰动下的稳定性通常通过构造类Lyapunov不等式来证明,该不等式保证闭环性能界和状态的有界性,但收敛到终端控制律通常没有被证明.在这项工作中,我们使用一般状态空间马尔可夫链的结果,找到条件,保证受干扰的非线性系统收敛到终端的操作模式,使他们收敛的概率先验已知的终端线性反馈法,并实现时间平均性能等于终端控制律。我们讨论了随机MPC配方的控制律的收敛性的影响,特别是我们证明了两个配方的随机MPC的收敛性。
2019-03-16 math.OC
Last-iterate convergence analysis of stochastic momentum methods for neural networks
Northeast Normal University(东北师范大学);Changchun Humanities and Sciences College(长春人文学院);Imperial College London(帝国理工学院)
随机动量法是人工神经网络中求解大规模随机最优化问题的一种常用加速技术。现有的随机动量方法在非凸随机背景下的收敛性结果大多是从随机输出和最小输出两个方面讨论收敛性的。为此,我们解决的最后一个收敛的最后一个输出(称为最后一个收敛)的随机动量方法的非凸随机最优化问题,与传统的优化理论共形。在统一的框架下,我们证明了随机动量方法的最后收敛性,包括随机重球动量和随机Nesterov加速梯度动量。动量因子可以固定为常数,而不是现有分析中的时变系数。最后,在MNIST和CIFAR-10数据集上验证了随机动量方法的收敛性。
2022-05-30 cs.LG cs.NA math.NA
Convergence of projected stochastic approximation algorithm
该研究针对带超矩形投影的Robbins-Monro随机逼近算法,用ODE方法证明其收敛到投影ODE平稳点,填补了经典著作的证明空白,为随机优化技术提供更优理论基础并放宽了既往假设。
2025-01-14 math.OC
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Almost Sure Convergence and Non-asymptotic Concentration Bounds for Stochastic Mirror Descent Algorithm
本文针对使用有偏随机次梯度的随机镜像下降算法,在偏差递减条件下证明了迭代点的几乎必然收敛性,并在标准假设及次高斯噪声假设下分别给出了函数值偏差的集中界。
2024-07-08 math.OC
Delayed supermartingale convergence lemmas for stochastic approximation with Nesterov momentum
本文针对带 Nesterov 动量的随机逼近中延迟信息导致难以实现几乎必然收敛的问题,提出基于延迟超鞅收敛引理的一般性收敛框架,并应用于随机次梯度、邻近 Robbins-Monro 及邻近随机次梯度等方法,通过数值实验验证了理论结果。
2024-06-10 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题,证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率,并说明动量可加速早期收敛。
2025-05-16 math.OC
Distributed Stochastic Approximation: Weak Convergence and Network Design
研究了通信网络中基于广播流言的分布式随机逼近算法。证明了这些算法的弱收敛性,并将收敛点与局部目标函数和网络性质联系起来,建立了相应的常微分方程(ODE)。利用这些结果,提出了一种方法,网络设计,旨在实现所需的渐近行为的共识。同时分析了算法的收敛速度,并利用附加的随机微分方程进一步改进了算法。仿真结果验证了理论概念。
2016-09-02 math.OC stat.AP
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为,建立了梯度方差收敛至零的条件,并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent,arXiv:1805.08244]中引入的随机修正方程,当损失函数为扰动二次函数时,我们给出了异步随机梯度下降(ASGD)算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧,那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明,较长的延迟导致较慢的收敛速度。此外,学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Convergence of Stochastic Proximal Gradient Algorithm
我们证明了新的收敛结果的随机邻近梯度算法适合于解决一大类的凸优化问题,其中凸目标函数的光滑和可能的非光滑组件的总和。在强凸情形下,我们考虑迭代的收敛性,得到了$O(1/n)$的非渐近期望界,以及在较弱的假设下的几乎必然收敛结果.我们的方法可以避免平均和削弱有界性假设,这是经常考虑在理论研究中,并可能不会在实践中得到满足。
2014-09-16 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Stochastic Krasnoselskii-Mann Iterations: Convergence without Uniformly Bounded Variance
University of Oxford(牛津大学);University of Groningen(格罗宁根大学)
本文研究了随机 Krasnoselskii-Mann 迭代在实希尔伯特空间中的期望非扩张固定点问题,证明在比文献中更弱的方差假设下收敛,仅需在单一固定点处有有限方差,从而获得几乎必然弱收敛性和残差收敛率。
2026-09-14 math.OC
Convergence of the Iterates of the Stochastic Proximal Gradient Method
North Carolina State University(北卡罗来纳州立大学)
本文研究了随机近端梯度法在最小化两个凸函数之和中的收敛性,无需假设随机变量的有界性或方差控制,证明了迭代序列几乎处处收敛和均值收敛,应用于分类和凸可行性问题。
2026-04-15 math.OC
Convergence Analysis of Sample Average Approximation of Two-stage Stochastic Generalized Equations
两阶段随机广义方程的解是一对:第一阶段解与随机数据的实现无关,第二阶段解是随机变量的函数.本文研究了两阶段随机非线性广义方程样本平均逼近的收敛性.特别是指数收敛率示出通过使用扰动部分线性化的功能。在函数单调性的假设下,给出了两阶段随机广义方程解的存在唯一性、连续性和正则性的充分条件.这些理论结果是在没有假设相对完全追索权的情况下给出的,并通过两个局中人的两阶段随机非合作对策加以说明。
2018-01-12 math.OC
Convergence analysis of sampling-based decomposition methods for risk-averse multistage stochastic convex programs
考虑一类基于抽样的分解方法来求解风险规避的多阶段随机凸规划。我们证明了一个公式的计算所需的削减建立外部线性化的追索功能。该公式可用于求解凸非线性问题的随机对偶动态规划的有效实现。当相对完全补偿假设成立时,我们证明了这些分解方法的几乎必然收敛。我们还证明了这些算法的几乎必然收敛时,不满足相对完整的追索权假设的风险厌恶的多级随机线性规划。首先进行分析,假设基本的随机过程是阶段间独立的和离散的,在每个阶段具有可能实现的有限集。然后,我们指出了两种方法,扩展的方法和收敛性分析的情况下,当过程是级间依赖。
2016-09-09 math.OC
Strong Rates of Convergence for Space-Time Discretization of the Backward Stochastic Heat Equation, and of a Linear-Quadratic Control Problem for the Stochastic Heat Equation
我们介绍了一个时间隐式,有限元为基础的空间-时间离散格式的向后随机热方程,并为向前向后随机热方程的随机最优控制,并证明了强收敛速度。然后在梯度下降算法中使用前向-后向随机热方程的完全离散版本来近似求解由加性噪声驱动的随机热方程的线性二次控制问题。
2020-12-18 cs.NA math.NA math.OC
Stochastic versus Deterministic in Stochastic Gradient Descent
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
本文从随机与确定性角度分析了小批量随机梯度下降的收敛性,揭示了两种梯度计算对算法性能的不同影响,并展示了改进的收敛速度和更小的收敛区域。
2026-04-05 math.OC
General convergence analysis of stochastic first order methods for composite optimization
本文考虑了随机复合凸优化问题,其中目标函数满足随机有界梯度条件,且具有或不具有二次函数增长性质。这些模型包括在文献中分析的最熟知的目标函数类:非光滑Lipschitz函数和(潜在)非光滑函数与光滑函数的组合,具有或不具有强凸性。基于我们的最优化模型所提供的灵活性,我们考虑几个变种的随机一阶方法,如随机邻近梯度和随机邻近点法。通常,这些方法的收敛性理论都是针对满足限制性假设的简单随机最优化模型导出的,收敛速度一般是次线性的,并且只对特定的递减步长成立。因此,我们分析了一般假设下,覆盖一大类目标函数的恒定或可变步长的随机一阶方法的收敛速度。对于常数步长,我们证明了这些方法可以实现线性收敛速率,直到一个常数的步长成正比,并在一些强的随机有界梯度条件下,甚至纯线性收敛。此外,当选择一个可变的步长,我们得到这些随机一阶方法的次线性收敛速度。最后,本文引入的随机梯度映射和Moreau光滑映射给出了简单直观的证明。
2020-03-08 math.OC
Convergence Analysis of Randomized SGDA under NC-PL Condition for Stochastic Minimax Optimization Problems
本文提出新分析框架,在NC-PL条件下改进RSGDA算法收敛性结果,并引入加速策略,在合成与真实数据上验证效率。
2023-07-26 math.OC
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下,我们考虑优化函数光滑凸函数$f$,该函数是一组可微函数$f_i$的平均。证明了在这些假设下,具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度,并且当$g$是强凸的时,具有线性收敛速率.
2013-08-29 math.OC
Convergence and Convergence Rate of Stochastic Gradient Search in the Case of Multiple and Non-Isolated Extrema
研究了随机梯度算法的渐近性态。借助微分几何的结果(Lojasiewicz梯度不等式),证明了算法迭代的单极限点收敛性,并给出了相对严格的收敛速度界.与现有的渐近结果形成鲜明对比,这里提出的新结果允许目标函数有多个和非孤立的最小值。新的结果也提供了新的见解的渐近性质的几类递归算法,经常用于工程,统计,机器学习和运筹学。
2013-09-17 math.OC math.ST stat.TH
Introduction to stochastic gradient methods
University of Mannheim, Institute of Mathematics(曼海姆大学数学研究所)
本文介绍一阶优化方法,重点研究随机梯度方法的收敛理论,包括确定性梯度方法和随机梯度下降的收敛性分析,以及方差缩减等高级主题。
2026-06-02 math.OC
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析,涵盖弱收敛、函数值收敛和全局收敛,并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Stochastic Quasi-Fejér Block-Coordinate Fixed Point Iterations With Random Sweeping II: Mean-Square and Linear Convergence
文献[11]研究了块坐标不动点算法的几乎必然弱收敛性,并讨论了它们在非线性分析和优化中的应用。该算法框架具有随机扫描规则,以任意选择在迭代过程中被激活的变量块,并且它允许在算子的评估中出现随机误差。本文建立了迭代的均方收敛和线性收敛的结果。应用单调算子分裂和邻近优化算法。
2018-04-16 math.OC
Convergence Rates of Finite Difference Stochastic Approximation Algorithms
最近,随机最优化的无导数方法又引起了人们的兴趣。在本文中,我们研究的Kiefer-Wolfowitz算法和镜像下降算法的收敛速度,在各种更新计划使用有限差分梯度近似。结果表明,这些算法的收敛速度可以通过控制有限差分的实现。特别是,它示出的速率可以增加到$n^{-2/5}$一般和$n^{-1/2}$在Monte Carlo优化的广泛的一类问题,在迭代次数n。
2015-06-30 math.OC
On the Convergence Analysis of an Inexact Preconditioned Stochastic Model-Based Algorithm
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种整合预处理技术的近似随机模型驱动算法,通过局部Lipschitz条件推导出非渐近和渐近收敛率,并在二次增长条件下获得最优解集距离的收敛率。
2025-12-11 math.OC
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Convergence analysis of the stochastic reflected forward-backward splitting algorithm
本文提出并分析了一种新的求解单调包含的随机算法的收敛性,该单调包含是一个极大单调算子和一个单调Lipschitzian算子之和。该算法只需要Lipschitzian算子的无偏估计。我们得到了强单调情形下的速度$\mathcal{O}(log(n)/n)$在期望中,以及一般情形下的几乎必然收敛.此外,在上下文中的应用凹凸鞍点问题,我们得到的原始-对偶间隙率。特别是,我们还获得了$\mathcal{O}(1/n)$率收敛的原始-对偶间隙中的确定性设置。
2021-02-17 math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University(密歇根州立大学)
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$,这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比,全梯度产生$O(1/T^2)$的收敛速率。在这项工作中,我们考虑一个新的设置优化光滑函数,称为{ \bf混合优化},它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明,与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言,建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Stochastic mirror descent dynamics and their convergence in monotone variational inequalities
研究了一类随机镜像下降动力学的单调变分不等式(包括纳什均衡和鞍点问题)。所研究的动力学被表述为由(单值)单调算子驱动并受布朗运动扰动的随机微分方程。该系统的可控参数是两个可变的权重序列,分别前和后乘的驱动程序的过程。通过仔细调整这些参数,我们得到了遍历意义下的整体收敛,并估计了该过程的平均收敛速率。我们还建立了一个大偏差原则,表明个人的轨迹表现出指数浓度在这个平均值。
2018-05-04 math.OC
Generalized Smooth Stochastic Variational Inequalities: Almost Sure Convergence and Convergence Rates
Arizona State University(亚利桑那州立大学)
本文针对非单调算子不满足光滑性假设的随机变分不等式问题,在α-对称广义光滑假设下研究两类裁剪方法,首次得到无有界性假设的几乎必然收敛结果及α≤1/2下的期望无偏收敛速率。
2025-10-01 math.OC
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中,要么收敛只是在预期或边界依赖于区域的直径。相反,我们表现出高概率收敛的界限取决于初始距离的最优解,而不是域直径。该算法使用类似于标准设置的步长,并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Convergence Rate of Stochastic Gradient Search in the Case of Multiple and Non-Isolated Minima
本文分析了随机梯度搜索的收敛速度。利用微分几何和Lojasiewicz不等式,给出了一般随机梯度算法收敛速度的严格界.相对于现有的结果,本文提出的结果允许的目标函数有多个,非孤立的最小值,施加任何限制的Hessian值(的目标函数),并不需要算法估计有一个单一的极限点。应用这些新结果,研究了递推预报误差辨识算法的收敛速度。利用本文的结果分析了监督学习算法和时间差分学习算法的收敛速度。
2009-04-27 math.OC math.ST stat.TH
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa(爱荷华大学)
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛,即,收敛到近二阶最优平稳点。然而,现有的随机非凸优化的结果是有限的,特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤(命名为NCG-S),利用随机梯度和噪声的负曲率的随机Hessian,其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上,我们开发了两种算法,并建立了它们的高概率二阶收敛性。据我们所知,所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
Stochastic Composite Least-Squares Regression with convergence rate O(1/n)
考虑由二次函数的期望和任意凸函数组成的复合目标函数的极小化问题。我们研究了具有常数步长的随机对偶平均算法,证明了在没有强凸性假设的情况下,该算法的收敛速度为O(1/n)。因此,这将早期关于欧几里得几何的最小二乘回归的结果扩展到(a)所有凸正则化子和约束,以及(b)由Bregman发散表示的所有几何。这是通过一个新的证明技术,涉及随机和确定性递归。
2017-02-21 math.OC stat.ML
Nearly Optimal Linear Convergence of Stochastic Primal-Dual Methods for Linear Programming
The University of Chicago(芝加哥大学)
本文提出一种结合方差缩减与重启的随机原始-对偶算法,用于线性规划,实现高概率线性收敛,并设计高效坐标随机预言机,证明其收敛速率近最优。
2023-12-29 cs.LG math.OC
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Convergence Analysis for A Stochastic Maximum Principle Based Data Driven Feedback Control Algorithm
本文对一种基于部分含噪观测数据生成在线控制的新型数据驱动反馈控制算法进行了收敛性分析,该算法结合了粒子滤波状态估计与随机最大原理求解器,并理论推导得出优化过程的弱收敛结果,最后通过数值实验验证了相关理论。
2024-05-30 cs.NA math.NA math.OC
A simplified convergence theory for Byzantine resilient stochastic gradient descent
Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学)
在分布式学习中,中央服务器根据保存本地数据样本的节点提供的更新来训练模型。在存在一个或多个发送不正确信息的恶意服务器(拜占庭对手)的情况下,用于模型训练的标准算法(例如随机梯度下降(SGD))无法收敛。在本文中,我们提出了一种简化的收敛理论,用于最初由Blanchard等人[NeurIPS 2017]提出的通用拜占庭弹性SGD方法。与现有的分析相比,我们在标准假设(可能是非凸的)目标函数和随机梯度的灵活假设下,收敛到一个稳定点。
2022-08-25 cs.LG math.OC
Stochastic Amplitude Flow for phase retrieval, its convergence and doppelgängers
在本文中,我们专注于随机幅度流(SAF)的相位恢复,随机梯度下降的幅度为基础的平方损失。虽然(非随机)振幅流的临界点的收敛性是很好理解的,但SAF是一种研究较少的算法。我们通过基于振幅流的贡献和随机梯度下降的分析推导SAF的收敛保证来缩小这一差距。然后将这些结果应用于另外两个算法,它们可以被视为SAF的实例。第一种是Kaczmarz方法的相位恢复的扩展。第二个是重叠关联迭代引擎,这是一个流行的算法重叠关联,一个特殊的情况下,相位恢复与短时傅里叶变换。关键词:相位恢复,振幅流,随机梯度下降,重叠关联,重叠关联迭代引擎,Kaczmarz方法。
2022-12-09 cs.NA math.NA math.OC
Breaking a Logarithmic Barrier in the Stopping Time Convergence Rate of Stochastic First-order Methods
针对算法自适应终止的实际,提出基于停时的随机优化收敛分析新方法,通过开发控制近超鞅大偏差性质的引理,打破了现有结果的对数障碍。
2025-07-16 math.OC math.ST stat.TH
Stochastic Gradient Descent for Stochastic Doubly-Nonconvex Composite Optimization
随机梯度下降算法在大数据分析中被广泛应用于复合优化问题的求解。许多算法和收敛性质已经开发。复合函数最初是凸的,逐渐采用非凸的复合函数来获得更好的性质。收敛性已被研究,但只有当任何一个复合函数是非凸的。当两个复合函数都是非凸函数时,没有收敛性,这被称为\textit{doubly-nonconvex}情况。为了克服这个困难,我们假设罚函数是\textit{quasiconvex}的一个简单而弱的条件,然后我们得到了随机双-非凸复合优化问题的收敛速度,得到的收敛速度与已有的工作是同阶的,并深入地分析了在常数步长和最小批量,并给出了适当的大小的最优收敛速度,这是优于现有的工作。实验结果表明,该方法优于现有的方法。
2020-03-02 cs.LG math.OC stat.ML
Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance
在本文中,一般的随机最优化过程进行了研究,统一的几个变种的随机梯度下降,如,除其他外,随机重球法,随机Nesterov加速梯度算法(S-NAG),和广泛使用的亚当算法。该算法被看作是一个嘈杂的欧拉离散的非自治常微分方程,最近介绍了Belotto达席尔瓦和Gazeau,这是深入分析。在目标函数为非凸可微的条件下,证明了迭代解的稳定性和几乎必然收敛到临界点的条件。一个值得注意的特殊情况是在非凸设置的S-NAG的收敛性证明。在一定的假设条件下,以中心极限定理的形式给出了收敛速度。最后,建立了算法不收敛于不期望的临界点,如局部极大值或鞍点。在这里,主要成分是一个新的避免陷阱的非自主设置的结果,这是独立的利益。
2021-07-10 math.OC math.PR stat.ML
An abstract effective convergence theorem for stochastic processes, with applications to stochastic approximation
Department of Mathematics, Technische Universität Darmstadt(达姆施塔特技术大学数学系);Department of Computer Science, University of Bath(巴斯大学计算机科学系)
本文提出一个通用定理,研究满足放松超级鞅条件的随机过程的渐近行为,提供更一般的定量收敛保证,并展示其在随机逼近中的应用。
2026-05-08 cs.LG math.LO math.OC
Convergence analysis of a stochastic heavy-ball method for linear ill-posed problems
本文针对线性不适定逆问题提出随机heavy-ball方法,通过选取合适的步长与动量系数,在先验停止准则下证明其正则化性质并推导收敛速率,辅以数值实验验证性能。
2024-06-24 cs.NA math.NA math.OC
Almost Sure Convergence Rates and Concentration of Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Oxford(牛津大学);University of Virginia(弗吉尼亚大学)
本文首次为马尔可夫噪声下的一般收缩性随机逼近算法建立了几乎必然收敛速率和指数尾部集中界,并应用于 $Q$-学习和离策略时序差分学习。
2024-11-20 cs.LG math.OC stat.ML