A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
在这项工作中,我们提供了一个基本的统一收敛定理,用于推导预期和几乎必然收敛的结果,一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件,而不是针对任何特定的算法。作为一个直接的应用程序,我们恢复预期和几乎必然收敛的结果的随机梯度法(SGD)和随机重排(RR)在更一般的设置。此外,我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法(S-SGD)和随机模型为基础的方法(SMM)的非光滑非凸最优化问题。这些应用表明,我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
Coupled Adaptable Backward-Forward-Backward Resolvent Splitting Algorithm (CABRA): A Matrix-Parametrized Resolvent Splitting Method for the Sum of Maximal Monotone and Cocoercive Operators Composed with Linear Coupling Operators
United States Naval Academy(美国海军学院);Naval Postgraduate School(海军研究生院)
本文提出矩阵参数化节俭分裂算法CABRA,结合半定规划选择参数以支持对角缩放、并行化与通信约束,并通过数值实验和多阶段随机规划应用验证其收敛加速效果。
2026-10-14 math.OC
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University(密歇根州立大学)
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$,这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比,全梯度产生$O(1/T^2)$的收敛速率。在这项工作中,我们考虑一个新的设置优化光滑函数,称为{ \bf混合优化},它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明,与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言,建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Improved Complexities for Stochastic Conditional Gradient Methods under Interpolation-like Conditions
University of California, Davis(加州大学戴维斯分校);University of Waterloo(滑铁卢大学)
我们分析了随机条件梯度法的约束最优化问题在过参数化机器学习。我们表明,人们可以利用这样的模型所满足的插值样条件,以获得改进的预言复杂性。具体而言,当目标函数是凸的,我们表明,条件梯度法需要$\mathcal{O}(ε^{-2})$调用随机梯度预言找到一个$ε$ -最优解。此外,通过包括一个梯度滑动步骤,我们表明,电话的数量减少到$\mathcal{O}(ε^{-1.5})$。
2022-01-26 cs.LG math.OC stat.ML
Decentralized Sensor Network Localization using Matrix-Parametrized Proximal Splittings
针对去中心化传感器网络定位,本文提出矩阵参数化近端分裂方法,并用去中心化Sinkhorn-Knopp构造参数,在收敛、内存、热启动和估计精度上优于ADMM及节点SDP松弛。
2025-03-17 eess.SP math.OC
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中,要么收敛只是在预期或边界依赖于区域的直径。相反,我们表现出高概率收敛的界限取决于初始距离的最优解,而不是域直径。该算法使用类似于标准设置的步长,并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Last-iterate convergence analysis of stochastic momentum methods for neural networks
Northeast Normal University(东北师范大学);Changchun Humanities and Sciences College(长春人文学院);Imperial College London(帝国理工学院)
随机动量法是人工神经网络中求解大规模随机最优化问题的一种常用加速技术。现有的随机动量方法在非凸随机背景下的收敛性结果大多是从随机输出和最小输出两个方面讨论收敛性的。为此,我们解决的最后一个收敛的最后一个输出(称为最后一个收敛)的随机动量方法的非凸随机最优化问题,与传统的优化理论共形。在统一的框架下,我们证明了随机动量方法的最后收敛性,包括随机重球动量和随机Nesterov加速梯度动量。动量因子可以固定为常数,而不是现有分析中的时变系数。最后,在MNIST和CIFAR-10数据集上验证了随机动量方法的收敛性。
2022-05-30 cs.LG cs.NA math.NA
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa(爱荷华大学)
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛,即,收敛到近二阶最优平稳点。然而,现有的随机非凸优化的结果是有限的,特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤(命名为NCG-S),利用随机梯度和噪声的负曲率的随机Hessian,其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上,我们开发了两种算法,并建立了它们的高概率二阶收敛性。据我们所知,所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
Convergence of stochastic nonlinear systems and implications for Stochastic Model Predictive Control
随机模型预测控制(MPC)在附加扰动下的稳定性通常通过构造类Lyapunov不等式来证明,该不等式确保了闭环性能界和状态的有界性,但通常不能确定状态的严格极限界和非保守性能界。在这项工作中,我们使用的输入到状态的稳定性找到的条件,这意味着收敛概率为1的扰动非线性系统的最小鲁棒正不变集。我们讨论了随机MPC配方的状态和控制律的收敛性的影响,我们证明了几个现有的线性和非线性系统的随机MPC配方的收敛结果。
2020-04-06 math.OC
Stochastic programs without duality gaps
本文研究由随机变量参数化的动态随机优化问题,给出了解存在且无对偶间隙的充分条件,并通过扩展动态规划方程在放宽条件下证明其有效性。
2011-05-04 cs.SY eess.SY math.OC
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control
Sorbonne Université(索邦大学)
随机梯度下降朗之万动力学(SGLD)算法,它添加噪声到经典的梯度下降,是已知的,以改善神经网络的训练,在某些情况下,神经网络是非常深的。在本文中,我们研究了训练加速的可能性,通过梯度下降的数值分辨率的随机控制问题,其中控制参数化的神经网络。如果在许多离散化时间应用控制,则解决随机控制问题减少到最小化非常深的神经网络的损失。我们数值计算表明,朗之万算法提高了训练的各种随机控制问题,如对冲和资源管理,并为不同的选择梯度下降方法。
2023-01-13 cs.LG math.OC q-fin.CP
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University(乔治华盛顿大学)
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性,推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题,证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具,我们还证明了一个链式法则的道路上,这样的功能。
2019-12-16 math.OC
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件(SGC)是使用恒定步长$γ$(SGM-CS)的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件,该条件比SGC弱。此外,当这一必要的是违反了添加剂扰动$σ$,我们表明,无论是使用恒定步长的投影随机梯度法(PSGM-CS)和近端随机梯度法表现出线性收敛的噪声占主导地位的区域,其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Linear Convergence of Stochastic Frank Wolfe Variants
本文证明了逐步随机Frank-Wolfe算法(ASFW)和成对随机Frank-Wolfe算法(PSFW)按期望线性收敛。我们还表明,如果一个算法的线性收敛的期望,那么它几乎肯定线性收敛。为了证明这些结果,我们开发了一种新的证明技术的基础上的经验过程和浓度不等式的概念。这样的技术很少被用来推导随机最优化算法的收敛速度。在大规模的数值实验中,ASFW和PSFW在实际CPU时间上表现得与它们的随机竞争对手一样好或更好。
2017-03-21 math.OC
On Decentralized Tracking with ADMM for Problems with Time-Varying Curvature
我们分析的性能的交替方向法的乘法器(ADMM)跟踪,以分散的方式,解决随机序列的最优化问题参数化的离散时间马尔可夫过程。考虑随机模型的主要优点是,我们允许目标函数偶尔失去强凸性和/或梯度的Lipschitz连续性。由于我们的模型的随机性,跟踪声明中给出的均方差误差。
2019-03-15 math.OC
Staggered Time Average Algorithm for Stochastic Non-smooth Optimization with O(1/T) Convergence
随机非光滑凸优化是机器学习和运筹学中的一类问题。研究了基于随机次梯度的非光滑函数的极小化问题。当函数具有局部多面体结构时,证明了交错时间平均算法具有O(1/T)的收敛速度。当局部多面体假设被删除时,一个更一般的收敛结果被证明。在这种情况下,收敛边界取决于最小值附近的函数曲率。最后,局部多面体假设,以提高收敛超过O(1/T)的一个特殊情况下的确定性问题。
2016-07-11 math.OC
On the convergence of stochastic MPC to terminal modes of operation
随机模型预测控制(MPC)在加性扰动下的稳定性通常通过构造类Lyapunov不等式来证明,该不等式保证闭环性能界和状态的有界性,但收敛到终端控制律通常没有被证明.在这项工作中,我们使用一般状态空间马尔可夫链的结果,找到条件,保证受干扰的非线性系统收敛到终端的操作模式,使他们收敛的概率先验已知的终端线性反馈法,并实现时间平均性能等于终端控制律。我们讨论了随机MPC配方的控制律的收敛性的影响,特别是我们证明了两个配方的随机MPC的收敛性。
2019-03-16 math.OC
Convergence of projected stochastic approximation algorithm
该研究针对带超矩形投影的Robbins-Monro随机逼近算法,用ODE方法证明其收敛到投影ODE平稳点,填补了经典著作的证明空白,为随机优化技术提供更优理论基础并放宽了既往假设。
2025-01-14 math.OC
Almost Sure Convergence and Non-asymptotic Concentration Bounds for Stochastic Mirror Descent Algorithm
本文针对使用有偏随机次梯度的随机镜像下降算法,在偏差递减条件下证明了迭代点的几乎必然收敛性,并在标准假设及次高斯噪声假设下分别给出了函数值偏差的集中界。
2024-07-08 math.OC
Delayed supermartingale convergence lemmas for stochastic approximation with Nesterov momentum
本文针对带 Nesterov 动量的随机逼近中延迟信息导致难以实现几乎必然收敛的问题,提出基于延迟超鞅收敛引理的一般性收敛框架,并应用于随机次梯度、邻近 Robbins-Monro 及邻近随机次梯度等方法,通过数值实验验证了理论结果。
2024-06-10 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题,证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率,并说明动量可加速早期收敛。
2025-05-16 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为,建立了梯度方差收敛至零的条件,并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Convergence of Stochastic Proximal Gradient Algorithm
我们证明了新的收敛结果的随机邻近梯度算法适合于解决一大类的凸优化问题,其中凸目标函数的光滑和可能的非光滑组件的总和。在强凸情形下,我们考虑迭代的收敛性,得到了$O(1/n)$的非渐近期望界,以及在较弱的假设下的几乎必然收敛结果.我们的方法可以避免平均和削弱有界性假设,这是经常考虑在理论研究中,并可能不会在实践中得到满足。
2014-09-16 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Stochastic Krasnoselskii-Mann Iterations: Convergence without Uniformly Bounded Variance
University of Oxford(牛津大学);University of Groningen(格罗宁根大学)
本文研究了随机 Krasnoselskii-Mann 迭代在实希尔伯特空间中的期望非扩张固定点问题,证明在比文献中更弱的方差假设下收敛,仅需在单一固定点处有有限方差,从而获得几乎必然弱收敛性和残差收敛率。
2026-09-14 math.OC
Convergence of the Iterates of the Stochastic Proximal Gradient Method
North Carolina State University(北卡罗来纳州立大学)
本文研究了随机近端梯度法在最小化两个凸函数之和中的收敛性,无需假设随机变量的有界性或方差控制,证明了迭代序列几乎处处收敛和均值收敛,应用于分类和凸可行性问题。
2026-04-15 math.OC
Convergence Analysis of Sample Average Approximation of Two-stage Stochastic Generalized Equations
两阶段随机广义方程的解是一对:第一阶段解与随机数据的实现无关,第二阶段解是随机变量的函数.本文研究了两阶段随机非线性广义方程样本平均逼近的收敛性.特别是指数收敛率示出通过使用扰动部分线性化的功能。在函数单调性的假设下,给出了两阶段随机广义方程解的存在唯一性、连续性和正则性的充分条件.这些理论结果是在没有假设相对完全追索权的情况下给出的,并通过两个局中人的两阶段随机非合作对策加以说明。
2018-01-12 math.OC
Convergence analysis of sampling-based decomposition methods for risk-averse multistage stochastic convex programs
考虑一类基于抽样的分解方法来求解风险规避的多阶段随机凸规划。我们证明了一个公式的计算所需的削减建立外部线性化的追索功能。该公式可用于求解凸非线性问题的随机对偶动态规划的有效实现。当相对完全补偿假设成立时,我们证明了这些分解方法的几乎必然收敛。我们还证明了这些算法的几乎必然收敛时,不满足相对完整的追索权假设的风险厌恶的多级随机线性规划。首先进行分析,假设基本的随机过程是阶段间独立的和离散的,在每个阶段具有可能实现的有限集。然后,我们指出了两种方法,扩展的方法和收敛性分析的情况下,当过程是级间依赖。
2016-09-09 math.OC
Stochastic versus Deterministic in Stochastic Gradient Descent
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
本文从随机与确定性角度分析了小批量随机梯度下降的收敛性,揭示了两种梯度计算对算法性能的不同影响,并展示了改进的收敛速度和更小的收敛区域。
2026-04-05 math.OC
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML
Distributed Stochastic Approximation: Weak Convergence and Network Design
研究了通信网络中基于广播流言的分布式随机逼近算法。证明了这些算法的弱收敛性,并将收敛点与局部目标函数和网络性质联系起来,建立了相应的常微分方程(ODE)。利用这些结果,提出了一种方法,网络设计,旨在实现所需的渐近行为的共识。同时分析了算法的收敛速度,并利用附加的随机微分方程进一步改进了算法。仿真结果验证了理论概念。
2016-09-02 math.OC stat.AP
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent,arXiv:1805.08244]中引入的随机修正方程,当损失函数为扰动二次函数时,我们给出了异步随机梯度下降(ASGD)算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧,那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明,较长的延迟导致较慢的收敛速度。此外,学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Optimization and Convergence of Observation Channels in Stochastic Control
研究部分可观测随机控制问题中观测通道(随机核)的优化问题。特别是,存在性和连续性的研究主要(但不限于)集中在单阶段的情况下。在全变差、集态收敛和弱收敛条件下,讨论了信道最优费用的连续性。给出了一类信道在全变差下紧性和集态收敛的充分条件,并探讨了其在量子化中的应用。
2012-02-07 cs.IT math.IT math.OC
Strong Rates of Convergence for Space-Time Discretization of the Backward Stochastic Heat Equation, and of a Linear-Quadratic Control Problem for the Stochastic Heat Equation
我们介绍了一个时间隐式,有限元为基础的空间-时间离散格式的向后随机热方程,并为向前向后随机热方程的随机最优控制,并证明了强收敛速度。然后在梯度下降算法中使用前向-后向随机热方程的完全离散版本来近似求解由加性噪声驱动的随机热方程的线性二次控制问题。
2020-12-18 cs.NA math.NA math.OC
Convergence and Convergence Rate of Stochastic Gradient Search in the Case of Multiple and Non-Isolated Extrema
研究了随机梯度算法的渐近性态。借助微分几何的结果(Lojasiewicz梯度不等式),证明了算法迭代的单极限点收敛性,并给出了相对严格的收敛速度界.与现有的渐近结果形成鲜明对比,这里提出的新结果允许目标函数有多个和非孤立的最小值。新的结果也提供了新的见解的渐近性质的几类递归算法,经常用于工程,统计,机器学习和运筹学。
2013-09-17 math.OC math.ST stat.TH
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析,涵盖弱收敛、函数值收敛和全局收敛,并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Convergence Rate of Stochastic Gradient Search in the Case of Multiple and Non-Isolated Minima
本文分析了随机梯度搜索的收敛速度。利用微分几何和Lojasiewicz不等式,给出了一般随机梯度算法收敛速度的严格界.相对于现有的结果,本文提出的结果允许的目标函数有多个,非孤立的最小值,施加任何限制的Hessian值(的目标函数),并不需要算法估计有一个单一的极限点。应用这些新结果,研究了递推预报误差辨识算法的收敛速度。利用本文的结果分析了监督学习算法和时间差分学习算法的收敛速度。
2009-04-27 math.OC math.ST stat.TH
Convergence Analysis for A Stochastic Maximum Principle Based Data Driven Feedback Control Algorithm
本文对一种基于部分含噪观测数据生成在线控制的新型数据驱动反馈控制算法进行了收敛性分析,该算法结合了粒子滤波状态估计与随机最大原理求解器,并理论推导得出优化过程的弱收敛结果,最后通过数值实验验证了相关理论。
2024-05-30 cs.NA math.NA math.OC
Stochastic L-BFGS: Improved Convergence Rates and Practical Acceleration Strategies
我们重新审视随机有限记忆BFGS(L-BFGS)算法。通过提出一个新的框架的收敛性分析,我们证明了改进的收敛速度和计算复杂性的随机L-BFGS算法相比,以前的作品。此外,我们提出了几个实用的加速策略,以加快这种算法的经验性能。我们还对大多数策略进行了理论分析。大规模的逻辑和岭回归问题的实验表明,我们提出的策略产生显着的改善相对于竞争国家的最先进的算法。
2017-10-24 cs.IT math.IT math.OC