Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University(天普大学)
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题,提出了一种带动量的去中心化随机复合梯度下降上升算法,有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题,分析了随机复合方差约化梯度(SCVRG)方法. SCVRG及其变体最近因其优于随机成分梯度下降(SCGD)而引起了广泛关注;但理论分析仅假设目标的强凸性,排除了几个重要的例子,如Lasso,逻辑斯谛回归,主成分分析和深度神经网络。相比之下,我们证明了非渐近增量的一阶预言(IFO)复杂性SCVRG或其新的变种非光滑凸组合优化,并表明它们是可证明的速度比SCGD和梯度下降。更具体地说,我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$,提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降(AGD)。实验结果证实,我们的方法优于几个现有的方法,例如,稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah(犹他大学)
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法,采用动量和方差减少技术已经开发的组成优化。然而,这些算法没有充分利用这两种技术来加速收敛,并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献,用于非凸组合优化。特别是,我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外,我们的算法实现了接近最优的样本复杂度的结果,在非凸有限和和在线组合优化,并实现了梯度优势条件下的线性收敛速度。数值实验表明,我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
Stochastic Compositional Gradient Descent under Compositional Constraints
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
本文研究了约束随机优化问题,其中目标函数和约束函数都是凸的,并表示为随机函数的组合。这个问题出现在公平分类、公平回归和排队系统设计的背景下。特别令人感兴趣的是大规模的设置,其中一个预言机提供了组成函数的随机梯度,目标是用最少数量的调用来解决问题。由于组合形式,由预言机提供的随机梯度不产生目标或约束梯度的无偏估计。相反,我们通过跟踪内部函数的评估来构造近似梯度,从而得到准梯度鞍点算法。我们证明了所提出的算法是保证找到最优的和可行的解决方案几乎肯定。我们进一步建立所提出的算法需要$\mathcal{O}(1/ε^4)$数据样本,以获得一个$ε$近似的最佳点,同时也确保零约束违反。结果匹配的随机成分梯度下降方法的无约束问题的样本复杂性,并提高了最知名的样本复杂性的结果的约束设置。公平分类和公平回归问题的算法的有效性进行了测试。数值结果表明,所提出的算法优于国家的最先进的算法的收敛速度。
2022-09-10 cs.LG
Quantitative Weak Convergence for Discrete Stochastic Processes
UC Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院)
在本文中,我们定量收敛于$W_2$的一个家庭的Langevin类随机过程,包括随机梯度下降和相关的梯度为基础的算法。在一定的正则性假设下,我们证明了这些随机过程的迭代收敛到一个不变的分布在$\tilde{O}\lrp{1/\sqrt{k}}$的速度,其中$k$是步骤的数量,这个速度是可证明的紧对数因子。在势函数为二次函数的特殊情况下,我们的结果退化为经典中心极限定理的一个定量形式。
2019-07-02 cs.LG math.ST stat.ML
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate
Temple University(天普大学)
本文研究去中心化随机多层组合优化问题,提出两种新颖的去中心化优化算法,在比现有单机算法更温和的条件下首次实现了与层数无关的非凸收敛速率,并通过大量实验验证了其有效性。
2024-05-31 cs.LG
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中,要么收敛只是在预期或边界依赖于区域的直径。相反,我们表现出高概率收敛的界限取决于初始距离的最优解,而不是域直径。该算法使用类似于标准设置的步长,并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa(爱荷华大学)
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛,即,收敛到近二阶最优平稳点。然而,现有的随机非凸优化的结果是有限的,特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤(命名为NCG-S),利用随机梯度和噪声的负曲率的随机Hessian,其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上,我们开发了两种算法,并建立了它们的高概率二阶收敛性。据我们所知,所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降,它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是,它的学习率配备了乘法随机性,产生一个随机学习率计划。理论结果表明,加速几乎必然收敛率的随机梯度下降在一个非凸设置时,使用适当的随机学习率相比,确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学)
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上,而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里,我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降(SGD),随机重球(SHB),和随机Nesterov的加速梯度(SNAG)方法。我们表明,第一次,这些随机梯度方法在强凸函数上获得的几乎必然收敛速度,是任意接近其最佳收敛速度可能的。对于非凸目标函数,我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零,而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析,与文献中大多数现有结果相比,这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
在这项工作中,我们提供了一个基本的统一收敛定理,用于推导预期和几乎必然收敛的结果,一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件,而不是针对任何特定的算法。作为一个直接的应用程序,我们恢复预期和几乎必然收敛的结果的随机梯度法(SGD)和随机重排(RR)在更一般的设置。此外,我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法(S-SGD)和随机模型为基础的方法(SMM)的非光滑非凸最优化问题。这些应用表明,我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
Last-iterate convergence analysis of stochastic momentum methods for neural networks
Northeast Normal University(东北师范大学);Changchun Humanities and Sciences College(长春人文学院);Imperial College London(帝国理工学院)
随机动量法是人工神经网络中求解大规模随机最优化问题的一种常用加速技术。现有的随机动量方法在非凸随机背景下的收敛性结果大多是从随机输出和最小输出两个方面讨论收敛性的。为此,我们解决的最后一个收敛的最后一个输出(称为最后一个收敛)的随机动量方法的非凸随机最优化问题,与传统的优化理论共形。在统一的框架下,我们证明了随机动量方法的最后收敛性,包括随机重球动量和随机Nesterov加速梯度动量。动量因子可以固定为常数,而不是现有分析中的时变系数。最后,在MNIST和CIFAR-10数据集上验证了随机动量方法的收敛性。
2022-05-30 cs.LG cs.NA math.NA
A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization
Department of Computer Science;Engineering, Texas A\&M University, College Station, TX, USA
本文提出单循环原始-对偶块坐标随机算法ALEXR,用于凸有限和耦合组合优化,在光滑与非光滑情形下取得改进的收敛速率,并通过复杂度下界证明其近最优性,在GDRO和pAUC任务上验证了效果。
2025-07-20 cs.LG math.OC
Optimal Algorithms for Stochastic Multi-Level Compositional Optimization
Nanjing University(南京大学);The University of Iowa(爱荷华大学)
本文研究了随机多层组合优化问题,其中目标函数是多个光滑但可能非凸的函数的组合。现有的解决这个问题的方法要么遭受次优的样本复杂性或需要一个巨大的批量大小。为了解决这些限制,我们提出了一种随机多水平方差减少方法(SMVR),它实现了最佳的样本复杂度的$\mathcal{O}\left(1 / ε^{3}\right)$找到一个$ε$ -平稳点的非凸目标。此外,当目标函数满足凸性或Polyak-Projojasiewicz(PL)条件时,我们提出了SMVR的一个阶段式变体,并将样本复杂度提高到对于凸函数的$\mathcal{O}\left(1 / ε^{2}\right)$或对于满足$μ$ -PL条件的非凸函数的$\mathcal{O}\left(1 /\left(με\right)\right)$.后者的结果意味着相同的复杂性$μ$ -强凸函数。为了利用自适应学习率,我们还开发了自适应SMVR,它实现了相同的复杂性,但在实践中收敛得更快。我们所有的复杂度不仅在$ε$方面,而且在$μ$(对于PL或强凸函数)方面都匹配下界,而无需在每次迭代中使用大批量。
2022-10-19 cs.LG math.OC
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS(CEREMADE - 法国国家科学研究中心);Université Paris Dauphine - PSL Research University(巴黎第九大学 - PSL研究大学)
本文自包含地证明了随机梯度下降(SGD)的收敛性,无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Stochastic Variance Reduced Primal Dual Algorithms for Empirical Composition Optimization
University of Florida(佛罗里达大学);Tencent AI Lab(腾讯人工智能实验室)
我们考虑一个一般的经验组合最优化问题,其中存在存在的非线性损失函数内外的经验平均值。这样的问题在各种机器学习应用中都很有趣,并且不能通过标准方法(如随机梯度下降)直接解决。我们采取了一种新的方法来解决这个问题,通过重新制定原来的最小化目标到一个等效的最小-最大目标,它带来了所有的经验平均值,原来的非线性损失函数内。我们利用重组问题的丰富结构,并开发了一个随机的原始对偶法,SVRPDA-I,有效地解决问题。我们对该算法进行了广泛的理论分析,得到了该算法的收敛速度、计算复杂度和存储复杂度。特别是,该算法收敛于线性速率时,问题是强凸的。此外,我们还开发了一个近似版本的算法,命名为SVRPDA-II,这进一步降低了内存需求。最后,我们评估我们提出的算法在几个现实世界的基准,实验结果表明,所提出的算法显着优于现有的技术。
2019-10-31 cs.LG math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University(密歇根州立大学)
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$,这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比,全梯度产生$O(1/T^2)$的收敛速率。在这项工作中,我们考虑一个新的设置优化光滑函数,称为{ \bf混合优化},它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明,与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言,建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization
Central South University(中南大学);Beijing Institute of Technology(北京理工大学)
针对组合极小极大优化现有方法复杂度次优、依赖大批次的问题,提出NSTORM及自适应版本ADA-NSTORM,达最优样本复杂度且无需大批次,实验验证了其效率。
2023-12-12 cs.LG math.OC
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
Convergence rates for the stochastic gradient descent method for non-convex objective functions
University of Oxford(牛津大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与自然科学研究所);Universität Bielefeld(比勒费尔德大学);ETH Zurich(苏黎世联邦理工学院)
在目标函数不一定是全局凸的或收缩的目标函数的情况下,证明了随机梯度下降法的局部收敛性,并对收敛速率进行了估计.特别是,结果适用于机器学习中出现的简单目标函数。
2019-07-26 cs.LG cs.NA math.NA
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司)
随机组合优化出现在许多重要的机器学习任务中,例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合,并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional,并证明了一个尖锐的增量一阶Oracle(IFO)复杂性上界:$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化,并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Accelerating Stochastic Composition Optimization
考虑随机复合最优化问题,其中目标是两个期望值函数的复合。我们提出了一种新的随机一阶方法,即加速随机成分邻近梯度(ASC-PG)方法,它更新的基础上查询的采样预言使用两个不同的时间尺度。ASC-PG是第一个可以处理非光滑正则化惩罚的随机复合问题的近似梯度法。我们表明,ASC-PG具有更快的收敛速度比最知名的算法,它实现了最佳的采样误差复杂性在几个重要的特殊情况下。我们进一步展示了ASC-PG在强化学习中的应用,并进行了数值实验。
2016-07-25 math.OC stat.ML
Stochastically Controlled Stochastic Gradient for the Convex and Non-convex Composition problem
The University of Sydney(悉尼大学);University of Rochester(罗切斯特大学);University of California, Davis(加州大学戴维斯分校)
本文研究了具有$\frac{1}{n}\sum\nolimits_{i = 1}^n {{F_i}( {G( x )} )}$结构的凸与非凸复合问题,其中$G( x )=\frac{1}{n}\sum\nolimits_{j = 1}^n {{G_j}( x )} $为内函数,$F_i(\cdot)$为外函数.我们探索基于方差缩减的方法来解决组合优化。由于内函数和外函数的个数较多时,直接估计它们是不合理的,因此我们采用随机控制的随机梯度(SCSG)方法来估计复合函数的梯度和内函数的值.我们提出的方法的查询复杂度的凸和非凸的问题是等于或优于目前的方法的组合问题。此外,我们还提出了所提出的方法的小批量版本,这与小批量的大小有关的查询复杂度的改善。
2018-09-06 cs.LG math.OC stat.ML
Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization
我们提出了一种新的随机最优化算法,称为STORM-组合优化,最大限度地减少了两个随机函数的期望组合,后者是一个最优化问题,出现在各种重要的机器学习应用。通过在成分梯度更新中引入动量项,STORM-Compositional以指数移动平均的方式操作随机递归方差约减的成分梯度。这导致STORM-组合的$O(\varepsilon^{-3})$复杂度上界,其匹配先前宣布的组合优化算法中的最佳已知复杂度界限。同时,STORM-组合是一个单循环算法,避免了在大批量和小批量之间进行典型的交替调整,以及记录检查点梯度,这些都是方差减少的随机梯度法中持续存在的。这使得相当简单的参数调整在数值实验中,这表明了优于其他随机组合优化算法的STORM组合。
2020-06-07 math.OC
A Projection-free Algorithm for Constrained Stochastic Multi-level Composition Optimization
提出了一种无投影条件梯度型光滑随机多层复合优化算法,其中目标函数为$T$函数的嵌套复合,约束集为闭凸集.我们的算法假设访问嘈杂的评价的功能和它们的梯度,通过一个随机的一阶预言满足一定的标准无偏性和二阶矩假设。我们表明,该算法所需的随机一阶预言机和线性最小化预言机的调用次数,以获得$ε$ -固定的解决方案,分别为$\mathcal{O}_T(ε^{-2})$和$\mathcal{O}_T(ε^{-3})$,其中$\mathcal{O}_T$隐藏常数$T$。值得注意的是,这些复杂性边界对$ε$和$T$的依赖性是分开的,因为改变一个不影响边界对另一个的依赖性。此外,我们的算法是无参数的,不需要任何(增加)的顺序小批量收敛不同于常见的做法,在随机条件梯度型算法的分析。
2022-10-09 math.OC math.ST stat.ML
Accelerated Method for Stochastic Composition Optimization with Nonsmooth Regularization
University of Pittsburgh(匹兹堡大学);University of Rochester(罗切斯特大学)
随机组合优化近年来引起了人们的广泛关注,并在机器学习、统计分析和强化学习等新兴应用中取得了成功。本文主要研究带非光滑正则化惩罚的复合问题。以往的工作要么收敛速度慢,或没有提供完整的收敛性分析的一般问题。本文针对这两个问题,提出了一种新的随机组合优化方法,用于求解带非光滑正则化惩罚的组合优化问题。在我们的方法中,我们应用方差减少技术,以加快收敛速度。据我们所知,我们的方法承认最快的收敛速度随机复合优化:强凸复合问题,我们的算法被证明是线性收敛;一般的复合问题,我们的算法显着提高了国家的最先进的收敛速度从$O(T^{-1/2})$到$O((n_1+n_2)^{{2}/{3}}T^{-1})$。最后,我们将我们提出的算法应用于强化学习中的投资组合管理和策略评估。实验结果验证了我们的理论分析。
2017-12-29 cs.LG math.OC
Stochastic Nested Compositional Bi-level Optimization for Robust Feature Learning
University of California, Davis(加州大学戴维斯分校);University of Waterloo(滑铁卢大学)
本文提出一种不依赖矩阵求逆和小批量的随机近似算法,用于求解嵌套组合双层优化问题,可达到约 $\ ilde{O}_T(1/ε^{2})$ 的预言机复杂度,并在协变量偏移下的深度神经网络鲁棒特征学习中验证了其有效性。
2023-07-11 cs.DS cs.LG math.OC
Riemannian Stochastic Gradient Method for Nested Composition Optimization
The Ohio State University(俄亥俄州立大学)
针对黎曼流形上的嵌套组合优化问题,提出黎曼随机组合梯度下降(R-SCGD)方法,解决内层随机近似导致的外层梯度偏差,在两层及多层结构中均达到$O(ε^{-2})$的预言机复杂度,并在强化学习策略评估中验证了其有效性。
2024-03-19 cs.LG math.OC
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题,提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置,并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下,我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度,以达到期望中的一个稳定点,并估计了函数值及其雅可比矩阵的随机预言调用的总数,其中$\varepsilon$是期望的精度。在有限和的情况下,我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知,这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后,我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念,它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下,并提供其样本的复杂性,以实现一个$ε$ -近似稳定点。对于相对光滑的组合,第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时,第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机,$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置,只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机,$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后,我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
Duality-free Methods for Stochastic Composition Optimization
SIT, FEIT, The University of Sydney(悉尼大学工程与信息技术学院);University of Rochester(罗切斯特大学)
我们考虑了$\frac{1}{n}\sum\nolimits_{i = 1}^n F_i(\frac{1}{m}\sum\nolimits_{j = 1}^m G_j(x))+R(x)$形式的具有两个期望值函数的组合优化,{它阐述了统计学习和机器学习中的许多重要问题,例如在强化学习和非线性嵌入中求解Bellman方程}。由于内部期望$\frac{1}{m}\sum\nolimits_{j = 1}^m G_j(x)$,基于全梯度或经典随机梯度下降的优化算法不适合或计算昂贵地解决该问题。我们提出了一个基于无对偶的随机组合方法,结合方差缩减方法来解决随机组合问题。我们采用基于SVRG和SAGA的方法来估计内部函数,并采用无对偶方法来估计外部函数。我们证明了线性收敛速度不仅对凸复合问题,而且对个别的外函数是非凸的,而目标函数是强凸的情况。我们还提供了实验结果,表明我们所提出的方法的有效性。
2017-10-26 cs.AI math.OC stat.ML
Distributed Stochastic Compositional Optimization Problems over Directed Networks
研究了有向通信网络上的分布式随机组合最优化问题,其中智能体私有一个随机组合目标函数,并通过协作来最小化所有目标函数之和.本文提出了一种分布式随机组合梯度下降算法,该算法采用梯度跟踪和随机校正技术,以适应网络的有向结构,提高内函数估计的精度。当目标函数光滑时,该方法的收敛速度和样本复杂度分别为$\mathcal{O}\left(k^{-1/2}\right)$和$\mathcal{O}\left(\frac{1}{ε^2}\right)$,并能找到($ε$)-平稳点.当目标函数为强凸时,收敛速度提高到$\mathcal{O}\left(k^{-1}\right)$ .此外,还给出了该方法的Polyak-Ruppert平均迭代的渐近正态性.我们证明了所提出的方法在模型不可知的元学习问题和逻辑斯谛回归问题上的经验性能。
2022-03-21 math.OC
Numerical Methods for Distributed Stochastic Compositional Optimization Problems with Aggregative Structure
研究了网络上的分布式随机组合最优化问题,其中所有智能体的内层函数是每个智能体的私有期望函数之和。针对内层函数的聚集结构,采用混合方差约简方法获取各Agent的私有期望函数信息,并采用动态一致性机制跟踪各Agent的内层函数信息.然后结合标准的分布式随机梯度下降法,提出了一种分布式聚集随机合成梯度下降法。当目标函数光滑时,该方法具有最优的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$ .我们进一步将该方法与通信压缩相结合,提出了通信压缩变量分布聚集随机合成梯度下降法。所提出的方法的压缩变体保持最佳的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$。分散强化学习的仿真实验验证了所提方法的有效性。
2022-11-04 math.OC
Stochastic Compositional Optimization with Compositional Constraints
Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology(香港理工大学工业工程与决策分析系);School of Industrial Engineering, Purdue University(普渡大学工业工程学院);Department of Biostatistics and Bioinformatics, Duke University(杜克大学生物统计与生物信息学系)
本文提出一种融合单层期望值与两层组合约束的随机组合优化模型,并设计原始-对偶算法,以$O(1/√N)$速率收敛至最优解,适用于风险规避优化与投资组合选择。
2025-05-25 cs.LG math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法,通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题,该方法在执行具有恒定步长的$N$迭代之后,找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
Unbiased Simulation for Optimizing Stochastic Function Compositions
本文提出了一种求解随机函数复合凸优化问题的无偏梯度模拟算法。我们表明,从算法产生的无偏梯度具有有限的方差和有限的期望计算成本。然后,我们结合无偏梯度模拟与两个方差减少算法(即SVRG和SCSG),并表明所提出的优化算法的基础上无偏梯度模拟具有令人满意的收敛性能。特别地,在SVRG的情况下,具有模拟梯度的算法可以被证明在期望中线性收敛到最优值,并且在强凸性下几乎必然收敛到最优值。最后,在数值实验中,我们将算法应用于随机函数组合优化的两个重要实例:最大化Cox偏似然模型和训练条件随机场。
2017-11-20 math.OC stat.CO
Convergence and Convergence Rate of Stochastic Gradient Search in the Case of Multiple and Non-Isolated Extrema
研究了随机梯度算法的渐近性态。借助微分几何的结果(Lojasiewicz梯度不等式),证明了算法迭代的单极限点收敛性,并给出了相对严格的收敛速度界.与现有的渐近结果形成鲜明对比,这里提出的新结果允许目标函数有多个和非孤立的最小值。新的结果也提供了新的见解的渐近性质的几类递归算法,经常用于工程,统计,机器学习和运筹学。
2013-09-17 math.OC math.ST stat.TH
Multi-Level Stochastic Gradient Methods for Nested Composition Optimization
随机梯度法可扩展用于解决涉及损失函数的经验期望的大规模最优化问题。现有的结果主要适用于目标为一级或二级期望的最优化问题。本文研究了随机路径上的多层组合优化问题,该问题涉及多层组合函数和嵌套期望的组合,并在风险规避优化和序列规划中得到了应用。本文从多时间尺度随机逼近方法出发,提出了一类多层随机梯度法。首先,我们提出了一个基本的$T$级随机合成梯度算法,建立了它的几乎必然收敛性,并得到了一个$n$迭代误差界$O (n^{-1/2^T})$。然后,我们开发了加速的多层随机梯度法,通过使用外插插值计划,以利用各个分量函数的光滑性。当所有的分量函数是光滑的,我们表明,收敛速度提高到$O(n^{-4/(7+T)})$一般目标和$O (n^{-4/(3+T)})$强凸目标。对于非凸问题,我们也给出了几乎必然收敛和收敛速度的结果。数值实验验证了所提出的方法和理论结果。
2018-01-12 math.OC
Asynchronous Stochastic Composition Optimization with Variance Reduction
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(中山大学)
组合优化在从风险管理到强化学习的各种机器学习领域中引起了广泛的关注。现有的求解组合最优化问题的方法多采用单机顺序求解的方式,限制了其在大规模问题中的应用。为了解决这个问题,本文提出了两个异步并行方差减少随机组成梯度(AsyVRSC)算法,适合于处理大规模数据集。这两个算法是AsyVRSC-Shared的共享内存架构和AsyVRSC-Distributed的主从架构。嵌入式方差减少技术使算法能够实现线性收敛速率。此外,AsyVRSC-Shared和AsyVRSC-Distributed享受可证明的线性加速比,当时间延迟分别由数据维数或部分梯度的稀疏比限制时。大量的实验验证了所提出的算法的有效性。
2018-11-15 cs.DC cs.LG math.OC
Approximations of Stochastic Hybrid Systems: A Compositional Approach
Technische Universität München(慕尼黑工业大学);ETH Zürich(苏黎世联邦理工学院);ETH Lausanne(洛桑联邦理工学院)
本文提出了一种组合框架,用于构建随机混合系统互联的近似。通过量化近似与原系统间的误差,为控制器设计提供替代方案。
2016-04-24 cs.SY eess.SY math.OC
Nonparametric Compositional Stochastic Optimization for Risk-Sensitive Kernel Learning
在这项工作中,我们解决了最优化问题,其中目标函数是期望值的非线性函数,即,合成随机强凸规划我们考虑的情况下,决策变量不是向量值,而是属于再生核希尔伯特空间(RKHS),由风险意识的配方监督学习和马尔可夫决策过程定义在连续空间。我们开发了第一个内存高效的随机算法,我们称之为组合在线学习与内核(COLK)。COLK,在其核心的两个时间尺度的随机逼近方法,解决了这样的事实,即(i)成分的期望值的问题不能解决经典的随机梯度由于存在的内部期望;和(ii)RKHS诱导的参数化的复杂性,这是成比例的迭代指数,这是减轻通过greenhouse构造的子空间投影。我们建立了COLK的几乎必然收敛与衰减步长,线性收敛的意思是一个恒定的步长的邻域,以及事实上,它的复杂性是在最坏的有限。使用监督学习的鲁棒公式的实验表明,COLK可靠地收敛,在训练运行中获得一致的性能,从而克服了过拟合。
2020-11-26 math.OC
Convergence Rate of Stochastic Gradient Search in the Case of Multiple and Non-Isolated Minima
本文分析了随机梯度搜索的收敛速度。利用微分几何和Lojasiewicz不等式,给出了一般随机梯度算法收敛速度的严格界.相对于现有的结果,本文提出的结果允许的目标函数有多个,非孤立的最小值,施加任何限制的Hessian值(的目标函数),并不需要算法估计有一个单一的极限点。应用这些新结果,研究了递推预报误差辨识算法的收敛速度。利用本文的结果分析了监督学习算法和时间差分学习算法的收敛速度。
2009-04-27 math.OC math.ST stat.TH
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML
Optimal Design of Queuing Systems via Compositional Stochastic Programming
设计良好的排队系统构成了现代通信、分布式计算和内容交付体系结构的支柱。平衡基础设施成本和用户体验指数的设计需要来自电信业务理论和运营研究的工具。设计这种系统的标准方法涉及制定优化问题,这些优化问题力求在遵守服务质量和其他物理约束的同时最大化相关的效用函数。在许多情况下,制定这样的问题需要对到达和离开过程进行简单的假设,以保持问题的简单性。本文提出了一个随机优化框架,用于设计外生过程可能具有任意和未知分布的排队系统。我们发现,许多这样的排队设计问题一般可以制定为随机优化问题的目标和约束是非线性函数的期望。组成结构避免了使用经典的随机近似方法,其中随机梯度往往需要是无偏的。为此,提出了一种约束随机组合梯度下降算法,该算法利用跟踪步骤的预期价值函数。该算法的非渐近性能的特点是通过其迭代复杂度。数值试验验证了理论结果,并证明了所提出的算法的有效性。
2019-07-20 cs.IT math.IT math.OC
Variance Reduced methods for Non-convex Composition Optimization
本文研究了含有大量分支函数的内外有限和函数形式的非凸复合优化问题。这个问题出现在一些重要的应用中,如非线性嵌入和强化学习。虽然现有的方法,如随机梯度下降(SGD)和随机方差降低梯度(SVRG)下降可以应用于解决这个问题,他们的查询复杂度往往很高,特别是当内部组件函数的数量很大。在本文中,我们应用方差减少技术,推导出两个方差减少算法,显着提高查询的复杂性,如果内部组件功能的数量是大的。据我们所知,这是第一个工作,建立了非凸随机组合的查询复杂性分析。实验验证了所提出的算法和理论分析。
2017-11-13 math.OC stat.ML
Finite-sum Composition Optimization via Variance Reduced Gradient Descent
Wang等人最近提出的随机组合优化。[2014]使用组合期望形式最小化目标:$\min_x~(\mathbb{E}_iF_i \circ \mathbb{E}_j G_j)(x).$它总结了机器学习,统计和金融中的许多重要应用。在本文中,我们考虑有限和的情况下组合优化:\[\min_x f (x) := \frac{1}{n} \sum_{i = 1}^n F_i \left(\frac{1}{m} \sum_{j = 1}^m G_j (x) \right). \]我们提出了两个算法来解决这个问题,结合随机组合梯度下降(SCGD)和随机方差降低梯度(SVRG)技术。证明了强凸优化问题的一个常数线性收敛速率,大大改善了已知算法的次线性收敛速度$O(K^{-0.8})$。
2017-05-20 math.OC
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析,涵盖弱收敛、函数值收敛和全局收敛,并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)(机器学习与优化实验室)
本文提出混合动量随机Frank-Wolfe算法,无需假设外层函数F的光滑性,结合动量Jacobian追踪器与泰勒修正函数追踪器,实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Convergence of stochastic nonlinear systems and implications for Stochastic Model Predictive Control
随机模型预测控制(MPC)在附加扰动下的稳定性通常通过构造类Lyapunov不等式来证明,该不等式确保了闭环性能界和状态的有界性,但通常不能确定状态的严格极限界和非保守性能界。在这项工作中,我们使用的输入到状态的稳定性找到的条件,这意味着收敛概率为1的扰动非线性系统的最小鲁棒正不变集。我们讨论了随机MPC配方的状态和控制律的收敛性的影响,我们证明了几个现有的线性和非线性系统的随机MPC配方的收敛结果。
2020-04-06 math.OC
Stochastic L-BFGS: Improved Convergence Rates and Practical Acceleration Strategies
我们重新审视随机有限记忆BFGS(L-BFGS)算法。通过提出一个新的框架的收敛性分析,我们证明了改进的收敛速度和计算复杂性的随机L-BFGS算法相比,以前的作品。此外,我们提出了几个实用的加速策略,以加快这种算法的经验性能。我们还对大多数策略进行了理论分析。大规模的逻辑和岭回归问题的实验表明,我们提出的策略产生显着的改善相对于竞争国家的最先进的算法。
2017-10-24 cs.IT math.IT math.OC