Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Linköping University(林雪平大学)
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度,向前向后向前,向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置,因为他们的确定性同行,他们要么匹配或提高最知名的复杂性,解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所);Department of Computer Science, University of Rochester(计算机科学系)
本文提出一种随机近点法,通过方差缩减和概率增强技术,在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
Stochastic Nested Variance Reduction for Nonconvex Optimization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究有限和非凸优化问题,其中的目标函数是一个平均的$n$非凸函数。提出了一种新的基于嵌套方差约简的随机梯度下降算法。与传统的随机方差降低梯度(SVRG)算法在每次迭代中使用两个参考点来构造一个方差逐渐减小的半随机梯度相比,该算法在每次迭代中使用$K+1$嵌套参考点来构造一个方差进一步减小的半随机梯度.对于光滑非凸函数,所提出的算法收敛到$ε$近似的一阶稳定点(即,$\|\nabla F(\mathbf{x})\|_2\leq ε$)在随机梯度评估的$\tilde O(n\land ε^{-2}+ε^{-3}\land n^{1/2}ε^{-2})$数量内。这改进了SVRG $O(n+n^{2/3}ε^{-2})$和SCSG $O(n\land ε^{-2}+ε^{-10/3}\land n^{2/3}ε^{-2})$的最佳已知梯度复杂度。对于梯度控制函数,我们的算法也实现了更好的梯度复杂度比国家的最先进的算法。在不同的非凸优化问题上的实验结果支持了我们的理论。
2020-10-19 cs.LG math.OC stat.ML
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities(明尼苏达大学双城分校);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学)
针对基数约束下的稀疏学习问题,提出了一种随机方差缩减优化算法。充分条件下,该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明,我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Convergence of Distributed Stochastic Variance Reduced Methods without Sampling Extra Data
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院)
随机方差缩减方法由于其运行时间复杂性,近年来在经验风险最小化方面得到了广泛的关注。当数据量很大并且不相交地存储在不同的机器上时,分布这种方差减少方法的实现就变得势在必行。在本文中,我们考虑了一个一般的框架,直接分布流行的随机方差减少的方法在主/从模型,通过分配外循环的参数服务器,和工人机器的内循环。这个框架是自然和友好的实现,但其理论上的收敛性还没有得到很好的理解。我们获得了一个全面的了解算法收敛性的数据同质性,通过测量本地和全球损失函数之间的差异的平滑度。我们建立了一个家庭的随机方差减少算法,包括那些使用加速和递归梯度更新,最小化强凸损失的分布式版本的线性收敛。我们的理论捕捉了分布式算法的收敛如何随着机器数量和本地数据大小的变化而变化。此外,我们表明,当数据不平衡时,正则化可以用来确保以较慢的速度收敛。我们还证明,我们的分析可以进一步扩展到处理非凸损失函数。
2020-07-09 cs.LG math.OC stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology(东京工业大学);Japan Science and Technology Agency(日本科学技术振兴机构)
我们考虑一个复合凸最小化问题与正则化的经验风险最小化,这经常出现在机器学习。本文提出了两种新的随机梯度法,它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法,因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外,我们的方法有理论支持的强和非强凸正则化,并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
A Unified Framework for Stochastic Matrix Factorization via Variance Reduction
National University of Singapore(新加坡国立大学)
我们提出了一个统一的框架,以加快现有的随机阵分解(SMF)算法,通过减少方差。我们的框架是一般的,它包括几个著名的SMF配方在文献中。我们进行了非渐近收敛分析我们的框架,并得出计算和样本的复杂性,我们的算法收敛到一个$ε$ -平稳点的期望。此外,广泛的SMF配方类的广泛实验表明,我们的框架始终产生更快的收敛和更准确的输出字典相对于国家的最先进的框架。
2017-05-22 cs.LG math.OC stat.ML
Variance-Reduced Stochastic Learning under Random Reshuffling
UCLA(加州大学洛杉矶分校);Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑))
几个有用的方差减少的随机梯度算法,如SVRG,SAGA,RANTO,和SAG,已被提出来最小化经验风险与线性收敛性能的确切的最小值。现有的收敛结果假设均匀的数据采样与替换。然而,它已被观察到在相关的作品中,随机重排可以提供优越的性能,均匀采样,然而,没有正式的证据或保证的精确收敛存在方差减少算法随机重排。本文有两个贡献。首先,它解决了这个开放的问题,并提供了第一个理论保证的线性收敛下随机改组SAGA的参数也适用于其他方差减少算法。其次,在随机重排下,本文提出了一种新的摊销方差降低梯度(AVRG)算法,与SAGA相比具有恒定的存储需求,与SVRG相比具有平衡的梯度计算。AVRG也被解析地示出为线性收敛。
2018-02-16 cs.LG math.OC stat.ML
Stochastic Variance-Reduced ADMM
Hong Kong University of Science and Technology(香港科技大学)
交替方向乘子法(ADMM)是机器学习中一种有效的优化求解方法。最近,随机ADMM已经与随机梯度的方差缩减方法相结合,导致SAG-ADMM和SDCA-ADMM具有快速收敛速度和低迭代复杂度。但是,它们的空间要求仍然很高。在本文中,我们提出了一个集成的ADMM与随机方差约减梯度(SVRG)的方法。与SCAS-ADMM不同的是,该算法保留了SAG-ADMM和SDCA-ADMM的快速收敛优点,但其存储要求非常低,甚至与样本大小$n$无关。我们还将所提出的方法推广到非凸问题,并得到了$O(1/T)$的收敛速度。实验结果表明,该算法与SAG-ADMM和SDCA-ADMM一样快,比SCAS-ADMM快得多,并且可以用于更大的数据集。
2016-10-16 cs.LG math.OC stat.ML
Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
在解决有限和最小化问题时,随机梯度下降(SGD)的两个常见替代方案具有理论上的优势,即随机重排(SGD-RR)和洗牌一次(SGD-SO),其中函数在循环中采样而不替换。在实验上成立的方便的随机噪声近似下,我们研究了SGD、SGD-RR和SGD-SO迭代的平稳方差,其首项按此顺序减少,并获得了简单的近似。为了得到我们的结果,我们研究了随机梯度噪声序列的功率谱密度。我们的分析扩展到SGD与动量和随机Nesterov的加速梯度法的SGD。我们在二次目标函数上进行实验,以检验我们的近似的有效性和我们的发现的正确性。
2022-06-01 cs.LG math.OC stat.ML
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法(ADMM),基于不同的方差约化随机梯度,提出了三类方差约化的非凸随机ADMM。具体来说,第一类称为非凸随机方差降低梯度ADMM(SVRG-ADMM),使用多阶段计划,逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM(SAG-ADMM),它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM,是SAG-ADMM方法的扩展。此外,在适当的条件下,我们建立了所提方法的$O(1/ε)$的迭代复杂度界,以获得非凸优化问题的$ε$ -平稳解.特别是,我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后,数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
Dissipativity Theory for Accelerating Stochastic Variance Reduction: A Unified Analysis of SVRG and Katyusha Using Semidefinite Programs
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
近年来,在求解凸有限和问题的随机规划算法中,减小梯度估计方差的技术受到了广泛的关注。通过利用耗散性理论从控制,我们提供了一个新的视角两个重要的方差减少算法:SVRG和它的直接加速变种喀秋莎。我们的观点提供了一个物理直观的理解SVRG类方法的行为,通过能量守恒的原则。这里讨论的工具,使我们能够自动化的SVRG类方法的收敛性分析,通过捕捉他们的基本性质,在小的半定程序服从标准的分析和计算技术。我们的方法恢复现有的SVRG和喀秋莎的收敛结果,并将理论推广到其他参数的选择。我们还讨论了我们的方法如何补充线性耦合技术。我们的观点相结合,导致更好地理解有限和问题的加速方差减少随机方法。
2018-06-10 cs.LG math.OC stat.ML
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of California, Davis(加州大学戴维斯分校)
研究了噪声方差为无穷大时的随机凸优化问题。具体地说,当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时,对于某些$κ\in (0,1]$,我们根据优化问题的迭代次数、维数和相关的几何参数,量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是,该算法不需要任何显式的梯度裁剪或归一化,这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明,没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果,设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Towards Weaker Variance Assumptions for Stochastic Optimization
University of British Columbia(不列颠哥伦比亚大学);University of Vienna(维也纳大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文重新审视随机梯度算法分析中的经典方差假设,允许随机次梯度平方范数随优化变量平方范数增长,并建立与Halpern迭代的联系,为凸非光滑随机优化提供无界可行集下的最优性度量收敛率。
2026-09-29 cs.LG math.OC stat.ML
Tracking the gradients using the Hessian: A new look at variance reducing stochastic methods
INRIA(法国国家信息与自动化研究所);LTCI, Télécom-Paristech, Université Paris-Saclay(巴黎萨克雷大学巴黎高等电信学院LTCI实验室);Google Brain(谷歌大脑);Département d’Informatique de l’ENS(巴黎高等师范学院计算机系)
我们的目标是通过更好的控制变量来改进方差减少随机方法。首先,我们提出了一种修改的SVRG使用海森跟踪梯度随着时间的推移,而不是recondition,增加控制变量的相关性,并导致更快的理论收敛接近最优。然后,我们提出了准确和计算效率的近似海森,都使用对角和低秩矩阵。最后,我们证明了我们的方法对广泛的问题的有效性。
2018-03-31 cs.LG math.OC stat.ML
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles(加州大学洛杉矶分校)
随机方差缩减立方正则化(SVRC)算法由于其改进的梯度/Hessian复杂性(即,随机梯度/Hessian预言机的查询数量),以找到非凸有限和优化的局部极小值。然而,目前还不清楚现有的SVRC算法是否可以进一步改进。此外,在现有的SVRC算法中采用的半随机Hessian估计器,防止使用基于Hessian向量乘积的快速三次子问题求解器,这使得SVRC算法在计算上难以处理高维问题。在本文中,我们首先提出了一个随机递归方差减少三次正则化方法(SRVRC)使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度,性能优于现有的SVRC算法。在SRVRC的基础上,进一步提出了一种无Hessian的SRVRC算法,即SRVRC $_{\text{free}}$,它只需要随机梯度和Hessian向量积的计算,并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度,其中$n$是有限和结构中分量函数的个数,$d$是问题维数,$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Solving Stochastic Variational Inequalities without the Bounded Variance Assumption
Department of Mathematics, University of British Columbia(数学系,不列颠哥伦比亚大学)
本文提出无需方差有界假设的算法,解决无界约束集的随机变分不等式问题,达到最优复杂度O(ε^{-4})。
2026-02-05 cs.LG math.OC stat.ML
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich(苏黎世联邦理工学院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院)
随机梯度下降(SGD)是机器学习中的主力,但其缓慢的收敛可能是计算瓶颈。方差减少技术,如SAG,SVRG和SAGA已被提出来克服这一弱点,实现线性收敛。然而,这些方法要么基于枢轴点处的全梯度的计算,要么基于在存储器中保持每个数据点的校正。因此,相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法,这在瞬态优化阶段提供了优势。作为副产品,我们提供了一个统一的收敛性分析的方差减少算法,我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Riemannian stochastic variance reduced gradient algorithm with retraction and vector transport
Kyoto University(京都大学);The University of Electro-Communications(电气通信大学);Microsoft(微软)
近年来,随机方差缩减算法在最小化大量但有限数量的损失函数的平均值方面引起了相当大的关注。本文提出了一种新的黎曼扩展的欧氏随机方差约化梯度(R-SVRG)算法的流形搜索空间。通过收缩和矢量传输解决了对多个梯度进行平均、相加和相减的关键挑战。对于所提出的算法,我们提出了一个全局收敛性分析与衰减的步长,以及一个局部收敛速度分析与一个固定的步长下,一些自然的假设。此外,将该算法应用于对称正定流形上的黎曼质心计算问题以及Grassmann流形上的主成分分析和低秩矩阵完备化问题.结果表明,该算法优于标准的黎曼随机梯度下降算法在每种情况下。
2019-05-31 cs.LG math.OC stat.ML
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles(加州大学洛杉矶分校)
提出了一种有效的随机方差缩减三次正则化(Lite-SVRC)算法,用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比,该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地,对于具有$n$分量函数的非凸函数,Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值,这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验,验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Explicit construction of the minimum error variance estimator for stochastic LTI state-space systems
Dept. of Electronic Systems, Aalborg University, Aalborg, Denmark(丹麦奥尔堡大学电子系统系);Laboratoire Signal et Automatique de Lille (CRIStAL), Lille, France(法国里尔信号与自动化实验室(CRIStAL))
在这篇简短的文章中,我们展示了最佳(最小误差方差)估计量的推导,当随机LTI系统输出的一部分未被测量,但能够从测量的系统输出中预测。类似的推导以前已经完成,但没有使用状态空间表示。
2023-01-01 cs.LG math.DS math.OC
Stochastic Halpern Iteration with Variance Reduction for Stochastic Monotone Inclusions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Pontificia Universidad Católica de Chile(智利天主教大学)
我们研究随机单调包含问题,它广泛出现在机器学习应用中,包括鲁棒回归和对抗学习。我们提出了新的变种随机Halpern迭代递归方差减少。在共强制(更一般地是Lipschitz单调)设置中,我们的算法通过$\mathcal{O}(\frac{1}{ε^3})$随机算子评估获得了算子的$ε$范数,这显着改善了现有单调包含求解器所需的最新技术水平的$\mathcal{O}(\frac{1}{ε^4})$随机算子评估。应用于相同的问题类。我们进一步展示了如何耦合的随机Halpern迭代与预定的重新启动计划,以解决随机单调包含问题的${\mathcal{O}}(\frac{\log(1/ε)}{ε^2})$随机算子评估下额外的锐度或强单调性假设的一个拟议的变种。
2023-01-08 cs.LG math.OC
A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction
本文针对弱凸复合优化问题提出了一种结合方差缩减机制和不精确半光滑牛顿框架的可实现随机近端点算法,证明了其考虑步长不精确性的收敛性,并在数值实验中展现出优于其他方法的鲁棒性。
2024-03-26 math.OC stat.ML
Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park(马里兰大学学院市分校)
随机梯度下降(SGD)已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而,SGD具有两个主要缺点:(i)噪声梯度更新具有高方差,这在迭代接近最优时减慢了收敛,以及(ii)SGD在分布式设置中的扩展性差,通常随着工人数量的增加而经历快速降低的边际效益。在本文中,我们提出了一种高度并行的方法,CentralVR,它使用错误校正来减少SGD梯度更新的方差,并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度,可证明的线性收敛速度,并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较,发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia(弗吉尼亚大学)
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian,这是专门为立方正则化方法设计的。我们表明,我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用,这优于国家的最先进的立方正则化算法,包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中,我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度,从而得到[2]中引入的相同动量-SARAH估计。与[7]相比,这允许我们每次迭代节省一个随机梯度,并且每次迭代只需要两个样本。我们的算法是非常简单的,并实现了最佳的随机预言复杂性界的随机梯度评价(一个常数因子)。我们的分析基本上受到[7]的启发,但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
Stochastic Gradient Langevin Dynamics with Variance Reduction
Michigan State University(密歇根州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文研究带方差缩减的随机梯度朗之万动力学,证明其对非凸目标局部极小值的改进收敛性及遍历性,揭示其寻找全局极小值的潜力。
2021-02-12 cs.LG math.OC
Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代,优化大规模机器学习问题成为一项具有挑战性的任务,并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近,解耦异步近似随机梯度下降(DAP-SGD)被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者,因此,服务器只需要进行元素操作。但由于随机梯度的方差不为零,该算法收敛速度较慢。本文提出了一种更快的方法,解耦异步近似随机方差降低梯度下降方法(DAP-SVRG)。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验,结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University(同济大学)
本文研究了协作多智能体强化学习(MARL)中的分布式策略梯度,其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数,现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题,提出了一种具有方差缩减和梯度跟踪的分布式策略梯度,并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后,我们提供了一个上界的均方固定间隙,这取决于迭代次数,小批量的大小,历元的大小,问题的参数,和网络拓扑结构。我们进一步建立了样本和通信复杂性,以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究非凸有限和问题,并分析随机方差约减梯度(SVRG)方法。SVRG和相关的方法最近在凸优化中脱颖而出,因为它们比随机梯度下降(SGD)更有优势;但它们的理论分析几乎完全假设凸性。相比之下,我们证明了非渐近速度的收敛(稳定点)的SVRG非凸优化,并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题,SVRG达到线性收敛的全局最优值。我们扩展我们的分析,SVRG的小批量变体,显示(理论)线性加速,由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University(普渡大学)
在这项工作中,我们调查的方差减少的想法,通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD,并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度,从而加快了收敛速度。特别是,我们的一般理论意味着,方差减少可以应用于使用时变步长的算法和自适应算法,如AdaGrad和RMSProp。此外,SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
Forward-backward-forward methods with variance reduction for stochastic variational inequalities
University of Vienna(维也纳大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室);Maastricht University(马斯特里赫特大学)
提出了一种新的求解伪单调随机变分不等式的方差缩减随机算法。我们的方法建立在Tseng的前向-后向-前向(FBF)算法,这是已知的在确定性文献中是一个有价值的替代Korpelevich的外梯度方法时,解决变分不等式在一个凸的和闭集由伪单调,Lipschitz连续算子。Tseng算法的主要计算优势在于它仅依赖于单个投影步骤和随机预言机的两个独立查询。我们的算法结合了方差减少机制,并导致几乎必然(a.s.)收敛到最优解。据我们所知,这是第一个随机前瞻算法,通过在每次迭代中仅使用单个投影来实现这一点。
2019-02-09 cs.LG math.OC
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications(电气通信大学);Tokyo University of Science(东京理科大学)
随机方差缩减算法最近变得流行,用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法(R-SQN-VR)。平均,添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下,我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下,该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
A Stochastic Composite Gradient Method with Incremental Variance Reduction
考虑光滑(非凸)函数与光滑向量映射的最小化组合问题,其中内部映射的形式为对某个随机变量的期望或有限和.我们提出了一个随机复合梯度法,采用增量方差减少估计的内部向量映射和雅可比矩阵。我们表明,这种方法实现了相同的顺序的复杂性,最好的已知的一阶方法最小化期望值和有限和非凸函数,尽管额外的外部组成,使复合梯度估计有偏。这一发现使机器学习中更广泛的应用能够受益于增量方差缩减方法的低复杂性。
2019-06-24 math.OC stat.ML
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题:一个是大量光滑分量函数的平均,另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中,称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法,它使用一个多阶段的计划,逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法(或增量梯度法),我们表明,期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
Trading-off variance and complexity in stochastic gradient descent
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随机梯度下降是大规模机器学习问题的首选方法,因为它每次迭代的复杂度很低。然而,它落后于其非随机同行的收敛速度,由于随机更新引入的高方差。流行的随机方差降低梯度(SVRG)方法缓解了这一缺点,引入了一个新的更新规则,需要不频繁地通过整个输入数据集来计算全梯度。在这项工作中,我们提出了CheapSVRG,一个随机方差减少优化方案。我们的算法类似于SVRG,但不是完整的梯度,它使用了一个代理,可以有效地计算输入数据的一个小的子集。它实现了线性收敛速度-达到一定的误差水平,这取决于优化问题的性质-并具有计算复杂性和收敛速度之间的权衡。经验评估表明,CheapSVRG至少与现有技术相比具有竞争力。
2016-03-22 cs.IT cs.LG math.IT
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley(加州大学伯克利分校);Google(谷歌);Princeton University(普林斯顿大学)
凸组合优化是一个新兴的课题,涵盖了随机最优控制,强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构,存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法,其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$,其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Minimal-Variance Distributed Deadline Scheduling
许多现代的服务器可以动态地调整其服务容量以匹配传入的工作负载。然而,与此同时,服务能力的不可预测性和不稳定性往往造成业务和基础设施费用。在本文中,我们寻求最佳分布式算法的特点,最大限度地提高可预测性,稳定性,或两者兼而有之时,调度作业的最后期限。具体来说,我们表明,精确调度最大限度地减少了固定的平均值和方差的服务能力,严格的需求和截止日期的要求。对于更一般的设置,我们的特点是最小方差分布式政策的软需求的要求,软期限的要求,或两者兼而有之。最佳分布式政策的性能相比,最佳的集中式政策,通过推导出封闭形式的界限,并通过测试集中式和分布式算法,使用实际数据从加州理工学院的电动汽车充电设施和许多件的合成数据从不同的到达分布。此外,我们推导出的Pareto-最优性条件的分布式政策,平衡方差和均方的服务能力。最后,我们讨论了一个可扩展的部分集中式算法,使用集中的信息,以提高性能和一种方法来处理缺失的服务需求信息。
2020-05-10 math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度(SVRG)下降算法的收敛速度的理论分析。最近的研究表明,基于异步随机梯度下降(SGD)算法的方差减少收敛于凸问题的线性收敛速度。然而,目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中,我们研究了SVRG的两个异步并行实现:一个是在分布式存储系统上,另一个是在共享存储系统上。我们提供的理论分析,这两种算法可以获得$O(1/T)$的收敛速度,和线性加速是可以实现的,如果工人的数量是上界。由于参考问题,V1、V2、V3已被撤回,请参考最新版本V4。
2016-12-20 cs.LG math.OC
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近,得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
On stochastic mirror descent with interacting particles: convergence properties and variance reduction
一个开放的问题,在优化与噪声信息是一个确切的极小值是独立的噪声量的计算。随机逼近算法中的标准实践是使用递减步长。然而,这导致收敛较慢。第二种选择是使用固定的步长并运行算法的独立副本并对它们求平均值。第三种选择是运行算法的副本并允许它们交互。目前还不清楚哪种选择效果最好。为了解决这个问题,我们减少了一个确切的极小值与噪声梯度信息的计算问题的随机镜像下降与相互作用的粒子的研究。我们研究了随机镜像下降的收敛性,并明确了通信和方差减少之间的权衡。我们提供的理论和数值证据表明,相互作用有助于提高收敛性和减少方差的估计。
2020-11-05 math.OC stat.ML
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University(西北大学)
小批量随机梯度下降(SGD)算法广泛用于训练机器学习模型,特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态,通过关注梯度的方差,可以轻松扩展到更深的线性网络,这是第一次研究这种性质。在线性回归的情况下,我们表明,在每次迭代的梯度范数是一个减函数的小批量大小$b$,因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络,我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉,即较小的批量产生较低的损失函数值,这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系,这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
A robust stochastic control problem with applications to monotone mean-variance problems
本文研究带随机系数的单调均值-方差鲁棒随机控制问题,通过带无界系数的两个BSDE求鞍点,证明其与普通均值-方差随机控制问题有相同最优解,并应用于投资组合与投资-再保险问题。
2024-08-16 math.OC q-fin.MF
Sampling and Update Frequencies in Proximal Variance-Reduced Stochastic Gradient Methods
Lund University(隆德大学)
方差缩减随机梯度法近年来得到了广泛的应用。存在几种变体,具有不同的梯度存储和采样策略,这项工作涉及这两个方面之间的相互作用。我们提出了一种通用的邻近方差-约化梯度法,并在强凸性假设下对其进行了分析。该算法的特殊情况包括SAGA,L-SVRG及其近端变体。我们的分析揭示了历元长度的选择以及平衡迭代收敛与梯度存储频率的需要。该分析改善了文献中发现的其他收敛速度,并产生了一个新的和更快的收敛采样策略SAGA。预测率与实际率相同的问题实例与基于现实世界数据的问题一起提出。
2022-10-18 cs.LG math.OC
SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum Cocoercive Variational Inequalities
Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Caucasus Mathematical Center, Adyghe State University(阿迪格国立大学高加索数学中心)
本文研究随机有限和余强制变分不等式,提出基于SARAH方差缩减的算法,并证明其在强单调问题上具有线性收敛性,实验验证了方法的实用性。
2022-10-12 cs.LG math.OC
Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization
Johns Hopkins University(约翰斯·霍普金斯大学)
针对传统锚点类加速方法因误差累积无法直接用于随机求根的问题,提出双锚点加速机制,在无方差缩减、固定批量规模下实现了对应复杂度,强单调场景下接近下界。
2026-08-13 cs.LG math.OC
MURANA: A Generic Framework for Stochastic Variance-Reduced Optimization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出了一个通用的方差减少算法,我们称之为多重随机化算法(MURANA),最小化的几个光滑函数加上正则化,在一个顺序或分布式的方式。我们的方法是制定与一般的随机算子,这使我们能够模拟各种策略,以减少计算复杂性。例如,MURANA支持梯度的稀疏激活,并且还通过压缩更新向量来减少通信负载。这种多功能性使MURANA能够在一个统一的框架内涵盖许多现有的随机化机制,这也使得设计新方法成为可能。
2023-03-06 cs.LG math.OC
Mini-Batch Stochastic Conjugate Gradient Algorithms with Minimal Variance
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang Gongshang University Hangzhou College of Commerce(浙江工商大学杭州商学院);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种无偏且最小化方差的随机梯度估计,并将其应用于SCGA和CGVR两种随机共轭梯度算法,证明了线性收敛速率,实验表明新算法在岭回归中收敛更快。
2026-10-27 math.OC
Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
Machine Learning and Optimization Laboratory (MLO), EPFL(机器学习与优化实验室(MLO),EPFL)
本文提出了一种统一框架,用于分析随机和方差减少的立方牛顿方法,提供了全局复杂性保证,并改进了大规模问题的计算效率。
2026-10-09 cs.LG math.OC
Variance reduction techniques for stochastic proximal point algorithms
Malga Center(马尔加中心);Università degli Studi di Genova(热那亚大学);Sapienza Università di Roma(罗马第一大学(萨皮恩扎大学))
本文统一研究随机近端点算法的方差缩减,提出可实例化为 SVRG、SAGA 近端点版本的通用框架,并证明凸及 PL 条件下更优收敛率。
2024-08-06 cs.LG math.OC
Stochastic Krasnoselskii-Mann Iterations: Convergence without Uniformly Bounded Variance
University of Oxford(牛津大学);University of Groningen(格罗宁根大学)
本文研究了随机 Krasnoselskii-Mann 迭代在实希尔伯特空间中的期望非扩张固定点问题,证明在比文献中更弱的方差假设下收敛,仅需在单一固定点处有有限方差,从而获得几乎必然弱收敛性和残差收敛率。
2026-09-14 math.OC
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL(洛桑联邦理工学院)
我们提出了一种自适应方差缩减方法,称为AdaSpider,用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上,AdaSpider结合了AdaGrad启发的[Duchi等人,2011,McMahan & Streeter,2010],但是在[Fang等人,2018年]。据我们所知,Adaspider是第一个无参数非凸方差缩减方法,因为它不需要问题相关参数的知识,例如平滑常数$L$,目标精度$ε$或梯度范数的任何界限。在这样做的时候,我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls,它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC