Mini-Batch Stochastic Conjugate Gradient Algorithms with Minimal Variance
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang Gongshang University Hangzhou College of Commerce(浙江工商大学杭州商学院);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种无偏且最小化方差的随机梯度估计,并将其应用于SCGA和CGVR两种随机共轭梯度算法,证明了线性收敛速率,实验表明新算法在岭回归中收敛更快。
2026-10-27 math.OC
Variance-reduction for Variational Inequality Problems with Bregman Distance Function
本文针对有限和结构变分不等式,提出结合Bregman距离函数的单循环随机方差缩减算法,在单调及弱Minty非单调情形下取得最优收敛保证并显著优于现有方法。
2025-07-20 math.OC
A Proximal Stochastic Gradient Method with Adaptive Step Size and Variance Reduction for Convex Composite Optimization
School of Mathematics and Statistics, Chongqing University of Posts and Telecommunications(重庆邮电大学数学与统计学院)
本文提出一种近端随机梯度算法(PSGA),通过引入方差减少技术和自适应步长策略,解决复合优化问题。证明了在光滑凸函数Lipschitz连续时方法的强收敛性,并得到O(√(1/k))的收敛速率。
2026-04-03 math.OC
Fast Stochastic Bregman Gradient Methods: Sharp Analysis and Variance Reduction
研究了用随机Bregman梯度法求解相对光滑凸函数极小化问题。我们首先证明了收敛的Bregman随机梯度下降(BSGD)的区域,取决于噪声(梯度的大小)在最佳。特别是,当该噪声为零时(\emph{interpolation}设置,其中数据完美拟合),具有恒定步长的BSGD收敛到精确的最小值。另外,当目标具有有限和结构时,我们证明了方差减少可以用来对抗噪声的影响。特别是,快速收敛到精确的最小值,可以得到额外的正则性假设下的布雷格曼参考函数。我们说明了我们的方法的有效性相对平滑的两个关键应用:断层重建与泊松噪声和统计预处理的分布式优化。
2021-04-20 math.OC
Adaptive Variance-Reduced Stochastic Sequential (Quadratic Constrained) Quadratic Programming
Department of Mathematics IIT Jodhpur(印度理工学院焦特普尔分校数学系)
本文提出AVR-SS(QC)QP方法,整合多种技术实现非线性约束优化,经理论证明其收敛性,数值实验验证了该方法在稀疏主成分分析问题上的有效性。
2026-10-14 math.OC
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University(普渡大学)
在这项工作中,我们调查的方差减少的想法,通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD,并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度,从而加快了收敛速度。特别是,我们的一般理论意味着,方差减少可以应用于使用时变步长的算法和自适应算法,如AdaGrad和RMSProp。此外,SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
SignSVRG: fixing SignSGD via variance reduction
针对有限和函数无约束最小化问题,提出SignSVRG方法,通过引入方差缩减技术修复SignSGD,在保留其计算优势的同时,恢复了确定性梯度下降的收敛速率。
2023-05-22 math.OC stat.ML
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法(ADMM),基于不同的方差约化随机梯度,提出了三类方差约化的非凸随机ADMM。具体来说,第一类称为非凸随机方差降低梯度ADMM(SVRG-ADMM),使用多阶段计划,逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM(SAG-ADMM),它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM,是SAG-ADMM方法的扩展。此外,在适当的条件下,我们建立了所提方法的$O(1/ε)$的迭代复杂度界,以获得非凸优化问题的$ε$ -平稳解.特别是,我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后,数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
Stochastic Gradient Langevin Dynamics with Variance Reduction
Michigan State University(密歇根州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文研究带方差缩减的随机梯度朗之万动力学,证明其对非凸目标局部极小值的改进收敛性及遍历性,揭示其寻找全局极小值的潜力。
2021-02-12 cs.LG math.OC
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL(洛桑联邦理工学院)
我们提出了一种自适应方差缩减方法,称为AdaSpider,用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上,AdaSpider结合了AdaGrad启发的[Duchi等人,2011,McMahan & Streeter,2010],但是在[Fang等人,2018年]。据我们所知,Adaspider是第一个无参数非凸方差缩减方法,因为它不需要问题相关参数的知识,例如平滑常数$L$,目标精度$ε$或梯度范数的任何界限。在这样做的时候,我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls,它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC
ZIVR: An Incremental Variance Reduction Technique For Zeroth-Order Composite Problems
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院)
ZIVR提出了一种用于零阶复合优化问题的增量方差减少技术,通过灵活实现和纯2点零阶算法,解决了大规模问题中的计算瓶颈,并在多种优化设置中提供了与一阶方法相当的收敛保证。
2026-01-08 cs.SY eess.SY math.OC
A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction
本文针对弱凸复合优化问题提出了一种结合方差缩减机制和不精确半光滑牛顿框架的可实现随机近端点算法,证明了其考虑步长不精确性的收敛性,并在数值实验中展现出优于其他方法的鲁棒性。
2024-03-26 math.OC stat.ML
A Stochastic Composite Gradient Method with Incremental Variance Reduction
考虑光滑(非凸)函数与光滑向量映射的最小化组合问题,其中内部映射的形式为对某个随机变量的期望或有限和.我们提出了一个随机复合梯度法,采用增量方差减少估计的内部向量映射和雅可比矩阵。我们表明,这种方法实现了相同的顺序的复杂性,最好的已知的一阶方法最小化期望值和有限和非凸函数,尽管额外的外部组成,使复合梯度估计有偏。这一发现使机器学习中更广泛的应用能够受益于增量方差缩减方法的低复杂性。
2019-06-24 math.OC stat.ML
Distributed stochastic gradient tracking algorithm with variance reduction for non-convex optimization
针对一般光滑非凸有限和优化问题,提出了一种方差缩减的分布式随机算法,该算法在信号处理和机器学习领域有着广泛的应用.在分布式环境中,大量的样本个数被分配给网络中的多个代理。每个智能体计算局部随机梯度,并与其邻居进行通信,以寻求全局最优值。在本文中,我们开发了一种改进的方差缩减技术来处理随机梯度引入的方差。结合梯度跟踪和方差缩减技术,提出了一种求解多智能体网络上大规模非凸有限和优化问题的分布式随机算法GT-VR。证明了GT-VR算法以$O(\frac{1}{k})$收敛速度收敛到一阶稳定点。此外,我们提供了所提出的算法的复杂性分析。与现有的一些一阶方法相比,该算法在一定的条件下具有较低的$\mathcal{O}(PMε^{-1})$梯度复杂度。通过仿真实验比较了现有算法和GT-VR算法,验证了该算法的有效性。
2021-07-22 cs.DC math.OC
Dual-Free Stochastic Decentralized Optimization with Variance Reduction
我们考虑以分散的方式在分布式数据上训练机器学习模型的问题。对于有限和问题,大型数据集的快速单机算法依赖于随机更新和方差减少。然而,现有的分散式随机算法要么没有获得随机更新所允许的完全加速,要么需要比常规梯度更昂贵的预言机。在这项工作中,我们介绍了一个分散的随机算法与方差减少称为DVR。DVR仅需要计算局部函数的随机梯度,并且在计算上与在数据集的$1/n$部分上运行的标准随机方差缩减算法一样快,其中$n$是节点的数量。为了得到DVR,我们使用Bregman坐标下降一个精心选择的对偶问题,并获得一个双自由算法使用特定的Bregman分歧。我们给出了一个加速版本的DVR的催化剂框架的基础上,并说明其有效性与模拟真实数据。
2020-06-25 cs.DC math.OC
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度(SVRG)下降算法的收敛速度的理论分析。最近的研究表明,基于异步随机梯度下降(SGD)算法的方差减少收敛于凸问题的线性收敛速度。然而,目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中,我们研究了SVRG的两个异步并行实现:一个是在分布式存储系统上,另一个是在共享存储系统上。我们提供的理论分析,这两种算法可以获得$O(1/T)$的收敛速度,和线性加速是可以实现的,如果工人的数量是上界。由于参考问题,V1、V2、V3已被撤回,请参考最新版本V4。
2016-12-20 cs.LG math.OC
Approximating Martingale Process for Variance Reduction in Deep Reinforcement Learning with Large State Space
Cornell University(康奈尔大学)
近似鞅过程(AMP)被证明是有效的方差减少强化学习(RL)在特定情况下,如多类神经网络。然而,在已经证明的情况下,状态空间相对较小,所有可能的状态转换都可以迭代。在本文中,我们考虑系统的状态空间是大的,有不确定性时,考虑状态转移,从而使AMP的RL的广义方差减少方法。具体而言,我们将研究AMP在Uber等网约车系统中的应用,其中加入了近端策略优化(PPO),以优化司机和客户的匹配策略。
2022-11-29 cs.LG cs.MA math.OC
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research(谷歌研究院);Boston University(波士顿大学)
近年来,方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者,它为提高随机梯度下降的收敛速度提供了第一个算法。然而,方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”,以实现其改进的结果。我们提出了一种新的算法,风暴,不需要任何批次,并利用自适应学习率,使更简单的实现和更少的超参数调整。我们的技术,用于删除批次使用一个变种的动量,以实现非凸优化的方差减少。在平滑损失$F$上,STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$,匹配最优速率,但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Linköping University(林雪平大学)
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度,向前向后向前,向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置,因为他们的确定性同行,他们要么匹配或提高最知名的复杂性,解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Improved Analysis and Rates for Variance Reduction under Without-replacement Sampling Orders
University of Pennsylvania(宾夕法尼亚大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Tsinghua University(清华大学)
当应用随机算法时,必须选择一个顺序来抽取样本。实际的选择是无替换采样顺序,这是经验上更快,更缓存友好比均匀iid采样,但往往有较差的理论保证。无替换抽样仅适用于无方差缩减的SGD。本文改进了复合有限和最小化问题在无替换抽样序下的收敛性分析和方差缩减率。我们的结果是双重的。首先,我们开发了一个阻尼的变种,称为Prox-Dendo,并建立其收敛速度与随机重排,循环采样,洗牌一次,凸和强凸的情况下。这些速率与全批次梯度下降匹配,并且与方差缩减的无替换采样的现有结果相比是最先进的。其次,我们的分析可以衡量循环顺序将如何影响循环采样率,因此,允许我们导出最佳固定顺序。在数据高度异构的情况下,最佳循环采样的Prox-Daptto可以获得与样本大小无关的收敛速度,据我们所知,这是第一个可以与方差减少的均匀iid采样相匹配的结果。我们还提出了一个实用的方法来发现最佳的循环顺序数值。
2021-10-26 cs.LG math.OC
Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室)
具有方差减少的随机最优化算法已被证明是成功的,用于最小化函数的大有限和。不幸的是,这些技术无法处理输入数据的随机扰动,例如由数据扩增引起的。在这种情况下,目标不再是有限和,优化的主要候选是随机梯度下降法(SGD)。在本文中,我们引入了一个方差减少的方法,这些设置时,目标是复合和强凸的。收敛速度优于SGD与一个典型的小得多的常数因子,这取决于梯度估计的方差,仅由于一个单一的例子扰动。
2017-11-15 cs.LG math.OC stat.ML
Adaptive Accelerated (Extra-)Gradient Methods with Variance Reduction
Boston University(波士顿大学);Northeastern University(东北大学)
本文主要研究一般凸情形下的有限和凸优化问题。近年来,方差缩减(VR)方法及其加速变体的研究取得了令人兴奋的进展。然而,在现有的VR算法中使用的步长通常取决于平滑度参数,该平滑度参数通常是未知的并且需要在实践中进行调整。为了解决这个问题,我们提出了两种新的自适应VR算法:自适应方差减少加速外梯度(AdaVRAE)和自适应方差减少加速梯度(AdaVRAG)。我们的算法不需要光滑参数的知识。AdaVRAE使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ}ε}\right)$梯度评估,AdaVRAG使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ\logβ}ε}\right)$梯度评估,以获得$\mathcal{O}(ε)$次优解,其中$n$是有限和中的函数数,$β$是平滑参数。该结果与非自适应VR方法的最佳收敛速度相匹配,并且它改进了现有技术的自适应VR方法AdaSVRG的收敛。我们展示了优越的性能,我们的算法与以前的方法相比,在现实世界的数据集上的实验。
2022-01-28 cs.DS cs.LG math.OC
Forward-backward-forward methods with variance reduction for stochastic variational inequalities
University of Vienna(维也纳大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室);Maastricht University(马斯特里赫特大学)
提出了一种新的求解伪单调随机变分不等式的方差缩减随机算法。我们的方法建立在Tseng的前向-后向-前向(FBF)算法,这是已知的在确定性文献中是一个有价值的替代Korpelevich的外梯度方法时,解决变分不等式在一个凸的和闭集由伪单调,Lipschitz连续算子。Tseng算法的主要计算优势在于它仅依赖于单个投影步骤和随机预言机的两个独立查询。我们的算法结合了方差减少机制,并导致几乎必然(a.s.)收敛到最优解。据我们所知,这是第一个随机前瞻算法,通过在每次迭代中仅使用单个投影来实现这一点。
2019-02-09 cs.LG math.OC
Adaptive Variance Reduction across Smoothness and Noise Conditions
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
本文提出两种无需知晓平滑性常数或方差界的自适应方差缩减方法,可适配平均平滑性、标准平滑性及无噪声场景,分别在梯度预算已知和未知时达到对应收敛速率。
2026-11-09 cs.LG math.OC
PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学)
本文考虑分散组合最优化问题。我们提出了一种新的分散方差减少近似梯度算法框架,称为PMGT-VR,它是基于多种技术的组合,包括多共识,梯度跟踪和方差减少。所提出的框架依赖于模仿集中式算法,我们证明了在这个框架下的算法实现收敛速度类似于他们的集中式同行。我们还描述和分析了两种代表性算法:PMGT-SAGA和PMGT-LSVRG,并将它们与现有的最先进的邻近算法进行比较。据我们所知,PMGT-VR是第一个线性收敛的分散随机算法,可以解决分散复合最优化问题。数值实验证明了算法的有效性。
2021-06-05 cs.AI math.OC
Variance Reduction for Sequential Sampling in Stochastic Programming
本文研究了用于随机规划序贯抽样的方差缩减技术--对立变量(AV)和拉丁超立方抽样(LHS),并给出了计算比较。给出了具有AV和LHS的序贯抽样满足有限停止保证和渐近有效的条件,并详细讨论了LHS。它计算比较它们的使用顺序和非顺序设置通过一组两阶段的随机线性规划具有不同的特点。数值结果表明,虽然AV和LHS可以优选随机抽样在任何一种设置,LHS通常占主导地位的非顺序设置,同时执行良好的顺序和AV获得一些优势,在顺序设置。这些结果意味着,鉴于这些方差减少技术的实施容易,配备了相同的理论属性和改进的经验性能相对于随机抽样,AV和LHS顺序程序在实践中提出了有吸引力的替代品一类随机程序。
2020-10-16 math.OC stat.ME
MARS: Unleashing the Power of Variance Reduction for Training Large Models
University of California, Los Angeles(加州大学洛杉矶分校)
针对现有方差缩减方法难以有效用于大模型训练的问题,本文提出统一优化框架MARS,通过缩放随机递移动量技术结合预条件梯度方法与方差缩减,在GPT-2训练中性能显著优于AdamW。
2025-09-04 cs.LG math.OC stat.ML
Adaptive Optimization via Momentum on Variance-Normalized Gradients
MVN-Grad通过动量优化变分归一化梯度,在稳定性和性能上优于Adam等优化器,适用于图像分类和语言模型任务。
2026-08-18 cs.LG math.OC
Multi-Level Composite Stochastic Optimization via Nested Variance Reduction
本文考虑多层复合最优化问题,其中复合中的每一个映射都是随机光滑映射族或有限个光滑映射之和的期望.我们提出了一个归一化的近似梯度(NPAG)方法,其中近似梯度是通过嵌套的随机方差减少。为了找到一个近似的平稳点,其梯度映射的期望范数小于$ε$,我们的方法的总样本复杂度在期望情况下是$O(ε^{-3})$,在有限和情况下是$O(N+\sqrt{N}ε^{-2})$,其中$N$是所有组合水平上的函数总数。此外,我们的总样本复杂度对组合水平的数量的依赖是多项式的,而不是指数在以前的工作。
2021-05-10 math.OC stat.ML
Federated Random Reshuffling with Compression and Variance Reduction
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
随机重排(RR)是随机梯度下降(SGD)的一种变体,采用无替换采样,是一种非常流行的方法,用于通过经验风险最小化来训练监督机器学习模型。由于其优越的实用性能,它是嵌入式的,通常在标准机器学习软件中设置为默认值。在FedRR的名称下,这种方法最近被证明适用于联邦学习(Mishchenko等人,2021年),与当地新元等常见基准相比,表现更佳。受此发展的启发,我们设计了三个新的算法来进一步提高FedRR:压缩FedRR和两个方差减少扩展:一个用于驯服的方差来自洗牌和其他驯服的方差由于压缩。用于压缩的方差减小机制允许我们消除对压缩参数的依赖,并且应用由Malinovsky等人引入的用于随机重排的附加受控线性扰动。(2021)有助于消除最优方差。我们提供了第一次分析压缩本地方法的标准假设下,没有有界梯度假设和异构数据,克服了压缩算子的局限性。我们证实了我们的理论结果与实验合成和真实的数据集。
2022-05-10 cs.LG math.OC
Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization
Johns Hopkins University(约翰斯·霍普金斯大学)
针对传统锚点类加速方法因误差累积无法直接用于随机求根的问题,提出双锚点加速机制,在无方差缩减、固定批量规模下实现了对应复杂度,强单调场景下接近下界。
2026-08-13 cs.LG math.OC
A Unified Framework for Stochastic Matrix Factorization via Variance Reduction
National University of Singapore(新加坡国立大学)
我们提出了一个统一的框架,以加快现有的随机阵分解(SMF)算法,通过减少方差。我们的框架是一般的,它包括几个著名的SMF配方在文献中。我们进行了非渐近收敛分析我们的框架,并得出计算和样本的复杂性,我们的算法收敛到一个$ε$ -平稳点的期望。此外,广泛的SMF配方类的广泛实验表明,我们的框架始终产生更快的收敛和更准确的输出字典相对于国家的最先进的框架。
2017-05-22 cs.LG math.OC stat.ML
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah(犹他大学);University at Buffalo(布法罗大学)
Greedy-GQ是一种基于值的强化学习(RL)算法,用于最优控制。最近,有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样,该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ(VR-Greedy-GQ)算法。特别地,该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下,研究了VR-Greedy-GQ的有限时间收敛性,并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是,我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能,以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park(马里兰大学帕克分校);United States Naval Academy(美国海军学院)
方差缩减(VR)方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降(SGD)的性能。然而,当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算(使用整个数据集)。这限制了VR方法在实际分布式环境中的使用。在本文中,我们提出了一种方差降低方法,称为VR-lite,不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种,可扩展的,保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法,并发现我们提出的算法表现良好,其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney(悉尼大学)
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法,包括R-SVRG和R-SRG/R-SPIDER。我们表明,这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下,有限和在线设置。因此,我们还提供了更简单的收敛性分析R-SVRG和有限和设置下,提高R-SRG的复杂性界限。具体来说,我们证明了R-SRG实现了相同的接近最优的复杂性,R-SPIDER,而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah(犹他大学)
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法,采用动量和方差减少技术已经开发的组成优化。然而,这些算法没有充分利用这两种技术来加速收敛,并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献,用于非凸组合优化。特别是,我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外,我们的算法实现了接近最优的样本复杂度的结果,在非凸有限和和在线组合优化,并实现了梯度优势条件下的线性收敛速度。数值实验表明,我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
On stochastic mirror descent with interacting particles: convergence properties and variance reduction
一个开放的问题,在优化与噪声信息是一个确切的极小值是独立的噪声量的计算。随机逼近算法中的标准实践是使用递减步长。然而,这导致收敛较慢。第二种选择是使用固定的步长并运行算法的独立副本并对它们求平均值。第三种选择是运行算法的副本并允许它们交互。目前还不清楚哪种选择效果最好。为了解决这个问题,我们减少了一个确切的极小值与噪声梯度信息的计算问题的随机镜像下降与相互作用的粒子的研究。我们研究了随机镜像下降的收敛性,并明确了通信和方差减少之间的权衡。我们提供的理论和数值证据表明,相互作用有助于提高收敛性和减少方差的估计。
2020-11-05 math.OC stat.ML
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities(明尼苏达大学双城分校);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学)
针对基数约束下的稀疏学习问题,提出了一种随机方差缩减优化算法。充分条件下,该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明,我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代,优化大规模机器学习问题成为一项具有挑战性的任务,并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近,解耦异步近似随机梯度下降(DAP-SGD)被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者,因此,服务器只需要进行元素操作。但由于随机梯度的方差不为零,该算法收敛速度较慢。本文提出了一种更快的方法,解耦异步近似随机方差降低梯度下降方法(DAP-SVRG)。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验,结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology(东京工业大学);Japan Science and Technology Agency(日本科学技术振兴机构)
我们考虑一个复合凸最小化问题与正则化的经验风险最小化,这经常出现在机器学习。本文提出了两种新的随机梯度法,它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法,因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外,我们的方法有理论支持的强和非强凸正则化,并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所);Department of Computer Science, University of Rochester(计算机科学系)
本文提出一种随机近点法,通过方差缩减和概率增强技术,在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
Training Structured Neural Networks Through Manifold Identification and Variance Reduction
Academia Sinica(中央研究院)
本文提出了一种训练神经网络的算法(RMDA),该算法中引入了一个正则化项来提升期望的结构。RMDA不会引起额外的计算与动量近端SGD,并实现方差减小,而不需要的目标函数是有限和形式。通过从非线性优化流形识别的工具,我们证明,经过有限次迭代,所有的迭代RMDA具有所需的结构相同的正则化诱导的渐近收敛的稳定点,即使在存在的工程技巧,如数据增强和辍学,复杂的训练过程。训练神经网络与结构稀疏的实验证实,方差减少是必要的,这样的识别,并表明RMDA因此显着优于现有的方法,这项任务。对于非结构化稀疏性,RMDA也优于最先进的修剪方法,验证了通过正则化训练结构化NN的好处。
2022-03-18 cs.LG math.OC stat.ML
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST(卡塔尔科技大学)
本文提出Rennala MVR算法,通过基于动量的方差缩减技术,在异构系统中改进时间复杂度,验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications(电气通信大学);Tokyo University of Science(东京理科大学)
随机方差缩减算法最近变得流行,用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法(R-SQN-VR)。平均,添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下,我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下,该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
Dissipativity Theory for Accelerating Stochastic Variance Reduction: A Unified Analysis of SVRG and Katyusha Using Semidefinite Programs
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
近年来,在求解凸有限和问题的随机规划算法中,减小梯度估计方差的技术受到了广泛的关注。通过利用耗散性理论从控制,我们提供了一个新的视角两个重要的方差减少算法:SVRG和它的直接加速变种喀秋莎。我们的观点提供了一个物理直观的理解SVRG类方法的行为,通过能量守恒的原则。这里讨论的工具,使我们能够自动化的SVRG类方法的收敛性分析,通过捕捉他们的基本性质,在小的半定程序服从标准的分析和计算技术。我们的方法恢复现有的SVRG和喀秋莎的收敛结果,并将理论推广到其他参数的选择。我们还讨论了我们的方法如何补充线性耦合技术。我们的观点相结合,导致更好地理解有限和问题的加速方差减少随机方法。
2018-06-10 cs.LG math.OC stat.ML
On Unified Adaptive Black-Litterman Mean-Variance Portfolio Management
Questrom School of Business, Boston University(波士顿大学奎斯特隆商学院);National Tsing Hua University(国立清华大学)
提出一种结合因子观点生成、Black-Litterman后验估计、EWMA协方差估计和均值-方差优化的统一自适应投资组合管理框架,通过动态滑动窗口根据实现波动率调整估计周期,在十年实证中优于无BL观点的动态均值-方差优化并增强下行风险控制。
2026-05-30 math.OC q-fin.CP q-fin.PM
Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization
Duke University(杜克大学);Tsinghua University(清华大学)
像SVRG这样的方差缩减技术为优化凸有限和目标提供了简单快速的算法。对于非凸目标,这些技术也可以找到一阶稳定点(具有小梯度)。然而,在非凸优化中,找到一个二阶稳定点(具有小梯度和几乎PSD Hessian)通常是至关重要的。在本文中,我们表明,稳定SVRG(SVRG的一个简单的变种)可以找到一个$ε$ -二阶平稳点,仅使用$\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$随机梯度。据我们所知,这是SVRG简单变体的第一个二阶保证。运行时间几乎匹配已知的保证寻找$ε$ -一阶平稳点。
2019-05-01 cs.LG math.OC stat.ML
Stochastic Zeroth-order Optimization via Variance Reduction method
The University of Sydney(悉尼大学);University of California, Davis(加州大学戴维斯分校)
无导数优化已经成为机器学习中用于优化黑盒模型的重要技术。为了在不显式计算梯度的情况下进行更新,大多数当前方法迭代地从高斯分布中采样随机搜索方向,并计算沿该方向的估计梯度。然而,由于搜索方向的变化,现有方法的收敛速度和查询复杂度受到$d$的影响,其中$d$是问题维度。在本文中,我们介绍了一种新的随机零阶方法与方差减少高斯平滑(SZVR-G),并建立了优化非凸问题的复杂性。随着样本空间和搜索空间的方差减少,我们的算法的复杂性是次线性的$d$,严格优于目前的方法,在光滑和非光滑的情况下。此外,我们将所提出的方法扩展到小批量版本。我们的实验结果表明,所提出的方法优于现有的无导数优化技术的性能。此外,我们成功地将我们的方法应用于对深度神经网络进行通用黑盒攻击,并给出了一些有趣的结果。
2018-08-02 cs.LG math.OC stat.ML
Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top
MBZUAI(穆罕默德·本·扎耶德人工智能大学);MIPT(莫斯科物理技术学院);Mila & UdeM(米拉研究所与蒙特利尔大学);KAUST(阿卜杜拉国王科技大学)
由于协作学习和联邦学习的兴趣日益增长,拜占庭鲁棒性已经获得了很多关注。然而,许多富有成效的方向,如使用方差减少实现鲁棒性和通信压缩,以减少通信成本,仍然在该领域的薄弱探索。这项工作解决了这个差距,并提出了Byz-VR-MARINA -一个新的拜占庭宽容的方法,减少方差和压缩。我们的论文的一个关键信息是,方差减少是更有效地打击拜占庭工人的关键。同时,通信压缩是一个额外的好处,使该过程更有效的通信。我们得到理论上的收敛保证Byz-VR-MARINA优于以前的国家的最先进的一般非凸和Polyak-Lojasiewicz损失函数。不像并发拜占庭强大的方法与方差减少和/或压缩,我们的复杂性的结果是紧密的,不依赖于限制性的假设,如有界的梯度或有限的压缩。此外,我们提供了第一次分析的拜占庭宽容的方法,支持非均匀采样的随机梯度。数值实验证实了我们的理论研究结果。
2023-03-08 cs.DC cs.LG math.OC
Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
University of Washington(华盛顿大学);University of Wisconsin(威斯康星大学)
针对含闭合凸不确定性集的惩罚分布式鲁棒优化(DRO)问题,提出随机原对偶算法Drago,结合循环与随机组件及正则化原更新实现对偶方差减少,在强凸-强凹DRO问题上获线性收敛速率,数值基准验证了理论结果。
2025-02-11 cs.LG math.OC stat.ML
Accelerated Stochastic ADMM with Variance Reduction
Computer Science Institute, Zhejiang University(浙江大学计算机学院);Department of Respiratory Diseases, The First Affiliated Hospital, College of Medicine Zhejiang University(浙江大学医学院附属第一医院呼吸科)
本文提出了一种加速的随机ADMM算法,结合方差减少技术,实现更快的收敛速度,并理论分析其收敛率,证明其对光滑常数的依赖是最佳的。
2023-04-23 cs.NA math.NA math.OC
Policy Gradient Optimal Correlation Search for Variance Reduction in Monte Carlo simulation and Maximum Optimal Transport
Sorbonne Université(索邦大学)
本文提出用深度神经网络结合策略梯度与强化学习搜索最优路径相关性,以降低随机微分方程蒙特卡洛估计的方差,并建立其与最大最优传输的联系。
2023-09-15 cs.LG math.OC stat.ML
MARS-M: When Variance Reduction Meets Matrices
Department of Computer Science, University of California, Los Angeles, CA, USA(计算机科学系,加州大学洛杉矶分校)
MARS-M通过结合MARS的方差减少技术与Muon,实现了更高效的优化收敛速度和更优的训练性能。
2026-01-29 cs.LG math.OC stat.ML