A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates
The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
近年来，在随机方差约化梯度方法的研究中取得了令人兴奋的进展（例如，SVRG，SAGA），它们的加速变体（例如，喀秋莎）以及它们在许多不同环境中的扩展（例如，在线、稀疏、异步、分布式）。其中，加速方法具有改进的收敛速度，但具有复杂的耦合结构，这使得它们难以扩展到更多的设置（例如，稀疏和异步）。在本文中，我们介绍了一个简单的随机方差减少算法（MiG），它享有最好的已知的强凸和非强凸问题的收敛速度。此外，我们还提出了其有效的稀疏和异步的变种，并从理论上分析其收敛速度在这些设置。最后，广泛的实验，各种机器学习问题，如逻辑回归，以说明在串行和异步设置的实际改进。
2018-06-28 cs.LG stat.ML
Variance-Reduced Off-Policy TDC Learning: Non-Asymptotic Convergence Analysis
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
本文针对离策略设定下的双时间尺度TDC算法提出方差缩减方案，分析了其在i.i.d.和马尔可夫样本下的非渐近收敛速率，在两种设定下分别达到匹配最佳下界和接近最优的样本复杂度，且实验表明其渐近收敛误差更小。
2023-05-22 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Princeton University（普林斯顿大学）
凸组合优化是一个新兴的课题，涵盖了随机最优控制，强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构，存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法，其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$，其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Variance reduced Shapley value estimation for trustworthy data valuation
Virginia Tech（弗吉尼亚理工大学）；China Aerospace Academy of Systems Science and Engineering（中国航天系统科学与工程研究院）；Southern University of Science and Technology（南方科技大学）
针对数据估值中排列采样算法方差过大的问题，提出基于分层采样的方差缩减数据 Shapley（VRDS）方法，并从理论上分析了其分层策略与样本复杂度，实验证明其在多类数据集和数据移除应用中有效。
2023-05-22 cs.LG stat.ML
Communication-efficient Variance-reduced Stochastic Gradient Descent
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑的通信效率的分布式优化问题，多个节点交换重要的算法信息，在每次迭代，以解决大的问题。特别是，我们专注于随机方差降低梯度，并提出了一种新的方法，使其通信效率。也就是说，我们将通信信息压缩到几个比特，同时保持原始未压缩算法的线性收敛速度。通过对真实数据集的理论分析和数值计算表明，该算法可以显著降低通信复杂性，降低幅度高达95%，且几乎没有明显的损失.此外，它是更强大的量化（在保持真正的最小值和收敛速度方面）比最先进的算法解决分布式优化问题。我们的研究结果对于在物联网和移动网络上使用机器学习具有重要意义。
2020-03-10 cs.DC cs.LG
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong（香港中文大学）
近年来，许多方差缩减的随机交替方向乘子法（ADMM）方法（例如，SAG-ADMM、SDCA-ADMM和SVRG-ADMM）在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而，一般凸问题的最佳已知收敛速度是O（1/T），而加速批处理算法的收敛速度是O（1/T^2），其中$T$是迭代次数。因此，现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距，我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM（SVRG-ADMM），这导致了加速（ASVRG-ADMM）方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外，还将一般凸问题的收敛速度从O（1/T）提高到O（1/T^2）。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在最近的集中式非凸分布式学习和联邦学习中，局部方法是减少通信时间的有前途的方法之一。然而，现有的工作主要集中在研究一阶最优性保证。另一方面，二阶最优性保证算法，即，逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD（Bias-Variance Reduced Local Perturbed SGD，BVR-L-PSGD），它将已有的偏差方差降低梯度估计与参数扰动相结合，用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性，但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时，通信复杂性优于非局部方法。在极端情况下，当局部数据集的异质性为零时，通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
2022-10-12 cs.DC cs.LG
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University（浙江大学）
在大数据时代，由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求，具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种，因此在处理这种大数据挑战时效率低下。在本文中，我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究，以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Decentralized Stochastic Variance Reduced Extragradient Method
Fudan University（复旦大学）；Xi’an Jiaotong University（西安交通大学）
本文研究了分散凸-凹极小极大最优化问题的形式$\min_x\max_y f(x,y) \triangleq\frac{1}{m}\sum_{i=1}^m f_i(x,y)$，其中$m$是代理的数目，每个局部函数可以写成$f_i(x,y)=\frac{1}{n}\sum_{j=1}^n f_{i,j}(x,y)$ .我们提出了一种新的分散优化算法，称为多共识随机方差减少的外梯度，它实现了最有名的随机一阶预言（SFO）的复杂性为这个问题。具体地说，每个Agent要求$\mathcal O((n+κ\sqrt{n})\log(1/\varepsilon))$ SFO调用强凸-强凹问题，$\mathcal O((n+\sqrt{n}L/\varepsilon)\log(1/\varepsilon))$ SFO调用一般凹凸问题，以获得期望中的$\varepsilon$ -精确解，其中$κ$是条件数，$L$是光滑参数.数值实验表明，该方法的性能优于基线。
2022-02-13 cs.LG math.OC
Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑的随机组合优化问题提出的\cite{wang2017stochastic}，它的应用范围从估计到统计和机器学习。我们提出了第一个基于ADMM的算法com-SVR-ADMM，并证明了com-SVR-ADMM对强凸和Lipschitz光滑目标线性收敛，并且具有$O( \log S/S)$的收敛速度，当目标是凸和Lipschitz光滑时，它改进了\cite{wang2016accelerating}的$O(S^{-4/9})$速度.此外，当目标为凸但不具有Lipschitz光滑性时，com-SVR-ADMM具有$O(1/\sqrt{S})$的速率.我们还进行了实验，并表明它优于现有的算法。
2017-05-22 cs.LG stat.ML
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题，分析了随机复合方差约化梯度（SCVRG）方法. SCVRG及其变体最近因其优于随机成分梯度下降（SCGD）而引起了广泛关注;但理论分析仅假设目标的强凸性，排除了几个重要的例子，如Lasso，逻辑斯谛回归，主成分分析和深度神经网络。相比之下，我们证明了非渐近增量的一阶预言（IFO）复杂性SCVRG或其新的变种非光滑凸组合优化，并表明它们是可证明的速度比SCGD和梯度下降。更具体地说，我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$，提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降（AGD）。实验结果证实，我们的方法优于几个现有的方法，例如，稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Stochastic Variance-Reduced ADMM
Hong Kong University of Science and Technology（香港科技大学）
交替方向乘子法（ADMM）是机器学习中一种有效的优化求解方法。最近，随机ADMM已经与随机梯度的方差缩减方法相结合，导致SAG-ADMM和SDCA-ADMM具有快速收敛速度和低迭代复杂度。但是，它们的空间要求仍然很高。在本文中，我们提出了一个集成的ADMM与随机方差约减梯度（SVRG）的方法。与SCAS-ADMM不同的是，该算法保留了SAG-ADMM和SDCA-ADMM的快速收敛优点，但其存储要求非常低，甚至与样本大小$n$无关。我们还将所提出的方法推广到非凸问题，并得到了$O(1/T)$的收敛速度。实验结果表明，该算法与SAG-ADMM和SDCA-ADMM一样快，比SCAS-ADMM快得多，并且可以用于更大的数据集。
2016-10-16 cs.LG math.OC stat.ML
Stochastic variance reduced extragradient methods for solving hierarchical variational inequalities
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机学研究所）；Mannheim University（曼海姆大学）；Technion - Israel Institute of Technology（以色列理工学院）
本文提出了一种随机方差减少外梯度法，用于求解分层变分不等式问题，首次证明了该方法在欧几里得和Bregman设置下的收敛速率和复杂性。
2026-02-13 cs.GT cs.LG math.OC
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种新的随机增量梯度算法，即方差减少加速梯度（Varag），有限和优化。配备了一个统一的步长政策，调整自己的值的条件数，瓦拉格表现出统一的最优收敛速度，直接解决光滑凸有限和问题，而不管他们的强凸性。此外，Varag是第一个加速的随机增量梯度法，受益于数据保真度项的强凸性，以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率，解决了广泛的一类问题，只满足一定的误差界条件，而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking -- Part II: GT-SVRG
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
分散随机最优化最近受益于梯度跟踪方法\cite{DSGT_Pu,DSGT_Xin}，为大规模经验风险最小化问题提供了有效的解决方案。在第一部分\cite{GT_SAGA}这项工作中，我们开发的\textbf{\texttt{GT-SAGA}}是基于一个分散的实施SAGA \cite{SAGA}使用梯度跟踪和讨论制度的实际利益，其中\textbf{\texttt{GT-SAGA}}优于现有的分散的方法在本地梯度计算的总数。在本文中，我们描述了\textbf{\texttt{GT-SVRG}}，它开发了一个分散的梯度跟踪为基础的SVRG \cite{SVRG}，另一个著名的方差减少技术的实现。我们表明，\textbf{\texttt{GT-SVRG}}的收敛速度与\textbf{\texttt{GT-SAGA}}的光滑和强凸函数相匹配，并突出了两种算法在各种设置之间的不同权衡。
2019-12-10 cs.LG math.OC
Beyond Bounded Variance: Variance-Reduced Normalized Methods for Nonconvex Optimization under Blum-Gladyshev Noise
School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）
本文研究了在Blum-Gladyshev噪声模型下非凸随机优化问题，提出了一种规范化动量随机梯度下降方法，证明其在该噪声下具有O(ε^{-6})的收敛率，并进一步研究了方差缩减的规范化STORM方法，实现了最优复杂度。
2026-05-14 cs.LG math.OC
A Momentum-Based Variance-Reduced Algorithm for Federated Multiobjective Optimization
College of Mathematics and Statistics, Chongqing Jiaotong University（重庆交通大学数学与统计学院）；School of Science, RMIT University（皇家墨尔本理工大学理学院）；School of Mathematics, Yunnan Normal University（云南师范大学数学学院）
针对联邦多目标优化问题，提出融入动量驱动梯度估计器的方差缩减算法，其收敛速率优于现有方法，经基准实验验证有效。
2026-08-25 cs.LG math.OC
Zeroth-Order Stochastic Variance Reduction for Nonconvex Optimization
MIT-IBM Watson AI Lab（麻省理工学院-IBM Watson人工智能实验室）；IBM Research（IBM研究）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
随着零阶（无梯度）优化的应用需求加速，对方差减小和更快收敛方法的需求也在加剧。本文通过以下方式解决这些挑战：a）方差降低零阶（ZO）优化的全面理论分析，b）一种新的方差降低ZO算法，称为ZO-SVRG，以及c）在两个引人注目的应用程序，黑盒化学材料分类和黑盒深度神经网络模型生成对抗性示例的背景下对我们的方法进行实验评估。我们的理论分析揭示了一个基本的困难，在分析ZO-SVRG：无偏假设梯度估计不再成立。我们证明了，相比于它的一阶对应，ZO-SVRG与两点随机梯度估计可能会遭受额外的错误顺序$O(1/b)$，其中$b$是小批量大小。为了减轻这种错误，我们提出了两个加速版本的ZO-SVRG利用方差降低梯度估计，实现最佳速率已知的ZO随机优化（在迭代方面）。我们广泛的实验结果表明，我们的方法优于其他国家的最先进的ZO算法，并取得了收敛速度和函数查询复杂度之间的平衡。
2018-06-07 cs.LG stat.ML
Guaranteed Sufficient Decrease for Variance Reduced Stochastic Gradient Descent
The Chinese University of Hong Kong（香港中文大学）；National Institute of Informatics（国立信息学研究所）；Preferred Infrastructure, Inc.（Preferred Infrastructure公司）
在本文中，我们提出了一种新的充分减少技术的方差减少随机梯度下降方法，如SAG，SVRG和SAGA。为了使随机优化问题得到充分的降阶，我们设计了一个新的充分降阶准则，该准则产生了SVRG-SD和SAGA-SD等方差降阶算法的充分降阶版本。我们引入一个系数来缩放当前向量，并满足充分减少性质，决定收缩、扩张或向相反方向移动，然后给出Lasso和岭回归的两个具体的系数更新规则。此外，我们分析了我们的算法的收敛性强凸问题，这表明我们的算法达到线性收敛速度。我们还为非强凸问题提供了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2017-06-04 cs.LG math.OC stat.ML
Linear Convergence of Variance-Reduced Stochastic Gradient without Strong Convexity
University of Michigan（密歇根大学）
本文提出Prox-SVRG和VRPSG算法，证明在无强凸性条件下，这些算法在约束和正则化问题中实现线性收敛，引入Semi-Strongly Convex不等式作为关键理论贡献。
2015-07-10 cs.LG cs.NA math.NA
Stochastic Variance Reduced Riemannian Eigensolver
Institute for Infocomm Research（资讯通信研究院）；A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
研究了矩阵特征分解的随机黎曼梯度算法。最先进的随机黎曼算法要求学习率衰减到零，因此收敛速度慢，解不理想。在本文中，我们解决这个问题，部署方差减少（VR）技术的随机梯度下降（SGD）。该技术最初是为了解决欧氏空间中的凸问题而开发的。我们将其推广到黎曼流形上，并将其实现为求解非凸特征分解问题。我们是第一个提出和分析的推广SVRG黎曼流形。具体来说，我们提出了一般的方差减少形式，SVRRG，在随机黎曼梯度优化的框架。然后，专门针对该问题的特征值求解器，并推出SVRG-EIGS算法。我们提供了一个新的和优雅的理论分析，该算法。理论表明，在黎曼环境下，可以使用固定的学习率，并保证指数全局收敛率。理论结果与已有研究相比有了显著的改进，并通过实证验证了其有效性.
2016-05-27 cs.LG stat.ML
Riemannian stochastic variance reduced gradient algorithm with retraction and vector transport
Kyoto University（京都大学）；The University of Electro-Communications（电气通信大学）；Microsoft（微软）
近年来，随机方差缩减算法在最小化大量但有限数量的损失函数的平均值方面引起了相当大的关注。本文提出了一种新的黎曼扩展的欧氏随机方差约化梯度（R-SVRG）算法的流形搜索空间。通过收缩和矢量传输解决了对多个梯度进行平均、相加和相减的关键挑战。对于所提出的算法，我们提出了一个全局收敛性分析与衰减的步长，以及一个局部收敛速度分析与一个固定的步长下，一些自然的假设。此外，将该算法应用于对称正定流形上的黎曼质心计算问题以及Grassmann流形上的主成分分析和低秩矩阵完备化问题.结果表明，该算法优于标准的黎曼随机梯度下降算法在每种情况下。
2019-05-31 cs.LG math.OC stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich（苏黎世联邦理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
随机梯度下降（SGD）是机器学习中的主力，但其缓慢的收敛可能是计算瓶颈。方差减少技术，如SAG，SVRG和SAGA已被提出来克服这一弱点，实现线性收敛。然而，这些方法要么基于枢轴点处的全梯度的计算，要么基于在存储器中保持每个数据点的校正。因此，相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法，这在瞬态优化阶段提供了优势。作为副产品，我们提供了一个统一的收敛性分析的方差减少算法，我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）；National Institute of Informatics（日本国家信息学研究所）
在本文中，我们提出了一种新的充分减少技术的随机方差减少梯度下降方法，如SVRG和SAGA。为了使随机最优化得到充分的降阶，设计了一个新的充分降阶准则，该准则产生了SVRG-SD和SAGA-SD等随机方差降阶算法的充分降阶版本。我们引入一个系数来衡量当前回归的尺度，并满足充分减少性，它决定了收缩、扩张甚至向相反方向移动，然后给出了Lasso和岭回归的两个具体的系数更新规则.此外，我们分析了我们的算法的收敛性强凸问题，这表明我们的算法达到线性收敛速度。对于非强凸问题，我们也给出了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2018-02-26 cs.DS cs.LG math.OC
Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions
Department of Statistics and Operations Research（统计与运筹学系）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Hanes Hall, UNC-Chapel Hill, NC 27599-3260（UNC-教堂山分校318号哈尼斯楼，NC 27599-3260）
本文提出新的方差减少技术用于前向-反射-后向分裂方法，解决可能非单调的随机复合包含物问题。设计新框架处理无偏和有偏估计器，证明无偏估计器收敛率和有偏估计器的Oracle复杂度。
2026-09-10 cs.LG math.OC stat.ML
Riemannian stochastic variance reduced gradient on Grassmann manifold
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
本文提出了一种在紧凑流形搜索空间中扩展欧几里得随机方差缩减梯度算法的黎曼扩展方法，针对格拉斯曼流形进行研究，解决了多个梯度的平均、加法和减法问题，并在不同步长下分析了算法的收敛性。
2017-04-09 cs.LG cs.NA math.NA
Variance-Reduced Methods for Machine Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等电信学院LTCI实验室）；University of British Columbia（英属哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）；Inria - PSL Research University（法国国家信息与自动化研究所-巴黎文理研究大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
随机优化是机器学习的核心，其基石是随机梯度下降（SGD），这是一种60多年前引入的方法。在过去的8年里，我们看到了一个令人兴奋的新发展：随机优化方法的方差缩减（VR）。这些VR方法在允许不止一次通过训练数据的设置中表现出色，在理论和实践中实现了比SGD更快的收敛。这些加速强调了人们对VR方法的兴趣激增，以及关于这一主题的工作的快速增长。这篇评论涵盖了有限数据集优化VR方法背后的关键原则和主要发展，针对非专家读者。我们主要集中在凸设置，并留下指针的读者感兴趣的扩展最小化非凸函数。
2020-10-02 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Boosting Randomized Smoothing with Variance Reduced Classifiers
ETH Zurich（苏黎世联邦理工学院）
随机平滑（RS）是一种很有前途的方法，用于通过在噪声下评估基础模型来获得鲁棒性证书。在这项工作中，我们：（i）从理论上激发为什么合奏是一个特别合适的选择作为RS的基础模型，和（ii）经验上确认这一选择，获得国家的最先进的结果，在多种设置。我们工作的关键见解是，在RS中引入的扰动上的集合方差的减少导致对给定输入的分类显著更一致。这又导致接近决策边界的样本的可认证半径显著增加。此外，我们引入了关键的优化，使高达55倍的减少样本复杂性的RS预定半径，从而大大降低了计算开销。在实验中，我们发现，只有3到10个分类器的集合在CIFAR10和ImageNet上的平均认证半径（ACR）方面始终提高了5%到21%，分别达到了0.86和1.11的最新ACR。我们在https://github.com/eth-sri/smoothing-ensembles上发布复制我们的结果所需的所有代码和模型。
2022-03-30 cs.AI cs.CV cs.LG
Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients
University of Michigan（密歇根大学）
本文提出结合部分二阶信息的方差缩减随机牛顿算法Mb-SVRN，证明当数据量足够大时，该方法能在很宽的小批量范围内实现独立于批量大小的快速线性收敛，显著提升了可扩展性与鲁棒性。
2024-04-23 cs.LG math.OC stat.ML
Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference
Shanghai Jiao Tong University（上海交通大学）；New York University（纽约大学）
本文提出了一种高效的分布式推理算法，该算法对拜占庭节点的中等比例是鲁棒的，即分布式学习系统中的任意和可能的对抗机器。在稳健统计中，均值中值（median-of-means，简写为MEN）由于其易于实现和计算效率而成为对冲拜占庭故障的流行方法。然而，该估计量在统计效率方面存在不足。本文的第一个主要贡献是提出了一个方差缩减均值估计（VRSTO），它提高了统计效率比香草估计，是计算效率的计算。基于所提出的VRNTR估计，我们开发了一个通用的分布式推理算法，对拜占庭故障是强大的。从理论上讲，我们的分布式算法实现了一个快速的收敛速度，只有一个恒定的通信轮数。我们还提供了渐近正态性的结果，统计推断的目的。据我们所知，这是拜占庭鲁棒分布学习设置中的第一个正态结果。仿真结果也说明了我们的方法的有效性。
2021-03-04 cs.LG stat.ME stat.ML
Estimate Sequences for Variance-Reduced Stochastic Composite Optimization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
本文通过推广Nesterov提出的估计序列的概念，提出了随机凸复合优化的基于梯度的算法的统一观点。这个观点涵盖了随机梯度下降法，SAGA，SVRG方法的变体，并具有几个优点：（i）我们提供了一个通用的收敛性证明上述方法;（ii）我们表明，这种SVRG变体是适应强凸性;（iii）我们自然地获得新的算法具有相同的保证;（iv）我们推导出通用策略，使这些算法对随机噪声具有鲁棒性，这在数据被小的随机扰动破坏时是有用的。最后，我们表明，这种观点是有用的，以获得新的加速算法的Nesterov的意义。
2019-05-07 cs.LG math.OC stat.ML
Variance-Reduced Proximal Stochastic Gradient Descent for Non-convex Composite optimization
本文提出非凸复合优化的方差缩减近端随机梯度下降方法，证明其在非凸情况下能以O(1/ε)迭代收敛至 stationary 点，优于随机梯度下降。
2016-09-11 cs.LG cs.NA math.NA
Variance Reduced Local SGD with Lower Communication Complexity
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
为了加速机器学习模型的训练，分布式随机梯度下降（SGD）及其变体已被广泛采用，其并行应用多个工人以加速训练。其中，Local SGD因其较低的通讯成本而备受关注。然而，当工作者上的数据分布不相同时，本地SGD需要$O(T^{\frac{3}{4}} N^{\frac{3}{4}})$通信来维护其\emph{linear iteration speedup}属性，其中$T$是迭代的总数，$N$是工作者的数量。在本文中，我们提出了方差减少本地SGD（VRL-SGD），以进一步降低通信复杂性。从理论上证明了VRL-SGD算法消除了对工人间梯度方差的依赖，即使工人访问不同的数据集，也能以较低的通信复杂性度$O(T^{\frac{1}{2}} N^{\frac{3}{2}})$实现\emph{linear iteration speedup}.我们在三个机器学习任务上进行了实验，实验结果表明，当工人之间的数据非常多样化时，VRL-SGD的性能比Local SGD好得多。
2019-12-30 cs.DC cs.LG math.OC
A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对正交约束去中心化优化中样本与通信复杂度高的问题，提出基于免正交约束技术的VRSGT算法，收敛率为O(1/k)，并首次同时降低两种复杂度，在自动驾驶应用中表现优异。
2022-08-29 cs.LG cs.SY eess.SY
A Stochastic Variance Reduced Nesterov's Accelerated Quasi-Newton Method
Shonan Institute of Technology（湘南工科大学）；Shizuoka University（静冈大学）
近年来，结合二阶曲率信息的算法在训练神经网络中变得流行。Nesterov的加速拟牛顿（NAQ）方法通过引入动量项和Nesterov的加速梯度向量，有效地加速了BFGS拟牛顿方法。针对大规模问题的训练，提出了一种随机形式的NAQ方法。然而，这种方法会引起高随机方差噪声。本文提出了一种全记忆形式（SVR-NAQ）和有限记忆形式（SVRLNAQ）的随机方差缩减Nesterov加速拟牛顿法。在Tensorflow中对四个基准问题-两个回归问题和两个分类问题-进行了性能评估。结果表明，改进的性能相比，传统的方法。
2019-10-17 cs.LG stat.ML
Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
Machine Learning and Optimization Laboratory (MLO), EPFL（机器学习与优化实验室（MLO），EPFL）
本文提出了一种统一框架，用于分析随机和方差减少的立方牛顿方法，提供了全局复杂性保证，并改进了大规模问题的计算效率。
2026-10-09 cs.LG math.OC
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们重新审视和改进的收敛性策略梯度（PG），自然PG（NPG）的方法，以及他们的方差减少变种，一般光滑的政策参数化。更具体地说，与政策的Fisher信息矩阵是正定的：i）我们表明，一个国家的最先进的方差减少PG方法，这已经被证明是收敛到平稳点，收敛到全局最优值的一些固有的函数逼近误差，由于政策参数化; ii）我们表明，NPG享有较低的样本复杂性; iii）我们提出了SRVR-NPG，它将方差缩减纳入NPG更新。我们的改进来自于一个观察，即（方差缩减）PG和NPG方法的收敛性可以相互改善：PG的平稳收敛性分析可以应用于NPG，以及和NPG的全局收敛性分析可以帮助建立（方差缩减）PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进，我们也使得NPG的方差减少成为可能，具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
Variance-reduced Domain Adaptation using Paired Sampling
University of Southampton（南安普顿大学）
针对无监督域适应中分布匹配框架损失方差高且缺乏有限和结构的问题，提出PSDA技术，通过在域内和域间配对观测值形成四元组，最小化预期梯度方差，经实验验证该方法能降低方差并提高目标域准确性。
2026-07-23 cs.LG
Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization with Large Batches
Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 华盛顿大学）
针对凸有限和优化问题，提出随机方差缩减牛顿法（SVRN），通过引入方差缩减技术将现有随机牛顿方法的数据遍历复杂度降低 $O(α\log(n))$ 倍，且数据规模越大加速越显著，同时保持了牛顿法易于并行和单位步长的优势。
2025-04-29 cs.LG math.OC stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中，我们被赋予一个目标策略，并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略，使用知识的回报分布的方差。然后，我们介绍了减少方差采样（ReVar）算法，该算法近似的预言机策略时，奖励方差是未知的先验和约束其次优的预言机策略相比。最后，我们经验验证，ReVar导致政策评估的均方误差与Oracle策略相当，并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Federated Learning Using Variance Reduced Stochastic Gradient for Probabilistically Activated Agents
University of California Irvine（加州大学欧文分校）
本文提出一种双层结构的联邦学习算法，结合随机方差缩减梯度（SVRG）进行本地更新，在智能体任意概率被选中的设置下，将收敛速率从 $O(\frac{1}{\sqrt{K}})$ 提升至 $O(\frac{1}{K})$。
2023-04-01 cs.LG
A Variance-Reduced Cubic-Regularized Newton for Policy Optimization
School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）
本文提出VR-CR-PN算法，首次将Hessian辅助的方差缩减与二阶策略优化结合，无需重要性采样即解决分布偏移问题，将样本复杂度降至 $\tilde{\mathcal{O}}(ε^{-3})$，并实现与步长无关的样本复杂度。
2025-07-14 cs.AI cs.LG
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Variance Reduced Coordinate Descent with Acceleration: New Method With a Surprising Application to Finite-Sum Problems
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一个加速版本的随机方差减少坐标下降- ASVRCD。与SEGA或SVRCD等其他方差减少的坐标下降法一样，我们的方法可以处理包括不可分离和非光滑正则化子的问题，同时在每次迭代中仅访问随机块的偏导数。然而，ASVRCD结合了Nesterov的动量，它提供了优于SEGA和SVRCD的迭代复杂度保证。作为我们理论的一个副产品，我们证明了Allen-Zhu（2017）的一个变体是ASVRCD的一个特定案例，恢复了有限和目标的最佳预言复杂度。
2020-02-11 cs.LG math.OC
Unified High-Probability Analysis of Stochastic Variance-Reduced Estimation
School of Electrical and Computer Engineering（电气与计算机工程学院）；Department of Computer Science（计算机科学系）
本文提出一个统一框架，通过递归中的记忆保留、重置概率和迭代移动修正项，分析随机方差缩减估计，推导出高概率界，并改进了随机优化的复杂度。
2026-05-14 cs.LG
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
尽管策略梯度方法取得了成功，但它们的梯度估计方差很高，这可能导致样本复杂度不令人满意。最近，许多方差减少扩展的策略梯度方法已被提出，证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查，一些主要的方差减少REINFORCE型方法，我们提出了概率梯度估计策略梯度（PAGE-PG），一种新的无环方差减少策略梯度方法的基础上，两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发，并利用重要性采样来获得无偏梯度估计。我们发现，PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案，它匹配的样本复杂度，其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds
Politecnico di Milano（米兰理工大学）；Budapest University of Technology and Economics（布达佩斯科技经济大学）；University of Milan（米兰大学）
本文提出防御性策略梯度算法，在无重要性权重方差假设下达到$O(\epsilon^{-3})$样本复杂度，并通过广义黑盒模型下界证明其速率最优，优于普通策略梯度。
2026-10-05 cs.LG
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano（米兰理工大学）；Inria（法国国家信息与自动化研究所）
在本文中，我们提出了一种新的强化学习算法，包括在随机方差减少版本的策略梯度解决马尔可夫决策过程（MDP）。随机方差缩减梯度（SVRG）方法在监督学习中已被证明是非常成功的。然而，它们对策略梯度的适应并不简单，需要考虑I）非凹目标函数; II）全梯度计算中的近似值;以及III）非平稳采样过程。其结果是SVRPG，一种随机方差减少的策略梯度算法，利用重要性权重来保持梯度估计的无偏性。根据标准假设，sumptions上的MDP，我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后，我们建议SVRPG的实际变体，我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Variance-Reduced Stochastic Learning under Random Reshuffling
UCLA（加州大学洛杉矶分校）；Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑））
几个有用的方差减少的随机梯度算法，如SVRG，SAGA，RANTO，和SAG，已被提出来最小化经验风险与线性收敛性能的确切的最小值。现有的收敛结果假设均匀的数据采样与替换。然而，它已被观察到在相关的作品中，随机重排可以提供优越的性能，均匀采样，然而，没有正式的证据或保证的精确收敛存在方差减少算法随机重排。本文有两个贡献。首先，它解决了这个开放的问题，并提供了第一个理论保证的线性收敛下随机改组SAGA的参数也适用于其他方差减少算法。其次，在随机重排下，本文提出了一种新的摊销方差降低梯度（AVRG）算法，与SAGA相比具有恒定的存储需求，与SVRG相比具有平衡的梯度计算。AVRG也被解析地示出为线性收敛。
2018-02-16 cs.LG math.OC stat.ML
