Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park（马里兰大学学院市分校）
随机梯度下降（SGD）已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而，SGD具有两个主要缺点：（i）噪声梯度更新具有高方差，这在迭代接近最优时减慢了收敛，以及（ii）SGD在分布式设置中的扩展性差，通常随着工人数量的增加而经历快速降低的边际效益。在本文中，我们提出了一种高度并行的方法，CentralVR，它使用错误校正来减少SGD梯度更新的方差，并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度，可证明的线性收敛速度，并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较，发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
Variance Reduced Stochastic Proximal Algorithm for AUC Maximization
University of Pennsylvania（宾夕法尼亚大学）
随机梯度下降已经被广泛研究，分类精度作为一个性能指标。然而，当使用不可分解的成对性能度量时，这些随机算法不能直接使用，例如ROC曲线下面积（AUC），这是类不平衡时的常见性能度量。已经提出了几种算法来优化AUC作为性能指标，最近的一个是随机近端梯度算法（SPAM）。但随机方法的缺点是，他们遭受高方差导致收敛速度较慢。为了解决这个问题，已经提出了几种方差缩减方法，其收敛保证比香草随机梯度下降更快。同样，当使用不可分解的性能测量时，这些方差减小的方法不直接适用。在本文中，我们开发了一个方差减少随机邻近算法的AUC最大化（\textsc{VRSPAM}），并进行了理论分析以及实证分析表明，我们的算法收敛速度比SPAM，这是以前的状态，最先进的AUC最大化问题。
2020-12-04 cs.LG stat.ML
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich（苏黎世联邦理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
随机梯度下降（SGD）是机器学习中的主力，但其缓慢的收敛可能是计算瓶颈。方差减少技术，如SAG，SVRG和SAGA已被提出来克服这一弱点，实现线性收敛。然而，这些方法要么基于枢轴点处的全梯度的计算，要么基于在存储器中保持每个数据点的校正。因此，相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法，这在瞬态优化阶段提供了优势。作为副产品，我们提供了一个统一的收敛性分析的方差减少算法，我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Communication-Efficient Distributed Optimization in Networks with Gradient Tracking and Variance Reduction
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
人们对大规模机器学习和分散网络优化的兴趣越来越大，例如在多智能体学习和联邦学习的背景下。由于迫切需要减轻通信负担，通信高效的分布式优化算法的研究-特别是经验风险最小化-近年来蓬勃发展。这些算法中的很大一部分是为主/从设置开发的，依赖于可以与所有代理通信的中央参数服务器。本文重点研究网络上的分布式优化，或分散优化，其中每个代理只允许从其邻居聚集信息。通过适当地调整全局梯度估计，通过局部平均结合适当的校正，我们开发了一种通信有效的近似牛顿型方法网络DANE，它将DANE推广到分散的场景。我们的关键思想可以系统地应用于获得其他主/从分布式算法的分散版本。一个值得注意的发展是Network-SVRG/SARAH，它采用方差减少来进一步加速本地计算。我们建立了线性收敛的网络DANE和网络SVRG的强凸损失，和网络SARAH的二次损失，揭示了数据的均匀性，网络连接，和局部平均后的收敛速度的影响。我们进一步扩展网络DANE复合优化，允许非光滑的惩罚项。数值证据表明，我们的算法在竞争力的基线，在通信和计算效率方面的吸引人的性能。我们的工作表明，每次迭代执行一定数量的本地通信和计算可以大大提高整体效率。
2020-08-31 cs.LG math.OC stat.ML
Variance-Reduced Methods for Machine Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等电信学院LTCI实验室）；University of British Columbia（英属哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）；Inria - PSL Research University（法国国家信息与自动化研究所-巴黎文理研究大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
随机优化是机器学习的核心，其基石是随机梯度下降（SGD），这是一种60多年前引入的方法。在过去的8年里，我们看到了一个令人兴奋的新发展：随机优化方法的方差缩减（VR）。这些VR方法在允许不止一次通过训练数据的设置中表现出色，在理论和实践中实现了比SGD更快的收敛。这些加速强调了人们对VR方法的兴趣激增，以及关于这一主题的工作的快速增长。这篇评论涵盖了有限数据集优化VR方法背后的关键原则和主要发展，针对非专家读者。我们主要集中在凸设置，并留下指针的读者感兴趣的扩展最小化非凸函数。
2020-10-02 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems
我们开发了一种新的单循环方差缩减算法来解决一类涉及非凸线性目标函数的随机非凸-凸Minimax问题，该问题在机器学习和鲁棒优化等不同领域有着广泛的应用。这类问题由于其非光滑性、非凸性、非线性和目标函数的不可分离性而具有若干计算挑战。我们的方法依赖于最近的想法，包括平滑和混合偏方差减少技术的新组合。我们的算法和它的变种可以实现$\mathcal{O}(T^{-2/3})$ -收敛速度和最佳已知的预言复杂度在标准的假设下，其中$T$是迭代计数器。与现有的方法相比，它们具有一些计算上的优势，例如简单的实现和较少的参数调整要求。他们也可以与单样本或小批量的衍生估计，并与恒定或递减步长。我们通过两个数值例子，包括一个非光滑和非凸-非强凹极大极小模型，证明了我们的算法优于现有方法的优点。
2020-10-26 math.OC stat.ML
Variance-Reduced Fast Operator Splitting Methods for Generalized Equations
本文提出两种方差缩减快速算子分裂方法（FBS和BFS）求解广义方程，结合加速算子分裂与方差缩减技术，兼容共亚单调算子，实现了$\mathcal{O}(1/k^2)$等收敛速率及已知的最佳预言机复杂度界。
2025-08-12 math.OC stat.ML
Riemannian stochastic variance reduced gradient on Grassmann manifold
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
本文提出了一种在紧凑流形搜索空间中扩展欧几里得随机方差缩减梯度算法的黎曼扩展方法，针对格拉斯曼流形进行研究，解决了多个梯度的平均、加法和减法问题，并在不同步长下分析了算法的收敛性。
2017-04-09 cs.LG cs.NA math.NA
New Bounds For Distributed Mean Estimation and Variance Reduction
IST Austria（奥地利科学技术学院）；IIT Bombay（印度理工学院孟买分校）；NeuralMagic
我们考虑分布式均值估计（DME）的问题，其中$n$机器每个都被赋予一个本地$d$维向量$x_v \in \mathbb{R}^d$，并且必须合作来估计它们的输入$μ= \frac 1n\sum_{v = 1}^n x_v$的均值，同时最小化总通信成本。DME是分布式机器学习中的一个基本构造，并且已经有相当多的工作在这个问题的变体上，特别是在并行SGD中随机梯度的分布式方差减少的上下文中。以前的工作通常假设上界的范数的输入向量，并实现在此范数方面的误差界。然而，在许多实际应用中，输入向量集中在正确的输出$μ$周围，但$μ$本身具有大范数。在这种情况下，以前的输出误差界限表现不佳。本文证明了输出误差界不需要依赖于输入范数。我们提供了一种量化方法，它允许分布式均值估计与解决方案的质量只依赖于输入之间的距离，而不是输入范数进行，并显示一个类似的结果分布方差减少。该技术是基于一个新的连接与晶格理论。我们还提供了下界表明，我们的算法的通信错误权衡是渐近最优的。由于在$\ell_2$ -范数下实现最优边界的格在计算上是不切实际的，我们还提出了一个扩展，该扩展利用了易于使用的立方格，并且仅在$d$中松散到对数因子。我们的实验表明，我们的方法产生实际的改进，为常见的应用程序，相对于以前的方法。
2021-04-07 cs.DC cs.LG stat.ML
Variance Reduced Local SGD with Lower Communication Complexity
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
为了加速机器学习模型的训练，分布式随机梯度下降（SGD）及其变体已被广泛采用，其并行应用多个工人以加速训练。其中，Local SGD因其较低的通讯成本而备受关注。然而，当工作者上的数据分布不相同时，本地SGD需要$O(T^{\frac{3}{4}} N^{\frac{3}{4}})$通信来维护其\emph{linear iteration speedup}属性，其中$T$是迭代的总数，$N$是工作者的数量。在本文中，我们提出了方差减少本地SGD（VRL-SGD），以进一步降低通信复杂性。从理论上证明了VRL-SGD算法消除了对工人间梯度方差的依赖，即使工人访问不同的数据集，也能以较低的通信复杂性度$O(T^{\frac{1}{2}} N^{\frac{3}{2}})$实现\emph{linear iteration speedup}.我们在三个机器学习任务上进行了实验，实验结果表明，当工人之间的数据非常多样化时，VRL-SGD的性能比Local SGD好得多。
2019-12-30 cs.DC cs.LG math.OC
Stochastic Variance Reduced Riemannian Eigensolver
Institute for Infocomm Research（资讯通信研究院）；A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
研究了矩阵特征分解的随机黎曼梯度算法。最先进的随机黎曼算法要求学习率衰减到零，因此收敛速度慢，解不理想。在本文中，我们解决这个问题，部署方差减少（VR）技术的随机梯度下降（SGD）。该技术最初是为了解决欧氏空间中的凸问题而开发的。我们将其推广到黎曼流形上，并将其实现为求解非凸特征分解问题。我们是第一个提出和分析的推广SVRG黎曼流形。具体来说，我们提出了一般的方差减少形式，SVRRG，在随机黎曼梯度优化的框架。然后，专门针对该问题的特征值求解器，并推出SVRG-EIGS算法。我们提供了一个新的和优雅的理论分析，该算法。理论表明，在黎曼环境下，可以使用固定的学习率，并保证指数全局收敛率。理论结果与已有研究相比有了显著的改进，并通过实证验证了其有效性.
2016-05-27 cs.LG stat.ML
Variance-Reduced Proximal Stochastic Gradient Descent for Non-convex Composite optimization
本文提出非凸复合优化的方差缩减近端随机梯度下降方法，证明其在非凸情况下能以O(1/ε)迭代收敛至 stationary 点，优于随机梯度下降。
2016-09-11 cs.LG cs.NA math.NA
Variance-Reduced Stochastic Learning under Random Reshuffling
UCLA（加州大学洛杉矶分校）；Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑））
几个有用的方差减少的随机梯度算法，如SVRG，SAGA，RANTO，和SAG，已被提出来最小化经验风险与线性收敛性能的确切的最小值。现有的收敛结果假设均匀的数据采样与替换。然而，它已被观察到在相关的作品中，随机重排可以提供优越的性能，均匀采样，然而，没有正式的证据或保证的精确收敛存在方差减少算法随机重排。本文有两个贡献。首先，它解决了这个开放的问题，并提供了第一个理论保证的线性收敛下随机改组SAGA的参数也适用于其他方差减少算法。其次，在随机重排下，本文提出了一种新的摊销方差降低梯度（AVRG）算法，与SAGA相比具有恒定的存储需求，与SVRG相比具有平衡的梯度计算。AVRG也被解析地示出为线性收敛。
2018-02-16 cs.LG math.OC stat.ML
A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information
Kyoto University（京都大学）
在本文中，我们考虑通过引入目标函数的曲率信息来改进随机方差降低梯度（SVRG）方法。我们建议使用计算效率高的Barzilai-Borwein（BB）方法将其纳入SVRG，以减少随机梯度的方差。我们还将BB-步长作为其变体。我们证明了它的线性收敛定理，不仅适用于所提出的方法，但也适用于其他现有的变种SVRG与二阶信息。在基准数据集上进行的数值实验表明，在某些测试问题上，该方法在恒定步长下的性能优于现有的方差缩减方法.
2022-08-23 cs.LG math.OC stat.ML
Reducing Noise in GAN Training with Variance Reduced Extragradient
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Idiap（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Element AI（Element AI公司）
我们研究了随机梯度噪声对生成对抗网络（GANs）训练的影响，并表明它可以阻止标准游戏优化方法的收敛，而批量版本收敛。我们解决这个问题，一个新的随机方差减少的超梯度（SVRE）优化算法，这是一个大类的游戏，提高了以前的收敛速度在文献中提出的。根据经验，我们观察到SVRE在MNIST上的执行类似于批处理方法，同时计算成本更低，并且SVRE在标准数据集上产生更稳定的GAN训练。
2020-06-25 cs.LG math.OC stat.ML
Variance-reduced $Q$-learning is minimax optimal
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
我们介绍并分析了一种形式的方差减少$Q$学习。对于具有有限状态空间$\mathcal{X}$和有限动作空间$\mathcal{U}$的$γ$折扣MDP，我们证明了在$\ell_\infty$ -范数下，使用$\mathcal{O} \left(\left(\frac{D}{ ε^2 (1-γ)^3} \right) \; \log \left( \frac{D}{(1-γ)} \right) \right)$样本，得到最优$Q$ -函数的$ε$ -精确估计，其中$D = |\mathcal{X}| \times |\mathcal{U}|$ .这个保证匹配已知的极小极大下界，直到折扣复杂度的对数因子。相比之下，我们过去的工作表明，普通的$Q$ -学习的折扣复杂度的最坏情况下的四次缩放。
2019-08-08 cs.LG math.OC stat.ML
Stochastic Variance-Reduced ADMM
Hong Kong University of Science and Technology（香港科技大学）
交替方向乘子法（ADMM）是机器学习中一种有效的优化求解方法。最近，随机ADMM已经与随机梯度的方差缩减方法相结合，导致SAG-ADMM和SDCA-ADMM具有快速收敛速度和低迭代复杂度。但是，它们的空间要求仍然很高。在本文中，我们提出了一个集成的ADMM与随机方差约减梯度（SVRG）的方法。与SCAS-ADMM不同的是，该算法保留了SAG-ADMM和SDCA-ADMM的快速收敛优点，但其存储要求非常低，甚至与样本大小$n$无关。我们还将所提出的方法推广到非凸问题，并得到了$O(1/T)$的收敛速度。实验结果表明，该算法与SAG-ADMM和SDCA-ADMM一样快，比SCAS-ADMM快得多，并且可以用于更大的数据集。
2016-10-16 cs.LG math.OC stat.ML
Distributed Stochastic Optimization under a General Variance Condition
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究针对分布式随机优化算法理论依赖强梯度有界条件、数据异质性刻画难的问题，在温和方差条件下证明了FedAvg和SCAFFOLD的收敛性，并提出更具信息量的数据异质性度量方式。
2023-12-14 cs.LG math.OC stat.ML
History-Gradient Aided Batch Size Adaptation for Variance Reduced Algorithms
The Ohio State University（俄亥俄州立大学）；University of Utah（犹他大学）；Southern University of Science and Technology（南方科技大学）
方差缩减算法虽然在理论上取得了很好的性能，但由于大批量数据的周期性梯度估计，在实际应用中运行缓慢。因此，批量大小自适应出现作为一个有前途的方法来加速这样的算法。然而，现有的计划要么应用规定的批量大小的自适应规则或利用沿优化路径的信息，通过额外的回溯和条件验证步骤。在本文中，我们提出了一种新的计划，它消除了回溯线搜索，但仍然利用沿优化路径的信息，通过调整批量大小通过历史随机梯度。我们进一步从理论上表明，这种方案大大降低了流行的方差减少算法SVRG和SARAH/SPIDER的整体复杂性，为传统的非凸优化和强化学习问题。为此，我们开发了一个新的收敛分析框架，以处理历史随机梯度的批量大小的依赖。大量的实验验证了所提出的批量大小自适应计划的有效性。
2020-07-27 cs.LG math.OC stat.ML
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
非凸极大极小问题经常出现在新兴的机器学习应用中，例如生成对抗网络和对抗学习。简单的算法，如梯度下降上升（GDA）是解决这些非凸博弈的常见做法，并获得了大量的经验成功。然而，已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中，我们证明了，对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式，交替梯度下降上升（AGDA）算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法，达到一个可证明的速度比AGDA时，问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Variance Reduced Coordinate Descent with Acceleration: New Method With a Surprising Application to Finite-Sum Problems
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一个加速版本的随机方差减少坐标下降- ASVRCD。与SEGA或SVRCD等其他方差减少的坐标下降法一样，我们的方法可以处理包括不可分离和非光滑正则化子的问题，同时在每次迭代中仅访问随机块的偏导数。然而，ASVRCD结合了Nesterov的动量，它提供了优于SEGA和SVRCD的迭代复杂度保证。作为我们理论的一个副产品，我们证明了Allen-Zhu（2017）的一个变体是ASVRCD的一个特定案例，恢复了有限和目标的最佳预言复杂度。
2020-02-11 cs.LG math.OC
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
尽管策略梯度方法取得了成功，但它们的梯度估计方差很高，这可能导致样本复杂度不令人满意。最近，许多方差减少扩展的策略梯度方法已被提出，证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查，一些主要的方差减少REINFORCE型方法，我们提出了概率梯度估计策略梯度（PAGE-PG），一种新的无环方差减少策略梯度方法的基础上，两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发，并利用重要性采样来获得无偏梯度估计。我们发现，PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案，它匹配的样本复杂度，其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Riemannian stochastic variance reduced gradient algorithm with retraction and vector transport
Kyoto University（京都大学）；The University of Electro-Communications（电气通信大学）；Microsoft（微软）
近年来，随机方差缩减算法在最小化大量但有限数量的损失函数的平均值方面引起了相当大的关注。本文提出了一种新的黎曼扩展的欧氏随机方差约化梯度（R-SVRG）算法的流形搜索空间。通过收缩和矢量传输解决了对多个梯度进行平均、相加和相减的关键挑战。对于所提出的算法，我们提出了一个全局收敛性分析与衰减的步长，以及一个局部收敛速度分析与一个固定的步长下，一些自然的假设。此外，将该算法应用于对称正定流形上的黎曼质心计算问题以及Grassmann流形上的主成分分析和低秩矩阵完备化问题.结果表明，该算法优于标准的黎曼随机梯度下降算法在每种情况下。
2019-05-31 cs.LG math.OC stat.ML
Sampling and Update Frequencies in Proximal Variance-Reduced Stochastic Gradient Methods
Lund University（隆德大学）
方差缩减随机梯度法近年来得到了广泛的应用。存在几种变体，具有不同的梯度存储和采样策略，这项工作涉及这两个方面之间的相互作用。我们提出了一种通用的邻近方差-约化梯度法，并在强凸性假设下对其进行了分析。该算法的特殊情况包括SAGA，L-SVRG及其近端变体。我们的分析揭示了历元长度的选择以及平衡迭代收敛与梯度存储频率的需要。该分析改善了文献中发现的其他收敛速度，并产生了一个新的和更快的收敛采样策略SAGA。预测率与实际率相同的问题实例与基于现实世界数据的问题一起提出。
2022-10-18 cs.LG math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
Sample Complexity of Variance-reduced Distributionally Robust Q-learning
Stanford University（斯坦福大学）；New York University（纽约大学）
本文提出分布鲁棒Q学习及其方差缩减版本，用于在分布偏移下学习鲁棒策略，并首次证明其样本复杂度上界与模糊集大小无关，为鲁棒强化学习提供了新的理论保证。
2024-09-04 cs.LG math.OC stat.ML
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Variance-Reduced Stochastic Learning by Networked Agents under Random Reshuffling
University of California, Los Angeles（加州大学洛杉矶分校）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
在\cite{ying2017convergence}中提出了一种新的摊销方差缩减梯度（AVRG）算法，与SAGA相比，该算法具有恒定的存储需求，而与SVRG相比，该算法具有平衡的梯度计算。AVRG策略的一个关键优势是它对分散实现的顺从性。在这项工作中，我们展示了如何AVRG可以扩展到网络的情况下，假设多个学习代理连接的图形拓扑结构。在这种情况下，每个代理观察空间分布的数据，并且所有代理仅允许与直接邻居通信。此外，各个代理观察到的数据量可能会有很大差异。在这种情况下，AVRG的平衡梯度计算特性在减少由不平衡的本地数据存储需求引起的空闲时间方面成为真正的优势，这是其他降低方差梯度算法的特征。所得到的扩散-AVRG算法被证明具有线性收敛到精确解，并且比其他替代算法的内存效率高得多。此外，我们提出了一个小批量策略，以平衡的通信和计算效率的扩散AVRG。当采用适当的批量大小时，在模拟中观察到扩散-AVRG比精确扩散或EXTRA在计算上更有效，同时保持几乎相同的通信效率。
2018-05-29 cs.LG math.OC stat.ML
Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions
Department of Statistics and Operations Research（统计与运筹学系）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Hanes Hall, UNC-Chapel Hill, NC 27599-3260（UNC-教堂山分校318号哈尼斯楼，NC 27599-3260）
本文提出新的方差减少技术用于前向-反射-后向分裂方法，解决可能非单调的随机复合包含物问题。设计新框架处理无偏和有偏估计器，证明无偏估计器收敛率和有偏估计器的Oracle复杂度。
2026-09-10 cs.LG math.OC stat.ML
MURANA: A Generic Framework for Stochastic Variance-Reduced Optimization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一个通用的方差减少算法，我们称之为多重随机化算法（MURANA），最小化的几个光滑函数加上正则化，在一个顺序或分布式的方式。我们的方法是制定与一般的随机算子，这使我们能够模拟各种策略，以减少计算复杂性。例如，MURANA支持梯度的稀疏激活，并且还通过压缩更新向量来减少通信负载。这种多功能性使MURANA能够在一个统一的框架内涵盖许多现有的随机化机制，这也使得设计新方法成为可能。
2023-03-06 cs.LG math.OC
Minimal-Variance Distributed Deadline Scheduling
许多现代的服务器可以动态地调整其服务容量以匹配传入的工作负载。然而，与此同时，服务能力的不可预测性和不稳定性往往造成业务和基础设施费用。在本文中，我们寻求最佳分布式算法的特点，最大限度地提高可预测性，稳定性，或两者兼而有之时，调度作业的最后期限。具体来说，我们表明，精确调度最大限度地减少了固定的平均值和方差的服务能力，严格的需求和截止日期的要求。对于更一般的设置，我们的特点是最小方差分布式政策的软需求的要求，软期限的要求，或两者兼而有之。最佳分布式政策的性能相比，最佳的集中式政策，通过推导出封闭形式的界限，并通过测试集中式和分布式算法，使用实际数据从加州理工学院的电动汽车充电设施和许多件的合成数据从不同的到达分布。此外，我们推导出的Pareto-最优性条件的分布式政策，平衡方差和均方的服务能力。最后，我们讨论了一个可扩展的部分集中式算法，使用集中的信息，以提高性能和一种方法来处理缺失的服务需求信息。
2020-05-10 math.OC
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles（加州大学洛杉矶分校）
我们重新审视了Papini等人（2018）提出的用于强化学习的随机方差降低策略梯度（SVRPG）方法。我们提供了一个改进的SVRPG的收敛性分析，并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是（i）重要性采样权重的方差的更严格的上限，其中我们证明方差可以通过不同策略之间的参数距离来控制;以及（ii）对历元长度和批量大小参数进行细粒度分析，以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Variance-Reduced Off-Policy TDC Learning: Non-Asymptotic Convergence Analysis
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
本文针对离策略设定下的双时间尺度TDC算法提出方差缩减方案，分析了其在i.i.d.和马尔可夫样本下的非渐近收敛速率，在两种设定下分别达到匹配最佳下界和接近最优的样本复杂度，且实验表明其渐近收敛误差更小。
2023-05-22 cs.LG math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中，我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度，从而得到[2]中引入的相同动量-SARAH估计。与[7]相比，这允许我们每次迭代节省一个随机梯度，并且每次迭代只需要两个样本。我们的算法是非常简单的，并实现了最佳的随机预言复杂性界的随机梯度评价（一个常数因子）。我们的分析基本上受到[7]的启发，但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York（纽约市哥伦比亚大学）
本文针对无模型LQR问题，提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法，将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Princeton University（普林斯顿大学）
凸组合优化是一个新兴的课题，涵盖了随机最优控制，强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构，存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法，其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$，其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Hybrid Acceleration Scheme for Variance Reduced Stochastic Optimization Algorithms
随机方差缩减的最优化方法具有全局收敛性，但存在局部收敛慢的问题，特别是当需要中精度或高精度时。为了缓解这个问题，我们提出了一个优化算法-我们称之为一个混合加速计划-一类近似方差减少随机最优化算法。所提出的优化方案结合了快速局部收敛的算法，如拟牛顿法，与全局收敛的方差减少的随机算法，如SAGA或L-SVRG。我们的混合加速方法的整体收敛结果是基于特定的保障条件，需要满足一个步骤的局部快速收敛的方法被接受。我们证明了由混合加速方案产生的迭代序列几乎必然收敛到底层最优化问题的解。我们还提供了数值实验，显示显着改善的收敛性的混合加速计划相比，基本的随机方差减少优化算法。
2021-11-12 math.OC
Some Unified Theory for Variance Reduced Prox-Linear Methods
本文为复合非凸非光滑优化中的方差缩减近端线性方法建立统一收敛理论，仅需算子范数假设，提供高概率保证并允许不精确近端计算。
2025-10-14 math.OC
Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
具有开放协作的分布式优化是一个热门领域，因为它为小型团体/公司/大学和个人提供了共同解决大规模问题的机会。然而，标准优化算法在这种设置中是脆弱的，因为可能存在所谓的拜占庭工作者-参与者可以发送（有意或无意）不正确的信息，而不是协议规定的信息（例如，发送反梯度而不是随机梯度）。因此，设计分布式方法的问题与可证明的鲁棒性拜占庭工人最近受到了很多关注。特别是，一些作品认为一个非常有前途的方式来实现拜占庭宽容，通过利用方差减少和强大的聚合。现有的方法使用SAGA-和SARAH-型方差减少估计，而另一种流行的估计- SVRG -没有研究的背景下拜占庭鲁棒性。在这项工作中，我们填补了这方面的空白，在文献中，并提出了一种新的方法-拜占庭鲁棒无环随机方差约简梯度（BR-LSVRG）。我们推导出非渐近收敛保证的新方法在强凸的情况下，并比较其性能与现有的方法在数值实验。
2023-03-08 cs.LG math.OC
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近，得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
Divergence Results and Convergence of a Variance Reduced Version of ADAM
Industrial Engineering and Management Sciences, Northwestern University, Evanston, IL, USA, 60201（工业工程与管理科学，西北大学，伊利诺伊州埃文斯顿，60201）
本文提出了一种方差减少的ADAM变体，证明其在方差减少条件下收敛，解决了原始ADAM在特定问题上的发散问题。
2026-01-29 cs.LG math.OC
Cocoercivity, Smoothness and Bias in Variance-Reduced Stochastic Gradient Methods
为了研究方差缩减的随机梯度法中的有偏更新问题，我们引入了SVAG，一种具有可调偏差的SAG/SAGA类方法。SVAG的分析在一个cocoercive寻根设置，设置产生相同的结果，在通常的光滑凸优化设置为普通的近端梯度法。我们表明，同样是不正确的SVAG时，使用有偏见的更新。当操作符是梯度时的步长要求与当它们不是梯度时相比明显更少限制。这强调了在分析用于优化的方差缩减方法时，不需要仅仅依赖于协整性。我们的分析匹配或改进以前已知的SAG和SAGA的收敛条件。然而，在有偏见的情况下，他们仍然不符合实际经验，因此，我们研究的偏见数值上的一组分类问题的影响。偏置的选择似乎主要影响收敛的早期阶段，在大多数情况下，差异消失在收敛的后期阶段。然而，在一些情况下，偏见选择的影响仍然很大。
2022-02-01 math.OC stat.ML
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，局部SGD算法在分布式学习领域得到了广泛的研究，以克服分布式学习中的通信瓶颈问题。然而，本地SGD的优越性，minibatch SGD只在相当有限的情况下举行。本文研究了一种新的求解非凸分布优化问题的局部算法--偏差方差缩减局部SGD（Bias-Variance Reduced Local SGD，BVR-L-SGD）。从理论上讲，我们提出的偏差和方差减少的局部梯度估计器充分利用了局部目标的二阶异质性，并建议随机选取一个局部模型，而不是在工人同步时取其平均值。理论上，在局部目标的异质性较小的情况下，我们证明了BVR-L-SGD在温和的条件下比以前的非局部方法和局部方法具有更好的通信复杂性，特别是BVR-L-SGD是第一个在异质性较小和局部计算预算较大的情况下，突破一般非凸光滑目标通信复杂性度$Θ(1/\varepsilon)$障碍的方法.数值结果验证了理论结果，并给出了经验证据的优越性，我们的方法。
2021-06-14 cs.LG math.OC
Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）；National Institute of Informatics（日本国家信息学研究所）
在本文中，我们提出了一种新的充分减少技术的随机方差减少梯度下降方法，如SVRG和SAGA。为了使随机最优化得到充分的降阶，设计了一个新的充分降阶准则，该准则产生了SVRG-SD和SAGA-SD等随机方差降阶算法的充分降阶版本。我们引入一个系数来衡量当前回归的尺度，并满足充分减少性，它决定了收缩、扩张甚至向相反方向移动，然后给出了Lasso和岭回归的两个具体的系数更新规则.此外，我们分析了我们的算法的收敛性强凸问题，这表明我们的算法达到线性收敛速度。对于非强凸问题，我们也给出了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2018-02-26 cs.DS cs.LG math.OC
Distributed stochastic gradient tracking algorithm with variance reduction for non-convex optimization
针对一般光滑非凸有限和优化问题，提出了一种方差缩减的分布式随机算法，该算法在信号处理和机器学习领域有着广泛的应用.在分布式环境中，大量的样本个数被分配给网络中的多个代理。每个智能体计算局部随机梯度，并与其邻居进行通信，以寻求全局最优值。在本文中，我们开发了一种改进的方差缩减技术来处理随机梯度引入的方差。结合梯度跟踪和方差缩减技术，提出了一种求解多智能体网络上大规模非凸有限和优化问题的分布式随机算法GT-VR。证明了GT-VR算法以$O(\frac{1}{k})$收敛速度收敛到一阶稳定点。此外，我们提供了所提出的算法的复杂性分析。与现有的一些一阶方法相比，该算法在一定的条件下具有较低的$\mathcal{O}(PMε^{-1})$梯度复杂度。通过仿真实验比较了现有算法和GT-VR算法，验证了该算法的有效性。
2021-07-22 cs.DC math.OC
Accelerating Variance-Reduced Stochastic Gradient Methods
方差缩减是改善随机梯度下降算法缓慢收敛的重要工具。然而，只有少数方差减少的方法，尚未被证明直接受益于Nesterov的加速技术，以匹配加速梯度法的收敛速度。这种方法依赖于“负动量”，一种用于进一步降低方差的技术，通常专用于SVRG梯度估计器。在这项工作中，我们表明，负动量是不必要的加速和开发一个通用的加速框架，允许所有流行的方差减少的方法，以实现加速的收敛速度。出现在这些速率中的常数，包括它们对函数$n$的数量的依赖，与梯度估计的均方误差和偏差成比例。在一系列的数值实验中，我们证明，版本的SAGA，SVRG，SARAH，和SARGE使用我们的框架显着优于非加速版本，并比较有利的算法使用负动量。
2020-10-29 math.OC
Stochastic Distributed Learning with Gradient Quantization and Variance Reduction
我们考虑分布式优化，其中目标函数分布在不同的设备中，每个设备向中央服务器发送增量模型更新。为了缓解通信瓶颈，最近的工作提出了各种方案来压缩（例如，稀疏化或稀疏化）梯度，从而引入可能减慢收敛的附加方差$ω\geq 1$。对于条件数$κ$分布在$n$机上的强凸函数，我们（i）给出了一个以$\mathcal{O}((κ+ κ\fracω{n} + ω)$ $\log (1/ε))$步收敛到最优解邻域的方案.对于目标函数的有限和结构，每个工人有少于$m$组件，我们（ii）提出了新的方差减少计划，收敛在$\mathcal{O}((κ+ κ\fracω{n} + ω+ m)\log(1/ε))$步骤任意精度$ε> 0$。这些是实现任意量化更新的线性收敛的第一种方法。我们还（iii）分析了弱凸和非凸的情况下，（iv）在实验中验证，我们的新的方差减少计划比基线更有效。
2019-04-10 math.OC
SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum Cocoercive Variational Inequalities
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center, Adyghe State University（阿迪格国立大学高加索数学中心）
本文研究随机有限和余强制变分不等式，提出基于SARAH方差缩减的算法，并证明其在强单调问题上具有线性收敛性，实验验证了方法的实用性。
2022-10-12 cs.LG math.OC
Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
Machine Learning and Optimization Laboratory (MLO), EPFL（机器学习与优化实验室（MLO），EPFL）
本文提出了一种统一框架，用于分析随机和方差减少的立方牛顿方法，提供了全局复杂性保证，并改进了大规模问题的计算效率。
2026-10-09 cs.LG math.OC
Decentralized Stochastic Variance Reduced Extragradient Method
Fudan University（复旦大学）；Xi’an Jiaotong University（西安交通大学）
本文研究了分散凸-凹极小极大最优化问题的形式$\min_x\max_y f(x,y) \triangleq\frac{1}{m}\sum_{i=1}^m f_i(x,y)$，其中$m$是代理的数目，每个局部函数可以写成$f_i(x,y)=\frac{1}{n}\sum_{j=1}^n f_{i,j}(x,y)$ .我们提出了一种新的分散优化算法，称为多共识随机方差减少的外梯度，它实现了最有名的随机一阶预言（SFO）的复杂性为这个问题。具体地说，每个Agent要求$\mathcal O((n+κ\sqrt{n})\log(1/\varepsilon))$ SFO调用强凸-强凹问题，$\mathcal O((n+\sqrt{n}L/\varepsilon)\log(1/\varepsilon))$ SFO调用一般凹凸问题，以获得期望中的$\varepsilon$ -精确解，其中$κ$是条件数，$L$是光滑参数.数值实验表明，该方法的性能优于基线。
2022-02-13 cs.LG math.OC
