Variance Reduced Stochastic Proximal Algorithm for AUC Maximization
University of Pennsylvania（宾夕法尼亚大学）
随机梯度下降已经被广泛研究，分类精度作为一个性能指标。然而，当使用不可分解的成对性能度量时，这些随机算法不能直接使用，例如ROC曲线下面积（AUC），这是类不平衡时的常见性能度量。已经提出了几种算法来优化AUC作为性能指标，最近的一个是随机近端梯度算法（SPAM）。但随机方法的缺点是，他们遭受高方差导致收敛速度较慢。为了解决这个问题，已经提出了几种方差缩减方法，其收敛保证比香草随机梯度下降更快。同样，当使用不可分解的性能测量时，这些方差减小的方法不直接适用。在本文中，我们开发了一个方差减少随机邻近算法的AUC最大化（\textsc{VRSPAM}），并进行了理论分析以及实证分析表明，我们的算法收敛速度比SPAM，这是以前的状态，最先进的AUC最大化问题。
2020-12-04 cs.LG stat.ML
Riemannian stochastic variance reduced gradient on Grassmann manifold
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
本文提出了一种在紧凑流形搜索空间中扩展欧几里得随机方差缩减梯度算法的黎曼扩展方法，针对格拉斯曼流形进行研究，解决了多个梯度的平均、加法和减法问题，并在不同步长下分析了算法的收敛性。
2017-04-09 cs.LG cs.NA math.NA
A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates
The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
近年来，在随机方差约化梯度方法的研究中取得了令人兴奋的进展（例如，SVRG，SAGA），它们的加速变体（例如，喀秋莎）以及它们在许多不同环境中的扩展（例如，在线、稀疏、异步、分布式）。其中，加速方法具有改进的收敛速度，但具有复杂的耦合结构，这使得它们难以扩展到更多的设置（例如，稀疏和异步）。在本文中，我们介绍了一个简单的随机方差减少算法（MiG），它享有最好的已知的强凸和非强凸问题的收敛速度。此外，我们还提出了其有效的稀疏和异步的变种，并从理论上分析其收敛速度在这些设置。最后，广泛的实验，各种机器学习问题，如逻辑回归，以说明在串行和异步设置的实际改进。
2018-06-28 cs.LG stat.ML
Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-Łojasiewicz Condition
University of British Columbia（不列颠哥伦比亚大学）
1963年，Polyak提出了一个简单的条件，足以证明梯度下降的全局线性收敛速度。这个条件是同年提出的Jasojasiewicz不等式的一个特例，它不需要强凸性（甚至不需要凸性）。在这项工作中，我们表明，这个更古老的Polyak-Jasojasiewicz（PL）不等式实际上比过去25年中已经探索的显示线性收敛速度而没有强凸性的主要条件更弱。我们还使用PL不等式给出新的分析随机和贪婪的坐标下降方法，基于符号的梯度下降方法，和随机梯度方法在经典的设置（减少或不变的步长），以及方差减少设置。我们进一步提出了一个推广，适用于非光滑优化的近似梯度方法，导致这些方法的线性收敛的简单证明。在此过程中，我们给出了机器学习中各种问题的简单收敛结果：最小二乘法，逻辑回归，boosting，弹性反向传播，L1正则化，支持向量机，随机对偶坐标上升和随机方差缩减梯度方法。
2020-09-12 cs.LG math.OC stat.CO
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Variance reduced Shapley value estimation for trustworthy data valuation
Virginia Tech（弗吉尼亚理工大学）；China Aerospace Academy of Systems Science and Engineering（中国航天系统科学与工程研究院）；Southern University of Science and Technology（南方科技大学）
针对数据估值中排列采样算法方差过大的问题，提出基于分层采样的方差缩减数据 Shapley（VRDS）方法，并从理论上分析了其分层策略与样本复杂度，实验证明其在多类数据集和数据移除应用中有效。
2023-05-22 cs.LG stat.ML
Stochastic Variance-Reduced ADMM
Hong Kong University of Science and Technology（香港科技大学）
交替方向乘子法（ADMM）是机器学习中一种有效的优化求解方法。最近，随机ADMM已经与随机梯度的方差缩减方法相结合，导致SAG-ADMM和SDCA-ADMM具有快速收敛速度和低迭代复杂度。但是，它们的空间要求仍然很高。在本文中，我们提出了一个集成的ADMM与随机方差约减梯度（SVRG）的方法。与SCAS-ADMM不同的是，该算法保留了SAG-ADMM和SDCA-ADMM的快速收敛优点，但其存储要求非常低，甚至与样本大小$n$无关。我们还将所提出的方法推广到非凸问题，并得到了$O(1/T)$的收敛速度。实验结果表明，该算法与SAG-ADMM和SDCA-ADMM一样快，比SCAS-ADMM快得多，并且可以用于更大的数据集。
2016-10-16 cs.LG math.OC stat.ML
Sampling and Update Frequencies in Proximal Variance-Reduced Stochastic Gradient Methods
Lund University（隆德大学）
方差缩减随机梯度法近年来得到了广泛的应用。存在几种变体，具有不同的梯度存储和采样策略，这项工作涉及这两个方面之间的相互作用。我们提出了一种通用的邻近方差-约化梯度法，并在强凸性假设下对其进行了分析。该算法的特殊情况包括SAGA，L-SVRG及其近端变体。我们的分析揭示了历元长度的选择以及平衡迭代收敛与梯度存储频率的需要。该分析改善了文献中发现的其他收敛速度，并产生了一个新的和更快的收敛采样策略SAGA。预测率与实际率相同的问题实例与基于现实世界数据的问题一起提出。
2022-10-18 cs.LG math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong（香港中文大学）
近年来，许多方差缩减的随机交替方向乘子法（ADMM）方法（例如，SAG-ADMM、SDCA-ADMM和SVRG-ADMM）在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而，一般凸问题的最佳已知收敛速度是O（1/T），而加速批处理算法的收敛速度是O（1/T^2），其中$T$是迭代次数。因此，现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距，我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM（SVRG-ADMM），这导致了加速（ASVRG-ADMM）方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外，还将一般凸问题的收敛速度从O（1/T）提高到O（1/T^2）。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
A Variance Reduced Stochastic Newton Method
ETH Zürich（苏黎世联邦理工学院）
拟牛顿法在求解凸损失最小化问题中有着广泛的应用。这些方法在各种各样的任务上表现出良好的经验性能，并具有超线性收敛到最优解的特性。对于大规模学习问题，最近提出了随机拟牛顿方法。然而，这些通常仅实现次线性收敛率，并且在实践中没有表现出一贯的良好表现，因为有噪声的Hessian近似会加剧高方差随机梯度估计的影响。在这项工作中，我们提出了Vite，一种新的随机拟牛顿算法，使用现有的一阶技术，以减少这种变化。在不利用具体形式的近似Hessian，我们表明，维特达到最佳的几何速度与恒定的步长时，处理光滑的强凸函数。经验上，我们证明了现有的随机拟牛顿和方差减少随机梯度方法的改进。
2015-06-09 cs.LG
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University（浙江大学）
在大数据时代，由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求，具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种，因此在处理这种大数据挑战时效率低下。在本文中，我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究，以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑的随机组合优化问题提出的\cite{wang2017stochastic}，它的应用范围从估计到统计和机器学习。我们提出了第一个基于ADMM的算法com-SVR-ADMM，并证明了com-SVR-ADMM对强凸和Lipschitz光滑目标线性收敛，并且具有$O( \log S/S)$的收敛速度，当目标是凸和Lipschitz光滑时，它改进了\cite{wang2016accelerating}的$O(S^{-4/9})$速度.此外，当目标为凸但不具有Lipschitz光滑性时，com-SVR-ADMM具有$O(1/\sqrt{S})$的速率.我们还进行了实验，并表明它优于现有的算法。
2017-05-22 cs.LG stat.ML
Guaranteed Sufficient Decrease for Variance Reduced Stochastic Gradient Descent
The Chinese University of Hong Kong（香港中文大学）；National Institute of Informatics（国立信息学研究所）；Preferred Infrastructure, Inc.（Preferred Infrastructure公司）
在本文中，我们提出了一种新的充分减少技术的方差减少随机梯度下降方法，如SAG，SVRG和SAGA。为了使随机优化问题得到充分的降阶，我们设计了一个新的充分降阶准则，该准则产生了SVRG-SD和SAGA-SD等方差降阶算法的充分降阶版本。我们引入一个系数来缩放当前向量，并满足充分减少性质，决定收缩、扩张或向相反方向移动，然后给出Lasso和岭回归的两个具体的系数更新规则。此外，我们分析了我们的算法的收敛性强凸问题，这表明我们的算法达到线性收敛速度。我们还为非强凸问题提供了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2017-06-04 cs.LG math.OC stat.ML
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Riemannian stochastic variance reduced gradient algorithm with retraction and vector transport
Kyoto University（京都大学）；The University of Electro-Communications（电气通信大学）；Microsoft（微软）
近年来，随机方差缩减算法在最小化大量但有限数量的损失函数的平均值方面引起了相当大的关注。本文提出了一种新的黎曼扩展的欧氏随机方差约化梯度（R-SVRG）算法的流形搜索空间。通过收缩和矢量传输解决了对多个梯度进行平均、相加和相减的关键挑战。对于所提出的算法，我们提出了一个全局收敛性分析与衰减的步长，以及一个局部收敛速度分析与一个固定的步长下，一些自然的假设。此外，将该算法应用于对称正定流形上的黎曼质心计算问题以及Grassmann流形上的主成分分析和低秩矩阵完备化问题.结果表明，该算法优于标准的黎曼随机梯度下降算法在每种情况下。
2019-05-31 cs.LG math.OC stat.ML
Variance-Reduced Off-Policy TDC Learning: Non-Asymptotic Convergence Analysis
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
本文针对离策略设定下的双时间尺度TDC算法提出方差缩减方案，分析了其在i.i.d.和马尔可夫样本下的非渐近收敛速率，在两种设定下分别达到匹配最佳下界和接近最优的样本复杂度，且实验表明其渐近收敛误差更小。
2023-05-22 cs.LG math.OC
SGD with Variance Reduction beyond Empirical Risk Minimization
CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）
我们引入了一个双随机邻近梯度算法优化的有限平均光滑凸函数，其梯度依赖于数值昂贵的期望。我们的主要动机是加速正则化Cox偏似然（生存分析中使用的核心模型）的优化，但我们的算法也可以用于不同的设置。所提出的算法是双重随机的，在这个意义上，梯度步骤是使用随机梯度下降（SGD）方差减少，其中内部的期望近似的蒙特卡洛马尔可夫链（MCMC）算法。我们得到了MCMC迭代次数保证收敛的条件，并得到了强凸性下的线性收敛速度和次线性收敛速度。我们说明了这样一个事实，我们的算法提高了国家的最先进的求解器正则化Cox偏似然从生存分析的几个数据集。
2016-11-08 cs.LG stat.ML
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich（苏黎世联邦理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
随机梯度下降（SGD）是机器学习中的主力，但其缓慢的收敛可能是计算瓶颈。方差减少技术，如SAG，SVRG和SAGA已被提出来克服这一弱点，实现线性收敛。然而，这些方法要么基于枢轴点处的全梯度的计算，要么基于在存储器中保持每个数据点的校正。因此，相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法，这在瞬态优化阶段提供了优势。作为副产品，我们提供了一个统一的收敛性分析的方差减少算法，我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Princeton University（普林斯顿大学）
凸组合优化是一个新兴的课题，涵盖了随机最优控制，强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构，存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法，其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$，其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）；National Institute of Informatics（日本国家信息学研究所）
在本文中，我们提出了一种新的充分减少技术的随机方差减少梯度下降方法，如SVRG和SAGA。为了使随机最优化得到充分的降阶，设计了一个新的充分降阶准则，该准则产生了SVRG-SD和SAGA-SD等随机方差降阶算法的充分降阶版本。我们引入一个系数来衡量当前回归的尺度，并满足充分减少性，它决定了收缩、扩张甚至向相反方向移动，然后给出了Lasso和岭回归的两个具体的系数更新规则.此外，我们分析了我们的算法的收敛性强凸问题，这表明我们的算法达到线性收敛速度。对于非强凸问题，我们也给出了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2018-02-26 cs.DS cs.LG math.OC
Stochastic variance reduced extragradient methods for solving hierarchical variational inequalities
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机学研究所）；Mannheim University（曼海姆大学）；Technion - Israel Institute of Technology（以色列理工学院）
本文提出了一种随机方差减少外梯度法，用于求解分层变分不等式问题，首次证明了该方法在欧几里得和Bregman设置下的收敛速率和复杂性。
2026-02-13 cs.GT cs.LG math.OC
Communication-efficient Variance-reduced Stochastic Gradient Descent
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑的通信效率的分布式优化问题，多个节点交换重要的算法信息，在每次迭代，以解决大的问题。特别是，我们专注于随机方差降低梯度，并提出了一种新的方法，使其通信效率。也就是说，我们将通信信息压缩到几个比特，同时保持原始未压缩算法的线性收敛速度。通过对真实数据集的理论分析和数值计算表明，该算法可以显著降低通信复杂性，降低幅度高达95%，且几乎没有明显的损失.此外，它是更强大的量化（在保持真正的最小值和收敛速度方面）比最先进的算法解决分布式优化问题。我们的研究结果对于在物联网和移动网络上使用机器学习具有重要意义。
2020-03-10 cs.DC cs.LG
Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions
Department of Statistics and Operations Research（统计与运筹学系）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Hanes Hall, UNC-Chapel Hill, NC 27599-3260（UNC-教堂山分校318号哈尼斯楼，NC 27599-3260）
本文提出新的方差减少技术用于前向-反射-后向分裂方法，解决可能非单调的随机复合包含物问题。设计新框架处理无偏和有偏估计器，证明无偏估计器收敛率和有偏估计器的Oracle复杂度。
2026-09-10 cs.LG math.OC stat.ML
Variance-Reduced and Projection-Free Stochastic Optimization
Princeton University（普林斯顿大学）
Frank-Wolfe优化算法由于其无投影特性和处理结构化约束的能力，最近在机器学习应用中重新流行起来。然而，在随机学习环境中，与梯度下降对应物相比，它仍然相对研究不足。在这项工作中，利用最近的方差减少技术，我们提出了两个随机弗兰克-沃尔夫变种，大大提高了以前的结果，需要实现$1-ε$精度的随机梯度评估的数量。例如，如果目标函数是光滑的和强凸的，我们从$O(\frac{1}ε)$改进到$O(\ln\frac{1}ε)$，如果目标函数是光滑的和Lipschitz的，我们从$O(\frac{1}{ε^2})$改进到$O(\frac{1}{ε^{1.5}})$。在多类分类应用程序的真实世界数据集上的实验中也观察到了理论上的改进。
2017-09-14 cs.LG
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在最近的集中式非凸分布式学习和联邦学习中，局部方法是减少通信时间的有前途的方法之一。然而，现有的工作主要集中在研究一阶最优性保证。另一方面，二阶最优性保证算法，即，逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD（Bias-Variance Reduced Local Perturbed SGD，BVR-L-PSGD），它将已有的偏差方差降低梯度估计与参数扰动相结合，用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性，但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时，通信复杂性优于非局部方法。在极端情况下，当局部数据集的异质性为零时，通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
2022-10-12 cs.DC cs.LG
Decentralized Stochastic Variance Reduced Extragradient Method
Fudan University（复旦大学）；Xi’an Jiaotong University（西安交通大学）
本文研究了分散凸-凹极小极大最优化问题的形式$\min_x\max_y f(x,y) \triangleq\frac{1}{m}\sum_{i=1}^m f_i(x,y)$，其中$m$是代理的数目，每个局部函数可以写成$f_i(x,y)=\frac{1}{n}\sum_{j=1}^n f_{i,j}(x,y)$ .我们提出了一种新的分散优化算法，称为多共识随机方差减少的外梯度，它实现了最有名的随机一阶预言（SFO）的复杂性为这个问题。具体地说，每个Agent要求$\mathcal O((n+κ\sqrt{n})\log(1/\varepsilon))$ SFO调用强凸-强凹问题，$\mathcal O((n+\sqrt{n}L/\varepsilon)\log(1/\varepsilon))$ SFO调用一般凹凸问题，以获得期望中的$\varepsilon$ -精确解，其中$κ$是条件数，$L$是光滑参数.数值实验表明，该方法的性能优于基线。
2022-02-13 cs.LG math.OC
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题，分析了随机复合方差约化梯度（SCVRG）方法. SCVRG及其变体最近因其优于随机成分梯度下降（SCGD）而引起了广泛关注;但理论分析仅假设目标的强凸性，排除了几个重要的例子，如Lasso，逻辑斯谛回归，主成分分析和深度神经网络。相比之下，我们证明了非渐近增量的一阶预言（IFO）复杂性SCVRG或其新的变种非光滑凸组合优化，并表明它们是可证明的速度比SCGD和梯度下降。更具体地说，我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$，提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降（AGD）。实验结果证实，我们的方法优于几个现有的方法，例如，稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；New York University（纽约大学）；Princeton University（普林斯顿大学）
本文针对随机零阶反馈下的强凸且二阶光滑函数优化问题，首次建立了极小极大简单遗憾的紧致上下界，并提出一种结合引导阶段与镜像下降阶段的算法，通过精确刻画球面采样梯度估计器实现最优偏差-方差权衡。
2024-06-28 cs.IT cs.LG math.IT
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking -- Part II: GT-SVRG
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
分散随机最优化最近受益于梯度跟踪方法\cite{DSGT_Pu,DSGT_Xin}，为大规模经验风险最小化问题提供了有效的解决方案。在第一部分\cite{GT_SAGA}这项工作中，我们开发的\textbf{\texttt{GT-SAGA}}是基于一个分散的实施SAGA \cite{SAGA}使用梯度跟踪和讨论制度的实际利益，其中\textbf{\texttt{GT-SAGA}}优于现有的分散的方法在本地梯度计算的总数。在本文中，我们描述了\textbf{\texttt{GT-SVRG}}，它开发了一个分散的梯度跟踪为基础的SVRG \cite{SVRG}，另一个著名的方差减少技术的实现。我们表明，\textbf{\texttt{GT-SVRG}}的收敛速度与\textbf{\texttt{GT-SAGA}}的光滑和强凸函数相匹配，并突出了两种算法在各种设置之间的不同权衡。
2019-12-10 cs.LG math.OC
Beyond Bounded Variance: Variance-Reduced Normalized Methods for Nonconvex Optimization under Blum-Gladyshev Noise
School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）
本文研究了在Blum-Gladyshev噪声模型下非凸随机优化问题，提出了一种规范化动量随机梯度下降方法，证明其在该噪声下具有O(ε^{-6})的收敛率，并进一步研究了方差缩减的规范化STORM方法，实现了最优复杂度。
2026-05-14 cs.LG math.OC
A Momentum-Based Variance-Reduced Algorithm for Federated Multiobjective Optimization
College of Mathematics and Statistics, Chongqing Jiaotong University（重庆交通大学数学与统计学院）；School of Science, RMIT University（皇家墨尔本理工大学理学院）；School of Mathematics, Yunnan Normal University（云南师范大学数学学院）
针对联邦多目标优化问题，提出融入动量驱动梯度估计器的方差缩减算法，其收敛速率优于现有方法，经基准实验验证有效。
2026-08-25 cs.LG math.OC
Stochastic variance reduced multiplicative update for nonnegative matrix factorization
Graduate School of Informatics and Engineering, The University of Electro-Communications（信息与工程研究生院，东京电波通信大学）
本文提出一种随机方差缩减乘法更新算法，改进非负矩阵分解的收敛速度，通过数值实验验证其在不同数据集上的优越性。
2018-04-03 cs.CV cs.LG cs.NA
Multivariate Density Estimation via Variance-Reduced Sketching
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）；Department of Applied and Computational Mathematics and Statistics, University of Notre Dame（南达科他大学应用与计算数学与统计学系）
本文提出名为 VRS 的新框架，将多元函数视为无限尺寸矩阵/张量并引入受数值线性代数启发的草图技术以降低方差，有效缓解了多元密度估计中的维度灾难，其性能显著优于现有神经网络与核方法。
2025-05-02 cs.LG cs.NA math.NA
An Analysis of Stochastic Variance Reduced Gradient for Linear Inverse Problems
随机方差缩减梯度（SVRG）是一种用于加速随机梯度下降（SGD）的流行方差缩减技术。本文首先分析了在经典正则化理论的透镜下求解一类线性反问题的方法。我们证明了对于一个合适的固定步长的时间表，该方法可以达到一个最佳的收敛速度的噪声水平（在适当的规则性条件下）和SVRG收敛误差的方差是小于SGD。这些理论研究结果证实了一组数值实验。
2021-12-17 cs.NA math.NA math.OC
Variance-reduced multiscale simulation of slow-fast stochastic differential equations
K.U. Leuven（荷语鲁汶大学）
本文提出基于控制变量的方差缩减策略，用于模拟慢-快随机系统的宏观行为。通过假设宏观行为可由少数慢变量描述，利用马尔可夫链蒙特卡洛方法近似时间导数，并分析所提估计器的方差和偏差。
2016-09-15 cs.NA math.NA
A Variance Reduction Method for Parametrized Stochastic Differential Equations using the Reduced Basis Paradigm
Ecole des Ponts ParisTech (Université Paris-Est)（巴黎路桥学院（巴黎东大学））；INRIA（法国国家信息与自动化研究所）
提出一种降阶基方法，通过控制变量法减少方差，高效计算大量参数值下的参数化期望值。
2009-09-30 cs.NA math.NA
Uncertainty quantification for the BGK model of the Boltzmann equation using multilevel variance reduced Monte Carlo methods
本文提出了一种控制变量多级蒙特卡罗方法，用于求解具有随机输入的Boltzmann方程动力学BGK模型。该方法结合了多级蒙特卡罗技术的计算的最优控制变量乘数来自局部或全局方差最小化问题。同时对该方法在空间和时间上的一致性和收敛性进行了分析。数值算例表明，优化的多层蒙特卡罗方法优于经典的多层蒙特卡罗方法，特别是对于不连续问题。
2020-04-16 cs.NA math.NA
Stochastic variance reduced gradient method for linear ill-posed inverse problems
本文应用随机方差缩减梯度（SVRG）方法求解希尔伯特空间中的大规模线性不适定系统，在先验和后验停止准则下分别证明了收敛速率与收敛性，并通过数值实验验证了性能。
2024-03-19 cs.NA math.NA math.OC
On the convergence of stochastic variance reduced gradient for linear inverse problems
The Chinese University of Hong Kong（香港中文大学）
本文分析了SVRG及其正则化版本在希尔伯特空间中求解线性逆问题的收敛性，证明了在合适步长调度和正则性条件下，正则化SVRG可获得最优收敛速率，而标准SVRG在非光滑解问题中也具有最优性能。
2026-03-17 cs.NA math.NA math.OC
Stochastic Variance-Reduced Majorization-Minimization Algorithms
本文提出三种随机方差缩减的优化-最小化算法，用于解决非凸非光滑的大和优化问题，并证明其收敛性及最优复杂度，在稀疏分类和神经网络上验证了有效性。
2023-05-11 cs.NA math.NA math.OC
Mean square error analysis of stochastic gradient and variance-reduced sampling algorithms
Duke University（杜克大学）；Purdue University（普渡大学）；Westlake University（西湖大学）
本文针对欠阻尼朗之万动力学的随机梯度采样算法，提出离散泊松方程框架，推导SG-UBU的MSE界限，并发现方差缩减算法在步长低于阈值时偏差收敛从一阶转为二阶，且比较了计算成本。
2026-09-11 cs.NA math.NA
Early stopping of stochastic variance reduced gradient for linear inverse problems by the discrepancy principle
The Chinese University of Hong Kong（香港中文大学）
本文为随机方差缩减梯度法配备偏差原理，在希尔伯特空间线性反问题中确立其正则化性质并推导收敛速率，为首个先验后停止规则下的随机迭代方法收敛速率结果，数值实验验证了理论。
2026-09-14 cs.NA math.NA math.OC
Generalized sparsity-promoting solvers for Bayesian inverse problems: Versatile sparsifying transforms and unknown noise variances
本文推广贝叶斯层次反演模型，使IAS-MAP求解支持带非平凡核的通用稀疏变换并在线推断未知噪声方差，同时保持计算效率并提供收敛性与数值验证。
2025-01-07 cs.NA math.NA math.OC
