On Biased Stochastic Gradient Estimation
我们提出了一个统一的分析偏置随机梯度法最小化凸，强凸，非凸复合目标，并确定设置偏差是有用的随机梯度估计。我们提出的框架允许我们扩展近端支持有偏算法，包括SAG和SARAH，第一次在凸设置。我们还使用我们的框架来开发一种新的算法，随机平均递归算法（SARGE），实现了非凸，有限和目标的预言复杂性下限，并要求严格减少调用随机梯度预言每次迭代比SVRG和SARAH。我们支持我们的理论结果与数值实验，证明某些有偏梯度估计的好处。
2020-02-27 math.OC
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles
EPFL（洛桑联邦理工学院）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对有偏随机预言机的优化问题，提出多级蒙特卡洛梯度方法，权衡偏差、方差与成本，证明其优于有偏随机梯度法，并显著改进多个优化问题的复杂度。
2024-08-20 cs.LG math.OC
Adaptively Truncating Backpropagation Through Time to Control Gradient Bias
University of Washington（华盛顿大学）
截断时间反向传播（TBPTT）是一种流行的递归神经网络（RNN）学习方法，通过在固定数量的滞后后截断反向传播，以偏差为代价节省计算和内存。实际上，选择最佳截断长度是困难的：如果截断长度太小，TBPTT将不会收敛，或者如果截断长度太大，则会收敛缓慢。我们提出了一个自适应TBPTT计划，将问题从选择一个时间滞后选择一个可容忍的梯度偏置量。对于许多现实的RNN，TBPTT梯度在大滞后的预期中几何衰减;在这种情况下，我们可以通过自适应地改变截断长度来控制偏差。对于具有光滑激活函数的RNN，我们证明了这种偏差控制了SGD的收敛速度，因为我们的非凸损失具有偏差梯度。利用这一理论，我们开发了一种实用的方法，在训练过程中自适应估计截断长度。我们评估我们的自适应TBPTT方法的合成数据和语言建模任务，发现我们的自适应TBPTT改善了固定TBPTT的计算缺陷。
2019-07-01 cs.LG math.OC stat.ML
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York（纽约市哥伦比亚大学）
本文针对无模型LQR问题，提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法，将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs
我们提出了一个收敛速度分析有偏随机梯度下降（SGD），其中个别梯度更新被破坏的计算错误。我们开发随机二次约束，制定一个小的线性矩阵不等式（LMI）的可行点导致有偏SGD的收敛界。基于这个LMI条件，我们开发了一个顺序最小化方法来分析复杂的权衡，耦合步长的选择，收敛速度，优化精度和鲁棒性梯度不准确。我们还提供了可行的点，这个线性矩阵不等式，并获得理论公式，量化的收敛性能偏SGD在各种假设下的损失函数。
2020-03-28 math.OC stat.ML
Improved Convergence for Decentralized Stochastic Optimization with Biased Gradients
School of Electrical Engineering, Sichuan University（四川大学电气工程学院）
本文提出Biased-DMT算法，解决去中心化随机优化中偏梯度带来的收敛问题，理论分析显示其在非凸情况下具有线性加速特性，并在稀疏通信网络中保持鲁棒性。
2026-04-09 math.OC
Accelerated Gradient Methods with Biased Gradient Estimates: Risk Sensitivity, High-Probability Guarantees, and Large Deviation Bounds
Rutgers University（罗格斯大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了具有有偏梯度估计的加速梯度方法，通过风险敏感指数分析其鲁棒性，并给出了高概率保证和大偏差界。
2026-01-13 cs.LG math.OC
An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization
Nanjing University of Information Science & Technology（南京信息工程大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
条件梯度算法（也称为Frank-Wolfe算法）最近在机器学习社区中重新流行起来，因为它具有解决约束问题的无投影特性。虽然已经提出了条件梯度算法的许多变体来提高性能，但它们依赖于一阶信息（梯度）来优化。自然，这些算法无法在日益流行的零阶优化领域正常工作，其中只有零阶信息（函数值）可用。为了填补这一空白，我们提出了一种新的加速方差减少条件梯度滑动（ARCS）算法的有限和问题，它可以使用一阶或零阶信息进行优化。据我们所知，ARCS是第一个零阶条件梯度滑动型算法解决凸问题的零阶优化。在一阶优化中，ARCS的收敛结果在梯度查询预言机的数量方面大大优于以前的算法。最后，通过在真实数据集上的实验，验证了ARCS的优越性。
2021-09-18 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Princeton University（普林斯顿大学）
凸组合优化是一个新兴的课题，涵盖了随机最优控制，强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构，存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法，其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$，其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information
Kyoto University（京都大学）
在本文中，我们考虑通过引入目标函数的曲率信息来改进随机方差降低梯度（SVRG）方法。我们建议使用计算效率高的Barzilai-Borwein（BB）方法将其纳入SVRG，以减少随机梯度的方差。我们还将BB-步长作为其变体。我们证明了它的线性收敛定理，不仅适用于所提出的方法，但也适用于其他现有的变种SVRG与二阶信息。在基准数据集上进行的数值实验表明，在某些测试问题上，该方法在恒定步长下的性能优于现有的方差缩减方法.
2022-08-23 cs.LG math.OC stat.ML
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking -- Part II: GT-SVRG
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
分散随机最优化最近受益于梯度跟踪方法\cite{DSGT_Pu,DSGT_Xin}，为大规模经验风险最小化问题提供了有效的解决方案。在第一部分\cite{GT_SAGA}这项工作中，我们开发的\textbf{\texttt{GT-SAGA}}是基于一个分散的实施SAGA \cite{SAGA}使用梯度跟踪和讨论制度的实际利益，其中\textbf{\texttt{GT-SAGA}}优于现有的分散的方法在本地梯度计算的总数。在本文中，我们描述了\textbf{\texttt{GT-SVRG}}，它开发了一个分散的梯度跟踪为基础的SVRG \cite{SVRG}，另一个著名的方差减少技术的实现。我们表明，\textbf{\texttt{GT-SVRG}}的收敛速度与\textbf{\texttt{GT-SAGA}}的光滑和强凸函数相匹配，并突出了两种算法在各种设置之间的不同权衡。
2019-12-10 cs.LG math.OC
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近，得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
具有开放协作的分布式优化是一个热门领域，因为它为小型团体/公司/大学和个人提供了共同解决大规模问题的机会。然而，标准优化算法在这种设置中是脆弱的，因为可能存在所谓的拜占庭工作者-参与者可以发送（有意或无意）不正确的信息，而不是协议规定的信息（例如，发送反梯度而不是随机梯度）。因此，设计分布式方法的问题与可证明的鲁棒性拜占庭工人最近受到了很多关注。特别是，一些作品认为一个非常有前途的方式来实现拜占庭宽容，通过利用方差减少和强大的聚合。现有的方法使用SAGA-和SARAH-型方差减少估计，而另一种流行的估计- SVRG -没有研究的背景下拜占庭鲁棒性。在这项工作中，我们填补了这方面的空白，在文献中，并提出了一种新的方法-拜占庭鲁棒无环随机方差约简梯度（BR-LSVRG）。我们推导出非渐近收敛保证的新方法在强凸的情况下，并比较其性能与现有的方法在数值实验。
2023-03-08 cs.LG math.OC
A Variance Controlled Stochastic Method with Biased Estimation for Faster Non-convex Optimization
School of Electronic and Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
本文提出了一种新的技术，{ \em方差控制随机梯度}（VCSG），以提高性能的随机方差降低梯度（SVRG）算法。为了避免SVRG对梯度方差的过度减小，在VCSG中引入了一个超参数$λ$来控制SVRG减小后的方差。理论表明，优化方法可以通过使用无偏梯度估计器来收敛，但在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。$λ$还具有平衡无偏估计和有偏估计之间的权衡的效果。其次，为了最小化SVRG中的完全梯度计算的数量，引入方差有界批处理以减少每次迭代中所需的梯度计算的数量。对于光滑非凸函数，该算法在$\mathcal{O}(min\{1/ε^{3/2},n^{1/4}/ε\})$次数内收敛到一个近似的一阶稳定点（$\mathbb{E}\|\nabla{f}(x)\|^{2}\leqε$），改善了基于随机梯度的SCS方法$(\mathcal{O}(min\{1/ε^{5/3},n^{2/3}/ε\})$的前导梯度复杂度.理论和实验表明，VCSG可以部署，以提高收敛。
2021-02-19 cs.AI cs.LG math.OC
Cocoercivity, Smoothness and Bias in Variance-Reduced Stochastic Gradient Methods
为了研究方差缩减的随机梯度法中的有偏更新问题，我们引入了SVAG，一种具有可调偏差的SAG/SAGA类方法。SVAG的分析在一个cocoercive寻根设置，设置产生相同的结果，在通常的光滑凸优化设置为普通的近端梯度法。我们表明，同样是不正确的SVAG时，使用有偏见的更新。当操作符是梯度时的步长要求与当它们不是梯度时相比明显更少限制。这强调了在分析用于优化的方差缩减方法时，不需要仅仅依赖于协整性。我们的分析匹配或改进以前已知的SAG和SAGA的收敛条件。然而，在有偏见的情况下，他们仍然不符合实际经验，因此，我们研究的偏见数值上的一组分类问题的影响。偏置的选择似乎主要影响收敛的早期阶段，在大多数情况下，差异消失在收敛的后期阶段。然而，在一些情况下，偏见选择的影响仍然很大。
2022-02-01 math.OC stat.ML
Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank
LMU Munich（慕尼黑大学）；RWTH Aachen University（亚琛工业大学）
该研究在深度矩阵分解的简化线性网络设定下，严格分析普通梯度下降的动力学与谱收敛特性，定位迭代有效秩接近低秩真值的区间以用于早停，并实证验证隐式偏向现象，提出有效秩单调递增轨迹的核心概念。
2023-08-21 cs.LG math.OC
Inexact reduced gradient methods in nonconvex optimization
本文提出并发展了有限维空间上非凸连续可微函数的新的具有不精确梯度信息的线搜索方法。建立了一类广泛的线性插值方法的抽象收敛性结果。提出了一种非精确约化梯度（IRG）方法的一般格式，其中梯度近似中的误差自动地与精确梯度的大小相适应。当采用不同的步长选择时，迭代序列被示出以获得稳定的累积点。在Kurdyka- Lojasiewicz性质下，给出了IRG方法的构造性收敛速度. IRG方法得到的结果证实了令人鼓舞的数值实验，这表明IRG方法的自动控制的错误比其他常用的错误选择的优势。
2022-12-31 math.OC
Accelerating Variance-Reduced Stochastic Gradient Methods
方差缩减是改善随机梯度下降算法缓慢收敛的重要工具。然而，只有少数方差减少的方法，尚未被证明直接受益于Nesterov的加速技术，以匹配加速梯度法的收敛速度。这种方法依赖于“负动量”，一种用于进一步降低方差的技术，通常专用于SVRG梯度估计器。在这项工作中，我们表明，负动量是不必要的加速和开发一个通用的加速框架，允许所有流行的方差减少的方法，以实现加速的收敛速度。出现在这些速率中的常数，包括它们对函数$n$的数量的依赖，与梯度估计的均方误差和偏差成比例。在一系列的数值实验中，我们证明，版本的SAGA，SVRG，SARAH，和SARGE使用我们的框架显着优于非加速版本，并比较有利的算法使用负动量。
2020-10-29 math.OC
Asymptotic Bias of Stochastic Gradient Search
分析了带有偏梯度估计的随机梯度算法的渐近性态。依靠基于动态系统理论（链递归）和微分几何（Yomdin定理和Lojasiewicz不等式）的参数，得到了这样的算法产生的迭代的渐近偏差的紧界.所得到的结果保持在温和的条件下，并涵盖了广泛的一类高维非线性算法。利用这些结果，研究了策略梯度（强化）学习和自适应群体蒙特卡罗抽样的渐近性质。在此基础上，分析了隐马尔可夫模型中递推极大分裂似然估计的渐近性态。
2017-08-30 math.OC math.ST stat.ML
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
University of Maryland at College Park（马里兰大学帕克分校）
本文针对非 oblivious 设置下的正则化期望奖励优化问题，应用并分析随机近端梯度方法，并引入基于重要性采样的方差缩减技术（PAGE），将样本复杂度从 O(ε^{-4}) 改进至 O(ε^{-3})，为强化学习中的一般正则化奖励优化提供了新方法。
2024-08-19 cs.LG math.OC
High-Order Reduced-Gradient Methods for Composite Variational Inequalities
本文提出用高阶约化梯度方法替代超梯度求解复合变分不等式，证明其达到问题类下界最坏复杂度界，并具备热启动能力和线性收敛速率。
2023-12-02 math.OC
History-Gradient Aided Batch Size Adaptation for Variance Reduced Algorithms
The Ohio State University（俄亥俄州立大学）；University of Utah（犹他大学）；Southern University of Science and Technology（南方科技大学）
方差缩减算法虽然在理论上取得了很好的性能，但由于大批量数据的周期性梯度估计，在实际应用中运行缓慢。因此，批量大小自适应出现作为一个有前途的方法来加速这样的算法。然而，现有的计划要么应用规定的批量大小的自适应规则或利用沿优化路径的信息，通过额外的回溯和条件验证步骤。在本文中，我们提出了一种新的计划，它消除了回溯线搜索，但仍然利用沿优化路径的信息，通过调整批量大小通过历史随机梯度。我们进一步从理论上表明，这种方案大大降低了流行的方差减少算法SVRG和SARAH/SPIDER的整体复杂性，为传统的非凸优化和强化学习问题。为此，我们开发了一个新的收敛分析框架，以处理历史随机梯度的批量大小的依赖。大量的实验验证了所提出的批量大小自适应计划的有效性。
2020-07-27 cs.LG math.OC stat.ML
Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对现有随机多目标梯度方法存在梯度偏差的问题，提出MoCo方法，在不增加批量大小的情况下保证非凸收敛，并在多任务监督和强化学习中验证了有效性。
2024-03-19 cs.LG math.OC stat.ML
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题，该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略，比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差，加快了收敛的收敛速率。在约束等距条件下，我们证明了该算法线性收敛于期望解。数值实验表明，与现有的贪婪算法相比，该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Stochastic Gradient Descent with Biased but Consistent Gradient Estimators
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
随机梯度下降（SGD），可以追溯到20世纪50年代，是执行随机优化的最流行和最有效的方法之一。SGD的研究最近在机器学习中重新兴起，用于优化凸损失函数和训练非凸深度神经网络。该理论假设人们可以很容易地计算一个无偏梯度估计，这通常是由于经验风险最小化的样本平均性质的情况。然而，存在许多场景（例如，图），其中无偏估计器的计算可能与全梯度一样昂贵，因为训练样本是互连的。最近，Chen等人。（2018）提出使用一致梯度估计作为经济替代方案。鼓励经验的成功，我们表明，在一般情况下，一致的估计结果在相同的收敛行为做无偏的。我们的分析涵盖了强凸，凸和非凸目标。我们验证了合成和真实世界的数据与说明性的实验结果。这项工作开辟了几个新的研究方向，包括开发具有一致估计量的更有效的SGD更新，以及为大规模图设计有效的训练算法。
2019-12-23 cs.LG math.OC stat.ML
Finite-sum Composition Optimization via Variance Reduced Gradient Descent
Wang等人最近提出的随机组合优化。[2014]使用组合期望形式最小化目标：$\min_x~(\mathbb{E}_iF_i \circ \mathbb{E}_j G_j)(x).$它总结了机器学习，统计和金融中的许多重要应用。在本文中，我们考虑有限和的情况下组合优化：\[\min_x f (x) := \frac{1}{n} \sum_{i = 1}^n F_i \left(\frac{1}{m} \sum_{j = 1}^m G_j (x) \right). \]我们提出了两个算法来解决这个问题，结合随机组合梯度下降（SCGD）和随机方差降低梯度（SVRG）技术。证明了强凸优化问题的一个常数线性收敛速率，大大改善了已知算法的次线性收敛速度$O(K^{-0.8})$。
2017-05-20 math.OC
Riemannian stochastic variance reduced gradient algorithm with retraction and vector transport
Kyoto University（京都大学）；The University of Electro-Communications（电气通信大学）；Microsoft（微软）
近年来，随机方差缩减算法在最小化大量但有限数量的损失函数的平均值方面引起了相当大的关注。本文提出了一种新的黎曼扩展的欧氏随机方差约化梯度（R-SVRG）算法的流形搜索空间。通过收缩和矢量传输解决了对多个梯度进行平均、相加和相减的关键挑战。对于所提出的算法，我们提出了一个全局收敛性分析与衰减的步长，以及一个局部收敛速度分析与一个固定的步长下，一些自然的假设。此外，将该算法应用于对称正定流形上的黎曼质心计算问题以及Grassmann流形上的主成分分析和低秩矩阵完备化问题.结果表明，该算法优于标准的黎曼随机梯度下降算法在每种情况下。
2019-05-31 cs.LG math.OC stat.ML
An Analysis of Stochastic Variance Reduced Gradient for Linear Inverse Problems
随机方差缩减梯度（SVRG）是一种用于加速随机梯度下降（SGD）的流行方差缩减技术。本文首先分析了在经典正则化理论的透镜下求解一类线性反问题的方法。我们证明了对于一个合适的固定步长的时间表，该方法可以达到一个最佳的收敛速度的噪声水平（在适当的规则性条件下）和SVRG收敛误差的方差是小于SGD。这些理论研究结果证实了一组数值实验。
2021-12-17 cs.NA math.NA math.OC
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley（加州大学伯克利分校）；The University of Iowa（爱荷华大学）；Princeton University（普林斯顿大学）
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题，其中数据集很大，必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法，在一定的条件下的条件数，同时实现了最佳的并行运行时间，通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信，只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法，包括本文提出的算法。我们表明，我们的加速分布式随机方差降低梯度算法达到这个下界，使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich（苏黎世联邦理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
随机梯度下降（SGD）是机器学习中的主力，但其缓慢的收敛可能是计算瓶颈。方差减少技术，如SAG，SVRG和SAGA已被提出来克服这一弱点，实现线性收敛。然而，这些方法要么基于枢轴点处的全梯度的计算，要么基于在存储器中保持每个数据点的校正。因此，相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法，这在瞬态优化阶段提供了优势。作为副产品，我们提供了一个统一的收敛性分析的方差减少算法，我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions
Department of Statistics and Operations Research（统计与运筹学系）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Hanes Hall, UNC-Chapel Hill, NC 27599-3260（UNC-教堂山分校318号哈尼斯楼，NC 27599-3260）
本文提出新的方差减少技术用于前向-反射-后向分裂方法，解决可能非单调的随机复合包含物问题。设计新框架处理无偏和有偏估计器，证明无偏估计器收敛率和有偏估计器的Oracle复杂度。
2026-09-10 cs.LG math.OC stat.ML
Variance-Reduced Gradient Estimator for Nonconvex Zeroth-Order Distributed Optimization
School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院）
本文研究了平滑非凸问题的分布式零阶优化，提出了一种新的方差减少梯度估计器，通过伯努利分布随机更新真实梯度的单个正交方向或在所有维度上计算梯度估计以进行方差校正，结合梯度跟踪机制解决了收敛速度与采样成本的平衡问题。
2026-04-09 cs.MA cs.SY eess.SY
Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（PSL研究大学）
训练神经网络以最小化逻辑（也称为交叉熵）损失在许多监督分类任务中表现良好。为了理解这一现象，我们分析了具有均匀激活的无限宽两层神经网络的训练和泛化行为。我们表明，指数尾损失的梯度流的限制，可以充分表征为一个最大的利润分类在一定的非希尔伯特空间的功能。在存在隐藏的低维结构时，所得到的边缘是独立的环境维度，这导致强的推广界。相比之下，仅训练输出层隐式地解决了核支持向量机，其先验不具有这种自适应性。我们对训练的分析在运行时间方面是非定量的，但我们通过显示与在线镜像下降的等价性来证明简化设置中的计算保证。最后，数值实验表明，我们的分析很好地描述了具有ReLU激活的双层神经网络的实际行为，并证实了这种隐式偏差的统计优势。
2020-06-22 cs.LG math.OC stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology（佐治亚理工学院）
本文通过原始-对偶分析，研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差，证明其以高概率近似最小ℓ2范数解，差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Variance-Reduced Stochastic Learning under Random Reshuffling
UCLA（加州大学洛杉矶分校）；Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑））
几个有用的方差减少的随机梯度算法，如SVRG，SAGA，RANTO，和SAG，已被提出来最小化经验风险与线性收敛性能的确切的最小值。现有的收敛结果假设均匀的数据采样与替换。然而，它已被观察到在相关的作品中，随机重排可以提供优越的性能，均匀采样，然而，没有正式的证据或保证的精确收敛存在方差减少算法随机重排。本文有两个贡献。首先，它解决了这个开放的问题，并提供了第一个理论保证的线性收敛下随机改组SAGA的参数也适用于其他方差减少算法。其次，在随机重排下，本文提出了一种新的摊销方差降低梯度（AVRG）算法，与SAGA相比具有恒定的存储需求，与SVRG相比具有平衡的梯度计算。AVRG也被解析地示出为线性收敛。
2018-02-16 cs.LG math.OC stat.ML
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking--Part I: GT-SAGA
在本文中，我们研究分散的经验风险最小化问题，其中的目标是最小化有限和光滑和强凸函数可在一个网络的节点。在第一部分中，我们提出了\textbf{\texttt{GT-SAGA}}，这是一种基于梯度跟踪\cite{DSGT_Pu,DSGT_Xin}和称为SAGA \cite{SAGA}的方差缩减技术的分散随机一阶算法。给出了算法的收敛性分析和迭代复杂度。我们进一步展示了各种权衡和讨论的情况下，\textbf{\texttt{GT-SAGA}}实现优越的性能（在所需的本地梯度计算的数量）相对于现有的分散计划。在这篇由两部分组成的论文的第二部分\cite{GT_SVRG}中，我们开发并分析了\textbf{\texttt{GT-SVRG}}，这是另一种著名的方差缩减技术SVRG \cite{SVRG}的一种基于分散梯度跟踪的实现。
2019-12-10 math.OC
Stochastic variance reduced gradient method for linear ill-posed inverse problems
本文应用随机方差缩减梯度（SVRG）方法求解希尔伯特空间中的大规模线性不适定系统，在先验和后验停止准则下分别证明了收敛速率与收敛性，并通过数值实验验证了性能。
2024-03-19 cs.NA math.NA math.OC
Riemannian stochastic variance reduced gradient on Grassmann manifold
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
本文提出了一种在紧凑流形搜索空间中扩展欧几里得随机方差缩减梯度算法的黎曼扩展方法，针对格拉斯曼流形进行研究，解决了多个梯度的平均、加法和减法问题，并在不同步长下分析了算法的收敛性。
2017-04-09 cs.LG cs.NA math.NA
Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees
EPFL（洛桑联邦理工学院）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔研究中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
该研究针对梯度裁剪收敛保证依赖特定阈值与强噪声假设的问题，推导了其与任意裁剪阈值相关的紧收敛界，证明随机场景下标准假设无法保证收敛到最优解，并通过实验验证了理论结果。
2023-11-09 cs.DC cs.LG math.OC
Understanding Gradient Clipping in Private SGD: A Geometric Perspective
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）
深度学习模型在许多机器学习应用中越来越受欢迎，其中训练数据可能包含敏感信息。为了提供正式和严格的隐私保证，许多学习系统现在通过使用（差分）私有SGD训练其模型来合并差分隐私。每个私有SGD更新中的关键步骤是梯度裁剪，每当其L2范数超过某个阈值时，它就会缩小单个示例的梯度。我们首先演示了如何梯度裁剪可以防止SGD收敛到稳定点。然后，我们提供了一个理论分析，充分量化的裁剪偏差收敛的梯度分布和几何对称分布之间的差距措施。我们的实证评估进一步表明，沿着私人新元轨迹的梯度分布确实表现出有利于收敛的对称结构。总之，我们的研究结果提供了一个解释，为什么私人SGD与梯度裁剪仍然有效，在实践中，尽管其潜在的裁剪偏见。最后，我们开发了一种新的扰动为基础的技术，可以证明纠正裁剪偏置，即使是高度不对称的梯度分布的情况下。
2021-03-18 cs.CR cs.LG math.OC
Optimization under Persistent State-Dependent Bias: Gradient-based Method and Complexity Analysis
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM T.J.沃森研究中心）
研究持续状态依赖偏差下随机梯度下降收敛性，提出残差学习算法，将原任务转为双层优化问题，证明该算法能找到无偏差优化问题的解，量化响应函数对收敛复杂度的影响，数值模拟验证算法有效性。
2026-07-29 math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中，我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度，从而得到[2]中引入的相同动量-SARAH估计。与[7]相比，这允许我们每次迭代节省一个随机梯度，并且每次迭代只需要两个样本。我们的算法是非常简单的，并实现了最佳的随机预言复杂性界的随机梯度评价（一个常数因子）。我们的分析基本上受到[7]的启发，但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
Early stopping of stochastic variance reduced gradient for linear inverse problems by the discrepancy principle
The Chinese University of Hong Kong（香港中文大学）
本文为随机方差缩减梯度法配备偏差原理，在希尔伯特空间线性反问题中确立其正则化性质并推导收敛速率，为首个先验后停止规则下的随机迭代方法收敛速率结果，数值实验验证了理论。
2026-09-14 cs.NA math.NA math.OC
On the convergence of stochastic variance reduced gradient for linear inverse problems
The Chinese University of Hong Kong（香港中文大学）
本文分析了SVRG及其正则化版本在希尔伯特空间中求解线性逆问题的收敛性，证明了在合适步长调度和正则性条件下，正则化SVRG可获得最优收敛速率，而标准SVRG在非光滑解问题中也具有最优性能。
2026-03-17 cs.NA math.NA math.OC
How to induce regularization in linear models: A guide to reparametrizing gradient flow
School of Computation, Information and Technology, TU Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Mathematics, LMU Munich（慕尼黑大学数学系）；Mathematical Institute for Machine Learning and Data Science (MIDS), KU Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学机器学习与数据科学数学研究所）
本文分析线性模型中梯度流重参数化与隐式偏差的关系，给出隐式偏差可描述且流收敛的条件，并展示如何设计重参数化函数以实现与ℓ_p或三角正则化相关的特定隐式偏差。
2026-06-09 cs.NA math.NA math.OC
On the Convergence of Consensus Algorithms with Markovian Noise and Gradient Bias
本文给出了一个分散随机逼近（SA）格式的有限时间收敛性分析。该方案概括了分散式机器学习和多智能体强化学习的几种算法。我们的证明技术包括将迭代分为各自的共识部分和共识错误。一致性误差是有界的平稳性的一致性的一部分，而更新的一致性的一部分，可以分析作为一个扰动SA计划。在马尔可夫噪声和时变通信图假设下，分散SA方案具有${\cal O}(\log T/ \sqrt{T} )$的预期收敛速度，其中$T$是迭代次数，对于具有光滑但非凸费用函数的非线性SA，以梯度的平方范数表示。该速率与具有非凸势函数的集中式设置中SA的最佳已知性能相当。
2020-11-05 math.OC stat.ML
Randomised Splitting Methods and Stochastic Gradient Descent
本文揭示了随机梯度下降与常微分方程分裂方法的联系，提出了一种结合动量的对称小批量策略，显著降低了随机梯度偏差，并利用 Lyapunov 技术证明了其在强凸光滑函数上的收敛性及递减步长下的更快收敛率。
2025-04-05 cs.NA math.NA math.OC
