On the Reduction of Variance and Overestimation of Deep Q-Learning
University of Khartoum（喀土穆大学）；African Institute for Mathematical Sciences（非洲数学科学研究院）
针对深度Q学习的目标值方差高与过估计问题，提出将Dropout技术应用于该算法，经基准环境实验验证，该方法可提升稳定性并降低方差与过估计。
2024-04-14 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Variance Reduction Methods for Sublinear Reinforcement Learning
分析中有一个技术问题不容易解决。因此，我们撤回这一意见。抱歉给您带来不便。
2020-06-27 cs.AI cs.LG stat.ML
Variance Reduction for Evolution Strategies via Structured Control Variates
Columbia University（哥伦比亚大学）；Google Robotics（谷歌机器人）；Fero Labs（费罗实验室）
演化策略（ES）是一类功能强大的黑盒优化技术，最近成为强化学习（RL）的最先进的策略梯度（PG）算法的竞争替代方案。我们提出了一种新的方法，用于提高精度的ES算法，而不是最近的方法，仅利用蒙特卡罗结构的梯度估计，利用底层MDP结构，以减少方差。我们观察到，ES目标的梯度估计可以交替使用重新参数化和PG估计，这导致新的控制变量技术的梯度估计ES优化计算。我们提供了理论见解，并通过大量的实验表明，这种RL特定的方差减少方法优于通用方差减少方法。
2020-03-13 cs.LG cs.NE stat.ML
Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization
École Polytechnique（巴黎综合理工学院）；HSE University（俄罗斯国立高等经济大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
强化学习（RL）中的策略梯度方法是一种非常普遍的方法，在实际应用中得到了广泛的应用，但其性能受到梯度估计的高方差的影响。提出了几种方法来减少它，包括演员-评论家（AC）和优势演员-评论家（A2 C）的方法。最近，由于深度RL的引入，这些方法有了新的视角：新的控制变量（CV）和新的子采样程序在神经网络等复杂模型的设置中变得可用。基于CV的方法的核心部分是CV训练的目标泛函，最流行的是A2 C的最小二乘准则。尽管这一标准在实践中取得了成功，但它并不是唯一可能的标准。在本文中，我们第一次调查的性能称为经验方差（EV）。我们在实验中观察到，不仅EV-标准执行不差于A2 C，但有时可以相当好。除此之外，我们还证明了一些理论保证的实际方差减少非常一般的假设下，并表明A2 C最小二乘目标泛函是EV目标的上界。我们的实验表明，在方差减少方面，基于EV的方法比A2 C好得多，并且允许更强的方差减少。
2022-06-15 cs.LG
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；OpenAI（开放人工智能研究中心）
策略梯度方法在深度强化学习中取得了巨大的成功，但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题，我们推导出一个无偏差的行动依赖的基线方差减少，充分利用随机政策本身的结构形式，并没有作出任何额外的假设MDP。我们通过理论分析和数值结果，包括最优状态依赖基线的次优性分析，证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法，它的规模高维控制问题，所证明的合成2000维目标匹配任务。我们的实验结果表明，动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后，我们表明，在基线中包括额外的信息，以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning
Department of Electrical Engineering（电气工程系）
深度强化学习（DRL）算法的不稳定性和可变性往往会对其性能产生不利影响。Averaged-DQN是DQN算法的一个简单扩展，基于对先前学习的Q值估计进行平均，通过减少目标值中的近似误差方差，从而实现更稳定的训练过程和改进的性能。为了了解该算法的效果，我们研究了价值函数估计误差的来源，并提供了一个简化模型内的分析比较。我们进一步提出了实验的街机学习环境的基准，证明显着提高稳定性和性能，由于所提出的扩展。
2017-03-10 cs.AI cs.LG stat.ML
Approximating Martingale Process for Variance Reduction in Deep Reinforcement Learning with Large State Space
Cornell University（康奈尔大学）
近似鞅过程（AMP）被证明是有效的方差减少强化学习（RL）在特定情况下，如多类神经网络。然而，在已经证明的情况下，状态空间相对较小，所有可能的状态转换都可以迭代。在本文中，我们考虑系统的状态空间是大的，有不确定性时，考虑状态转移，从而使AMP的RL的广义方差减少方法。具体而言，我们将研究AMP在Uber等网约车系统中的应用，其中加入了近端策略优化（PPO），以优化司机和客户的匹配策略。
2022-11-29 cs.LG cs.MA math.OC
Variance Reduction for Score Functions Using Optimal Baselines
Cornell University（康奈尔大学）
许多问题涉及使用模型，这些模型学习概率分布或以某种方式包含随机性。在这样的问题中，因为计算真实的期望梯度可能是棘手的，梯度估计器被用来更新模型参数。当模型参数直接影响概率分布时，梯度估计将涉及得分函数项。本文研究基线，得分函数的方差减少技术。动机主要是由强化学习，我们推导出第一次的最佳状态相关的基线，基线的结果在梯度估计与最小方差的表达式。虽然我们表明，存在的例子中，最佳基线可能是任意优于一个价值函数基线，我们发现，价值函数基线通常执行类似的最佳基线的方差减少。此外，价值函数也可以用于收益的自举估计，从而导致额外的方差减少。我们的研究结果提供了新的见解和理由，为什么价值函数基线和广义优势估计（GAE）的工作以及在实践中。
2022-12-27 cs.LG cs.SY eess.SY
Epistemic Error Decomposition for Multi-step Time Series Forecasting: Rethinking Bias-Variance in Recursive and Direct Strategies
University of Bristol（布里斯托大学）
本文针对多步时间序列预测中递归与直接策略的传统偏差-方差认知，提出将预测期望误差分解为三部分的分析框架，通过理论推导与ETTm1数据集上的多层感知机实验验证相关结论，为两类预测策略的选择提供实践指导。
2025-11-14 cs.AI cs.LG
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Online Variance Reduction with Mixtures
ETH Zurich（苏黎世联邦理工学院）
自适应重要性采样是一种很有前途的随机优化方法，通过减少方差来提高收敛性。在这项工作中，我们提出了一个新的方差减少框架，使混合物的使用超过预定义的采样分布，它可以自然地编码有关数据的先验知识。虽然这些采样分布是固定的，但在优化过程中会调整混合权重。我们提出了VRM，一种新的和有效的自适应方案，渐近恢复最好的混合权重在事后，也可以适应采样分布在点集。我们以经验证明了VRM在一系列应用中的多功能性。
2019-03-29 cs.LG stat.ML
Recursive nearest agglomeration (ReNA): fast clustering for approximation of structured signals
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；University Paris-Saclay（巴黎萨克雷大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
在这项工作中，我们重温快速降维方法，随机投影和随机采样。我们的目标是总结数据，以减少后续分析的计算成本和内存占用。当感兴趣的信号具有强结构时，例如具有图像时，这种降维可以是非常有效的。我们专注于这种设置和调查功能聚类方案的数据减少，捕捉这种结构。快速降维的一个障碍是，好的聚类伴随着大的算法成本。我们通过贡献一个线性时间凝聚聚类方案，递归最近聚集（ReNA）来解决这个问题。与现有的快速凝聚方案不同，它避免了产生巨大的集群。我们的经验验证，它近似的数据，以及传统的方差最小化聚类方案，具有二次复杂性。此外，我们分析了信号近似与特征聚类，并表明它可以去除噪声，改善后续的分析步骤。因此，通过使用ReNA对特征进行聚类来减少数据，可以产生非常快速和准确的模型，从而能够在预算范围内处理大型数据集。我们的理论分析得到了广泛的实验公开的数据，说明了计算效率和去噪性能的降维计划。
2018-03-19 cs.LG stat.ML
On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了基于方差缩减的随机梯度下降优化算法。最近通过SAG、SVRG、SAGA等算法的发展，在这个方向上取得了显著的进展。这些算法已经被证明优于SGD，无论是理论上还是经验上。然而，这些算法的异步版本-现代大规模应用程序的一个关键要求-还没有被研究。我们提出了一个统一的框架，许多方差减少技术弥合这一差距。随后，我们提出了一个异步算法接地在我们的框架，并证明了其快速收敛。我们的一般方法的一个重要后果是，它会产生异步版本的方差减少算法，如SVRG和SAGA作为副产品。我们的方法在机器学习常见的稀疏设置中实现了接近线性的加速。我们证明了我们的方法通过具体实现异步SVRG的经验性能。
2016-01-25 cs.LG stat.ML
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna（独立研究者）
针对重要性采样中方差减少评估的计算挑战，本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法，提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
Exponentially convergent stochastic k-PCA without variance reduction
Amazon AI（亚马逊人工智能（Amazon AI））
我们提出了矩阵Krasulina，在线k-PCA的算法，通过推广经典Krasulina的方法（Krasulina，1969）从向量矩阵的情况下。我们表明，理论和经验，该算法自然适应数据低秩和指数快速收敛到地面真理主子空间。值得注意的是，我们的结果表明，尽管最近的各种努力，以加快收敛的随机梯度为基础的方法，增加了O（n）时间的方差减少步骤，对于k-PCA问题，一个真正的在线SGD变量足以实现指数收敛的内在低秩数据。
2019-04-03 cs.LG stat.ML
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University（复旦大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
随机粒子优化采样（SPOS）是最近发展起来的可扩展贝叶斯采样框架，它统一了基于Wasserstein梯度流的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）算法。SPOS算法采用严格的非渐近收敛理论，避免了SVGD算法的粒子坍缩缺陷。然而，SPOS的方差减少从未被研究过。在本文中，我们提出了几个方差减少技术SPOS弥合差距。具体来说，我们提出了三种变体的方差减少SPOS，称为SAGA粒子优化采样（SAGA-POS），SVRG粒子优化采样（SVRG-POS）和SVRG-POS的变体，它避免了完整的梯度计算，表示为SVRG-POS $^+$。重要的是，我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证，并分析了它们的复杂性。值得注意的是，结果表明，我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度，即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
Approximation Based Variance Reduction for Reparameterization Gradients
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
灵活的变分分布改进了变分推理，但更难优化。在这项工作中，我们提出了一个控制变量，适用于任何重新参数化的分布与已知的均值和协方差矩阵，例如高斯与任何协方差结构。控制变量基于模型的二次近似，其参数通过最小化梯度估计器的方差使用双下降方案来设置。我们的经验表明，这个控制变量导致了很大的改善梯度方差和优化收敛的推断与非因式分解变分分布。
2020-10-23 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Machine Learning for Variance Reduction in Online Experiments
Princeton University（普林斯顿大学）；Facebook
我们考虑在随机对照试验中通过使用与结果相关但与治疗无关的协变量来减少方差的问题。我们提出了一个机器学习回归调整的处理效应估计，我们称之为MLRATE。MLRATE使用结果的机器学习预测器来减少估计方差。它采用交叉拟合，以避免过度拟合的偏见，我们证明了一致性和渐近正态性在一般条件下。MLRATE对来自机器学习步骤的不良预测具有鲁棒性：如果预测与结果不相关，则估计量的性能渐近地不比标准均值差估计量差，而如果预测与结果高度相关，则效率增益很大。在A/A测试中，对于Facebook实验中通常监测的一组48个结果指标，估计量的方差比简单的均值差估计量低70%以上，比仅针对结果的实验前值进行调整的常见单变量过程低约19%。
2022-01-06 cs.LG stat.ML
On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
我们提供收敛保证瓦瑟斯坦距离的各种方差减少的方法：SAGA Langevin扩散，SVRG Langevin扩散和控制变量欠阻尼Langevin扩散。我们分析这些方法下的一组统一的假设的对数-后验分布，假设它是光滑的，强凸和Hessian Lipschitz。这是通过一种新的证明技术结合有限和优化和抽样方法的分析思想来实现的。我们尖锐的理论界限，使我们能够确定感兴趣的制度，其中每种方法比其他执行得更好。我们的理论与实验验证真实世界和合成数据集。
2018-02-15 cs.LG stat.ML
Variance Reduction with Sparse Gradients
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
诸如SVRG和SpiderBoost之类的方差减小方法使用大批量梯度和小批量梯度的混合来减小随机梯度的方差。与SGD相比，这些方法每次更新模型参数所需的操作次数至少是SGD的两倍。为了减少这些方法的计算成本，我们引入了一个新的稀疏算子：随机顶k算子。我们的运营商降低了计算复杂性通过估计梯度稀疏性表现在各种应用程序相结合的top-k算子和随机坐标下降算子。使用此运算符，大批量梯度提供了方差减少之外的额外好处：梯度稀疏性的可靠估计。从理论上讲，我们的算法至少和最好的算法（SpiderBoost）一样好，并且在随机前k算子捕获梯度稀疏性时，性能更好。从经验上讲，我们的算法在各种任务上使用各种模型，包括图像分类，自然语言处理和稀疏矩阵分解，始终优于SpiderBoost。我们还通过一个简单的梯度熵计算提供了经验证据来支持我们算法背后的直觉，该计算用于在每次迭代时量化梯度稀疏性。
2020-01-27 cs.LG stat.ML
A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
Rochester Institute of Technology（罗切斯特技术学院）
本文提出了一种集成学习的通用加权理论，通过几何和谱约束，展示结构化加权在提升模型性能中的作用。
2025-12-25 cs.LG stat.ML
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University（清华大学）
基于随机性的Monte Carlo抽样算法，如Langevin动力学和Hamilton Monte Carlo，是贝叶斯推理的重要方法。在大规模环境中，全梯度是负担不起的，因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差，Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学，并获得了理论和实验上的改进。在本文中，我们将方差缩减技巧应用于哈密顿蒙特卡罗，并取得了更好的理论收敛结果相比，方差缩减的朗之万动力学。此外，我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中，进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示，在真实世界数据集上的贝叶斯回归和分类任务中，方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
2019-06-21 cs.DS cs.LG stat.ML
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）
具有方差减少的随机最优化算法已被证明是成功的，用于最小化函数的大有限和。不幸的是，这些技术无法处理输入数据的随机扰动，例如由数据扩增引起的。在这种情况下，目标不再是有限和，优化的主要候选是随机梯度下降法（SGD）。在本文中，我们引入了一个方差减少的方法，这些设置时，目标是复合和强凸的。收敛速度优于SGD与一个典型的小得多的常数因子，这取决于梯度估计的方差，仅由于一个单一的例子扰动。
2017-11-15 cs.LG math.OC stat.ML
Variance Reduction for Matrix Computations with Applications to Gaussian Processes
除了计算速度和内存方面的最新发展外，方法的进步也有助于随机模拟性能的显着提高。在本文中，我们专注于通过矩阵分解矩阵计算的方差减少。我们提供了深入了解现有的方差减少方法估计大型矩阵的条目。流行的方法不利用减少方差，这是可能的，当矩阵的因式分解。我们展示了如何计算矩阵的平方根分解可以实现在一些重要的情况下任意更好的随机性能。此外，我们提出了一个因式分解的估计矩阵的产品的轨迹，并数值证明，估计可以高达1,000倍更有效的估计高斯过程的对数似然的某些问题。此外，我们提供了一个新的估计的对数行列式的半正定矩阵的对数行列式被视为一个正规化常数的概率密度。
2023-03-26 cs.LG stat.CO stat.ML
The Benefits of Balance: From Information Projections to Variance Reduction
University of Washington（华盛顿大学）
该研究揭示机器学习基础模型中跨模态和来源的数据平衡具有意外的方差减少益处，提出量化该效应的非渐近统计界并关联马尔可夫算子特征值衰减，为理解和改进相关任务的数据平衡提供新视角。
2025-02-11 cs.LG math.ST stat.ML
MARS: Unleashing the Power of Variance Reduction for Training Large Models
University of California, Los Angeles（加州大学洛杉矶分校）
针对现有方差缩减方法难以有效用于大模型训练的问题，本文提出统一优化框架MARS，通过缩放随机递移动量技术结合预条件梯度方法与方差缩减，在GPT-2训练中性能显著优于AdamW。
2025-09-04 cs.LG math.OC stat.ML
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University（普渡大学）
在这项工作中，我们调查的方差减少的想法，通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD，并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度，从而加快了收敛速度。特别是，我们的一般理论意味着，方差减少可以应用于使用时变步长的算法和自适应算法，如AdaGrad和RMSProp。此外，SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
A Unified Framework for Stochastic Matrix Factorization via Variance Reduction
National University of Singapore（新加坡国立大学）
我们提出了一个统一的框架，以加快现有的随机阵分解（SMF）算法，通过减少方差。我们的框架是一般的，它包括几个著名的SMF配方在文献中。我们进行了非渐近收敛分析我们的框架，并得出计算和样本的复杂性，我们的算法收敛到一个$ε$ -平稳点的期望。此外，广泛的SMF配方类的广泛实验表明，我们的框架始终产生更快的收敛和更准确的输出字典相对于国家的最先进的框架。
2017-05-22 cs.LG math.OC stat.ML
Amortized variance reduction for doubly stochastic objectives
University of Warwick（华威大学）
在复杂的概率模型，如深高斯过程的近似推理需要优化的双随机目标函数。这些目标将随机性从小批量抽样的数据和蒙特卡罗估计的期望。如果梯度方差高，则随机优化问题变得困难，收敛速度慢。控制变量可以用来减少方差，但过去的方法没有考虑小批量随机性如何影响抽样随机性，导致次优方差减少。我们提出了一种新的方法，在该方法中，我们使用一个识别网络来廉价地近似每个小批量的最优控制变量，没有额外的模型梯度计算。我们说明了这个建议的性质，并测试其性能的逻辑斯谛回归和深高斯过程。
2020-03-09 cs.LG stat.ME stat.ML
Double Clipping: Less-Biased Variance Reduction in Off-Policy Evaluation
Amazon Music（亚马逊音乐）
针对离线策略评估中裁剪技术引入的向下偏差，提出双重裁剪方法，在保持方差缩减的同时补偿偏差，从而降低总体偏差。
2023-09-03 cs.LG
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah（犹他大学）
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法，采用动量和方差减少技术已经开发的组成优化。然而，这些算法没有充分利用这两种技术来加速收敛，并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献，用于非凸组合优化。特别是，我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外，我们的算法实现了接近最优的样本复杂度的结果，在非凸有限和和在线组合优化，并实现了梯度优势条件下的线性收敛速度。数值实验表明，我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
针对基数约束下的稀疏学习问题，提出了一种随机方差缩减优化算法。充分条件下，该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明，我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限，本研究提出将零方差控制变量应用于路径梯度估计器，仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)（数据科学与人工智能研究所）；Department of Computer Science, University of Rochester（计算机科学系）
本文提出一种随机近点法，通过方差缩减和概率增强技术，在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
Training Structured Neural Networks Through Manifold Identification and Variance Reduction
Academia Sinica（中央研究院）
本文提出了一种训练神经网络的算法（RMDA），该算法中引入了一个正则化项来提升期望的结构。RMDA不会引起额外的计算与动量近端SGD，并实现方差减小，而不需要的目标函数是有限和形式。通过从非线性优化流形识别的工具，我们证明，经过有限次迭代，所有的迭代RMDA具有所需的结构相同的正则化诱导的渐近收敛的稳定点，即使在存在的工程技巧，如数据增强和辍学，复杂的训练过程。训练神经网络与结构稀疏的实验证实，方差减少是必要的，这样的识别，并表明RMDA因此显着优于现有的方法，这项任务。对于非结构化稀疏性，RMDA也优于最先进的修剪方法，验证了通过正则化训练结构化NN的好处。
2022-03-18 cs.LG math.OC stat.ML
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）
方差缩减（VR）方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降（SGD）的性能。然而，当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算（使用整个数据集）。这限制了VR方法在实际分布式环境中的使用。在本文中，我们提出了一种方差降低方法，称为VR-lite，不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种，可扩展的，保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法，并发现我们提出的算法表现良好，其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Half-order Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer
Peking University（北京大学）
针对扩散模型对齐中RL样本效率低与截断BP梯度有偏的问题，提出递归似然比优化器RLR，通过半阶梯度重排实现无偏低方差估计，并验证其图像与视频生成优势。
2025-09-28 cs.AI cs.CV cs.LG
Dissipativity Theory for Accelerating Stochastic Variance Reduction: A Unified Analysis of SVRG and Katyusha Using Semidefinite Programs
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
近年来，在求解凸有限和问题的随机规划算法中，减小梯度估计方差的技术受到了广泛的关注。通过利用耗散性理论从控制，我们提供了一个新的视角两个重要的方差减少算法：SVRG和它的直接加速变种喀秋莎。我们的观点提供了一个物理直观的理解SVRG类方法的行为，通过能量守恒的原则。这里讨论的工具，使我们能够自动化的SVRG类方法的收敛性分析，通过捕捉他们的基本性质，在小的半定程序服从标准的分析和计算技术。我们的方法恢复现有的SVRG和喀秋莎的收敛结果，并将理论推广到其他参数的选择。我们还讨论了我们的方法如何补充线性耦合技术。我们的观点相结合，导致更好地理解有限和问题的加速方差减少随机方法。
2018-06-10 cs.LG math.OC stat.ML
Online Variance Reduction for Domain Adaptation on Streaming Data
University of Southampton（南安普顿大学）
研究流数据域适应的随机方差缩减问题，提出在线SVR算法ARROW，通过维护移动平均参考和自适应重新加权小批量数据，使小批量与参考统计量对齐，实验表明该算法在运行时间、方差缩减及目标域准确性方面与离线算法相当。
2026-07-23 cs.LG
Private Decentralized Optimization with Noise Reduction and Bias Correction
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Great Bay University（大湾区大学）
针对私有去中心化学习中的噪声与偏差问题，提出PRDO方法，结合递归估计与精确扩散，实现非凸收敛保证并提升准确性。
2026-09-24 cs.LG
Fast decentralized non-convex finite-sum optimization with recursive variance reduction
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文研究了$N:=nm$光滑非凸代价函数在有向$n$节点网络上的分散最小化问题。具体来说，我们描述了一个随机一阶梯度方法，称为GT-SARAH，采用SARAH型方差降低技术和梯度跟踪（GT）来解决问题的随机性和分散性。我们表明，GT-SARAH，与适当的算法参数，找到一个$ε$ -准确的一阶平稳点与$O\big(\max\big\{N^{\frac{1}{2}},n(1-λ)^{-2},n^{\frac{2}{3}}m^{\frac{1}{3}}(1-λ)^{-1}\big\}Lε^{-2}\big)$梯度复杂性，其中${(1-λ)\in(0,1]}$是网络权重矩阵的频谱间隙和$L$是平滑参数的成本函数。这种梯度复杂度优于现有的分散随机梯度方法。特别地，在大数据体系中，例如${n = O(N^{\frac{1}{2}}(1-λ)^{3})}$，该梯度复杂度进一步降低到${O(N^{\frac{1}{2}}Lε^{-2})}$，与网络拓扑无关，并且与集中式接近最优方差减小方法的梯度复杂度相匹配。此外，在这种情况下，GT-SARAH实现了非渐近线性加速，因为与在单个节点处执行所有梯度计算的集中式近最优算法相比，每个节点处的梯度计算的总数减少了$1/n$的因子。据我们所知，GT-SARAH是第一个实现此属性的算法。此外，我们表明，适当的选择本地minibatch大小平衡梯度和通信复杂性的…
2021-09-18 cs.LG cs.MA cs.SY
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST（卡塔尔科技大学）
本文提出Rennala MVR算法，通过基于动量的方差缩减技术，在异构系统中改进时间复杂度，验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
On the Variance of Temporal Difference Learning and its Reduction Using Control Variates
本文分析表格表示下相位设置中时序差分学习的方差，证明其方差降低机制是通过有效聚合更多独立轨迹，并比较了TD、MC和DAE的方差界限。
2026-06-19 cs.LG
Stochastic Gradient Langevin Dynamics with Variance Reduction
Michigan State University（密歇根州立大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文研究带方差缩减的随机梯度朗之万动力学，证明其对非凸目标局部极小值的改进收敛性及遍历性，揭示其寻找全局极小值的潜力。
2021-02-12 cs.LG math.OC
STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments
Nanjing University（南京大学）；Meituan（美团）
针对在线实验中重尾指标导致方差缩减受限的问题，提出结合 Student's t-distribution 与机器学习的稳健 ATE 估计器 STATE，有效消除异常值影响，实现超 50% 方差缩减。
2024-07-23 cs.LG
