On the Variance of Unbiased Online Recurrent Optimization
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维）
最近提出的无偏在线循环优化算法（UORO，arXiv：1702.05043）使用RTRL的无偏近似来实现RNN中完全在线的基于梯度的学习。在这项工作中，我们分析了由UORO计算的梯度估计的方差，并提出了几种可能的变化，在理论和实践中减少这种方差的方法。我们还对UORO（及其现有的方差降低技术）的理论和直观理解做出了重大贡献，并证明了其梯度估计与如果将少量噪声添加到RNN的隐藏单元中，则由REINFORCE计算的梯度估计之间的基本联系。
2019-02-06 cs.LG stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Decision Variance in Online Learning
Cornell University（康奈尔大学）
传统上，在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析，并建立了新的基本限制风险规避学习。特别是，它表明，虽然对数分布依赖的遗憾时间$T$是可以实现的（类似于风险中性的问题），最坏的情况下（即极大极小）遗憾是下界的$Ω(T)$（相反，$Ω(\sqrt{T})$下界的风险中性的问题）。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的，而在预期奖励标准下的遗憾中不存在这种差异，这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
Online Variance Reduction with Mixtures
ETH Zurich（苏黎世联邦理工学院）
自适应重要性采样是一种很有前途的随机优化方法，通过减少方差来提高收敛性。在这项工作中，我们提出了一个新的方差减少框架，使混合物的使用超过预定义的采样分布，它可以自然地编码有关数据的先验知识。虽然这些采样分布是固定的，但在优化过程中会调整混合权重。我们提出了VRM，一种新的和有效的自适应方案，渐近恢复最好的混合权重在事后，也可以适应采样分布在点集。我们以经验证明了VRM在一系列应用中的多功能性。
2019-03-29 cs.LG stat.ML
Online Variance Reduction for Stochastic Optimization
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
现代随机最优化方法通常依赖于均匀采样，这对数据的基本特征是不可知的。这可能会降低收敛性，因为会产生具有高方差的估计值。一种可能的补救方法是采用非均匀重要性抽样技术，该技术考虑了数据集的结构。在这项工作中，我们研究了最近提出的设置，构成方差减少作为一个在线优化问题与强盗反馈。我们设计了一种新的和有效的算法，这种设置，找到一个序列的重要性抽样分布的竞争力与最好的固定分布在事后，这种结果的第一个。虽然我们提出了对数据点进行采样的方法，但它自然地扩展到选择坐标甚至其块。经验验证强调了我们的方法在几种情况下的好处。
2018-06-06 cs.LG stat.ML
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）；University of California, Riverside（加州大学河滨分校）；University of Virginia（弗吉尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究针对强化学习在线策略评估的高方差问题，提出双循环梯度算法学习鲁棒行为策略，其对转移扰动敏感性更低，可降低真实环境评估成本。
2026-08-26 cs.LG stat.ML
On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了基于方差缩减的随机梯度下降优化算法。最近通过SAG、SVRG、SAGA等算法的发展，在这个方向上取得了显著的进展。这些算法已经被证明优于SGD，无论是理论上还是经验上。然而，这些算法的异步版本-现代大规模应用程序的一个关键要求-还没有被研究。我们提出了一个统一的框架，许多方差减少技术弥合这一差距。随后，我们提出了一个异步算法接地在我们的框架，并证明了其快速收敛。我们的一般方法的一个重要后果是，它会产生异步版本的方差减少算法，如SVRG和SAGA作为副产品。我们的方法在机器学习常见的稀疏设置中实现了接近线性的加速。我们证明了我们的方法通过具体实现异步SVRG的经验性能。
2016-01-25 cs.LG stat.ML
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna（独立研究者）
针对重要性采样中方差减少评估的计算挑战，本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法，提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
Data- and Variance-dependent Regret Bounds for Online Tabular MDPs
Department of Mathematical Informatics, The University of Tokyo, Tokyo, Japan（数学信息学系，东京大学，东京，日本）
针对已知转移的在线表格马尔可夫决策过程，提出在对抗性环境下实现数据依赖遗憾界、在随机环境下实现方差依赖遗憾界的最优算法，并证明全局优化方法达到近乎最优。
2026-06-25 cs.LG stat.ML
Exponentially convergent stochastic k-PCA without variance reduction
Amazon AI（亚马逊人工智能（Amazon AI））
我们提出了矩阵Krasulina，在线k-PCA的算法，通过推广经典Krasulina的方法（Krasulina，1969）从向量矩阵的情况下。我们表明，理论和经验，该算法自然适应数据低秩和指数快速收敛到地面真理主子空间。值得注意的是，我们的结果表明，尽管最近的各种努力，以加快收敛的随机梯度为基础的方法，增加了O（n）时间的方差减少步骤，对于k-PCA问题，一个真正的在线SGD变量足以实现指数收敛的内在低秩数据。
2019-04-03 cs.LG stat.ML
Online Parameter-Free Learning of Multiple Low Variance Tasks
Istituto Italiano di Tecnologia（意大利技术研究院）；University College of London（伦敦大学学院）
我们提出了一种方法来学习一个共同的偏置向量的增长序列的低方差任务。与最先进的方法不同，我们的方法不需要调整任何超参数。我们的方法是在非统计设置，可以是两个变量。“积极”的一个更新每个数据点后的偏差，“懒惰”的一个更新偏差只有在每个任务结束。我们推导出该方法的跨任务后悔界。与最先进的方法相比，积极的变体返回更快的速率，懒惰的变体恢复标准速率，但不需要调整超参数。然后，我们调整方法的统计设置：积极的变体成为一个多任务的学习方法，懒惰的一个元学习方法。实验证明了我们的方法在实践中的有效性。
2020-07-11 cs.LG stat.ML
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University（复旦大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
随机粒子优化采样（SPOS）是最近发展起来的可扩展贝叶斯采样框架，它统一了基于Wasserstein梯度流的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）算法。SPOS算法采用严格的非渐近收敛理论，避免了SVGD算法的粒子坍缩缺陷。然而，SPOS的方差减少从未被研究过。在本文中，我们提出了几个方差减少技术SPOS弥合差距。具体来说，我们提出了三种变体的方差减少SPOS，称为SAGA粒子优化采样（SAGA-POS），SVRG粒子优化采样（SVRG-POS）和SVRG-POS的变体，它避免了完整的梯度计算，表示为SVRG-POS $^+$。重要的是，我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证，并分析了它们的复杂性。值得注意的是，结果表明，我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度，即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation
Machine Learning Department（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
OEUVRE提出一种在线无偏方差缩减损失估计器，利用算法稳定性实现常数时间更新，并证明其一致性、收敛速率和集中界，在多种任务上优于或匹配其他估计器。
2025-10-26 cs.LG stat.ML
Approximation Based Variance Reduction for Reparameterization Gradients
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
灵活的变分分布改进了变分推理，但更难优化。在这项工作中，我们提出了一个控制变量，适用于任何重新参数化的分布与已知的均值和协方差矩阵，例如高斯与任何协方差结构。控制变量基于模型的二次近似，其参数通过最小化梯度估计器的方差使用双下降方案来设置。我们的经验表明，这个控制变量导致了很大的改善梯度方差和优化收敛的推断与非因式分解变分分布。
2020-10-23 cs.LG stat.ML
Stochastic Variance Reduction for Deep Q-learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习的最新进展已经在各种现实世界的应用中实现了人类水平的性能。然而，目前的算法仍然遭受差的梯度估计与过多的方差，导致不稳定的训练和低的样本效率。在我们的论文中，我们提出了一个创新的优化策略，利用随机方差降低梯度（SVRG）技术。通过对Atari域的广泛实验，我们的方法在20个游戏中的18个上优于深度q学习基线。
2019-05-20 cs.LG stat.ML
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods
Georgia Tech（佐治亚理工学院）
策略梯度方法在具有高维连续状态和动作空间的强化学习任务中已经证明是成功的。然而，策略梯度方法也是出了名的样本效率低下。这可以归因于，至少部分地，在估计的梯度的任务目标与蒙特卡罗方法的高方差。以前的研究已经endeavenly抗衡这个问题，通过研究控制变量（CV），可以减少估计的方差，而不引入偏见，包括早期使用的基线，状态依赖CV，和最近的状态动作依赖CV。在这项工作中，我们分析了以前的CV技术的属性和缺点，令人惊讶的是，我们发现，这些作品忽略了一个重要的事实，即蒙特卡罗梯度估计产生的轨迹的状态和行动。我们发现，忽略轨迹之间的相关性可能会导致次优的方差减少，我们提出了一个简单的解决方案：一类“随机”CV，可以进一步降低方差。我们表明，构建智能CV可以递归完成，只需要学习状态动作价值函数，如以前的CV的策略梯度。我们进一步证明了在合理的假设下，所提出的随机CV是最佳的方差减少。
2019-08-08 cs.LG stat.ML
On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
我们提供收敛保证瓦瑟斯坦距离的各种方差减少的方法：SAGA Langevin扩散，SVRG Langevin扩散和控制变量欠阻尼Langevin扩散。我们分析这些方法下的一组统一的假设的对数-后验分布，假设它是光滑的，强凸和Hessian Lipschitz。这是通过一种新的证明技术结合有限和优化和抽样方法的分析思想来实现的。我们尖锐的理论界限，使我们能够确定感兴趣的制度，其中每种方法比其他执行得更好。我们的理论与实验验证真实世界和合成数据集。
2018-02-15 cs.LG stat.ML
On the Reduction of Variance and Overestimation of Deep Q-Learning
University of Khartoum（喀土穆大学）；African Institute for Mathematical Sciences（非洲数学科学研究院）
针对深度Q学习的目标值方差高与过估计问题，提出将Dropout技术应用于该算法，经基准环境实验验证，该方法可提升稳定性并降低方差与过估计。
2024-04-14 cs.LG stat.ML
Variance Reduction with Sparse Gradients
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
诸如SVRG和SpiderBoost之类的方差减小方法使用大批量梯度和小批量梯度的混合来减小随机梯度的方差。与SGD相比，这些方法每次更新模型参数所需的操作次数至少是SGD的两倍。为了减少这些方法的计算成本，我们引入了一个新的稀疏算子：随机顶k算子。我们的运营商降低了计算复杂性通过估计梯度稀疏性表现在各种应用程序相结合的top-k算子和随机坐标下降算子。使用此运算符，大批量梯度提供了方差减少之外的额外好处：梯度稀疏性的可靠估计。从理论上讲，我们的算法至少和最好的算法（SpiderBoost）一样好，并且在随机前k算子捕获梯度稀疏性时，性能更好。从经验上讲，我们的算法在各种任务上使用各种模型，包括图像分类，自然语言处理和稀疏矩阵分解，始终优于SpiderBoost。我们还通过一个简单的梯度熵计算提供了经验证据来支持我们算法背后的直觉，该计算用于在每次迭代时量化梯度稀疏性。
2020-01-27 cs.LG stat.ML
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota（明尼苏达大学）
我们提出了在线主成分分析（PCA）和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上，其比较对象是事后最优固定行为。然而，当潜在环境发生变化时，静态后悔并不是一个合适的指标。相反，我们采用自适应遗憾度量从以前的文献中，并提出在线自适应算法PCA和方差最小化，具有次线性自适应遗憾的保证。我们从理论上和实验上证明，所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
Rochester Institute of Technology（罗切斯特技术学院）
本文提出了一种集成学习的通用加权理论，通过几何和谱约束，展示结构化加权在提升模型性能中的作用。
2025-12-25 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Variance Reduction Methods for Sublinear Reinforcement Learning
分析中有一个技术问题不容易解决。因此，我们撤回这一意见。抱歉给您带来不便。
2020-06-27 cs.AI cs.LG stat.ML
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal（蒙特利尔大学）
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架，其中一组工作人员并行搜索信息量最大的示例，而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新，当采样建议与梯度的L2范数成比例时，该梯度的无偏估计也具有最小方差。我们的实验表明，这种方法降低梯度方差，即使在机器之间的同步成本不能忽略的情况下，其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Fast Variance Reduction Method with Stochastic Batch Size
University of California, Davis（加州大学戴维斯分校）
本文研究了一类具有随机批量的方差缩减方法--在每一步中，算法首先随机选择批量，然后选择一批样本进行方差缩减的随机更新。我们给出了这个框架的复合函数的线性收敛速度，并表明，每次数据访问达到最佳收敛速度的最佳策略是始终选择批量大小为1，这是等价于SAGA算法。然而，由于计算机体系结构中缓存/磁盘IO效应的存在，数据访问次数无法反映运行时间，因为1）随机内存访问比顺序存取慢得多，2）当数据太大而无法放入内存时，磁盘查找需要更长的时间。考虑到这些因素后，选择批量大小的$1$不再是最优的，所以我们提出了一个新的算法称为SAGA++，并展示了如何计算理论上的最优平均批量大小。我们的算法优于SAGA和其他现有的批量和随机求解器在真实数据集上。此外，我们还进行了一个精确的分析，比较不同的更新规则的方差减少方法，表明SAGA++收敛速度比SVRG在理论上。
2018-08-07 cs.LG stat.ML
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University（清华大学）
基于随机性的Monte Carlo抽样算法，如Langevin动力学和Hamilton Monte Carlo，是贝叶斯推理的重要方法。在大规模环境中，全梯度是负担不起的，因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差，Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学，并获得了理论和实验上的改进。在本文中，我们将方差缩减技巧应用于哈密顿蒙特卡罗，并取得了更好的理论收敛结果相比，方差缩减的朗之万动力学。此外，我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中，进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示，在真实世界数据集上的贝叶斯回归和分类任务中，方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
2019-06-21 cs.DS cs.LG stat.ML
Reducing the variance in online optimization by transporting past gradients
University of Southern California（南加州大学）；Google Brain（谷歌大脑）；University of British Columbia（不列颠哥伦比亚大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
大多数随机优化方法在丢弃它们之前使用梯度一次。虽然方差缩减方法已经表明，当有有限数量的数据点时，重用过去的梯度可能是有益的，但它们不容易扩展到在线设置。一个问题是由于使用过去的梯度陈旧。我们建议使用隐式梯度传输（IGT）的思想来纠正这种陈旧性，该思想将在先前迭代中计算的梯度转换为在当前迭代中评估的梯度，而不显式地使用Hessian。除了减少我们随着时间的推移更新的方差和偏差外，IGT还可以用作许多众所周知的方法（如Heavy Ball或Adam）中梯度估计的直接替代品。我们的实验表明，它实现了国家的最先进的结果在广泛的架构和基准。此外，IGT梯度估计器在所有分量函数的Hessian相等的限制设置中产生在线随机优化的最优渐近收敛速度。
2019-06-18 cs.LG math.OC stat.ML
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）
具有方差减少的随机最优化算法已被证明是成功的，用于最小化函数的大有限和。不幸的是，这些技术无法处理输入数据的随机扰动，例如由数据扩增引起的。在这种情况下，目标不再是有限和，优化的主要候选是随机梯度下降法（SGD）。在本文中，我们引入了一个方差减少的方法，这些设置时，目标是复合和强凸的。收敛速度优于SGD与一个典型的小得多的常数因子，这取决于梯度估计的方差，仅由于一个单一的例子扰动。
2017-11-15 cs.LG math.OC stat.ML
Variance Reduction for Evolution Strategies via Structured Control Variates
Columbia University（哥伦比亚大学）；Google Robotics（谷歌机器人）；Fero Labs（费罗实验室）
演化策略（ES）是一类功能强大的黑盒优化技术，最近成为强化学习（RL）的最先进的策略梯度（PG）算法的竞争替代方案。我们提出了一种新的方法，用于提高精度的ES算法，而不是最近的方法，仅利用蒙特卡罗结构的梯度估计，利用底层MDP结构，以减少方差。我们观察到，ES目标的梯度估计可以交替使用重新参数化和PG估计，这导致新的控制变量技术的梯度估计ES优化计算。我们提供了理论见解，并通过大量的实验表明，这种RL特定的方差减少方法优于通用方差减少方法。
2020-03-13 cs.LG cs.NE stat.ML
The Benefits of Balance: From Information Projections to Variance Reduction
University of Washington（华盛顿大学）
该研究揭示机器学习基础模型中跨模态和来源的数据平衡具有意外的方差减少益处，提出量化该效应的非渐近统计界并关联马尔可夫算子特征值衰减，为理解和改进相关任务的数据平衡提供新视角。
2025-02-11 cs.LG math.ST stat.ML
Variance Reduction for Matrix Computations with Applications to Gaussian Processes
除了计算速度和内存方面的最新发展外，方法的进步也有助于随机模拟性能的显着提高。在本文中，我们专注于通过矩阵分解矩阵计算的方差减少。我们提供了深入了解现有的方差减少方法估计大型矩阵的条目。流行的方法不利用减少方差，这是可能的，当矩阵的因式分解。我们展示了如何计算矩阵的平方根分解可以实现在一些重要的情况下任意更好的随机性能。此外，我们提出了一个因式分解的估计矩阵的产品的轨迹，并数值证明，估计可以高达1,000倍更有效的估计高斯过程的对数似然的某些问题。此外，我们提供了一个新的估计的对数行列式的半正定矩阵的对数行列式被视为一个正规化常数的概率密度。
2023-03-26 cs.LG stat.CO stat.ML
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University（普渡大学）
在这项工作中，我们调查的方差减少的想法，通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD，并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度，从而加快了收敛速度。特别是，我们的一般理论意味着，方差减少可以应用于使用时变步长的算法和自适应算法，如AdaGrad和RMSProp。此外，SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
MARS: Unleashing the Power of Variance Reduction for Training Large Models
University of California, Los Angeles（加州大学洛杉矶分校）
针对现有方差缩减方法难以有效用于大模型训练的问题，本文提出统一优化框架MARS，通过缩放随机递移动量技术结合预条件梯度方法与方差缩减，在GPT-2训练中性能显著优于AdamW。
2025-09-04 cs.LG math.OC stat.ML
A Unified Framework for Stochastic Matrix Factorization via Variance Reduction
National University of Singapore（新加坡国立大学）
我们提出了一个统一的框架，以加快现有的随机阵分解（SMF）算法，通过减少方差。我们的框架是一般的，它包括几个著名的SMF配方在文献中。我们进行了非渐近收敛分析我们的框架，并得出计算和样本的复杂性，我们的算法收敛到一个$ε$ -平稳点的期望。此外，广泛的SMF配方类的广泛实验表明，我们的框架始终产生更快的收敛和更准确的输出字典相对于国家的最先进的框架。
2017-05-22 cs.LG math.OC stat.ML
Amortized variance reduction for doubly stochastic objectives
University of Warwick（华威大学）
在复杂的概率模型，如深高斯过程的近似推理需要优化的双随机目标函数。这些目标将随机性从小批量抽样的数据和蒙特卡罗估计的期望。如果梯度方差高，则随机优化问题变得困难，收敛速度慢。控制变量可以用来减少方差，但过去的方法没有考虑小批量随机性如何影响抽样随机性，导致次优方差减少。我们提出了一种新的方法，在该方法中，我们使用一个识别网络来廉价地近似每个小批量的最优控制变量，没有额外的模型梯度计算。我们说明了这个建议的性质，并测试其性能的逻辑斯谛回归和深高斯过程。
2020-03-09 cs.LG stat.ME stat.ML
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah（犹他大学）
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法，采用动量和方差减少技术已经开发的组成优化。然而，这些算法没有充分利用这两种技术来加速收敛，并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献，用于非凸组合优化。特别是，我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外，我们的算法实现了接近最优的样本复杂度的结果，在非凸有限和和在线组合优化，并实现了梯度优势条件下的线性收敛速度。数值实验表明，我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
针对基数约束下的稀疏学习问题，提出了一种随机方差缩减优化算法。充分条件下，该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明，我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Black-Box Reductions for Parameter-free Online Learning in Banach Spaces
Stanford University（斯坦福大学）；Stony Brook University（石溪大学）
我们介绍了几个新的黑盒约简，通过简化分析，提高遗憾保证，有时甚至提高运行时间，显着改善自适应和无参数在线学习算法的设计。我们把无参数的在线学习简化为在线指数凹优化，把Banach空间中的优化简化为一维优化，把约束域上的优化简化为无约束优化。我们所有的缩减都和在线梯度下降一样快。我们使用我们的新技术，以改善以前的最佳遗憾界的参数自由学习，这样做的任意规范。
2018-06-26 cs.LG math.OC stat.ML
Empirical Variance Minimization with Applications in Variance Reduction and Optimal Control
研究了泛函类上方差型泛函的经验极小化问题。尖锐的非渐近界的多余的方差推导出温和的条件下。特别是，它表明，在施加的功能类快速收敛速度的一些限制下，可以实现包括最佳的非参数率表达类在非Donsker制度下的一些额外的假设。我们的主要应用包括方差缩减和最优控制。
2021-07-31 cs.NA math.NA stat.ML
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限，本研究提出将零方差控制变量应用于路径梯度估计器，仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）
方差缩减（VR）方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降（SGD）的性能。然而，当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算（使用整个数据集）。这限制了VR方法在实际分布式环境中的使用。在本文中，我们提出了一种方差降低方法，称为VR-lite，不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种，可扩展的，保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法，并发现我们提出的算法表现良好，其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)（数据科学与人工智能研究所）；Department of Computer Science, University of Rochester（计算机科学系）
本文提出一种随机近点法，通过方差缩减和概率增强技术，在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
Training Structured Neural Networks Through Manifold Identification and Variance Reduction
Academia Sinica（中央研究院）
本文提出了一种训练神经网络的算法（RMDA），该算法中引入了一个正则化项来提升期望的结构。RMDA不会引起额外的计算与动量近端SGD，并实现方差减小，而不需要的目标函数是有限和形式。通过从非线性优化流形识别的工具，我们证明，经过有限次迭代，所有的迭代RMDA具有所需的结构相同的正则化诱导的渐近收敛的稳定点，即使在存在的工程技巧，如数据增强和辍学，复杂的训练过程。训练神经网络与结构稀疏的实验证实，方差减少是必要的，这样的识别，并表明RMDA因此显着优于现有的方法，这项任务。对于非结构化稀疏性，RMDA也优于最先进的修剪方法，验证了通过正则化训练结构化NN的好处。
2022-03-18 cs.LG math.OC stat.ML
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；OpenAI（开放人工智能研究中心）
策略梯度方法在深度强化学习中取得了巨大的成功，但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题，我们推导出一个无偏差的行动依赖的基线方差减少，充分利用随机政策本身的结构形式，并没有作出任何额外的假设MDP。我们通过理论分析和数值结果，包括最优状态依赖基线的次优性分析，证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法，它的规模高维控制问题，所证明的合成2000维目标匹配任务。我们的实验结果表明，动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后，我们表明，在基线中包括额外的信息，以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
