Stochastic Variance Reduction for Deep Q-learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习的最新进展已经在各种现实世界的应用中实现了人类水平的性能。然而，目前的算法仍然遭受差的梯度估计与过多的方差，导致不稳定的训练和低的样本效率。在我们的论文中，我们提出了一个创新的优化策略，利用随机方差降低梯度（SVRG）技术。通过对Atari域的广泛实验，我们的方法在20个游戏中的18个上优于深度q学习基线。
2019-05-20 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods
Georgia Tech（佐治亚理工学院）
策略梯度方法在具有高维连续状态和动作空间的强化学习任务中已经证明是成功的。然而，策略梯度方法也是出了名的样本效率低下。这可以归因于，至少部分地，在估计的梯度的任务目标与蒙特卡罗方法的高方差。以前的研究已经endeavenly抗衡这个问题，通过研究控制变量（CV），可以减少估计的方差，而不引入偏见，包括早期使用的基线，状态依赖CV，和最近的状态动作依赖CV。在这项工作中，我们分析了以前的CV技术的属性和缺点，令人惊讶的是，我们发现，这些作品忽略了一个重要的事实，即蒙特卡罗梯度估计产生的轨迹的状态和行动。我们发现，忽略轨迹之间的相关性可能会导致次优的方差减少，我们提出了一个简单的解决方案：一类“随机”CV，可以进一步降低方差。我们表明，构建智能CV可以递归完成，只需要学习状态动作价值函数，如以前的CV的策略梯度。我们进一步证明了在合理的假设下，所提出的随机CV是最佳的方差减少。
2019-08-08 cs.LG stat.ML
On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
我们提供收敛保证瓦瑟斯坦距离的各种方差减少的方法：SAGA Langevin扩散，SVRG Langevin扩散和控制变量欠阻尼Langevin扩散。我们分析这些方法下的一组统一的假设的对数-后验分布，假设它是光滑的，强凸和Hessian Lipschitz。这是通过一种新的证明技术结合有限和优化和抽样方法的分析思想来实现的。我们尖锐的理论界限，使我们能够确定感兴趣的制度，其中每种方法比其他执行得更好。我们的理论与实验验证真实世界和合成数据集。
2018-02-15 cs.LG stat.ML
On the Reduction of Variance and Overestimation of Deep Q-Learning
University of Khartoum（喀土穆大学）；African Institute for Mathematical Sciences（非洲数学科学研究院）
针对深度Q学习的目标值方差高与过估计问题，提出将Dropout技术应用于该算法，经基准环境实验验证，该方法可提升稳定性并降低方差与过估计。
2024-04-14 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Variance Reduction Methods for Sublinear Reinforcement Learning
分析中有一个技术问题不容易解决。因此，我们撤回这一意见。抱歉给您带来不便。
2020-06-27 cs.AI cs.LG stat.ML
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal（蒙特利尔大学）
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架，其中一组工作人员并行搜索信息量最大的示例，而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新，当采样建议与梯度的L2范数成比例时，该梯度的无偏估计也具有最小方差。我们的实验表明，这种方法降低梯度方差，即使在机器之间的同步成本不能忽略的情况下，其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University（清华大学）
基于随机性的Monte Carlo抽样算法，如Langevin动力学和Hamilton Monte Carlo，是贝叶斯推理的重要方法。在大规模环境中，全梯度是负担不起的，因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差，Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学，并获得了理论和实验上的改进。在本文中，我们将方差缩减技巧应用于哈密顿蒙特卡罗，并取得了更好的理论收敛结果相比，方差缩减的朗之万动力学。此外，我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中，进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示，在真实世界数据集上的贝叶斯回归和分类任务中，方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
2019-06-21 cs.DS cs.LG stat.ML
Variance Reduction for Evolution Strategies via Structured Control Variates
Columbia University（哥伦比亚大学）；Google Robotics（谷歌机器人）；Fero Labs（费罗实验室）
演化策略（ES）是一类功能强大的黑盒优化技术，最近成为强化学习（RL）的最先进的策略梯度（PG）算法的竞争替代方案。我们提出了一种新的方法，用于提高精度的ES算法，而不是最近的方法，仅利用蒙特卡罗结构的梯度估计，利用底层MDP结构，以减少方差。我们观察到，ES目标的梯度估计可以交替使用重新参数化和PG估计，这导致新的控制变量技术的梯度估计ES优化计算。我们提供了理论见解，并通过大量的实验表明，这种RL特定的方差减少方法优于通用方差减少方法。
2020-03-13 cs.LG cs.NE stat.ML
Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization
École Polytechnique（巴黎综合理工学院）；HSE University（俄罗斯国立高等经济大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
强化学习（RL）中的策略梯度方法是一种非常普遍的方法，在实际应用中得到了广泛的应用，但其性能受到梯度估计的高方差的影响。提出了几种方法来减少它，包括演员-评论家（AC）和优势演员-评论家（A2 C）的方法。最近，由于深度RL的引入，这些方法有了新的视角：新的控制变量（CV）和新的子采样程序在神经网络等复杂模型的设置中变得可用。基于CV的方法的核心部分是CV训练的目标泛函，最流行的是A2 C的最小二乘准则。尽管这一标准在实践中取得了成功，但它并不是唯一可能的标准。在本文中，我们第一次调查的性能称为经验方差（EV）。我们在实验中观察到，不仅EV-标准执行不差于A2 C，但有时可以相当好。除此之外，我们还证明了一些理论保证的实际方差减少非常一般的假设下，并表明A2 C最小二乘目标泛函是EV目标的上界。我们的实验表明，在方差减少方面，基于EV的方法比A2 C好得多，并且允许更强的方差减少。
2022-06-15 cs.LG
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限，本研究提出将零方差控制变量应用于路径梯度估计器，仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；OpenAI（开放人工智能研究中心）
策略梯度方法在深度强化学习中取得了巨大的成功，但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题，我们推导出一个无偏差的行动依赖的基线方差减少，充分利用随机政策本身的结构形式，并没有作出任何额外的假设MDP。我们通过理论分析和数值结果，包括最优状态依赖基线的次优性分析，证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法，它的规模高维控制问题，所证明的合成2000维目标匹配任务。我们的实验结果表明，动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后，我们表明，在基线中包括额外的信息，以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning
Department of Electrical Engineering（电气工程系）
深度强化学习（DRL）算法的不稳定性和可变性往往会对其性能产生不利影响。Averaged-DQN是DQN算法的一个简单扩展，基于对先前学习的Q值估计进行平均，通过减少目标值中的近似误差方差，从而实现更稳定的训练过程和改进的性能。为了了解该算法的效果，我们研究了价值函数估计误差的来源，并提供了一个简化模型内的分析比较。我们进一步提出了实验的街机学习环境的基准，证明显着提高稳定性和性能，由于所提出的扩展。
2017-03-10 cs.AI cs.LG stat.ML
A Convergence Analysis for A Class of Practical Variance-Reduction Stochastic Gradient MCMC
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）是一种灵活的可扩展贝叶斯抽样算法。然而，很少有理论分析的影响，小批量的大小，算法的收敛速度。在本文中，我们证明了在有限的计算预算/时间下，较大的minibatch大小导致均方误差界的更快下降（因此最快的一个对应于使用全梯度），这激发了SG-MCMC中方差减小的必要性。因此，借用随机最优化的思想，我们提出了一个实用的方差减少技术SG-MCMC，这是有效的计算和存储。我们开发的理论证明，我们的算法比标准SG-MCMC诱导更快的收敛速度。从逻辑斯谛回归的贝叶斯学习到深度神经网络的大量大规模实验验证了该理论，并证明了所提出的方差减少SG-MCMC框架的优越性。
2017-09-04 stat.ML
Policy Gradient Optimal Correlation Search for Variance Reduction in Monte Carlo simulation and Maximum Optimal Transport
Sorbonne Université（索邦大学）
本文提出用深度神经网络结合策略梯度与强化学习搜索最优路径相关性，以降低随机微分方程蒙特卡洛估计的方差，并建立其与最大最优传输的联系。
2023-09-15 cs.LG math.OC stat.ML
Adaptive online variance estimation in particle filters: the ALVar estimator
本文提出了一种新的方法--ALVar估计--来估计序贯蒙特卡罗方法或粒子滤波器中的渐近方差。本文提出了一种自适应调整估计器滞后的方法。（2019年）。粒子滤波器中方差的数值稳定在线估计。Bernoulli，25（2），pp. 1504-1535]适用于非常一般的分配流和粒子滤波器，包括具有自适应恢复的辅助粒子滤波器。该算法完全在线操作，在这个意义上，它是能够实时监控的粒子滤波器的方差，平均而言，恒定的计算复杂度和每次迭代的内存需求。关键是，它不需要校准任何算法参数。仅基于传播粒子云的谱系来估计方差，而无需额外的模拟，该例程仅需要对底层粒子算法添加少量代码。最后，我们证明了ALVar估计是一致的真正的渐近方差的粒子数趋于无穷大，并说明其优越性，现有的方法。
2022-07-19 stat.CO
Variance reduction for additive functional of Markov chains via martingale representations
在本文中，我们提出了一个有效的方差减少方法的马尔可夫链依赖于一个新的离散时间鞅表示的可加泛函。我们的方法是完全非渐进的，并且不需要静态分布（甚至任何类型的遍历性）或底层密度的特定结构的知识。通过严格分析算法的收敛性，我们表明，它的成本方差积确实小于一个朴素的算法。用Langevin型马尔可夫链蒙特卡罗（MCMC）方法验证了新方法的数值性能。
2021-12-21 stat.CO stat.ML
Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies
Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
针对AD难以处理高敏感、不连续或黑盒展开图的问题，提出无偏在线进化策略并识别出最低方差的NRES，实验证明其在多类任务上收敛更快。
2023-12-09 cs.AI cs.LG cs.NE
Approximating Martingale Process for Variance Reduction in Deep Reinforcement Learning with Large State Space
Cornell University（康奈尔大学）
近似鞅过程（AMP）被证明是有效的方差减少强化学习（RL）在特定情况下，如多类神经网络。然而，在已经证明的情况下，状态空间相对较小，所有可能的状态转换都可以迭代。在本文中，我们考虑系统的状态空间是大的，有不确定性时，考虑状态转移，从而使AMP的RL的广义方差减少方法。具体而言，我们将研究AMP在Uber等网约车系统中的应用，其中加入了近端策略优化（PPO），以优化司机和客户的匹配策略。
2022-11-29 cs.LG cs.MA math.OC
Variance Reduction for Score Functions Using Optimal Baselines
Cornell University（康奈尔大学）
许多问题涉及使用模型，这些模型学习概率分布或以某种方式包含随机性。在这样的问题中，因为计算真实的期望梯度可能是棘手的，梯度估计器被用来更新模型参数。当模型参数直接影响概率分布时，梯度估计将涉及得分函数项。本文研究基线，得分函数的方差减少技术。动机主要是由强化学习，我们推导出第一次的最佳状态相关的基线，基线的结果在梯度估计与最小方差的表达式。虽然我们表明，存在的例子中，最佳基线可能是任意优于一个价值函数基线，我们发现，价值函数基线通常执行类似的最佳基线的方差减少。此外，价值函数也可以用于收益的自举估计，从而导致额外的方差减少。我们的研究结果提供了新的见解和理由，为什么价值函数基线和广义优势估计（GAE）的工作以及在实践中。
2022-12-27 cs.LG cs.SY eess.SY
Variance reduction for dependent sequences with applications to Stochastic Gradient MCMC
本文提出了一种新的实用的相依序列的可加泛函的方差缩减方法。我们的方法结合使用控制变量的经验方差估计的最小化。我们分析所提出的方法的有限样本性质，并推导出有限时间的界限的超额渐近方差为零。我们将我们的方法应用于随机梯度MCMC（SGMCMC）方法在大数据集上进行贝叶斯推理，并将其与现有的SGMCMC方差降低方法相结合。我们目前的实证结果进行了一些基准的例子表明，我们的方差减少方法相比，国家的最先进的方法，以适度增加计算开销的代价实现了显着的改善。
2020-08-16 math.ST stat.CO stat.TH
Variational Inference with Numerical Derivatives: variance reduction through coupling
黑盒变分推断（Ranganath等人（2014））算法为变分推断提供了一种通用方法，但是利用近似族或目标的特殊性质可以显著提高收敛速度。例如，如果近似族是一个变换族，如高斯，那么切换到重新参数化梯度（Kingma和Welling（2014））通常会大大减少梯度方差。最终，减少方差可以减少计算成本并产生更好的近似。我们提出了一种新的方法来扩展重新参数化技巧更一般的指数族，包括Wishart，伽玛，和学生分布。具有数值导数的变分推断（VIND）利用数值导数来近似梯度，并使用近似族的紧密耦合来减小其方差。由此产生的算法是简单的实现，并可以受益于广泛已知的耦合。我们的实验证实，VIND有效地降低了梯度方差，从而提高了相关情况下的后验近似。因此，它提供了一个有效而简单的变分推断方法计算非高斯近似。
2019-06-17 stat.CO stat.ML
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
Greedy-GQ是一种基于值的强化学习（RL）算法，用于最优控制。最近，有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样，该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ（VR-Greedy-GQ）算法。特别地，该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下，研究了VR-Greedy-GQ的有限时间收敛性，并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是，我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能，以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Numerically stable online estimation of variance in particle filters
本文讨论序贯蒙特卡罗方法中的方差估计，也称为粒子滤波器。我们提出的方差估计量是H. P. Chan和T. L. Lai [隐马尔可夫模型中粒子滤波器的一般理论及其应用。安。统计员，41（6）：2877-2904，2013]，其允许通过追踪粒子的谱系历史在粒子滤波器的单次运行中估计方差。然而，由于粒子谱系退化，所提到的工作的估计变得数值上不稳定的顺序粒子更新的数量增加。因此，通过只追踪粒子谱系的一部分而不是全部，我们的估计器以偏差为代价获得了长期的数值稳定性。家谱跟踪的范围是由一个滞后调节，并在温和的，容易检查的模型假设，我们证明了偏差趋于零几何快速滞后增加。正如我们的数值结果所证实的那样，这使得对于中等颗粒样本量也可以严格控制偏差。
2017-01-04 stat.ME
Enhancing Precision with the Local Pivotal Method: A General Variance Reduction Approach
本研究将原本用于离散总体抽样的局部枢纽法（LPM）拓展至任意连续分布场景，通过自动分层实现通用方差缩减，验证了其在多领域的有效性，还展示了其与其他方差缩减技术的结合效果，并提供了MATLAB和R的快速入门代码指南。
2023-05-03 stat.ME
Asynchronous Stochastic Composition Optimization with Variance Reduction
University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
组合优化在从风险管理到强化学习的各种机器学习领域中引起了广泛的关注。现有的求解组合最优化问题的方法多采用单机顺序求解的方式，限制了其在大规模问题中的应用。为了解决这个问题，本文提出了两个异步并行方差减少随机组成梯度（AsyVRSC）算法，适合于处理大规模数据集。这两个算法是AsyVRSC-Shared的共享内存架构和AsyVRSC-Distributed的主从架构。嵌入式方差减少技术使算法能够实现线性收敛速率。此外，AsyVRSC-Shared和AsyVRSC-Distributed享受可证明的线性加速比，当时间延迟分别由数据维数或部分梯度的稀疏比限制时。大量的实验验证了所提出的算法的有效性。
2018-11-15 cs.DC cs.LG math.OC
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Variance Reduction for Metropolis-Hastings Samplers
我们介绍了一个一般的框架，构造估计减少方差的随机游动大都市和大都市调整Langevin算法。由此产生的估计需要可以忽略不计的计算成本，并得出在后处理的方式利用所有的建议值的大都市算法。方差减少是通过产生控制变量，通过近似解决方案的泊松方程与目标密度的马尔可夫链。所提出的方法是基于近似的目标密度与高斯，然后利用精确的解决方案的泊松方程的高斯情况下。这导致使用两个关键元素的估计器：（i）来自泊松方程的控制变量，其包含在提议分布下的难处理的期望，（ii）第二控制变量，以减少后一难处理的期望的蒙特卡罗估计的方差。仿真数据的例子被用来说明令人印象深刻的方差减少实现高斯目标的情况下，以及相应的效果时，目标的高斯性假设被违反。贝叶斯逻辑斯谛回归和随机波动率模型的实际数据的例子验证了相当大的方差减少，实现了微不足道的额外计算成本。
2022-03-04 stat.CO stat.ME
Meta variance reduction for Monte Carlo estimation of energetic particle confinement during stellarator optimization
这项工作介绍了Meta估计，结合多个多保真度技术的基础上控制变量，重要性抽样，和信息重用，以产生一个准乘法量的方差减少。当不确定性的输入分布在外环期间发生变化时，所提出的Meta估计在外环应用中特别有效，这通常是基于可靠性的设计和形状优化中的情况。我们得到的外环结果的收敛极限的Meta估计的方差减少的渐近界。我们证明了Meta估计，使用数据驱动的代理模型和偏置密度，在不确定性的动机下的设计问题的磁约束融合，即优化仿星器线圈的设计，以最大限度地提高估计约束的高能粒子。的Meta估计优于所有的成分方差减少技术单独，最终产生两个数量级的加速相比，在相同的计算预算的标准蒙特卡洛估计。
2023-01-18 cs.NA math.NA physics.comp-ph
Variance Reduction in Stochastic Reaction Networks using Control Variates
蒙特卡罗估计在随机反应网络中起着至关重要的作用。然而，减少相应估计量的统计不确定性需要对大量轨迹进行采样。我们提出了控制变量的基础上的统计矩的过程，以减少估计的方差。我们开发了一个算法，选择一个有效的子集的无穷多个控制变量。为此，该算法使用resception和冗余感知贪婪选择。我们证明了我们的方法在几个案例研究的效率。
2021-10-18 cs.SY eess.SY q-bio.MN
VR-PIC: An entropic variance-reduction method for particle-in-cell solutions of the Vlasov-Poisson equation
Department of Mechanical Engineering, MIT（麻省理工学院机械工程系）；ETH Zurich（苏黎世联邦理工学院）；Paul Scherrer Institute（保罗谢勒研究所）
VR-PIC方法通过熵方差减少技术提升粒子-网格解法在Vlasov-Poisson方程中的计算效率，减少偏差并保持守恒定律。
2026-02-04 physics.comp-ph physics.plasm-ph stat.CO
A weight-bounded importance sampling method for variance reduction
重要性抽样是蒙特卡罗模拟中减小估计方差的重要技术。然而，在许多实际问题中，使用IS方法可能会导致方差无界，从而无法提供可靠的估计。为了解决这个问题，我们提出了一种方法，它可以防止风险的无界方差，所提出的方法执行标准IS的积分的兴趣，只有在一个区域中的IS权重是有界的，并使用结果作为一个近似的原始积分。可以验证得到的估计量具有有限方差。此外，我们还提供了一个基于正态性检验的方法来确定区域与有界的IS重量（称为安全区域）从标准IS分布的样本。数值算例表明，当标准IS失效时，该方法可以得到相当可靠的估计，并且其性能优于防御IS，这是一种流行的防止无界方差的方法。
2019-02-22 stat.CO
Variance Reduction Methods for Dirichlet Expectations
Columbia University（哥伦比亚大学）
本文提出针对大n的方差缩减方法，用于估计Dirichlet分布下指数函数的期望，结合Laplace方法改进重要性采样和控制变量选择，应用于文本主题分析。
2026-04-05 stat.ME
On the Variance of Unbiased Online Recurrent Optimization
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维）
最近提出的无偏在线循环优化算法（UORO，arXiv：1702.05043）使用RTRL的无偏近似来实现RNN中完全在线的基于梯度的学习。在这项工作中，我们分析了由UORO计算的梯度估计的方差，并提出了几种可能的变化，在理论和实践中减少这种方差的方法。我们还对UORO（及其现有的方差降低技术）的理论和直观理解做出了重大贡献，并证明了其梯度估计与如果将少量噪声添加到RNN的隐藏单元中，则由REINFORCE计算的梯度估计之间的基本联系。
2019-02-06 cs.LG stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Machine Learning for Variance Reduction in Online Experiments
Princeton University（普林斯顿大学）；Facebook
我们考虑在随机对照试验中通过使用与结果相关但与治疗无关的协变量来减少方差的问题。我们提出了一个机器学习回归调整的处理效应估计，我们称之为MLRATE。MLRATE使用结果的机器学习预测器来减少估计方差。它采用交叉拟合，以避免过度拟合的偏见，我们证明了一致性和渐近正态性在一般条件下。MLRATE对来自机器学习步骤的不良预测具有鲁棒性：如果预测与结果不相关，则估计量的性能渐近地不比标准均值差估计量差，而如果预测与结果高度相关，则效率增益很大。在A/A测试中，对于Facebook实验中通常监测的一组48个结果指标，估计量的方差比简单的均值差估计量低70%以上，比仅针对结果的实验前值进行调整的常见单变量过程低约19%。
2022-01-06 cs.LG stat.ML
On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了基于方差缩减的随机梯度下降优化算法。最近通过SAG、SVRG、SAGA等算法的发展，在这个方向上取得了显著的进展。这些算法已经被证明优于SGD，无论是理论上还是经验上。然而，这些算法的异步版本-现代大规模应用程序的一个关键要求-还没有被研究。我们提出了一个统一的框架，许多方差减少技术弥合这一差距。随后，我们提出了一个异步算法接地在我们的框架，并证明了其快速收敛。我们的一般方法的一个重要后果是，它会产生异步版本的方差减少算法，如SVRG和SAGA作为副产品。我们的方法在机器学习常见的稀疏设置中实现了接近线性的加速。我们证明了我们的方法通过具体实现异步SVRG的经验性能。
2016-01-25 cs.LG stat.ML
Data- and Variance-dependent Regret Bounds for Online Tabular MDPs
Department of Mathematical Informatics, The University of Tokyo, Tokyo, Japan（数学信息学系，东京大学，东京，日本）
针对已知转移的在线表格马尔可夫决策过程，提出在对抗性环境下实现数据依赖遗憾界、在随机环境下实现方差依赖遗憾界的最优算法，并证明全局优化方法达到近乎最优。
2026-06-25 cs.LG stat.ML
Exponentially convergent stochastic k-PCA without variance reduction
Amazon AI（亚马逊人工智能（Amazon AI））
我们提出了矩阵Krasulina，在线k-PCA的算法，通过推广经典Krasulina的方法（Krasulina，1969）从向量矩阵的情况下。我们表明，理论和经验，该算法自然适应数据低秩和指数快速收敛到地面真理主子空间。值得注意的是，我们的结果表明，尽管最近的各种努力，以加快收敛的随机梯度为基础的方法，增加了O（n）时间的方差减少步骤，对于k-PCA问题，一个真正的在线SGD变量足以实现指数收敛的内在低秩数据。
2019-04-03 cs.LG stat.ML
Online Parameter-Free Learning of Multiple Low Variance Tasks
Istituto Italiano di Tecnologia（意大利技术研究院）；University College of London（伦敦大学学院）
我们提出了一种方法来学习一个共同的偏置向量的增长序列的低方差任务。与最先进的方法不同，我们的方法不需要调整任何超参数。我们的方法是在非统计设置，可以是两个变量。“积极”的一个更新每个数据点后的偏差，“懒惰”的一个更新偏差只有在每个任务结束。我们推导出该方法的跨任务后悔界。与最先进的方法相比，积极的变体返回更快的速率，懒惰的变体恢复标准速率，但不需要调整超参数。然后，我们调整方法的统计设置：积极的变体成为一个多任务的学习方法，懒惰的一个元学习方法。实验证明了我们的方法在实践中的有效性。
2020-07-11 cs.LG stat.ML
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University（复旦大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
随机粒子优化采样（SPOS）是最近发展起来的可扩展贝叶斯采样框架，它统一了基于Wasserstein梯度流的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）算法。SPOS算法采用严格的非渐近收敛理论，避免了SVGD算法的粒子坍缩缺陷。然而，SPOS的方差减少从未被研究过。在本文中，我们提出了几个方差减少技术SPOS弥合差距。具体来说，我们提出了三种变体的方差减少SPOS，称为SAGA粒子优化采样（SAGA-POS），SVRG粒子优化采样（SVRG-POS）和SVRG-POS的变体，它避免了完整的梯度计算，表示为SVRG-POS $^+$。重要的是，我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证，并分析了它们的复杂性。值得注意的是，结果表明，我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度，即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation
Machine Learning Department（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
OEUVRE提出一种在线无偏方差缩减损失估计器，利用算法稳定性实现常数时间更新，并证明其一致性、收敛速率和集中界，在多种任务上优于或匹配其他估计器。
2025-10-26 cs.LG stat.ML
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
Variance Reduction with Sparse Gradients
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
诸如SVRG和SpiderBoost之类的方差减小方法使用大批量梯度和小批量梯度的混合来减小随机梯度的方差。与SGD相比，这些方法每次更新模型参数所需的操作次数至少是SGD的两倍。为了减少这些方法的计算成本，我们引入了一个新的稀疏算子：随机顶k算子。我们的运营商降低了计算复杂性通过估计梯度稀疏性表现在各种应用程序相结合的top-k算子和随机坐标下降算子。使用此运算符，大批量梯度提供了方差减少之外的额外好处：梯度稀疏性的可靠估计。从理论上讲，我们的算法至少和最好的算法（SpiderBoost）一样好，并且在随机前k算子捕获梯度稀疏性时，性能更好。从经验上讲，我们的算法在各种任务上使用各种模型，包括图像分类，自然语言处理和稀疏矩阵分解，始终优于SpiderBoost。我们还通过一个简单的梯度熵计算提供了经验证据来支持我们算法背后的直觉，该计算用于在每次迭代时量化梯度稀疏性。
2020-01-27 cs.LG stat.ML
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota（明尼苏达大学）
我们提出了在线主成分分析（PCA）和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上，其比较对象是事后最优固定行为。然而，当潜在环境发生变化时，静态后悔并不是一个合适的指标。相反，我们采用自适应遗憾度量从以前的文献中，并提出在线自适应算法PCA和方差最小化，具有次线性自适应遗憾的保证。我们从理论上和实验上证明，所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
Rochester Institute of Technology（罗切斯特技术学院）
本文提出了一种集成学习的通用加权理论，通过几何和谱约束，展示结构化加权在提升模型性能中的作用。
2025-12-25 cs.LG stat.ML
Fast Variance Reduction Method with Stochastic Batch Size
University of California, Davis（加州大学戴维斯分校）
本文研究了一类具有随机批量的方差缩减方法--在每一步中，算法首先随机选择批量，然后选择一批样本进行方差缩减的随机更新。我们给出了这个框架的复合函数的线性收敛速度，并表明，每次数据访问达到最佳收敛速度的最佳策略是始终选择批量大小为1，这是等价于SAGA算法。然而，由于计算机体系结构中缓存/磁盘IO效应的存在，数据访问次数无法反映运行时间，因为1）随机内存访问比顺序存取慢得多，2）当数据太大而无法放入内存时，磁盘查找需要更长的时间。考虑到这些因素后，选择批量大小的$1$不再是最优的，所以我们提出了一个新的算法称为SAGA++，并展示了如何计算理论上的最优平均批量大小。我们的算法优于SAGA和其他现有的批量和随机求解器在真实数据集上。此外，我们还进行了一个精确的分析，比较不同的更新规则的方差减少方法，表明SAGA++收敛速度比SVRG在理论上。
2018-08-07 cs.LG stat.ML
Reducing the variance in online optimization by transporting past gradients
University of Southern California（南加州大学）；Google Brain（谷歌大脑）；University of British Columbia（不列颠哥伦比亚大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
大多数随机优化方法在丢弃它们之前使用梯度一次。虽然方差缩减方法已经表明，当有有限数量的数据点时，重用过去的梯度可能是有益的，但它们不容易扩展到在线设置。一个问题是由于使用过去的梯度陈旧。我们建议使用隐式梯度传输（IGT）的思想来纠正这种陈旧性，该思想将在先前迭代中计算的梯度转换为在当前迭代中评估的梯度，而不显式地使用Hessian。除了减少我们随着时间的推移更新的方差和偏差外，IGT还可以用作许多众所周知的方法（如Heavy Ball或Adam）中梯度估计的直接替代品。我们的实验表明，它实现了国家的最先进的结果在广泛的架构和基准。此外，IGT梯度估计器在所有分量函数的Hessian相等的限制设置中产生在线随机优化的最优渐近收敛速度。
2019-06-18 cs.LG math.OC stat.ML
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）
具有方差减少的随机最优化算法已被证明是成功的，用于最小化函数的大有限和。不幸的是，这些技术无法处理输入数据的随机扰动，例如由数据扩增引起的。在这种情况下，目标不再是有限和，优化的主要候选是随机梯度下降法（SGD）。在本文中，我们引入了一个方差减少的方法，这些设置时，目标是复合和强凸的。收敛速度优于SGD与一个典型的小得多的常数因子，这取决于梯度估计的方差，仅由于一个单一的例子扰动。
2017-11-15 cs.LG math.OC stat.ML
