Control variate selection for Monte Carlo integration
在以被积函数为响应函数、以控制变量为协变量的多元线性回归模型中，通过对截距的普通最小二乘估计，可以实现通过控制变量进行方差缩减的Monte Carlo积分。即使没有关于被积函数的特殊知识，如果控制变量空间足够大，也可以获得显着的效率增益。然而，在普通最小二乘过程中计算大量控制变量可能导致（i）普通最小二乘估计器的某种不稳定性和（ii）可能过高的计算时间。通过Lasso预先选择适当的控制变量来正则化普通最小二乘估计量，结果证明可以在不增加计算成本的情况下提高精度。数值实验的结果证实了浓度不等式的积分误差。
2021-04-01 math.ST stat.TH
Notes on Using Control Variates for Estimation with Reversible MCMC Samplers
一个通用的方法，提出了建设和有效利用控制变量的可逆MCMC采样器。的控制变量的最佳线性组合的系数的值进行计算，自适应，一致的MCMC估计，这些最佳系数。所有的方法论和渐近的论点是严格合理的。众多的MCMC模拟的例子，从贝叶斯推断的应用表明，所产生的方差减少可以是相当戏剧性的。
2010-05-04 math.PR stat.CO
Variance Reduction in Stochastic Reaction Networks using Control Variates
蒙特卡罗估计在随机反应网络中起着至关重要的作用。然而，减少相应估计量的统计不确定性需要对大量轨迹进行采样。我们提出了控制变量的基础上的统计矩的过程，以减少估计的方差。我们开发了一个算法，选择一个有效的子集的无穷多个控制变量。为此，该算法使用resception和冗余感知贪婪选择。我们证明了我们的方法在几个案例研究的效率。
2021-10-18 cs.SY eess.SY q-bio.MN
Control variates and Rao-Blackwellization for deterministic sweep Markov chains
研究了在确定性扫描采样下，使用$K\geq 2$转移核的马尔可夫链蒙特卡罗（MCMC）控制变量方法。新的方差减少结果提供MCMC平均值的基础上扫描一般的过渡内核，导致一个特别简单的控制变量估计的确定性扫描吉布斯采样的设置。我们提出的控制变量估计与现有文献的理论比较，并进行了模拟研究，以检查在某些情况下的方差减少量。我们还涉及控制变量的方法的基础上调节（或劳Blackwellization）的方法，并表明，后者可以被视为前者的近似。我们的理论结果适用于标准几何漂移假设下的马尔可夫链。
2019-12-14 math.PR math.ST stat.ME
On the Efficient Simulation of the Left-Tail of the Sum of Correlated Log-normal Variates
对数正态变量之和在许多具有挑战性的应用中遇到，例如在无线通信系统的性能分析和金融工程中。在文献中已经开发了几种近似方法，在尾部区域不能保证其精度。这些区域是原始感兴趣的，其中小概率值必须以高精度进行评估。已知方差缩减技术可以产生小概率值的准确而有效的估计。然而，大多数现有的方法，已考虑的问题，估计右尾的对数正态随机变量（RVS）的总和。在本工作中，我们考虑在对协方差阵进行温和假设的情况下，用高斯copula估计相关对数正态变量之和的左尾。我们提出了一个估计结合现有的均值漂移重要性抽样方法与控制变量技术。主要结果是，建议的估计有一个渐近消失的相对误差，这是一个主要的发现，在上下文中的左尾模拟的总和对数正态RV。最后，我们评估各种模拟结果的性能相比，现有的估计所提出的估计。
2017-05-26 math.ST stat.TH
A Generalized Approximate Control Variate Framework for Multifidelity Uncertainty Quantification
我们描述和分析的方差减少方法的蒙特卡罗（MC）采样，加速计算昂贵的仿真模型的统计估计，使用一个整体的模型具有较低的成本。这些较低成本的模型-通常是较低的保真度与未知的统计数据-用于减少方差的统计估计相对于MC估计具有同等的成本。我们推导出的条件下，我们提出的近似控制变量框架恢复现有的多模型方差减少计划的特殊情况。我们证明，这些现有的策略使用递归采样策略，因此，他们的最大可能的方差减少是有限的控制变量算法，只使用一个低保真模型与已知的平均值。无论用于构建估计量的低保真度模型和/或样本的数量如何，该理论结果都成立。然后，我们得出新的抽样策略，在我们的框架内，绕过这一限制，有效地利用所有可用的信息源。特别是，我们证明了一个显着的差距，可以存在的数量级在某些情况下，通过使用一个单一的低保真模型和我们的非递归方法实现的方差减少之间。我们还提出了利用这一差距的初始样本分配方法。当增强高保真度模型评估不切实际时，它们会产生最大的好处，因为例如，它们来自遗留数据库。几个分析的例子和一个例子与双曲偏微分方程描述弹性波在非均匀介质中的传播来说明该方法的主要特点。
2019-06-06 stat.CO
On Using Control Variates with Stochastic Approximation for Variational Bayes and its Connection to Stochastic Linear Regression
最近，我们和其他几位作者写了关于使用随机逼近技术拟合变分逼近难以处理的贝叶斯后验分布的可能性。随机逼近的简单实现在此设置中遭受高方差。因此，一些作者建议使用控制变量来减少这种方差，而我们采取了不同但类似的方法来减少方差，我们称之为随机线性回归。在本说明中，我们采用前一种观点，并在一定的假设下推导出随机逼近变分贝叶斯的理想控制变量集。然后，我们表明，使用这些控制变量是密切相关的随机线性回归逼近技术，我们提出了较早。一个简单的例子表明，我们的方法用于构建控制变量导致随机估计与其他方法相比，具有更低的方差。
2014-01-12 stat.CO
Variance Reduction for Evolution Strategies via Structured Control Variates
Columbia University（哥伦比亚大学）；Google Robotics（谷歌机器人）；Fero Labs（费罗实验室）
演化策略（ES）是一类功能强大的黑盒优化技术，最近成为强化学习（RL）的最先进的策略梯度（PG）算法的竞争替代方案。我们提出了一种新的方法，用于提高精度的ES算法，而不是最近的方法，仅利用蒙特卡罗结构的梯度估计，利用底层MDP结构，以减少方差。我们观察到，ES目标的梯度估计可以交替使用重新参数化和PG估计，这导致新的控制变量技术的梯度估计ES优化计算。我们提供了理论见解，并通过大量的实验表明，这种RL特定的方差减少方法优于通用方差减少方法。
2020-03-13 cs.LG cs.NE stat.ML
Double Happiness: Enhancing the Coupled Gains of L-lag Coupling via Control Variates
最近提出的L-滞后耦合无偏马尔可夫链蒙特卡罗（MCMC）呼吁MCMC的实践者和理论家的共同庆祝。对于实践者来说，它避免了决定老化期或何时终止MCMC采样过程的棘手问题，并为安全并行实现打开了大门。对于理论家来说，它提供了一个强大的工具，可以在任何有限次数的迭代下建立MCMC近似的精确误差的优雅且易于估计的界限。关于偏差校正项的偶然观察使我们将自然可用的控制变量引入L-lag耦合估计。反过来，这种扩展增强了L-lag耦合的耦合增益，因为它导致更有效的无偏估计量，以及MCMC迭代的总变差误差的更好界，尽管增益随着L的增加而减小。具体地说，新的上界理论上保证永远不会超过先前给定的上界。我们还认为，L-lag耦合代表了未来的耦合，打破了从过去的完美采样类型的耦合，通过减少一般无法实现的要求是完美的一个是公正的，一个值得的权衡，以便于在大多数实际情况下的实施。数值实验表明，更严格的界限和增益的效率时，引入控制变量的理论分析是支持。
2021-04-14 stat.CO
Covariance-free Bi-fidelity Control Variates Importance Sampling for Rare Event Reliability Analysis
本文提出CVIS框架，将控制变量与重要性采样创新性耦合用于双保真稀有事件可靠性分析，通过估计控制变量均值和巧妙选择调节常数避免协方差估计，并给出效率诊断指标，经解析与数值算例验证其性能。
2024-11-24 stat.ME
Control Variates for Reversible MCMC Samplers
一个一般的方法介绍了建设和有效的应用控制变量的估计问题，涉及数据从可逆MCMC采样器。我们建议使用一类特定的功能作为控制变量，我们引入了一个新的，相合估计量的最佳线性组合的这些功能的系数值。控制变量的形式和建议的建设来自我们的解决方案的泊松方程与一个特定的MCMC方案。新的估计，它可以适用于相同的MCMC样本，来自一个新的，有限维的，明确的最佳系数表示。由此产生的方差减少方法主要适用于当模拟数据由共轭随机扫描吉布斯采样器产生。贝叶斯推断问题的MCMC示例表明，估计方差的相应减少是显著的，并且在某些情况下可能是相当戏剧性的。这种方法在几个方向的扩展，包括某些家庭的大都会黑斯廷斯采样器和混合大都会内吉布斯算法。相应的仿真例子说明所提出的方法的效用。所有的方法和渐近的论点是严格合理的，易于验证，基本上是最小的条件下。
2010-08-07 math.PR math.ST stat.CO
Efficient estimation of multiple expectations with the same sample by adaptive importance sampling and control variates
一些经典的不确定性量化问题需要估计多个期望。准确地估计所有这些是至关重要的，并且可能对要执行的分析产生重大影响，并且标准的现有蒙特卡罗方法可能成本高昂。本文提出了一种基于重要性抽样和控制变量的新方法，以更有效地估计同一样本的多个期望。我们首先表明，存在一个家庭的最佳估计相结合的重要性抽样和控制变量，但不能在实践中使用，因为他们需要的知识的期望值估计。受这些最优估计的形式和一些有趣的性质的启发，我们提出了一种自适应算法。其总体思想是自适应地更新估计器的参数以接近最优估计器。然后，我们建议一个定量停止标准，利用接近这些最佳参数和有足够的预算之间的权衡。这个左预算然后被用来从最终的抽样分布中抽取一个新的独立样本，从而得到期望的无偏估计量。我们展示了如何将我们的程序应用到敏感性分析中，通过估计Sobol指数和量化输入分布的影响。最后，现实的测试案例表明，所提出的算法的实际利益，其显着的改善，分别估计的期望。
2022-11-30 math.ST stat.ME stat.TH
Control Variate Polynomial Chaos: Optimal Fusion of Sampling and Surrogates for Multifidelity Uncertainty Quantification
本文提出了一种混合采样-代理方法，用于减少非线性动力系统不确定性量化的计算开销。我们的动机是在复杂的机械系统，如汽车推进系统中实现快速的不确定性量化。我们的方法是建立在多保真度不确定性量化的基础上，利用采样和代理建模的优势，同时减轻它们的缺点。特别地，代理模型被选择来利用问题结构，例如平滑性，并且为原始非线性动力系统提供高度相关的信息源。我们利用一个侵入式的广义多项式混沌代理，因为它避免了任何统计错误，在其建设和提供输出统计的分析估计。然后，我们利用基于蒙特卡罗的控制变量技术来校正由替代近似误差引起的偏差。这项工作的主要理论贡献是分析和解决方案的估计器设计策略，最佳平衡的计算工作量，需要适应一个代理相比，采样原始昂贵的非线性系统。虽然以前的作品同样结合了代理和采样，据我们所知，这项工作是第一次提供严格的分析估计设计。我们部署我们的方法上的多个例子来自机械汽车推进系统模型的模拟。我们表明，估计是能够实现数量级的减少，在均方误差的统计估计在某些情况下，在可比成本的纯抽样或纯替代方法。
2022-01-26 stat.CO stat.ME
Reducing the error of Monte Carlo Algorithms by Learning Control Variates
蒙特卡罗（MC）抽样算法是一种非常广泛使用的估计函数f（x）期望值的技术，特别是在高维中。控制变量是一个非常强大的技术，以减少这种估计的误差，但在其传统的形式依赖于有一个准确的近似f，先验。堆叠蒙特卡罗（StackMC）是最近引入的技术，旨在通过将控制变量拟合到数据样本本身来克服这种限制。简单地对数据形成控制变量会导致过拟合，通常会恶化MC算法的性能。StackMC使用样本内/样本外技术来消除这种过拟合。关键是，它是一种后处理技术，不需要额外的样本，可以应用于任何MC估计器生成的数据。我们的初步实验表明，StackMC提高了预期的估计时，它被用来后处理样本产生的“简单抽样”MC估计。在这里，我们大大扩展了这个早期的工作。我们提供了一个深入的分析的StackMC算法，我们用它来构建一个改进版本的原始算法，具有较低的估计误差。然后，我们进行实验的StackMC的其他几种MC估计，表现出改进的性能时，通过重要性抽样，拉丁超立方体抽样和准蒙特卡罗抽样产生的样本。我们还展示了如何扩展StackMC来组合多个拟合函数，以及如何将其应用于离散输入空间x。
2016-06-07 stat.ML
Vector-Valued Control Variates
针对多个相关 Monte Carlo 积分需重复使用大量样本的问题，本文提出基于核插值、广义 Stein 恒等式和矩阵值 Stein 再生核的向量值控制变量，以联合缩减方差并跨任务迁移信息。
2023-06-07 stat.ME
Variance Reduction for Metropolis-Hastings Samplers
我们介绍了一个一般的框架，构造估计减少方差的随机游动大都市和大都市调整Langevin算法。由此产生的估计需要可以忽略不计的计算成本，并得出在后处理的方式利用所有的建议值的大都市算法。方差减少是通过产生控制变量，通过近似解决方案的泊松方程与目标密度的马尔可夫链。所提出的方法是基于近似的目标密度与高斯，然后利用精确的解决方案的泊松方程的高斯情况下。这导致使用两个关键元素的估计器：（i）来自泊松方程的控制变量，其包含在提议分布下的难处理的期望，（ii）第二控制变量，以减少后一难处理的期望的蒙特卡罗估计的方差。仿真数据的例子被用来说明令人印象深刻的方差减少实现高斯目标的情况下，以及相应的效果时，目标的高斯性假设被违反。贝叶斯逻辑斯谛回归和随机波动率模型的实际数据的例子验证了相当大的方差减少，实现了微不足道的额外计算成本。
2022-03-04 stat.CO stat.ME
Monte Carlo integration with a growing number of control variates
众所周知，在多元线性回归模型中，通过控制变量减少方差的Monte Carlo积分可以通过截距的普通最小二乘估计来实现。当控制变量个数趋于无穷大时，建立了积分误差的中心极限定理。积分误差由回归模型中误差项的标准差缩放。如果控制变量的线性跨度在包含被积函数的函数空间中是稠密的，则积分误差以比蒙特卡洛重复次数的平方根更快的速率趋于零。根据具体情况，增加控制变量的数量可能比增加Monte Carlo样本量在计算上更有效，也可能不更有效。
2019-10-09 math.ST stat.AP stat.TH
Joint control variate for faster black-box variational inference
Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
针对黑盒变分推断中梯度估计器方差高、受数据子采样和蒙特卡洛采样两类噪声影响的问题，提出联合控制变量方法，同时降低两类噪声的方差，实现多应用场景下的优化加速。
2024-03-08 cs.LG stat.ML
Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization
Duke University（杜克大学）；Newcastle University（纽卡斯尔大学）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
控制变量是一个行之有效的工具，以减少方差的蒙特卡罗估计。然而，对于包括高维和大样本设置的大规模问题，它们的优点可能会被大量的计算成本所抵消。本文认为控制变量的Stein算子的基础上，提出了一个框架，涵盖和推广现有的方法，使用多项式，内核和神经网络。提出了一种通过随机最优化使变分目标最小化的学习策略，从而得到可扩展的有效控制变量。新的理论结果，提供洞察的方差减少，可以实现，和实证评估，包括应用贝叶斯推断，提供支持。
2021-07-21 cs.LG stat.ML
Regularized Zero-Variance Control Variates
零方差控制变量（ZV-CV）是一种使用对数目标的导数来减小期望的蒙特卡罗估计的方差的后处理方法。一旦导数可用，唯一的额外计算工作在于解决线性回归问题。在低维的例子中，这种方法已经实现了显着的方差减少，但回归中的协变量的数量随着目标的维数迅速增加。在本文中，我们提出了令人信服的经验证据，使用惩罚回归技术在高维控制变量的选择提供了性能增益超过经典的最小二乘法。另一种类型的正则化的基础上使用的衍生物，或先验正则化，因为我们在本文中提到的，也提出了减少计算和存储的要求。给出了几个例子，说明正则化ZV-CV用于贝叶斯推断的实用性和局限性。本文提出的方法可以通过R软件包ZVCV访问。
2022-08-16 stat.CO stat.ME
Using Large Ensembles of Control Variates for Variational Inference
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Amherst, MA 01003（阿默斯特，马萨诸塞州 01003）
变分推理越来越多地被随机优化处理。在这种情况下，梯度的方差在优化过程中起着至关重要的作用，因为高方差梯度导致收敛性差。一个流行的方法来减少梯度的方差涉及到控制变量的使用。尽管取得了良好的结果，控制变量的变分推理通常被孤立地看待。在本文中，我们澄清了大量的控制变量，提供了一个系统的观点，他们是如何推导出来的。我们还提出了一个贝叶斯风险最小化框架，在该框架中，控制变量相结合的过程的质量是量化的优化收敛速度，这导致一个非常简单的组合规则的影响。结果表明，结合大量的控制变量，这种方式显着提高了收敛性的推理使用典型的梯度估计或减少控制变量的数量。
2020-10-22 cs.LG stat.ML
Sliced Wasserstein Estimation with Control Variates
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
针对切片Wasserstein距离的Monte Carlo估计方差问题，提出利用Gaussian近似和Wasserstein-2距离闭式解设计计算高效的控制变量，显著降低了估计方差并在图像与点云任务中表现优越。
2024-02-19 cs.CV cs.GR cs.LG
VarGrad: A Low-Variance Gradient Estimator for Variational Inference
Freie Universität Berlin（柏林自由大学）；BTU Cottbus-Senftenberg（科特布斯-森夫滕贝格工业大学）；dida Datenschmiede GmbH（迪达数据工坊有限公司）；University of Warwick（华威大学）；Universität Potsdam（波茨坦大学）；DeepMind（深度思维）；The Alan Turing Institute（艾伦·图灵研究所）
基于留一控制变量的得分函数方法，分析了变分推断的ELBO无偏梯度估计的性质。我们表明，这种梯度估计可以得到使用一个新的损失，定义为准确的后验和变分近似，我们称之为$\textit{log-variance loss}$之间的对数比的方差。在某些条件下，对数方差损失的梯度等于（负）ELBO的梯度。我们从理论上表明，这种梯度估计，我们称之为$\textit{VarGrad}$，由于其连接的对数方差损失，表现出较低的方差比得分函数方法在某些设置中，留一控制变量系数接近最佳的。我们的经验表明，VarGrad提供了一个有利的方差与计算权衡相比，其他国家的最先进的估计离散VAE。
2020-10-29 cs.LG math.ST stat.ML
Multilevel Control Functional
COMAC Shanghai Aircraft Design and Research Institute（中国商飞上海飞机设计研究院）；Department of Statistical Science, University College London（伦敦大学学院统计科学系）；Dynamic Systems Lab, University College London（伦敦大学学院动态系统实验室）；School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院）；Institute of Big Data Research, Shanghai University of Finance and Economics（上海财经大学大数据研究院）
本文提出多级控制泛函，通过结合非参数Stein基控制变量与多保真度方法，提升蒙特卡洛估计器的收敛速度，并在贝叶斯推断和变分推断中验证其有效性。
2026-02-26 stat.ME
Multilevel Surrogate-based Control Variates
本文将基于代理模型的控制变量法拓展到多级蒙特卡洛框架，提出三种多级方差缩减策略及替代方案，在一维热方程测试案例中验证了方法的有效性，明确了不同场景下的高效实现方式。
2024-06-19 math.ST stat.TH
Neural Control Variates for Variance Reduction
Peking University（北京大学）；University of Lincoln（林肯大学）；Baidu Inc.（百度公司）；Beijing Institute of Big Data Research（北京大数据研究院）
在统计学和机器学习中，通常使用无偏的蒙特卡罗估计来实现难以处理的积分的近似，但是估计的方差在许多应用中通常很高。控制变量方法是众所周知的，以减少估计的方差。这些控制变量通常通过采用预定义的参数函数或多项式来构造，通过使用从相关分布中提取的那些样本来确定。相反，我们建议通过学习神经网络来构建这些控制变量，以处理测试函数复杂的情况。在许多应用中，获得大量用于蒙特卡罗估计的样本是昂贵的，这可能导致在训练神经网络时的过拟合。因此，我们进一步建议采用辅助随机变量诱导的原始的扩展数据样本的训练神经网络。我们提出的控制变量与增广变量的热力学集成和强化学习。实验结果表明，与其他方法相比，我们的方法可以实现显着的方差减少。
2019-10-15 cs.LG stat.ML
Neural Control Variates
NVIDIA（英伟达）
我们提出了神经控制变量（NCV）的无偏方差减少参数蒙特卡罗积分。到目前为止，应用控制变量方法的核心挑战是找到一个好的近似的被积函数，是便宜的积分。我们表明，一组神经网络可以面对这一挑战：一个归一化流，近似的形状的被积函数和另一个神经网络，推断的积分方程的解决方案。我们还建议利用神经重要性采样器来估计原始被积函数和学习控制变量之间的差异。为了优化所得到的参数估计，我们推导出一个理论上最优的，方差最小化的损失函数，并提出了一种替代方案，复合损失在实践中稳定的在线训练。当应用于光传输模拟时，神经控制变量能够匹配其他无偏方法的最先进性能，同时提供开发更高性能，更实用的解决方案的方法。具体来说，我们表明，学习的光场近似是足够的质量高阶反弹，使我们能够省略误差校正，从而大大降低了噪声的成本可以忽略不计的可见偏差。
2020-09-04 cs.GR cs.LG stat.ML
When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality
本文研究基于机器学习估计器的控制变量对蒙特卡洛方差缩减的作用，证明在充分光滑性假设下回归调整控制变量可达到极小极大最优速率，但在存在罕见极端事件时无法提升收敛速率，而截断蒙特卡洛算法仍可达到最优。
2023-05-25 cs.IT cs.NA math.IT
Exploiting Multi-Core Architectures for Reduced-Variance Estimation with Intractable Likelihoods
许多流行的复杂现象的统计模型是棘手的，在这个意义上，似然函数不能很容易地评估。贝叶斯估计在这种情况下仍然具有挑战性，缺乏计算方法，以充分利用现代处理能力。在本文中，我们介绍了新的控制变量的棘手的可能性，可以大大减少蒙特卡罗方差贝叶斯估计。我们证明，我们的控制变量是定义良好的，并提供了一个积极的方差减少。此外，我们将展示如何优化这些控制变量的方差减少。该方法是高度并行的，并提供了一条路线，利用多核处理架构，补充最近在这一方向的研究。事实上，我们的工作表明，为了利用大规模多核架构的潜力，可能没有必要并行采样过程本身。伊辛模型，指数随机图模型和非线性随机微分方程模型的模拟结果支持我们的理论研究结果。
2015-03-30 stat.CO
Meta-learning Control Variates: Variance Reduction with Limited Data
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）；Newcastle University（纽卡斯尔大学）
针对小样本下控制变量构建难题，论文提出 Meta-CVs，通过跨数百至数千个相关积分任务的元学习共享相似性，实现显著方差缩减并给出可训练性条件。
2023-06-07 cs.LG stat.ME stat.ML
Control Variate-based Stochastic Sampling from the Probability Simplex
本文针对概率单纯形采样中的边界离散化误差问题，提出基于随机Cox--Ingersoll--Ross过程并结合控制变量的MCMC算法，通过降低随机梯度估计方差提升精度与可扩展性，在大规模贝叶斯模型上优于现有方法。
2024-10-01 stat.ME
Approximation Based Variance Reduction for Reparameterization Gradients
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
灵活的变分分布改进了变分推理，但更难优化。在这项工作中，我们提出了一个控制变量，适用于任何重新参数化的分布与已知的均值和协方差矩阵，例如高斯与任何协方差结构。控制变量基于模型的二次近似，其参数通过最小化梯度估计器的方差使用双下降方案来设置。我们的经验表明，这个控制变量导致了很大的改善梯度方差和优化收敛的推断与非因式分解变分分布。
2020-10-23 cs.LG stat.ML
Doubly Robust Stein-Kernelized Monte Carlo Estimator: Simultaneous Bias-Variance Reduction and Supercanonical Convergence
众所周知，标准蒙特卡罗计算在样本量方面表现出典型的平方根收敛速度。最近的两种技术，一个基于控制变量和重要性抽样，都来自再生核和Stein的身份的整合，已被提出，以减少错误的蒙特卡罗计算超正则收敛。本文提出了一个更一般的框架，以涵盖这两种技术，特别是有益的样本发生器时，有偏见和噪声损坏。我们表明我们的一般估计，我们称之为双鲁棒斯坦核化估计，优于现有的方法在不同的情况下的均方误差率。我们还通过数值例子证明了我们的方法的优越性能。
2023-03-10 stat.CO stat.ME
Mixtures of spatial factor analyzers for tensor-variate data
University of British Columbia Okanagan Campus（不列颠哥伦比亚大学奥肯那根校区）
针对高维空间数据聚类难题，提出空间因子分析器混合模型，利用坐标系和样条结构防参数膨胀，结合矩阵变量因子分析器降维，经改进算法估计参数，在张量变量数据分析中表现良好，能准确推断区分空间模式。
2026-10-14 stat.ME stat.ML
Transformed Samplers with Variance Reduction
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）；Athens University of Economics and Business（雅典经济与商业大学）
本研究通过学习变量变换扩展MCMC采样器的泊松方程精确解，得到带方差缩减的变换采样器，其控制变量适用于重要性采样，实验验证了该方法的有效性。
2026-10-09 cs.LG stat.ME stat.ML
Bandwidth Selection for Kernel Density Estimation with a Markov Chain Monte Carlo Sample
马尔可夫链蒙特卡罗采样器从马尔可夫链的极限分布中产生相关变量流。以此为动机，我们引入新的单变量核密度估计，这是适当的平稳序列的相依变量。我们修改的渐近均方误差标准占的依赖性，并发现修改后的标准建议数据驱动的调整标准的带宽选择方法。仿真研究表明，我们提出的方法找到接近最优值的带宽，而标准方法导致较小的带宽，因此欠平滑密度估计。经验上，所提出的方法有相当小的综合均方误差比标准方法。
2016-07-27 stat.ME
A Rule for Gradient Estimator Selection, with an Application to Variational Inference
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
随机梯度下降（SGD）是现代机器学习的主力。有时，可以使用许多不同的潜在梯度估计器。在这种情况下，选择成本和方差之间的最佳折衷是很重要的。本文分析了SGD的收敛速度作为时间的函数，而不是迭代。这导致一个简单的规则来选择估计，导致最佳的优化收敛保证。这个选择对于SGD的不同变体是相同的，并且具有关于目标的不同假设（例如凸性或平滑性）。受这一原则的启发，我们提出了一种技术，自动选择一个估计时，有限池的估计。然后，我们扩展到无限的估计池，其中每一个控制变量的权重索引。这是通过减少到一个混合整数二次规划。从经验上讲，自动选择一个估计量执行的是事后选择的最佳估计量。
2019-11-05 cs.LG stat.ML
Pathwise Derivatives for Multivariate Distributions
Uber AI Labs（优步人工智能实验室）
我们利用运输方程和期望的衍生物之间的联系，构建有效的路径梯度估计的多元分布。我们关注两个主要线索。首先，我们使用空的解决方案的运输方程构造自适应控制变量，可用于构建梯度估计减少方差。其次，我们考虑多元混合分布的情况。特别是，我们展示了如何计算路径导数的混合物的多元正态分布任意均值和对角协方差。我们证明了在各种实验的背景下，变分推断，我们的梯度估计可以优于其他方法，特别是在高维。
2019-03-22 cs.LG stat.ML
Control functionals for Monte Carlo integration
提出了控制变量的非参数扩展。这些利用采样密度上的梯度信息来实现显著的方差减小。不要求对采样密度进行归一化。这项工作的新贡献是基于两个重要的见解;（i）随机采样和确定性近似之间的权衡和（ii）一个新的基于梯度的函数空间来自斯泰因的身份。与经典的控制变量，我们的估计实现超根$n$收敛，往往需要数量级更少的模拟，以达到一个固定的精度水平。理论和实证结果，后者侧重于集成问题所产生的层次模型和模型的基础上非线性常微分方程。
2016-04-02 stat.ME
Revisiting Score Function Estimators for $k$-Subset Sampling
KTH Royal Institute of Technology（皇家理工学院）
针对$k$-子集采样不可微、阻碍梯度优化的问题，本文重审得分函数估计器，提出用离散傅里叶变换高效计算其得分函数、控制变量降方差的方法，兼具精确采样、无偏梯度且适配不可微下游模型，特征选择实验效果可比现有方法。
2024-08-16 cs.LG stat.ML
The Difference-of-Log-Normals Distribution: Properties, Estimation, and Growth
本文描述了对数正态差分（DLN）分布。一个配套文件的情况下，DLN是一个基本的分布在性质上，并显示了如何一个简单的应用程序的CLT引起DLN在许多不同的现象。在这里，我描述了它的PDF，CDF，矩和参数估计;推广到N维使用球形分布理论;描述方法来处理其签名“双指数”的性质;并使用它来推广增长测量可能负变量分布DLN。我还进行蒙特卡罗实验，以建立一些属性的估计和措施所描述的。
2023-02-05 math.ST q-fin.GN stat.ME
Meta variance reduction for Monte Carlo estimation of energetic particle confinement during stellarator optimization
这项工作介绍了Meta估计，结合多个多保真度技术的基础上控制变量，重要性抽样，和信息重用，以产生一个准乘法量的方差减少。当不确定性的输入分布在外环期间发生变化时，所提出的Meta估计在外环应用中特别有效，这通常是基于可靠性的设计和形状优化中的情况。我们得到的外环结果的收敛极限的Meta估计的方差减少的渐近界。我们证明了Meta估计，使用数据驱动的代理模型和偏置密度，在不确定性的动机下的设计问题的磁约束融合，即优化仿星器线圈的设计，以最大限度地提高估计约束的高能粒子。的Meta估计优于所有的成分方差减少技术单独，最终产生两个数量级的加速相比，在相同的计算预算的标准蒙特卡洛估计。
2023-01-18 cs.NA math.NA physics.comp-ph
Ensemble Control Variates
Queensland University of Technology（昆士兰科技大学）
针对贝叶斯推断中基于斯坦的控制变量在中高维场景过参数化、正则化方法速度慢的问题，提出基于OLS估计量集成的集成ZVCV方法，在保证统计效率的同时大幅提升了计算速度。
2026-10-20 stat.CO
Robust covariance estimation and explainable outlier detection for matrix-valued data
提出 MMCD 方法以直接估计矩阵值数据的位置与行列协方差，并结合稳健马氏距离和 Shapley 值实现高性能、可解释的异常值检测。
2024-05-08 stat.CO stat.ME
Sticky coupling as a control variate for sensitivity analysis
提出基于粘性耦合的控制变量策略降低敏感性系数有限差分估计量的方差，证明其在非全局收缩环境下优于同步耦合，并在过阻尼 Langevin 动力学等模型中验证了有效性。
2024-09-23 cs.NA math.NA math.PR
A Sparsity Inducing Nuclear-Norm Estimator (SpINNEr) for Matrix-Variate Regression in Brain Connectivity Analysis
经典的标量响应回归方法将协变量视为向量，并估计相应的回归系数向量。然而，在医学应用中，回归量通常是多维数组的形式。例如，人们可能对使用MRI成像来识别哪些大脑区域与健康结果相关感兴趣。矢量化二维图像阵列是一种不令人满意的方法，因为它破坏了图像的固有空间结构，并且在计算上具有挑战性。我们提出了一种替代方法-正则化矩阵回归-其中的矩阵的回归系数被定义为一个解决方案的具体优化问题。该方法，称为SParsity诱导核范数估计（SpINNEr），同时施加两种惩罚类型的回归系数矩阵-核范数和套索范数-鼓励低秩矩阵的解决方案，也有进入式稀疏。交替方向乘子法（ADMM）的一个特定的实现是用来建立一个快速和有效的数值求解器。我们的模拟表明，SpINNEr在估计准确性方面优于其他方法，当与响应相关的条目（代表大脑的功能连接）被安排在连接良好的社区中时。SpINNEr用于研究HIV相关结果与人脑功能连接之间的关联。
2020-01-30 cs.NA math.NA math.OC
An approximate control variates approach to multifidelity distribution estimation
本文提出一种预算约束下估计高保真模型QoI累积分布函数的多保真框架，通过选择最优低保真模型子集构建近似控制变量估计器，实现无需先验统计知识且适用于多维的一致且渐近最优估计。
2023-07-05 cs.NA math.NA stat.AP
Robust Estimation of the Tail Index of a Single Parameter Pareto Distribution from Grouped Data
本文提出截断矩方法（MTuM），用于从分组损失严重性数据中稳健估计单参数Pareto分布的尾部指数，并通过中心极限定理和模拟研究验证其推断有效性。
2024-02-21 math.ST q-fin.RM stat.CO
Grouped Variable Selection with Discrete Optimization: Computational and Statistical Perspectives
Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Sydney（悉尼大学）
我们提出了一个新的算法框架，分组变量选择是基于离散数学优化。虽然有几个有吸引力的方法的基础上凸松弛和非凸矩阵，我们专注于最佳解决方案的$\ell_0$正规化的制定，一个问题，是相对未探索的，由于计算的挑战。我们的方法涵盖了高维线性回归和非参数稀疏加性建模光滑组件。我们的算法框架包括近似算法和精确算法。近似算法是基于坐标下降和局部搜索，与流行的稀疏学习算法的运行时间。我们的精确算法是基于一个独立的分支定界（BnB）框架，它可以解决相关的混合整数规划（MIP）问题，以证明最优性。通过利用问题结构，我们的自定义BnB算法可以在几分钟到几小时内解决具有$5 \times 10^6$特征和$10^3$观测的最优性问题实例--比目前使用最先进的商业MIP求解器所能解决的$1000$大$1000$倍。我们还探讨了基于$\ell_0$的估计量的统计特性。我们从理论和经验上证明，我们提出的估计量在各种制度的统计性能方面比流行的组稀疏估计量有优势。我们提供了一个开源的实现我们提出的框架。
2021-10-17 cs.LG math.OC stat.CO
Reduced-Rank Tensor-on-Tensor Regression and Tensor-variate Analysis of Variance
拟合具有许多多元响应和协变量的回归模型可能具有挑战性，但此类响应和协变量有时具有张量变量结构。我们扩展了经典的多元回归模型，利用这种结构，在两个方面：首先，我们施加四种类型的低秩张量格式的回归系数。其次，我们使用张量变量正态分布对误差进行建模，该分布对协方差阵施加Kronecker可分离格式。我们通过块松弛算法获得极大似然估计，并推导出它们的计算复杂度和渐近分布。我们的回归框架使我们能够制定张量变量方差方差分析（TANOVA）方法。这种方法，当应用在一个单向的TAANOVA布局，使我们能够识别大脑区域显着相关的互动的自杀未遂者或非自杀意念者和积极的，消极的或死亡暗示的话在功能磁共振成像研究。另一个应用程序使用三向TAANOVA对野生图像数据集中的标记面部进行分析，以区分与种族起源，年龄组和性别相关的面部特征。
2022-04-11 math.ST physics.data-an stat.CO
Variational approximate penalized credible regions for Bayesian grouped regression
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
本文提出一种基于变分近似和惩罚可信区域的贝叶斯分组回归方法，通过高效计算实现高维变量选择与预测。
2026-07-27 stat.CO stat.ME
