Variance bounding and geometric ergodicity of Markov chain Monte Carlo kernels for approximate Bayesian computation
在处理贝叶斯推断中越来越常见的完全难以处理的似然函数时，近似贝叶斯计算已经成为标准的计算工具。我们发现，许多常见的马尔可夫链蒙特卡罗内核，以方便在这种情况下的推理可能无法方差边界，因此几何遍历，这可能会产生后果的可靠性估计在实践中。这种现象通常与近似中公差的选择无关。然后，我们证明，最近推出的马尔可夫核在这种情况下，可以继承方差边界和几何遍历性，从其棘手的大都市-黑斯廷斯对应，在合理的薄弱和易于管理的条件下。我们表明，这种替代内核的计算成本是有界的，只要事先是适当的，并提出指示性的结果的一个例子，其中频谱间隙和渐近方差可以计算，以及一个例子，涉及部分和离散观察，时间齐次，纯跳马尔可夫过程的推断。我们还提供了两个一般定理，其中之一提供了一个简单的充分条件，缺乏可逆内核的方差界和其他提供了一个积极的结果，关于继承的方差界和几何遍历的混合物的可逆内核。
2014-03-25 stat.CO stat.ME
Kernel estimators of asymptotic variance for adaptive Markov chain Monte Carlo
研究了一类自适应马尔可夫链渐近方差（或长期方差）核估计的渐近性态。收敛性研究都在$L^p$和几乎必然。结果也适用于马尔可夫链和改进现有的文献中施加较弱的条件。我们说明的结果与应用程序的$\operatorname {GARCH}(1,1)$马尔可夫模型和贝叶斯逻辑斯谛回归的自适应MCMC算法。
2011-05-16 math.PR math.ST stat.CO
A Short Review of Ergodicity and Convergence of Markov chain Monte Carlo Estimators
这篇短文回顾了量化马尔可夫链蒙特卡罗估计的渐近收敛和前渐近收敛的基本理论。
2021-10-13 math.PR math.ST stat.ME
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限，本研究提出将零方差控制变量应用于路径梯度估计器，仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
Estimating standard errors for importance sampling estimators with multiple Markov chains
朴素的重要性抽样估计，从一个单一的重要性密度的样本的基础上，可以是数字不稳定的。相反，我们考虑广义重要性抽样估计的样本从一个以上的概率分布相结合。我们研究这个问题的马尔可夫链蒙特卡洛的背景下，独立的样本被替换为马尔可夫链样本。如果链以多项式速度收敛到各自的目标分布，那么在两个有限矩条件下，我们证明了广义估计的中心极限定理成立。此外，我们开发了一个易于实现的方法来计算有效的渐近标准误差的基础上批平均值。我们还提供了一个批均值估计量来计算Geyer（1994）的反向Logistic估计量的渐近有效的标准误差。我们使用贝叶斯变量选择过程中的线性回归说明的方法。特别是，广义重要性抽样估计是用来执行经验贝叶斯变量的选择和批均值估计是用来获得标准误差在一个高维设置，目前的方法是不适用的。
2016-08-11 math.ST stat.CO stat.ME
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Strong Consistency of Multivariate Spectral Variance Estimators
马尔可夫链蒙特卡罗（MCMC）算法用于估计分布的感兴趣特征。估计中的Monte Carlo误差具有渐近正态分布，其多变量性质迄今为止在MCMC社区中被忽略。给出了马尔可夫链中心极限定理中渐近协方差阵的一类多元谱方差估计，并给出了强相合性的条件。本文研究了向量自回归过程中多元谱方差估计及其特征值的有限样本性质。
2016-07-02 math.ST stat.TH
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto（多伦多大学）
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说，我们删除了一部分的总导数相对于变分参数，对应于得分函数。去除这一项会产生一个无偏的梯度估计，其方差接近零，因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为，并将其推广到更复杂的变分分布，如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
VarGrad: A Low-Variance Gradient Estimator for Variational Inference
Freie Universität Berlin（柏林自由大学）；BTU Cottbus-Senftenberg（科特布斯-森夫滕贝格工业大学）；dida Datenschmiede GmbH（迪达数据工坊有限公司）；University of Warwick（华威大学）；Universität Potsdam（波茨坦大学）；DeepMind（深度思维）；The Alan Turing Institute（艾伦·图灵研究所）
基于留一控制变量的得分函数方法，分析了变分推断的ELBO无偏梯度估计的性质。我们表明，这种梯度估计可以得到使用一个新的损失，定义为准确的后验和变分近似，我们称之为$\textit{log-variance loss}$之间的对数比的方差。在某些条件下，对数方差损失的梯度等于（负）ELBO的梯度。我们从理论上表明，这种梯度估计，我们称之为$\textit{VarGrad}$，由于其连接的对数方差损失，表现出较低的方差比得分函数方法在某些设置中，留一控制变量系数接近最佳的。我们的经验表明，VarGrad提供了一个有利的方差与计算权衡相比，其他国家的最先进的估计离散VAE。
2020-10-29 cs.LG math.ST stat.ML
Control variates for variance-reduced ratio of means estimators
ONERA/DTIS, Université de Toulouse（法国航空航天发展研究院/技术科学研究所，图卢兹大学）；Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（ENAC ISAE-SUPAERO ONERA 联合机构，图卢兹大学）
研究比率形式的量，提出将控制变量应用于分子分母并联合优化系数的方差缩减估计器，经仿真研究及多保真度应用验证，该方法能显著缩减方差，具有实用价值。
2026-07-13 math.ST stat.TH
Product-form estimators: exploiting independence to scale up Monte Carlo
我们介绍了一类蒙特卡罗估计，旨在克服快速增长的方差与尺寸经常观察到的标准估计，利用目标的独立性结构。我们用一类广义U-统计量确定了这些估计量的最基本的体现，从而建立了它们的无偏性、相合性和渐近正态性。此外，我们表明，他们获得了最小可能的方差之间的广泛的一类估计，我们调查他们的计算成本和划定的设置中，他们是最有效的。我们将这些估计与其他著名的蒙特卡罗估计合并，以使后者更好地适应目标的独立性结构，并提高其性能。我们通过三个简单的合并来实现这一点：一个是重要性抽样，另一个是重要性抽样平方，最后一个是伪边缘Metropolis-Hasting。在所有情况下，我们表明所得估计量都是有根据的，并且比标准估计量实现更低的方差。最后，我们通过几个例子说明了各种方差减少。
2021-11-01 math.PR math.ST stat.CO
Multivariate moment least-squares estimators for reversible Markov chains
本文针对可逆马尔可夫链的多元函数，基于单变量momentLS估计量提出新的自协方差序列和渐近方差矩阵估计量，证明其强相合性，并通过模拟与真实数据实验验证其优于现有方法。
2024-09-03 stat.ME
Mean and variance of first passage time in Markov chains with unknown parameters
有已知的表达式来计算马尔可夫链中的首达时间的矩。然而，人们通常忘记，在大多数应用中，马尔可夫链的参数是使用基于经验数据的估计来构建的，在这些情况下，数据样本量在估计方差时应起重要作用。在这里，我们提供了一个蒙特卡罗方法来估计在这种情况下的通过时间的前两个时刻。我们用一个例子来说明这种方法，使用来自生物领域的数据。
2019-03-01 q-bio.PE stat.ME
Markov Chain Importance Sampling -- a highly efficient estimator for MCMC
Zalando Research, Zalando SE（Zalando研究部，Zalando公司）；Zuse Institute Berlin（柏林Zuse研究所）
马尔可夫链（Markov chain，MC）算法在机器学习和统计学等许多学科中普遍存在。通常，这些算法可以被公式化为接受拒绝方法。在这项工作中，我们提出了一种新的估计适用于这些方法，称为马尔可夫链重要性抽样（MCIS），有效地利用被拒绝的建议。对于未调整的Langevin算法，它提供了一种新的方法来校正离散误差。我们的估计满足一个中心极限定理，并提高了每个CPU周期的错误，往往在很大程度上。作为一个副产品，它可以估计归一化常数，这是贝叶斯机器学习和统计学中的一个重要量。
2020-08-06 cs.LG stat.ML
Variance estimation for Sequential Monte Carlo Algorithms: a backward sampling approach
针对粒子滤波和平滑的在线渐近方差估计问题，提出基于后向权重的新估计器及受PaRIS算法启发的高效估计器，提升了稳定性并降低了方差。
2023-01-02 stat.ME
Multivariate initial sequence estimators in Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种模拟方法，通常用于估计关于给定分布的期望。本文考虑估计样本均值向量的渐近多元正态分布的协方差阵。Geyer（1992）开发了一种用于估计单变量均值的蒙特卡罗误差估计方法。我们提出了一种新的多元版本的Geyer的方法，提供了一个渐近有效的估计的协方差阵和稳定的蒙特卡罗估计的结果。通过仿真实验研究了该方法的有限样本性质。
2017-06-02 stat.ME
Batch means and spectral variance estimators in Markov chain Monte Carlo
计算蒙特卡罗标准误差（MCSE）是对从马尔可夫链蒙特卡罗实验获得的模拟输出进行统计分析的重要步骤。MCSE通常基于渐近正态分布的方差估计。我们认为谱和批平均值的方法来估计这个方差。特别是，我们建立的条件，保证这些估计是强一致的模拟工作的增加。此外，对于批平均值和重叠批平均值方法，我们建立了确保均方意义上的一致性的条件，这反过来又使我们能够计算最佳批量大小，直到比例的比例常数。最后，我们研究了谱方差和批量均值估计的经验有限样本性质，并为从业者提供了建议。
2010-02-25 math.ST stat.TH
Efficient shape-constrained inference for the autocovariance sequence from a reversible Markov chain
针对可逆马尔可夫链自协方差序列估计问题，提出基于矩序列形状约束的新型估计器，证明其强一致性并通过实验验证优于现有主流方法。
2023-11-09 math.ST stat.ME stat.TH
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Meta variance reduction for Monte Carlo estimation of energetic particle confinement during stellarator optimization
这项工作介绍了Meta估计，结合多个多保真度技术的基础上控制变量，重要性抽样，和信息重用，以产生一个准乘法量的方差减少。当不确定性的输入分布在外环期间发生变化时，所提出的Meta估计在外环应用中特别有效，这通常是基于可靠性的设计和形状优化中的情况。我们得到的外环结果的收敛极限的Meta估计的方差减少的渐近界。我们证明了Meta估计，使用数据驱动的代理模型和偏置密度，在不确定性的动机下的设计问题的磁约束融合，即优化仿星器线圈的设计，以最大限度地提高估计约束的高能粒子。的Meta估计优于所有的成分方差减少技术单独，最终产生两个数量级的加速相比，在相同的计算预算的标准蒙特卡洛估计。
2023-01-18 cs.NA math.NA physics.comp-ph
Conditionally Gaussian Random Sequences for an Integrated Variance Estimator with Correlation between Noise and Returns
微观结构噪声与潜在金融对数收益率之间的相关性是一个具有合理理论依据的实证相关现象。除了少数明显的例外，金融文献中提出的所有综合方差估计量都不是为了明确处理这种依赖关系，或者只在特殊情况下处理它。我们提供了一个综合方差估计，是强大的相关噪声和回报。为此，提出了一种推广的前向滤波后向采样算法，为潜在条件高斯随机序列提供了一种采样技术。我们将我们的方法应用于当天的微软价格，并在模拟研究中与现有的替代品进行比较，显示出在均方根误差和分散方面的优势。
2019-05-28 stat.CO
Empirical sandwich variance estimator for iterated conditional expectation g-computation
针对ICE g计算中方差估计计算量大问题，提出基于堆叠估计方程的经验三明治方差估计量，模拟与应用示例表明该方法准确且比bootstrap更快。
2024-08-19 stat.CO stat.ME
CLTs and asymptotic variance of time-sampled Markov chains
对于马尔可夫转移核$P$和非负整数概率分布$ μ$，时间采样马尔可夫链按照转移核$P_μ = \sum_k μ(k)P^k.$演化。本文给出了时间采样马尔可夫链的CLT条件，并导出了渐近方差的谱公式。利用这些结果，我们比较巴克和大都会算法的渐近方差的效率。
2011-06-03 math.PR stat.CO
Estimating accuracy of the MCMC variance estimator: a central limit theorem for batch means estimators
MCMC方差的批均值估计是一个简单而有效的MCMC遍历平均值的准确性度量。在不同的正则条件下，该估计量对于真方差是一致的。然而，估计器在实践中可能是不稳定的，因为它直接取决于原始MCMC输出。因此，需要一个批平均值估计量本身的准确度度量，理想情况下是置信区间的形式。批均值估计量的渐近方差是已知的;然而，在没有任何渐近分布知识的情况下，渐近方差一般不足以描述变异性。在这篇文章中，我们证明了一个中心极限定理的批均值估计，允许建设渐近准确的置信区间的批均值估计。此外，我们的研究结果提供了一个马尔可夫链模拟的经典CLT的样本方差参数的i.i.d.意见。我们的结果假设标准的正则条件类似的文献中所假设的证明一致性。模拟和真实数据的例子包括插图和CLT的应用。
2019-11-03 math.ST stat.CO stat.TH
A Bayesian Approach for the Variance of Fine Stratification
本文提出了一种分层贝叶斯估计方法，用于估计合并分层的方差，该方法在频数MSE和偏倚方面优于现有方法。
2026-03-05 stat.CO stat.ME
On Variance Estimation of Random Forests with Infinite-Order U-statistics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
无限阶U-统计量（IOUS）已被广泛用于子打包集成学习算法，如随机森林，以量化其不确定性。虽然IOUS的正态性结果已被广泛研究，但其方差估计方法和理论性质仍大多未被探索。现有的方法主要利用Hoeffding分解中的主导项优势属性。然而，当核大小较大或样本量较小时，这种观点通常会导致有偏估计。另一方面，虽然文献中存在一些无偏估计量，但它们之间的关系和理论性质，特别是比率相合性，从未被研究过。这些限制导致构造的置信区间的性能无法保证。为了弥合这些差距，在文献中，我们提出了一个新的观点Hoeffding分解方差估计，导致一个无偏估计量。我们的观点利用了峰值区域的优势，而不是主导项的优势。此外，我们建立了我们的估计与现有的几个无偏方差估计的联系和等价性。从理论上讲，我们是第一个建立这样的方差估计的比率一致性，这证明了覆盖率的置信区间从随机森林构造。数值上，我们进一步提出了一个局部平滑过程，以提高估计的有限样本性能。广泛的模拟研究表明，我们的估计享有较低的偏见和存档目标覆盖率。
2023-02-14 cs.LG stat.CO stat.ME
