Estimating standard errors for importance sampling estimators with multiple Markov chains
朴素的重要性抽样估计，从一个单一的重要性密度的样本的基础上，可以是数字不稳定的。相反，我们考虑广义重要性抽样估计的样本从一个以上的概率分布相结合。我们研究这个问题的马尔可夫链蒙特卡洛的背景下，独立的样本被替换为马尔可夫链样本。如果链以多项式速度收敛到各自的目标分布，那么在两个有限矩条件下，我们证明了广义估计的中心极限定理成立。此外，我们开发了一个易于实现的方法来计算有效的渐近标准误差的基础上批平均值。我们还提供了一个批均值估计量来计算Geyer（1994）的反向Logistic估计量的渐近有效的标准误差。我们使用贝叶斯变量选择过程中的线性回归说明的方法。特别是，广义重要性抽样估计是用来执行经验贝叶斯变量的选择和批均值估计是用来获得标准误差在一个高维设置，目前的方法是不适用的。
2016-08-11 math.ST stat.CO stat.ME
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Efficient shape-constrained inference for the autocovariance sequence from a reversible Markov chain
针对可逆马尔可夫链自协方差序列估计问题，提出基于矩序列形状约束的新型估计器，证明其强一致性并通过实验验证优于现有主流方法。
2023-11-09 math.ST stat.ME stat.TH
Discrepancy estimates for variance bounding Markov chain quasi-Monte Carlo
The University of New South Wales（新南威尔士大学）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
本文研究了由确定性序列驱动的方差限制马尔可夫链准蒙特卡洛方法的效率，定义了驱动序列的回溯偏差，并证明了存在确定性驱动序列使偏差以蒙特卡洛速率n^1/2衰减，同时提供了误差估计示例。
2014-12-02 cs.NA math.NA math.ST
Variance reduction for additive functional of Markov chains via martingale representations
在本文中，我们提出了一个有效的方差减少方法的马尔可夫链依赖于一个新的离散时间鞅表示的可加泛函。我们的方法是完全非渐进的，并且不需要静态分布（甚至任何类型的遍历性）或底层密度的特定结构的知识。通过严格分析算法的收敛性，我们表明，它的成本方差积确实小于一个朴素的算法。用Langevin型马尔可夫链蒙特卡罗（MCMC）方法验证了新方法的数值性能。
2021-12-21 stat.CO stat.ML
Mean and variance of first passage time in Markov chains with unknown parameters
有已知的表达式来计算马尔可夫链中的首达时间的矩。然而，人们通常忘记，在大多数应用中，马尔可夫链的参数是使用基于经验数据的估计来构建的，在这些情况下，数据样本量在估计方差时应起重要作用。在这里，我们提供了一个蒙特卡罗方法来估计在这种情况下的通过时间的前两个时刻。我们用一个例子来说明这种方法，使用来自生物领域的数据。
2019-03-01 q-bio.PE stat.ME
Comparison of asymptotic variances of inhomogeneous Markov chains with application to Markov chain Monte Carlo methods
本文研究了按两种不同的$π$ --可逆马尔可夫转移核$P$和$Q$交替演化的非齐次马尔可夫链样本路径平均的渐近方差.更具体地说，我们的主要结果使我们能够直接比较与不同的内核$P_i$和$Q_i$，$i\in\{0,1\}$，只要每对$(P_0,P_1)$和$(Q_0,Q_1)$的内核的两个非齐次马尔可夫链的渐近方差可以在滞后一自协方差的意义下排序。作为一个重要的应用，我们使用这个结果比较不同的数据增强型Metropolis-Hastings算法。特别是，我们比较了一些伪边缘算法，并提出了一种新的精确算法，称为随机刷新算法，这是更有效的，在渐近方差方面，比分组独立大都市-黑斯廷斯算法，并具有不超过的Monte Carlo内大都市算法的计算复杂度。
2014-08-14 stat.CO stat.ME
Zero Variance Markov Chain Monte Carlo for Bayesian Estimators
兴趣在于通过马尔可夫链蒙特卡罗（MCMC）模拟来评估函数关于可能未归一化的概率分布的期望值。基于物理学文献中引入的零方差原理，提出了MCMC估计的通用方差缩减技术。零方差估计量的渐近无偏的条件。在正则条件下证明了一个中心极限定理。的潜在的想法是说明与实际应用的概率，logit和Gesthet-Bayesian模型。对于所有这些模型，证明了零方差估计量的中心极限定理和无偏性（见在线提供的补充材料）。
2012-06-26 stat.CO
Variance bounding and geometric ergodicity of Markov chain Monte Carlo kernels for approximate Bayesian computation
在处理贝叶斯推断中越来越常见的完全难以处理的似然函数时，近似贝叶斯计算已经成为标准的计算工具。我们发现，许多常见的马尔可夫链蒙特卡罗内核，以方便在这种情况下的推理可能无法方差边界，因此几何遍历，这可能会产生后果的可靠性估计在实践中。这种现象通常与近似中公差的选择无关。然后，我们证明，最近推出的马尔可夫核在这种情况下，可以继承方差边界和几何遍历性，从其棘手的大都市-黑斯廷斯对应，在合理的薄弱和易于管理的条件下。我们表明，这种替代内核的计算成本是有界的，只要事先是适当的，并提出指示性的结果的一个例子，其中频谱间隙和渐近方差可以计算，以及一个例子，涉及部分和离散观察，时间齐次，纯跳马尔可夫过程的推断。我们还提供了两个一般定理，其中之一提供了一个简单的充分条件，缺乏可逆内核的方差界和其他提供了一个积极的结果，关于继承的方差界和几何遍历的混合物的可逆内核。
2014-03-25 stat.CO stat.ME
U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是，给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器，通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均，可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少，并提出了新的近似与理论保证，以确保计算效率。我们发现经验，U-统计方差减少可以导致适度的显着改善推理性能的一系列模型，几乎没有计算成本。
2023-02-27 cs.LG stat.ML
Stochastic Variational Inference with Tuneable Stochastic Annealing
Columbia University（哥伦比亚大学）；Spotify Research（Spotify研究）；Capital One Labs（Capital One实验室）
针对随机变分推断中批量大小导致梯度方差与退火效果难以兼顾的问题，提出可调退火的SVI+方法，通过设置实际与有效批量大小平衡逃离局部最优和梯度准确性，在三类模型上验证了性能。
2025-11-14 cs.LG stat.ML
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles（加州大学洛杉矶分校）
我们重新审视了Papini等人（2018）提出的用于强化学习的随机方差降低策略梯度（SVRPG）方法。我们提供了一个改进的SVRPG的收敛性分析，并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是（i）重要性采样权重的方差的更严格的上限，其中我们证明方差可以通过不同策略之间的参数距离来控制;以及（ii）对历元长度和批量大小参数进行细粒度分析，以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Estimating Monte Carlo variance from multiple Markov chains
针对并行MCMC中方差估计低估问题，提出多元复制批量均值（RBM）估计器，利用多链信息纠正偏差，在弱混合条件下具有强一致性和更优理论性质，小样本下表现显著优越。
2024-07-21 stat.CO stat.ME
Stratification as a general variance reduction method for Markov chain Monte Carlo
伞式抽样特征向量法（EMUS）是统计力学中一类比较流行的方法，它将分层调查抽样的原理应用于自由能的计算。本文对EMUS进行了详细的理论分析。基于这种分析，我们表明，EMUS是一个有效的一般方法计算平均任意目标分布。特别是，我们表明，EMUS可以显着更有效地比直接MCMC时，目标分布是多模态或当目标是计算尾部概率。为了说明这些理论结果，我们提出了一个教程应用的方法从贝叶斯统计的问题。
2020-06-19 cs.NA math.NA physics.comp-ph
Properties of the Stochastic Approximation EM Algorithm with Mini-batch Sampling
本文提出适用于潜变量模型的小批量采样随机近似EM算法，证明其在指数族模型下的收敛性，验证了小批量可加快收敛速度，并分析了批量规模对极限分布的影响，给出计算时间受限场景下的应用方法。
2020-05-12 stat.CO stat.ME stat.ML
Estimating accuracy of the MCMC variance estimator: a central limit theorem for batch means estimators
MCMC方差的批均值估计是一个简单而有效的MCMC遍历平均值的准确性度量。在不同的正则条件下，该估计量对于真方差是一致的。然而，估计器在实践中可能是不稳定的，因为它直接取决于原始MCMC输出。因此，需要一个批平均值估计量本身的准确度度量，理想情况下是置信区间的形式。批均值估计量的渐近方差是已知的;然而，在没有任何渐近分布知识的情况下，渐近方差一般不足以描述变异性。在这篇文章中，我们证明了一个中心极限定理的批均值估计，允许建设渐近准确的置信区间的批均值估计。此外，我们的研究结果提供了一个马尔可夫链模拟的经典CLT的样本方差参数的i.i.d.意见。我们的结果假设标准的正则条件类似的文献中所假设的证明一致性。模拟和真实数据的例子包括插图和CLT的应用。
2019-11-03 math.ST stat.CO stat.TH
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Solving the Poisson equation using coupled Markov chains
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（巴黎理工学院，电信南巴黎学院，SAMOVAR）；ESSEC Business School（ESSEC高等商学院）；University of Bristol（布里斯托大学）；IIT Kanpur（坎普尔印度理工学院）
本文提出利用耦合马尔可夫链生成泊松方程解的无偏估计器，并分析了其矩有限性及收敛性，通过数值实验验证了方法的有效性。
2025-12-09 stat.CO
Markov cohort state-transition model: A multinomial distribution representation
马尔可夫队列状态转移模型一直是模拟患者预后的标准方法，或者更一般地说，是模拟个体在一段时间内的生活轨迹。当前用于使用蒙特卡罗采样或主方程表示来估计马尔可夫模型的方差的方法在计算上是昂贵的并且在分析上难以表达和求解。我们介绍了一个替代表示的马尔可夫模型的形式，一个多项分布。我们从原理中推导出这种表示，然后在模拟练习中验证其准确性。这种表示提供了一种精确而快速的方法来计算方差，并提供了一种在贝叶斯设置中估计转移概率的方法。
2022-04-06 stat.AP
On the convergence time of some non-reversible Markov chain Monte Carlo methods
人们普遍认为，不可逆的马尔可夫链蒙特卡罗（MCMC）算法通常比可逆算法产生更精确的MCMC估计。本文证明了某些不可逆MCMC算法除了具有降低方差的效果外，还具有减慢马尔可夫链收敛速度的不良性质。这一点被文献所忽视，具有明显的实际意义。我们说明了这种现象的不同的不可逆版本的梅特罗波利斯-黑斯廷斯算法的几个离散状态空间的例子，并讨论如何减轻风险的小渐近方差/缓慢收敛的情况。
2019-08-23 stat.CO
A note on concentration inequalities for the overlapped batch mean variance estimators for Markov chains
本文借助鞅分解方法，为一致几何遍历马尔可夫链渐近方差的 OBM 估计量建立集中不等式，给出误差 p 阶矩随 p 与混合时间变化的显式界。
2025-05-13 math.PR math.ST stat.ML
Batch Policy Learning in Average Reward Markov Decision Processes
本文研究了无限时域马尔可夫决策过程中的批量（离线）策略学习问题。受移动健康应用程序的激励，我们专注于学习一种最大化长期平均奖励的策略。我们提出了一个双重鲁棒估计的平均回报，并表明它实现了半参数效率。进一步，我们开发了一个优化算法来计算参数化随机策略类中的最优策略。估计策略的性能通过策略类中的最优平均奖励与估计策略的平均奖励之间的差异来衡量，并且我们建立了有限样本的后悔保证。该方法的性能示出了模拟研究和分析的移动健康研究促进身体活动。
2022-09-17 math.ST stat.ML stat.TH
A simple variance inequality for U-statistics of a Markov chain with applications
本文对U-统计量建立了一个简单的方差不等式，其随机变量序列是遍历马尔可夫链。这个不等式中的常数是显式的，并且依赖于马尔可夫链的混合率的可计算界。我们应用这个结果在接近最优的条件下导出了马尔可夫链的U-统计量的强大数定律。
2011-07-13 math.ST stat.TH
Extending Sheldon M. Ross's Method for Efficient Large-Scale Variance Computation
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文提出PKA方法，通过重用已计算的充分统计量避免全量重新计算，分析了批量更新在不同数据规模下的加速效果，并验证了Ross方法仅在新批次含单个样本时更优。
2026-04-25 math.ST stat.CO stat.TH
Robust Batch Policy Learning in Markov Decision Processes
George Washington University（乔治华盛顿大学）；Harvard University（哈佛大学）
在马尔可夫决策过程（MDP）框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力，我们建议通过一组平均奖励来评估每个策略，这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集，我们的目标是在预先指定的策略类中学习一个鲁棒的策略，该策略类可以最大化这个集合的最小值。利用半参数统计理论，我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Analysis of variance--why it is more important than ever
方差分析（ANOVA）是探索性和验证性数据分析中一种非常重要的方法。在复杂的问题中（例如，裂区设计），并不总是容易建立一个适当的方差分析。我们提出了一种层次分析，即使在复杂的情况下，也能自动给出正确的ANOVA比较。所有均值和方差的推断均在模型下进行，ANOVA表的每行具有单独的效应批次。我们通过处理有限样本方差分量连接到经典ANOVA：固定和随机效应模型的特征分别是对因子现有水平和新水平的推断。我们还引入了一个新的图形显示，显示关于每批效应的标准差的推断。我们从我们的应用数据分析的两个例子说明，首先说明我们的分层计算和显示的有用性，第二个显示方差分析的想法是如何帮助理解以前适合分层模型。
2005-08-26 math.ST stat.TH
On Functional CLT for Reversible Markov Chains with nonlinear growth of the Variance
本文研究了一般状态空间中具有自伴算子的平稳马尔可夫链的泛函中心极限定理。我们调查的情况下，当部分和的方差不是渐近线性的n，并建立条件依分布收敛的部分和意味着功能CLT。主要工具是极大不等式，进一步利用这些不等式推导出布朗运动的紧性和收敛条件。
2013-05-08 math.PR math.ST stat.TH
Estimations of means and variances in a Markov linear model
多元回归模型和方差分析可能是所有统计分析中最常用的方法。我们研究的情况下，预测是定性变量，响应变量是定量的。在这种情况下，我们提出了一种替代经典的方法，不假设同方差，但假设一个马尔可夫链可以描述协变量的相关性。该方法使用测量变更将相关协变量转换为独立协变量。转换后的估计值允许成对比较不同协变量值贡献的均值和方差。我们证明了在标准矩条件下，估计量是渐近正态分布的。我们测试我们的方法与模拟数据，并将其应用到几个经典的数据集。
2021-05-03 math.ST stat.AP stat.TH
Markov Chain Variance Estimation: A Stochastic Approximation Approach
本文提出一种基于线性随机逼近的递归估计器，以O(1)计算复杂度估计马尔可夫链函数的渐近方差，具有最优收敛速率，并推广至协方差估计及平均奖励强化学习中的策略评估。
2024-09-22 math.PR math.ST stat.ML
