Bias correction of posterior means using MCMC outputs
本文提出两种基于贝叶斯无穷小刀切近似的MCMC后验均值偏差校正算法，分别适用于一般场景和高维稀疏场景，并在Weibull分布与逻辑回归中验证有效。
2024-09-05 cond-mat.dis-nn stat.ME
Analysis of high-dimensional Continuous Time Markov Chains using the Local Bouncy Particle Sampler
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of British Columbia（不列颠哥伦比亚大学）
高维连续时间马尔可夫链（CTMC）的参数采样是一个具有挑战性的问题，在应用统计学的许多领域都有重要的应用。在这项工作中，最近提出的一种类型的不可逆拒绝免费的马尔可夫链蒙特卡罗（MCMC）采样器，弹性粒子采样器（BPS），承担这个问题。与MCMC算法相比，BPS算法具有良好的计算效率，但迄今为止在实际数据场景中的应用还很少。BPS实际实现的一个重要方面是事件时间的模拟。默认实现使用保守的细化界限。这样的界限会减慢算法并限制计算性能。我们的论文开发了一个算法，在CTMCs的背景下的随机事件时间的精确解析解。我们的本地版本的BPS算法利用目标因子图的稀疏结构，我们还提供了一个框架，用于评估本地BPS算法的计算复杂度。
2021-05-30 cs.LG stat.CO stat.ML
Post-Processing of MCMC
马尔可夫链蒙特卡罗（MCMC）是现代贝叶斯统计的引擎，用于近似后验和导出的感兴趣的量。尽管如此，如何从一个马尔可夫链的输出是后处理和报告的问题往往被忽视。收敛性诊断可用于通过老化消除来控制偏差，但这些不能解释有限的计算预算产生偏差-方差权衡的（常见）情况。这篇文章的目的是审查国家的最先进的技术后处理马尔可夫链输出。我们的评论涵盖了基于差异最小化的方法，直接解决偏差方差权衡，以及通用控制变量方法近似的预期数量的利益。
2021-09-06 stat.CO stat.ME
Multivariate Output Analysis for Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）产生用于估计关于目标分布的期望的相关样本。一个基本的问题是什么时候应该停止采样，这样我们才能对所需的数量有很好的估计？回答这个问题的关键在于通过多元马尔可夫链中心极限定理（CLT）来评估蒙特卡罗误差。这种蒙特卡罗误差的多变量性质在MCMC文献中很大程度上被忽略了。我们提出了一个多变量的框架终止模拟MCMC。我们定义了一个多变量的有效样本量，估计需要强一致的估计的协方差阵的马尔可夫链CLT，一个属性，我们显示的多变量批量均值估计。然后，我们提供了一个下界所需的精度水平的最小有效样本的数量。这个下界仅在被估计的期望的维度上取决于问题，而不取决于潜在的随机过程。这一结果是通过绘制终止模拟之间的连接，通过有效的样本量和终止模拟使用一个相对的标准差固定体积的顺序停止规则，我们证明是一个渐进有效的程序。所提出的方法的有限样本特性证明在各种例子。
2017-09-29 math.ST stat.CO stat.TH
Divide and Recombine for Large and Complex Data: Model Likelihood Functions using MCMC
在Divide & Recombine（D&R）中，大数据被划分为子集，每种分析方法都被应用于子集，并重新组合输出。这使得深入的分析和实际的计算性能。提出了一种新的D\&R方法来计算大数据的数据模型（DM）参数的似然函数。似然模型（LM）是DM参数的参数概率密度函数。通过将密度拟合到由每个子集的DM似然函数绘制的MCMC中来估计密度参数，然后将拟合的密度重新组合。该程序说明使用正常和偏正态LM的逻辑斯谛回归DM。
2018-01-15 stat.ME stat.ML
Diffusion Generative Modelling for Divide-and-Conquer MCMC
Lancaster University（兰卡斯特大学）
针对分治MCMC中子后验合并难以避免分布假设的问题，本文提出用扩散生成建模拟合子后验密度近似，在挑战性合并任务上优于现有方法，并更适用于高维场景。
2024-06-17 cs.LG stat.CO stat.ML
On the use of a local $\hat{R}$ to improve MCMC convergence diagnostic
诊断马尔可夫链蒙特卡罗算法的收敛性是一个重要的问题，至今仍没有得到很好的解决.在最流行的方法中，潜在规模缩减因子，通常称为$\hat{R}$，是一种基于方差间和方差内比较来监测输出链向目标分布收敛的指标。自90年代引入以来，已经提出了一些改进建议。在这里，我们的目标是更好地理解$\hat{R}$的行为，提出了一个本地化的版本，重点放在目标分布的分位数。这个新版本依赖于相关总体值的关键理论特性。它自然会导致提出一个新的指标$\hat{R}_\infty$，这是允许本地化的马尔可夫链蒙特卡罗收敛在不同的分位数的目标分布，并在同一时间处理一些收敛问题没有检测到其他$\hat{R}$版本。
2023-03-03 math.ST stat.CO stat.ME
Globally-centered autocovariances in MCMC
自协方差是马尔可夫链蒙特卡罗（MCMC）模拟中的一个基本量，自相关函数（ACF）图是性能评估的整体可视化工具。不幸的是，对于慢混合马尔可夫链，经验自协方差可能会大大低估真相。对于多链MCMC抽样，我们提出了一个全局中心估计的自协方差函数（G-ACvF），表现出显着的理论和经验改进。我们表明，G-ACvF估计的偏差小于当前最先进的偏差。这种改进的估计的影响是显而易见的，在三个关键的输出分析应用：（1）ACF图，（2）估计的蒙特卡罗渐近协方差阵，（3）估计的有效样本量。在较弱的条件下，我们建立了改进的渐近协方差估计的强相合性，并得到了它的大样本偏差和方差。新的估计的性能通过各种例子证明。
2021-10-18 stat.CO stat.ME
Implementing MCMC: Multivariate estimation with confidence
本文探讨估计马尔可夫链中心极限定理渐近协方差的关键挑战，总结分批、谱和初始序列等估计技术，针对现代MCMC模拟中正相关导致的负偏问题提出实用建议，并讨论大迭代次数下可行的计算高效方法以提升输出的可靠性与准确性。
2024-08-27 stat.AP stat.CO
Estimating the Effective Sample Size for an inverse problem in subsurface flows
本文研究了有效样本量（ESS）和积分自相关时间（IACT）在地下流反问题中的表现，发现ESS估计量在MCMC中存在统计不一致性及数量级分歧，结论是ESS存在重大局限性，不应用于复杂模型的MCMC输出。
2024-08-24 stat.CO stat.ME
The MCMC convergence graph: a diagnostic for multimodal posteriors
Uppsala University（乌普萨拉大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
针对标准MCMC诊断误判多峰后验的问题，提出基于图的MCMC收敛图诊断方法，通过成对R-hat值识别同峰链组，在Stan中实现并提供R包。
2026-09-30 stat.CO stat.ME
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Unbiased Multilevel Monte Carlo methods for intractable distributions: MLMC meets MCMC
从马尔可夫链蒙特卡罗（MCMC）输出构造无偏估计量是一个困难的问题，最近在统计学和机器学习界受到了很多关注。然而，目前的无偏MCMC框架仅适用于兴趣量是期望的情况，这排除了许多实际应用。本文提出了一种构造期望函数无偏估计量的一般方法，并将其推广到构造套期望的无偏估计量。我们的方法结合和推广了无偏MCMC和多层蒙特卡罗（MLMC）方法。与传统的顺序方法相比，我们的估计器可以在并行处理器上实现。我们表明，我们的估计有一个有限的方差和计算复杂性，并可以实现$\varepsilon$ -在温和的条件下，在最佳的$O(1/\varepsilon^2)$计算成本的准确性。我们的数值实验证实了我们的理论研究结果，并证明了无偏估计量在大规模并行制度的好处。
2022-12-23 cs.NA math.NA stat.CO
Data analysis recipes: Using Markov Chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）方法抽样概率密度函数（结合丰富的计算资源）已经改变了科学，特别是在执行概率推理，或拟合模型的数据。在这主要是教学的贡献，我们给出了最基本的MCMC方法和一些实用的建议，在实际推理问题中使用MCMC的简要概述。我们给出的方法选择，调整性能，初始化方法，收敛性测试，故障排除，并使用链输出产生或报告参数估计与相关的不确定性的建议。我们认为，自相关时间是最重要的收敛性测试，因为它直接连接到采样估计的任何数量的兴趣的不确定性。我们强调采样是一种积分方法;这指导我们思考如何最好地使用MCMC输出。
2017-10-17 astro-ph.IM physics.data-an stat.CO
Waste-free Sequential Monte Carlo
在SMC采样器中移动粒子的标准方式是应用MCMC（马尔可夫链蒙特卡罗）内核的几个步骤。不幸的是，目前尚不清楚需要执行多少步骤才能获得最佳性能。此外，中间步骤的输出被丢弃，从而以某种方式浪费。我们提出了一种新的，无浪费的SMC算法，它使用所有这些中间MCMC步骤的输出作为粒子。我们建立了它的输出是一致的和渐近正态的。我们使用的渐近方差的表达式，以开发各种见解如何在实践中实现该算法。我们特别开发了一种方法来估计，从一个单一的运行的算法，任何粒子估计的渐近方差。我们的经验表明，通过一系列的数值例子，无浪费的SMC往往优于标准的SMC采样器，特别是在混合的情况下，所考虑的MCMC内核减少迭代（如回火或罕见事件问题）。
2021-08-23 stat.CO
Control Variates for Stochastic Gradient MCMC
Lancaster University（兰卡斯特大学）；University of Washington（华盛顿大学）
众所周知，马尔可夫链蒙特卡罗（MCMC）方法的规模与数据集的大小不佳。解决这个问题的一类流行的方法是随机梯度MCMC。这些方法使用对数后验梯度的噪声估计，这降低了算法的每次迭代计算成本。尽管如此，有一些结果表明，随机梯度朗之万动力学（SGLD），可能是这些方法中最流行的，仍然具有与数据集大小成比例的计算成本。我们提出了一种替代的对数后验梯度估计的随机梯度MCMC，它使用控制变量，以减少方差。我们分析SGLD使用这个梯度估计，并表明，在对数-对数假设的目标分布，所需的计算成本为一个给定的精度水平是独立的数据集大小。接下来，我们展示了一种不同的控制变量技术，称为零方差控制变量，可以免费应用于SGMCMC算法。该后处理步骤通过减少MCMC输出的方差来改进算法的推理。零方差控制变量依赖于对数后验的梯度，我们探索如何通过将其替换为SGMCMC计算的噪声梯度估计来影响方差降低。
2017-12-14 cs.LG stat.CO stat.ML
MCMC Methods for Parameter Inference in Structurally Nonidentifiable Models
University of Alberta（阿尔伯塔大学）
针对结构不可识别的ODE模型参数推断问题，开发了可识别性感知几何MCMC和可识别性感知伪边际MCMC两种方法，利用结构可识别性分析信息，提高采样效率和收敛性，且都针对正确后验分布，在标准条件下遍历。
2026-07-16 cs.NA math.NA stat.ME
Quantifying Uncertainty in Transdimensional Markov Chain Monte Carlo Using Discrete Markov Models
贝叶斯分析通常涉及具有不同维度的模型的评估，这在例如模型选择或混合模型中是必要的。为了便于这种评估，transdimensional马尔可夫链蒙特卡罗（MCMC）依赖于采样离散索引变量来估计后验模型概率。然而，很少有人注意到这些估计的准确性。如果在跨维MCMC输出中模型之间仅发生很少的切换，则精度可能较低，并且基于独立样本假设的评估会产生误导。在这里，我们提出了一种新的方法来估计精度的基础上观察到的模型索引变量的转移矩阵。假设一阶马尔可夫模型，该方法从平稳分布的后验中采样。这允许评估估计的后验模型概率、模型秩和贝叶斯因子中的不确定性。此外，该方法提供了一个估计的有效样本量的MCMC输出。在两个模型选择的例子中，我们表明，所提出的方法提供了一个很好的评估与估计后验模型概率的不确定性。
2018-07-31 stat.CO stat.ME
On some difficulties with a posterior probability approximation technique
Scott（2002）和Congdon（2006）提出了一种计算模型后验概率的新方法。它仅基于限于单个模型的MCMC输出，即，它绕过了可逆跳跃和其他模型探索技术。虽然确实有可能仅基于单个模型的MCMC输出来近似后验概率，正如Gelfand和Dey（1994）和Bartolucci等人（2006）所证明的那样，但我们表明Scott（2002）和Congdon（2006）的提议是有偏见的，并提出了一些关于这一论点的论点，主要问题是混淆了基于模型的后验和联合伪后验。从实践的角度来看，Scott（2002）近似的偏差似乎比Congdon（2006）的偏差严重得多，后者通常与它近似的后验概率具有相同的量级，尽管我们也展示了一个与真实后验概率的偏差非常大的例子。
2008-06-05 math.ST stat.CO stat.TH
An MCMC-free approach to post-selective inference
我们开发了一个无蒙特卡罗的方法来推断后输出的随机算法与凸损失和凸惩罚。基于截断律的主元统计量称为选择主元，通常缺乏封闭形式的表达式。在这些设置中的推断依赖于在参考参数处的标准蒙特卡罗采样技术，随后是在参考处的指数倾斜。然而，对于远离参考参数的参数，倾斜可能不稳定。在本文中，我们提供了另一种方法来建设的区间和点估计，提出了一个近似的棘手的选择枢轴。这种近似解决了|E|维度上的凸优化问题，其中|E|是从选择中观察到的活动集的大小。我们的经验表明，置信区间通过反演近似枢轴有有效的覆盖。
2017-05-18 stat.ME
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗（MCMC），随后的重要性抽样（IS）校正的马尔可夫链不精确的输出，导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下，近似马尔可夫链是伪边际，需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下，和的情况下，IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链，其中，与一个合适的重新加权，允许提高效率。由于IS类型权重可以假定为负值，因此可以将扩展类的无偏估计量用于IS类型校正，例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器，我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设，不需要扩散可以被精确地模拟。在近似贝叶斯计算（ABC）的背景下，我们建议一个自适应MCMC方法来处理一个适当的大公差的选择，与IS校正可能更精细的公差，并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比，标准的直接MCMC，如伪边际，延迟接受，和ABC-MCMC。我们提供了一个比较标准，概括的协方差排序的IS设置。
2019-04-11 stat.CO
$R^*$: A robust MCMC convergence diagnostic with uncertainty using decision tree classifiers
马尔可夫链蒙特卡罗（MCMC）在过去的三十年里改变了贝叶斯模型的推理：主要是因为这一点，贝叶斯推断现在是应用科学家的主力。在一般情况下，MCMC采样渐近收敛于后验分布，但这并不能保证其在有限时间内的性能。监测收敛性的主要方法是运行多个链并监测单个链的特征，并将其与总体进行比较：如果链内和链间的汇总具有可比性，则这表明链已收敛到共同的平稳分布。在这里，我们介绍了一种新的方法来诊断收敛的基础上如何以及机器学习分类模型可以成功地区分个别链。我们称之为收敛测度$R^*$。与占主导地位的$\widehat{R}$相比，$R^*$是跨所有参数的单个统计量，其指示缺乏混合，尽管也可以确定单个变量对于该度量的重要性。此外，$R^*$不是基于抽样分布的任何单一特征;相反，它使用链中的所有信息，包括联合抽样分布给出的信息，这在很大程度上被现有方法所忽视。我们建议使用两种不同的机器学习分类器-梯度提升回归树和随机森林-来计算$R^*$，这两种分类器在不同维度的模型中都能很好地工作。由于这些方法中的每一种都输出分类概率，因此作为副产品，我们在$R^*$中获得了不确定性。该方法是简单的实施，并可能是一个补充的额外检查MCMC收敛应用分析。
2020-11-19 stat.AP stat.ME
Delayed acceptance particle MCMC for exact inference in stochastic kinetic models
最近提出的粒子MCMC方法提供了一种灵活的方式进行贝叶斯推断的参数管理随机动力学模型定义为马尔可夫（跳）过程（MJPs）。该方案的每次迭代都需要从序贯蒙特卡罗方案（也称为粒子滤波器）的输出计算的边缘似然的估计。因此，该方法可能是极其计算密集的。因此，我们的目标是通过使用快速近似来避免大多数情况下昂贵的似然计算。我们考虑两种近似：化学朗之万方程扩散近似（CLE）和线性噪声近似（LNA）。CLE下的边际似然估计或LNA下的易处理边际似然可用于计算第一步接受概率。只有当一个建议被接受的近似下，我们然后运行一个序贯蒙特卡罗计划，以计算一个真实的MJP下的边际似然估计，并构建一个第二阶段的接受概率，允许精确的（基于模拟的）推断MJP。因此，我们避免对可能被拒绝的提案进行昂贵的计算。我们说明了该方法考虑的Lotka-Volterra系统，基因表达模型和一个简单的流行病过程的参数推断。
2014-05-16 stat.CO
Particle Metropolis adjusted Langevin algorithms for state space models
粒子MCMC是一类可用于分析状态空间模型的算法。它们使用MCMC移动来更新模型的参数，并使用粒子滤波器来为状态空间模型的路径提供值。当前默认使用随机游动Metropolis更新参数值。我们表明，它是可以使用的粒子滤波器的输出信息，以获得更好的建议分布的参数。特别地，可以从粒子滤波器的每次运行获得对数后验的梯度的估计，并且在Langevin型提议内使用这些估计。我们建议使用Nemeth等人（2013）最近的计算效率高的方法来获得这样的估计。我们的经验表明，对于各种状态空间模型，这个建议是更有效的比标准的随机游动大都会建议方面：减少后验样本的自相关性，减少老化的MCMC采样器的时间和增加后验样本之间的平方跳跃距离。
2014-12-24 stat.CO stat.ML
Hamiltonian MCMC methods for estimating rare events probabilities in high-dimensional problems
针对高维复杂工程系统中的稀有事件概率估计问题，提出集成 ASTPA 框架与梯度 HMCMC 的方法，开发高效 QNp-HMCMC 采样方案及逆重要性抽样后处理步骤，性能优于 Subset Simulation。
2023-05-19 stat.AP stat.CO stat.ME
Differential privacy guarantees of Markov chain Monte Carlo algorithms
University of Warwick, UK（沃里克大学）
本文为MCMC算法提供差分隐私保证，基于马尔可夫链收敛假设建立样本与估计器的隐私保证，并针对未调整Langevin算法和随机梯度Langevin动力学，利用Girsanov定理与扰动技巧在非凸无界域中推导出Rényi DP界限及链轨迹隐私界限。
2025-11-02 cs.LG stat.CO stat.ML
Parametric Analysis of a Phenomenological Constitutive Model for Thermally Induced Phase Transformation in Ni-Ti Shape Memory Alloys
在这项工作中，预测形状记忆合金的致动响应的热机械模型是概率校准对三个实验数据集同时进行。在校准之前，已经进行了实验设计（DOE），以确定对系统的致动响应影响最大的参数，从而降低问题的维数。随后，通过贝叶斯马尔可夫链蒙特卡罗（MCMC）对影响参数进行不确定度量化（UQ）。然后，首先使用基于MCMC校准模型参数的方差-协方差阵的近似方法，然后通过基于MCMC的采样明确传播不确定性，将模型参数中的评估不确定性传播到转换应变-温度滞后曲线（模型输出）。结果表明，模型和实验滞后回线之间的概率MCMC校准，使实验数据位于95%贝叶斯置信区间内的协议。基于MCMC的UQ/UP方法在试验设计决策中的应用也通过比较在一个新的实验条件下运行副本与在实验空间的不同区域中运行实验所获得的信息来显示。
2018-08-10 cond-mat.mtrl-sci stat.AP
Graphical outputs and Spatial Cross-validation for the R-INLA package using INLAutils
统计分析通过模型拟合和检查的迭代过程进行。R-INLA包通过比替代MCMC方法更快地拟合许多贝叶斯模型来促进这种迭代。由于贝叶斯分析的结果和模型对象的解释可能很复杂，R软件包INLAutils为用户提供了R-INLA模型输出的易于访问、清晰和可定制的图形摘要。此外，它还提供了一个功能，用于执行和可视化空间留一交叉验证（SLOOCV）方法的结果，该方法可用于比较多个空间模型的预测性能。在本文中，我们描述和说明（1）图形摘要绘图功能和（2）SLOOCV方法的使用。最后，我们确定我们的方法的局限性，并讨论未来的潜在改进的文件。
2020-04-05 stat.CO
Posterior sampling by source-space MCMC via prior-based few-step transport maps
Nanyang Technological University（南洋理工大学）；University of Helsinki（赫尔辛基大学）
提出源空间广义贝叶斯推断框架，利用少步iMF传输映射表示隐式先验，在高斯源空间采样，并给出误差界，实验验证其准确高效及文本引导能力。
2026-10-02 cs.AI cs.LG stat.ML
Towards Efficient MCMC Sampling in Bayesian Neural Networks by Exploiting Symmetry
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；The University of Manchester（曼彻斯特大学）
针对贝叶斯神经网络中MCMC采样成本高且后验多模态的难题，提出利用神经元可互换性等对称性将后验限制在无对称参数集，并推导出所需链数上限，实现了高效且准确的贝叶斯推断。
2023-04-06 cs.LG stat.ML
Incorporating the ChEES Criterion into Sequential Monte Carlo Samplers
Dept. of EEE, University of Liverpool, United Kingdom（电子工程系，利物浦大学，英国）；Intelligent Sensor-Actuator-Systems Laboratory (ISAS), Karlsruhe Institute of Technology, Germany（智能传感器-执行器系统实验室（ISAS），卡尔斯鲁厄理工学院，德国）
将ChEES-HMC作为提案纳入SMC采样器，实现更快的后验采样性能
2026-01-29 cs.LG cs.SY eess.SY
Predictive Inference Based on Markov Chain Monte Carlo Output
在贝叶斯推断中，预测分布通常是经由马尔可夫链蒙特卡罗（MCMC）或相关算法生成的样本的形式。在本文中，我们进行了系统的分析，如何作出和评估概率预测，从这样的模拟输出。基于适当的评分规则，我们开发了一个概念的一致性，允许评估充分的方法估计的平稳分布的模拟输出。然后，我们提供的渐近结果，占贝叶斯后验模拟器的显着特点，并推导出条件下，从文献中的选择满足我们的概念的一致性。重要的是，这些条件取决于所使用的评分规则，因此近似方法和评分规则的选择是交织在一起的。虽然对数规则需要相当严格的条件，连续排序概率得分（CRPS）在最小的假设下产生一致的近似。这些结果在模拟研究和经济数据的例子中得到了说明。总体而言，混合参数近似，利用贝叶斯模型的参数结构表现得特别好。在CRPS下，经验分布函数是一个简单而有吸引力的替代选择。
2020-06-24 stat.ME
Asymptotically exact inference in differentiable generative models
许多生成模型可以表示为从一些简单的概率密度中提取的随机输入的可微函数。该框架包括深度生成架构（如变分自动编码器）和大量程序定义的模拟器模型。我们提出了一种方法，用于在这样的模型中进行有效的MCMC推理时，对模型输出的观察条件。对于某些模型，这提供了一种渐进精确的推断方法，否则可能会采用近似贝叶斯计算。我们使用的直觉，推理对应于集成的密度在流形上对应的一组输入与观察到的输出一致。这促使使用哈密顿蒙特卡罗的约束变体，其利用流形的平滑几何形状在与观测完全一致的输入之间连贯地移动。我们通过在不同的模型集执行推理任务来验证该方法。
2017-03-02 stat.CO stat.ML
Air Markov Chain Monte Carlo
我们介绍了一类适应越来越罕见的马尔可夫链蒙特卡罗（AirMCMC）算法的基础马尔可夫内核是允许改变的基础上，整个可用的链输出，但只有在特定的时间点分离的迭代次数不断增加。主要的动机是这种算法的分析容易。在同时或（较弱的）局部同时几何漂移条件，或同时多项式漂移条件下，证明了$L_2-$收敛性，弱大数定律和强大数定律（WLLN，SLLN），中心极限定理（CLT），并讨论了我们的方法如何推广已有的结果.我们认为，许多已知的自适应MCMC算法可以转化为相应的空气版本，并提供了一个经验证据，空气版本的性能几乎保持不变。
2018-01-28 stat.CO stat.ME
Locally weighted Markov chain Monte Carlo
我们提出了一个加权方案的建议内马尔可夫链蒙特卡罗算法，并显示如何这可以提高统计效率，没有额外的计算成本。这些方法在与多提议MCMC算法（如多尝试Metropolis）结合时是最强大的，它可以有效地利用具有大量核心的现代计算机架构。局部加权的马尔可夫链蒙特卡罗方法还通过Rao-Blackwellization改进了梅特罗波利斯-黑斯廷斯算法的部分并行化。我们推导出我们的算法的输出的有效样本量，并显示如何在实践中估计这一点。文中给出了该方法的说明和实例，并与现有方法在理论和应用上进行了比较。
2015-06-29 stat.CO
An Inverse Gaussian Process Monte Carlo algorithm for estimation and uncertainty assessment of hydrologic model parameters
求解水文反问题通常需要重复的正演模拟。减轻计算成本的一种方法是建立代理模型，即，从模型参数（输入）到可观测量（输出）的近似映射，因此可以快速进行正演模拟。或者，如果替代物被构造为近似从模型输出到参数的逆映射，则可以通过将测量值视为该逆替代物的输入来直接获得参数估计。此外，参数的不确定性可以量化传播的测量不确定性在一个简单的蒙特卡罗方式。基于这一思想，我们提出了一种新的基于代理的参数估计和不确定性评估方法，即，逆高斯过程蒙特卡罗（IGPMC）算法。高斯过程（GP）回归用于直接逼近模型输出-输入关系的反函数。对于不适定问题，即，当存在全部产生相同系统输出的输入参数的非唯一集合时，构造多个逆GP系统，并且可以相应地获得多个参数估计。通过四个算例验证了该算法的精度和效率。从马尔可夫链蒙特卡罗（MCMC）获得的结果被用作参考，以评估我们的新方法。结果表明，IGPMC算法通常可以获得可靠的参数估计与负担得起的计算成本。
2015-06-16 math.OC stat.CO
Auxiliary Variable Markov Chain Monte Carlo for Spatial Survival and Geostatistical Models
本文的动机是希望改进空间生存模型中的个体在空间中的位置是已知的马尔可夫链蒙特卡罗方法。对于包括关于n个个体的信息的数据集，基于MCMC的推断的标准方法涉及在每次迭代时计算n乘n矩阵的逆。然而，通过在具有m个预测点的规则网格上明智地选择辅助变量，将展示如何拟合基本上等效的模型，但计算成本大幅降低。对于一个固定的输出网格，新方法的计算成本从O（n^3）减少到O（n）;增加输出网格大小的成本为O（m \log m）。此外，新方法同时解决了潜在场函数的空间预测问题，这对于标准方法来说通常会带来进一步的计算挑战。我们将新的方法应用到空间生存数据集以前分析亨德森等。al 2002，并展示了如何将新方法应用于空间和时空地统计数据集具有相同的计算效益。
2015-01-07 stat.ME
A New Wald Test for Hypothesis Testing Based on MCMC outputs
提出了一种新的基于MCMC输出的$χ^2$ wald检验方法。新的统计量可以解释为Wald检验的MCMC版本，并且具有几个重要的优点，使得它在实际应用中非常方便。首先，它在不适当的先验分布下定义良好，避免了Jeffrey-Lindley悖论。其次，它的渐近分布可以被证明遵循$χ^2$分布，以便可以容易地从该分布校准阈值。第三，它的统计误差可以使用马尔可夫链蒙特卡罗（MCMC）方法来推导。第四，最重要的是，它是仅根据MCMC随机样本的后验分布得出的。因此，它只是后验输出的副产品，非常容易计算。此外，当先验信息是可用的，有限样本理论推导出建议的测试统计量。最后，通过对经济学和金融学中广泛使用的潜变量模型的几个应用，说明了检验的有用性。
2018-01-03 econ.EM stat.ME
Besag-Clifford e-values for unnormalized testing
Gladstone Institute of Data Science and Biotechnology（格拉德斯通数据科学与生物技术研究所）；Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系）；Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
本文提出利用Besag-Clifford方法生成可交换样本，用于生成有效e值，以解决无归一化分布下的似然比检验问题，并通过模拟和应用验证了理论。
2026-04-27 stat.ME
Posterior model probabilities computed from model-specific Gibbs output
可逆跳马尔可夫链蒙特卡罗（RJMCMC）扩展了普通MCMC方法用于贝叶斯多模型推理。我们表明，RJMCMC可以实现为吉布斯采样与交替更新的模型指标和矢量值的"调色板"的参数表示$\bm ψ$。就像艺术家使用调色板混合特定需求的颜色一样，我们从$\bm ψ$中可用的集合中创建模型特定的参数。这种描述不仅消除了RJMCMC的一些神秘性，而且还为使用普通MCMC一次一个地拟合模型和通过后处理蒙特卡罗输出来计算模型权重或贝叶斯因子提供了基础。我们用几个例子来说明我们的程序。
2011-05-26 stat.AP stat.CO stat.ME
Kernel learning approaches for summarising and combining posterior similarity matrices
当使用马尔可夫链蒙特卡罗（MCMC）算法来执行贝叶斯聚类模型（例如混合模型）的推断时，输出通常是从后验分布中提取的聚类（分区）的样本。在实践中，一个关键的挑战是如何总结这一产出。在这里，我们建立后验相似性矩阵（PSM）的概念，以提出新的方法来总结贝叶斯聚类模型的MCMC算法的输出。我们的工作的一个关键贡献是观察到PSM是半正定的，因此可以用来定义概率动机的内核矩阵，捕获数据中存在的聚类结构。这一观察使我们能够采用一系列的核方法，以获得汇总聚类，否则利用PSM总结的信息。例如，如果我们有多个PSM，每个PSM对应于一组公共统计单元上的不同数据集，我们可以使用标准方法来组合内核，以便执行集成聚类。此外，我们可以将PSM嵌入预测内核模型中，以执行结果引导的数据集成。我们证明了所提出的方法的性能，通过一系列的模拟研究，以及两个真实的数据应用。R代码可在https://github.com/acabassi/combine-psms上获得。
2020-09-27 stat.ME stat.ML
