Bayesian Updating and Uncertainty Quantification using Sequential Tempered MCMC with the Rank-One Modified Metropolis Algorithm
贝叶斯方法是量化系统行为的关键。它们利用概率分布来捕捉我们对系统行为的不确定性，并在新信息可用时更新这种理解。然后，可以做出包含这种不确定性的概率预测，以评估系统性能并做出决策。虽然贝叶斯方法非常有用，但它们通常是计算密集型的。这需要开发更有效的算法。在这里，我们讨论了一组人口马尔可夫链蒙特卡罗（MCMC）方法的贝叶斯更新和系统可靠性评估，我们称之为顺序回火MCMC（ST-MCMC）算法。这些算法结合了1）回火的概念，通过一系列中间分布，2）重要性重新排序，以及3）MCMC，逐渐将样本群体从之前转换到之后。它们是序贯蒙特卡罗的一种形式，包括过渡马尔可夫链蒙特卡罗和子集模拟等算法。我们还介绍了一种新的采样算法，称为秩一修改的大都市算法（ROMMA），它建立在子集模拟中使用的修改的大都市算法，以提高性能在高维。最后，我们制定了一个单一的算法来解决组合贝叶斯更新和可靠性评估问题，使系统可靠性的后验评估。然后，通过对具有未知泄漏和需求的配水系统进行先验和后验可靠性评估来说明该算法。
2018-04-23 stat.CO
Finding our Way in the Dark: Approximate MCMC for Approximate Bayesian Methods
有了更大的数据，科学家们就有勇气去解决那些需要复杂的统计模型的复杂问题。对于后者来说，具有似然函数而无法用解析公式表示是很平常的。即使在这样的逆境下，当可以从抽样分布进行模拟时，也可以使用近似贝叶斯计算（ABC）或贝叶斯合成似然法（BSL）等近似方法进行贝叶斯分析。这些方法的一个显著缺点是所需的模拟数量可能非常大，从而严重限制了它们的范围。在本文中，我们设计的扰动MCMC采样器，可用于在ABC和BSL范式显着加快计算，同时保持控制的计算效率。拟议中的战略依赖于从连锁店的过去回收样本。算法设计的理论分析支持，而实际性能通过一系列的仿真例子和数据分析进行检查。
2019-05-16 stat.CO
Monte Carlo error in the Bayesian estimation of risk ratios using log-binomial regression models: an efficient MCMC method
在队列研究中，二元结局经常通过逻辑斯谛回归进行分析。然而，众所周知，当目标是估计风险比时，如果结果是常见的，则逻辑斯谛回归是不合适的。在这些情况下，最好使用对数二项回归模型。另一方面，对数二项模型的回归系数的估计是困难的，因为必须对这些系数施加约束。贝叶斯方法允许对数二项回归模型的直接方法，产生较小的均方误差，并且可以使用软件WinBUGS获得后验推断。然而，在WinBUGS中实现的马尔可夫链蒙特卡罗（MCMC）方法可能导致高蒙特卡罗误差。为了避免这个缺点，我们提出了一个MCMC算法，使用重新参数化的基础上的泊松近似，并已被设计为有效地探索约束参数空间。
2014-03-31 stat.CO
Sequential pCN-MCMC, an efficient MCMC method for Bayesian inversion of high-dimensional multi-Gaussian priors
在地质统计学中，高斯随机场常用于模拟土壤或地下参数的非均匀性。为了给出这些随机场的空间近似，将它们离散化。然后，不同的地质统计反演技术被用来对测量数据的条件。在这些技术中，马尔可夫链蒙特卡罗（MCMC）技术脱颖而出，因为它们产生渐近无偏的条件实现。然而，标准的马尔可夫链蒙特卡罗（MCMC）方法在细化离散化时遭受维数灾难。这意味着它们的效率随着离散单元数量的增加而迅速降低。已经开发了几种MCMC方法，使得MCMC效率不依赖于随机场的离散化。预条件Crank Nicolson马尔可夫链蒙特卡罗（pCN-MCMC）和顺序吉布斯（或块吉布斯）采样是两个例子。在本文中，我们将提出一个结合的pCN-MCMC和顺序吉布斯抽样。我们的算法，顺序pCN-MCMC，将取决于两个调谐参数：pCN方法的相关参数$β$和顺序吉布斯方法的块大小$κ$。原始的pCN-MCMC和吉布斯抽样算法是我们的方法的特殊情况。我们提出了一种算法，自动找到最佳的调谐参数组合（$κ$和$β$）在老化阶段的算法，从而选择最好的可能的两种方法之间的混合。在我们的测试用例中，我们实现了$1-5.5$在pCN和$1-6.5$在吉布斯的加速因子。此外，我们提供了我们的方法作为开源代码的MATLAB实现。
2021-03-24 stat.CO
To MCMC or not to MCMC: Evaluating non-MCMC methods for Bayesian penalized regression
本文比较MCMC与非MCMC方法在高维贝叶斯惩罚回归中的预测性能，发现平均场变分推断在多数情况下性能与MCMC相当，但计算速度大幅提升，且权衡效果依赖具体场景。
2025-10-23 stat.CO stat.ME
Novel Bayesian algorithms for ARFIMA long-memory processes: a comparison between MCMC and ABC approaches
本文比较了用于估计ARFIMA模型参数的MCMC和ABC两种贝叶斯方法，提出新型滤波MCMC算法和基于三种汇总统计量的ABC方法，通过模拟和金融数据验证表明滤波MCMC性能更优。
2024-10-17 stat.CO stat.ME
Bayesian neural networks via MCMC: a Python-based tutorial
School of Mathematics and Statistics, UNSW Sydney（新南威尔士大学悉尼分校数学与统计学院）；Pingala Institute of Artificial Intelligence（平加拉人工智能研究院）；University of Sydney（悉尼大学）
本文提供了一份基于Python的MCMC方法教程，涵盖贝叶斯线性、逻辑回归及贝叶斯神经网络，旨在通过代码实现弥合理论与应用鸿沟，并展示了MCMC在基准问题上的优劣及多模态后验采样的挑战。
2024-08-26 cs.AI cs.LG stat.CO
Informed Sub-Sampling MCMC: Approximate Bayesian Inference for Large Datasets
本文介绍了一个框架，以加快贝叶斯推断进行大数据集的存在。我们设计了一个马尔可夫链，其过渡内核使用（未知）部分（固定大小）的可用数据，在整个算法中随机刷新。受近似贝叶斯计算（ABC）文献的启发，二次抽样过程由对观察数据的保真度指导，如通过汇总统计测量的。由此产生的算法，知情子采样MCMC（ISS-MCMC），是一个通用的和灵活的方法，相反，现有的可扩展的方法，保留了简单的梅特罗波利斯-黑斯廷斯算法。即使失去了准确性，即链分布近似后验，我们研究和量化理论上的这种偏见，并显示在一组不同的例子，它产生出色的性能时，计算预算是有限的。如果可用和廉价的计算，我们表明，设置汇总统计量的极大似然估计是支持的理论论据。
2018-05-31 stat.CO stat.ME
MCMC for Bayesian uncertainty quantification from time-series data
科学和工程中的许多问题需要对观测数据进行不确定性量化。例如，在计算神经科学中，神经群体模型（NPM）是描述一系列不同状态下大脑生理学的机械模型。在计算神经科学中，人们对从诸如EEG（脑电图）的记录中推断NPM参数的逆问题越来越感兴趣。在这一应用领域，不确定性量化是必不可少的，以便推断麻醉等干预措施的机械效果。本文介绍了用C++语言编写的软件，利用马尔可夫链蒙特卡罗（MCMC）方法从近似平稳数据中对NPM参数进行贝叶斯不确定性量化。现代MCMC方法需要后验密度的一阶（在某些情况下更高阶）导数。该软件提供了两种不同的方法来评估衍生物：有限差分和精确的衍生物通过微分（AD）。对于AD，使用了两种不同的实现：开源Stan Math Library和由NAG（Numerical Algorithms Group）分发的商业许可dco/c++工具。通过一个简单的例子，噪声驱动的谐振子，证明了MCMC采样的导数信息的使用。并对不同的导数计算方法进行了比较。该软件是写在一个模块化的面向对象的方式，使它可以扩展到衍生的MCMC为其他科学领域。
2020-08-03 stat.CO
Revisiting Bayesian Autoencoders with MCMC
自动编码器在深度学习革命中获得了普及，因为它们能够压缩数据并提供降维。尽管已经使用了突出的深度学习方法来增强自动编码器，但提供鲁棒的不确定性量化的需求仍然是一个挑战。到目前为止，这已经用变分自编码器解决了。贝叶斯推理通过马尔可夫链蒙特卡罗（MCMC）抽样面临着一些限制，大型模型，但是，最近的进步，并行计算和先进的建议方案开辟了路线少走。本文提出了贝叶斯自动编码器的MCMC采样实现使用并行计算和Langevin梯度建议分布。结果表明，所提出的贝叶斯自动编码器提供类似的性能精度相比，在文献中的相关方法。此外，它提供了减少数据表示的不确定性量化。这促使贝叶斯自动编码器框架进一步应用于其他深度学习模型。
2022-04-28 cs.AI cs.LG stat.AP
Delayed Acceptance Markov Chain Monte Carlo for Robust Bayesian Analysis
Fukuoka University（福冈大学）
提出延迟接受MCMC算法，通过两阶段筛选减少大协方差矩阵计算，在准贝叶斯推断中实现效率翻倍。
2026-06-02 stat.CO
Modified Delayed Acceptance MCMC for Quasi-Bayesian Inference with Linear Moment Conditions
Faculty of Economics Fukuoka University（福冈大学经济学部）
本文提出改进的延迟接受MCMC方法，用于高效处理线性矩条件下的准贝叶斯推断，通过优化计算效率和数值稳定性提升推断性能。
2026-02-17 econ.EM stat.CO
An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University（上海交通大学）
本文提出一种自适应独立采样MCMC算法，用于处理无限维贝叶斯推断问题，通过混合有限个特殊参数化的高斯测度作为建议分布，实现维度无关的高效采样，且在多模态后验分布中表现稳健。
2016-04-10 cs.NA math.NA math.ST
MCMC algorithms for Bayesian variable selection in the logistic regression model for large-scale genomic applications
在大规模的基因组应用中，扫描大量的分子特征，以便找到与特定疾病或表型相关的少量候选者。这是一个“大p，小n”范式中的变量选择问题，其中变量比样本多得多。此外，由于标记物/基因共同参与生物过程和途径，因此经常在标记物/基因之间观察到复杂的依赖结构。贝叶斯变量选择方法，引入稀疏通过额外的先验模型的大小是非常适合的问题。然而，模型空间非常大，并且标准的马尔可夫链蒙特卡罗（MCMC）算法（诸如在每次迭代中扫描所有p个变量的吉布斯采样器）在计算上通常是不可行的。我们建议采用数据中的依赖结构来决定哪些变量应该总是一起更新，哪些变量几乎是有条件独立的，因此不需要一起考虑。在这里，我们专注于二进制分类应用。我们遵循Albert和Chib（1993）的贝叶斯概率回归模型和Holmes和Held（2006）的贝叶斯逻辑斯谛回归模型的实现，这两个模型都导致边际高斯分布。我们研究了几个MCMC采样器使用的依赖结构，在不同的方式。所得到的马尔可夫链的混合和收敛性能进行评估，并在两个模拟研究和应用程序中的一个真正的基因表达数据集的标准采样器进行比较。
2014-02-12 stat.CO
Mixing efficiency of trans-model Markov chain Monte Carlo algorithms with applications in Bayesian phylogenetics
China Southern University of Science and Technology（南方科技大学）；University College London（伦敦大学学院）
研究跨模型马尔可夫链蒙特卡罗算法的混合效率，通过数学分析和模拟，明确优先提议高后验概率模型及从后验提议参数值的原则，为构建高效算法提供指导并应用于系统发育重建。
2026-07-09 stat.CO
Light and Widely Applicable MCMC: Approximate Bayesian Inference for Large Datasets
LWA-MCMC是Metropolis-Hastings核的一种新的近似方法，目标是在大量观测值上定义的后验分布。受近似贝叶斯计算的启发，我们设计了一个马尔可夫链，其过渡利用了一个未知的，但固定的，可用数据的一部分，其中子样本的随机选择是由该子样本的保真度所指导的观察到的数据，作为衡量总结（或足够）的统计。LWA-MCMC是一种通用而灵活的方法，正如我们探索的各种示例所示。在每一种情况下，LWA-MCMC产生优异的性能，在某些情况下，与现有的方法相比，有显着的改善。
2015-11-24 stat.ME
Single step and multiple step forecasting in one dimensional single chirp signal using MCMC based Bayesian analysis
Chirp信号经常用于科学和工程的不同领域。本文对一维线性调频信号进行了基于MCMC的贝叶斯推断，并对一维线性调频信号进行了一步和多步预测。一. d.误差结构以及具有指数衰减协方差的相关误差结构。我们使用吉布斯抽样技术和随机游动MCMC来更新参数。为了说明的目的，我们总共进行了五次模拟研究。我们还做了一些真实的数据分析，以显示该方法在实践中是如何工作的。
2014-07-02 stat.ME
Trace-class Gaussian priors for Bayesian learning of neural networks with MCMC
本文介绍了一种新的基于$\mathbb R^d$上实值函数先验的神经网络，通过构造，与通常的Karhunen-Loève函数空间先验相比，该神经网络在域维数$d$上更容易和更便宜地扩展。新的先验是高斯神经网络先验，其中每个权重和偏置都具有独立的高斯先验，但关键区别在于，方差在网络的宽度上以这样的方式减小，即所得到的函数在无限宽度网络的极限中被良好地定义为\emph{almost surely}。我们表明，在贝叶斯处理推断未知函数，诱导后的功能是服从蒙特卡洛抽样使用希尔伯特空间马尔可夫链蒙特卡罗（MCMC）方法。这种类型的MCMC很流行，例如在贝叶斯逆问题文献中，因为它在\emph{mesh refinement}下是稳定的，即当引入更多函数先验参数时，即使是\emph{ad infinitum}，接受概率也不会缩小到$0$。在数值例子中，我们证明了这些规定的竞争优势比其他函数空间先验。我们还在贝叶斯强化学习中实现了示例，以自动执行数据任务，并首次展示了MCMC对这些类型问题的网格细化的稳定性。
2022-09-08 stat.CO stat.ME stat.ML
On an adaptive preconditioned Crank-Nicolson MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University（上海交通大学）
本文提出一种适应性预条件Crank-Nicolson MCMC算法，通过调整提议分布的协方差算子提升效率，并证明其满足遍历性条件。
2016-04-01 cs.NA math.NA stat.CO
Bayesian Trend Filtering via Proximal Markov Chain Monte Carlo
近似马尔可夫链蒙特卡罗是贝叶斯计算和凸优化的交叉点，它有助于推广贝叶斯统计中不可微先验的使用。然而，现有的近端MCMC公式需要预先指定超参数和正则化参数。在这项工作中，我们通过引入一类新的不可微先验称为epigraph先验扩展了近端MCMC的范例。作为概念的证明，我们将趋势过滤，这本来是一个非参数回归问题，在参数设置提供后验中值拟合连同可信区间作为不确定性的措施。其关键思想是用Moreau-Yosida包络代替后验密度中的非光滑项，这使得基于梯度的MCMC采样器哈密顿蒙特卡罗的应用成为可能。所提出的方法以数据驱动的方式识别适当的平滑量，从而自动化正则化参数选择。与传统的近端MCMC方法相比，我们的方法主要是调整自由，实现了同时校准的均值，规模和正则化参数在一个完全贝叶斯框架。本文的补充材料可在网上查阅。
2023-01-21 stat.CO
An adaptive approximate Bayesian computation MCMC with Global-Local proposals
本文提出了一种结合全局和局部提议的自适应ABC-MCMC算法，通过改进的自适应方案提升采样效率和收敛可靠性。
2025-12-14 stat.CO
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO（荷兰应用科学研究组织）；Utrecht University（乌得勒支大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了马尔可夫链蒙特卡罗（MCMC）推理方法Prune Sampling，并对它在离散和确定性贝叶斯网络（BN）中的性能进行了分析。我们开发了一个程序，以获得性能的MCMC采样方法在无限的模拟时间的限制，从相对较短的模拟外推。这种方法被用来进行一项研究，以比较准确性，收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法：吉布斯和大都会采样。我们发现，修剪采样创建的马尔可夫链总是收敛到所需的后验分布，也为传统的吉布斯抽样失败的网络。除此之外，我们证明了修剪优于吉布斯抽样，至少对于某一类BN。不过，这个诱人的功能是有代价的。在Prune Sampling的第一个版本中，对于大BN，统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是，修剪采样是所有类型的小型和中型BN的竞争力的方法，但（现在）标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
Ultra-efficient MCMC for Bayesian longitudinal functional data analysis
针对现有贝叶斯功能混合模型推断算法无法兼顾计算可扩展性与后验近似精度的问题，提出结合分块结构与正交基重参数化的高效MCMC采样策略，实现联合采样与性能提升，并应用于体力活动数据集研究。
2023-06-13 stat.CO stat.ME
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ（巴黎萨克雷大学，凡尔赛大学校区）；Sorbonne Paris Nord University（索邦巴黎北大学）；LIPN（巴黎北部科学实验室）
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法，通过潜在多元高斯块分布实现非参数联合聚类，经实验验证在聚类准确率和效率上表现良好，还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML
A Comparison of Bayesian Inference Techniques for Sparse Factor Analysis
降维算法旨在发现描述高维数据中潜在结构的潜在变量。因子分析和主成分分析等方法的缺点是不能提供其推断的潜变量的解释性。稀疏因子分析通过在其因子载荷上施加稀疏性来解决这个问题，允许每个潜在变量仅与特征的子集相关，从而增加可解释性。稀疏因子分析已被广泛应用于基因组学、信号处理和经济学等领域。我们比较了稀疏因子分析的两种贝叶斯推断技术，即马尔可夫链蒙特卡罗（MCMC）和变分推断（VI）。VI在计算上比MCMC快，但代价是精度损失。我们推导出MCMC和VI算法，并使用模拟和生物数据进行比较，表明较高的计算效率VI是可取的小增益时，使用MCMC的准确性。我们的MCMC和VI算法的稀疏因子分析的实现可在https://github.com/ysfoo/sparsefactor上获得。
2021-12-22 q-bio.QM stat.AP
Asymptotically Independent Markov Sampling: a new MCMC scheme for Bayesian Inference
在贝叶斯统计中，许多问题都可以表示为关于后验分布的期望值的估计。由于遇到的后验分布不能直接采样，标准蒙特卡罗方法往往不适用。在这种情况下，最流行的策略是重要性抽样方法、马尔可夫链蒙特卡罗和退火。在本文中，我们介绍了一种新的方案，称为渐近独立马尔可夫抽样（AIMS）的贝叶斯推断，这是基于上述方法。我们得到重要的遍历性质的AIMS。特别是，它表明，在一定条件下，AIMS算法产生一个一致遍历的马尔可夫链。的算法的自由参数的选择进行了讨论，并提供了这种选择的建议，无论是理论上和实践上的基础。三个数值例子证明了AIMS的有效性，其中包括多模态和高维目标后验分布。
2011-10-09 stat.CO stat.ML
Parallel Approaches to Accelerate Bayesian Decision Trees
University of Liverpool（利物浦大学）
马尔可夫链蒙特卡罗（MCMC）是一个成熟的算法家族，主要用于贝叶斯统计，当直接采样具有挑战性时，从目标分布中进行采样。贝叶斯决策树的现有工作使用MCMC。不幸的是，这可能很慢，特别是在考虑大量数据时。很难并行化MCMC的接受-拒绝组件。然而，我们提出了两种方法，利用并行MCMC：在第一，我们取代MCMC与另一个数值贝叶斯方法，序贯蒙特卡罗（SMC）采样器，它具有吸引力的属性，它是一个固有的并行算法;在第二，我们考虑数据分区。这两种方法都使用具有高性能计算（HPC）资源的多核处理。我们在各种研究环境中测试这两种方法，以确定哪种方法对每个测试用例最有利。实验表明，数据分区在我们考虑的设置中具有有限的实用性，并且使用SMC采样器可以提高运行时间（与顺序实现相比）高达343倍。
2023-01-22 cs.AI cs.DC cs.LG
Optimizing MCMC-Driven Bayesian Neural Networks for High-Precision Medical Image Classification in Small Sample Sizes
本文提出基于MCMC的贝叶斯神经网络用于小样本医学图像分类，结合数据增强与正则化，在肺部X射线和乳腺组织切片数据集上分别达到85%和88%的准确率，验证了其高精度与鲁棒性。
2024-09-18 stat.CO
A practical sequential stopping rule for high-dimensional MCMC and its application to spatial-temporal Bayesian models
目前许多贝叶斯分析的挑战是确定何时终止高维马尔可夫链蒙特卡罗模拟。为此，我们建议使用一个自动顺序停止程序，终止模拟时，计算的不确定性是相对于后验不确定性小。这样的停止规则先前已被证明在中等尺寸的后验的设置中工作良好。在本文中，我们说明了它在高维模拟中的实用性，同时克服了当前的一些计算问题。进一步，我们研究了停止规则和有效样本量之间的关系。作为例子，我们考虑两个复杂的贝叶斯分析的空间和时间相关的数据集。第一个涉及气象站数据的动态时空模型，第二个涉及功能磁共振成像脑成像数据的空间变量选择模型。我们的研究结果表明，顺序停止规则很容易实现，提供了不确定性估计，并在高维设置中表现良好。
2014-03-21 stat.CO stat.ME
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断，称为鲁棒贝叶斯分析，允许通过有界（或不精确）概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗（MCMC）抽样的情况，提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样，推导了一个新的表达式的有效样本量的重要性抽样，它考虑了相关性的MCMC样本。为了说明所提出的方法，稳健的贝叶斯分析，迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比，网格搜索方法，并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
A fast asynchronous MCMC sampler for sparse Bayesian inference
我们提出了一个非常快速的近似马尔可夫链蒙特卡罗（MCMC）采样框架，适用于一大类稀疏的贝叶斯推断问题，在几个模型中，每次迭代的计算成本是为了$O(ns)$，其中$n$是样本量，和$s$的基本稀疏模型。当采用随机梯度朗之万动力学时，通过数据子采样可以进一步降低该成本。该算法是Johnson等人（2013）的异步Gibbs采样器的扩展，但可以从统计学角度视为贝叶斯迭代确定独立筛选的一种形式（Fan等人（2009））。我们表明，在高维线性回归问题，所提出的算法产生的马尔可夫链承认一个不变的分布，正确地恢复主信号的概率高，在一些统计假设。此外，我们表明，它的混合时间是最多的线性回归的数量。我们用几个模型来说明该算法。
2021-08-14 math.ST stat.CO stat.ML
Continuous-Time Birth-Death MCMC for Bayesian Regression Tree Models
Amsterdam Business School（阿姆斯特丹商学院）；University of Amsterdam（阿姆斯特丹大学）；The Ohio State University（俄亥俄州立大学）；University of Tilburg（蒂尔堡大学）
决策树是一种灵活的模型，非常适合于许多统计回归问题。在回归树的贝叶斯框架中，需要马尔可夫链蒙特卡罗（MCMC）搜索算法根据树模型的后验概率来生成树模型的样本。这样的MCMC算法的关键组成部分是构建良好的Metropolis-Hastings步骤更新树拓扑结构。然而，这样的算法经常遭受局部模式粘性和差的混合。因此，算法收敛缓慢。目前，作者主要使用离散时间出生/死亡机制的贝叶斯（总和）回归树模型来探索模型空间。这些算法是有效的，只有当接受率是高的，这并不总是这种情况。在这里，我们克服了这个问题，开发了一种新的搜索算法，这是基于连续时间的出生-死亡马尔可夫过程。该搜索算法通过在对应于不同树结构的参数空间之间跳跃来探索模型空间。在该算法中，模型之间的移动总是可以接受的，可以显着改善MCMC算法的收敛性和混合性能。我们为贝叶斯回归树模型的算法提供了理论支持，并证明了它的性能。
2020-10-26 cs.LG stat.CO stat.ME
MCMC Bayesian Estimation in FIEGARCH Models
利用马尔可夫链蒙特卡罗（MCMC）方法对分数积分指数广义自回归条件异方差（FIEGS）模型进行贝叶斯推断。仿真研究的过程中，存在长记忆的波动性的性能。在考虑新息过程的广义误差分布（GED）的基础上，得到了FIEG过程的样本。尾部厚度参数ν的不同值被认为涵盖了两种情况，即具有比高斯分布（ν=2）更轻（ν<2）和更重（ν>2）尾部的新息过程。通过考虑不同的先验密度函数并通过整合（或不整合）关于真实参数值的知识以选择超参数值来执行灵敏度分析。
2013-04-15 math.ST stat.TH
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
bssm: Bayesian Inference of Non-linear and Non-Gaussian State Space Models in R
我们提出了一个R包BSSM贝叶斯非线性/非高斯状态空间建模。与现有的软件包不同，bssm允许基于高斯近似（如拉普拉斯近似和扩展卡尔曼滤波器）的易于使用的近似推理。该软件包还容纳离散观察潜在的扩散过程。推理基于超参数上的全自动、自适应马尔可夫链蒙特卡罗（MCMC），具有可选的重要性抽样后校正以消除任何近似偏差。该软件包还实现了一个直接的伪边际MCMC和延迟接受伪边际MCMC使用中间近似。该软件包提供了一个易于使用的界面，用于定义具有非高斯观测模型的线性高斯状态动力学模型，并具有一个Rcpp界面，用于指定自定义非线性和扩散模型。
2021-05-28 stat.CO
Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC
University of California, Irvine（加州大学尔湾分校）；Google（谷歌）；Yahoo Labs（雅虎实验室）；University of Amsterdam（阿姆斯特丹大学）
尽管具有各种吸引人的品质，如高预测精度和量化不确定性和避免过拟合的能力，但由于推理成本过高，贝叶斯矩阵分解尚未被广泛采用。在本文中，我们提出了一个可扩展的分布式贝叶斯矩阵分解算法使用随机梯度MCMC。我们的算法，基于分布随机梯度Langevin动力学，不仅可以匹配标准MCMC方法，如吉布斯抽样的预测精度，但同时是快速和简单的随机梯度下降。在我们的实验中，我们表明，我们的算法可以达到相同水平的预测精度吉布斯采样一个数量级更快。我们还表明，我们的方法降低了预测误差的速度与分布式随机梯度下降一样快，Netflix数据集的RMSE提高了4.1%，Yahoo音乐数据集的RMSE提高了1.8%。
2015-03-10 cs.LG stat.ML
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题，涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法，聚焦数据量与维度可扩展性，推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Bayesian Sparse Blind Deconvolution Using MCMC Methods Based on Normal-Inverse-Gamma Prior
用于稀疏盲反卷积问题的贝叶斯估计方法常规地采用Bernoulli-Gaussian（BG）先验来建模稀疏序列，并利用马尔可夫链蒙特卡罗（MCMC）方法来估计未知量。然而，BG模型的离散性质产生了计算瓶颈，即使使用最近提出的增强型采样器方案也阻止了对概率空间的有效探索。为了解决这个问题，我们提出了一种替代MCMC方法建模的稀疏序列使用的正常逆伽马（NIG）的先验。我们推导出有效的吉布斯采样器，并说明了与BG模型相关的计算负担可以通过将问题转移到一个完全连续值的框架中来消除。除了稀疏性，我们还将时域和频域的卷积序列的约束。我们证明了所提出的方法的有效性，通过广泛的模拟和计算增益的特点相对于现有的方法，利用BG建模。
2021-08-27 eess.SP stat.ME
Differentially Private Distributed Bayesian Linear Regression with MCMC
Sabancı University（萨班哲大学）；University of Amsterdam（阿姆斯特丹大学）
面向多方共享含噪汇总统计量的分布式场景，提出差分隐私 Bayesian 线性回归框架，利用 MCMC 及单轮快速算法实现兼具计算优势、估计与预测性能的隐私推断。
2023-06-07 cs.LG stat.CO stat.ML
Bayesian Parameter Estimation for Partially Observed McKean-Vlasov Diffusions Using Multilevel Markov chain Monte Carlo
本文提出基于多层马尔可夫链蒙特卡洛的新算法，用于部分观测McKean-Vlasov扩散的贝叶斯参数估计，显著降低计算成本并证明收敛性。
2025-04-22 cs.NA math.NA stat.CO
Meta-Learning for Stochastic Gradient MCMC
University of Cambridge（剑桥大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法在大规模贝叶斯建模中被广泛应用于后验样本的模拟。然而，现有的SG-MCMC计划并不适合任何特定的概率模型，即使是一个简单的修改的基础动力系统需要显着的物理直觉。本文提出了第一个元学习算法，允许自动设计的基础连续动态的SG-MCMC采样器。学习的采样器通过状态依赖的漂移和扩散来概括哈密顿动力学，从而实现神经网络能量景观的快速遍历和有效探索。实验验证了贝叶斯全连接神经网络和贝叶斯递归神经网络任务的方法，学习采样器优于通用的，手工设计的SG-MCMC算法，并推广到不同的数据集和更大的架构。
2018-06-12 cs.LG stat.ML
Subsampling MCMC - An introduction for the survey statistician
计算能力的迅速发展和高效的马尔可夫链蒙特卡罗（MCMC）模拟算法使贝叶斯统计发生了革命性的变化，使其成为应用工作中一种实用性很强的推理方法。然而，MCMC算法往往是计算要求很高的，并且对于大型数据集特别慢。数据子采样最近被建议作为一种方法，使MCMC方法可扩展的海量数据，利用有效的抽样方案和估计量的调查抽样文献。这些发展往往是未知的许多调查统计学家谁传统上与非贝叶斯方法工作，很少使用MCMC。我们的文章通过回顾一系列工作，Subsampling MCMC，一种所谓的伪边缘MCMC方法，通过数据子采样来加速MCMC，来解释MCMC中数据子采样的思想。这篇评论是为一个没有MCMC方法知识的调查统计学家写的，因为我们的目的是激励调查抽样专家为不断增长的子抽样MCMC文献做出贡献。
2018-09-20 stat.CO stat.ME stat.ML
Individual adaptation: an adaptive MCMC scheme for variable selection problems
随着数据集规模的不断扩大，回归中的变量选择变得越来越重要。贝叶斯方法是有吸引力的，因为它们允许变量选择的不确定性被正式纳入分析。将完全贝叶斯变量选择方法应用于大型数据集在计算上具有挑战性。我们描述了一个自适应的马尔可夫链蒙特卡罗方法，称为个人适应调整一般的建议的数据。我们表明，该算法是遍历的，并讨论其使用并行回火和序贯蒙特卡罗方法。我们说明了使用该方法的两个数据集，包括22577个变量的基因表达分析。
2014-12-29 stat.CO
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题，因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗（MCMC）方法，产生贝叶斯推断的ERGM，如交换算法，是渐近精确的，但计算密集，因为网络必须从每一步的可能性，例如，使用“领带不领带”采样器。在这篇文章中，我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍，我们提出了随机梯度上升，使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络，并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
Statistic Selection and MCMC for Differentially Private Bayesian Estimation
Sabancı University（萨班哲大学）
本文研究了当一个样本的统计量在噪声中被共享以提供差分隐私时，总体分布参数的差分隐私贝叶斯估计。本文主要解决两个问题：（1）样本的哪些统计量应该私下共享？对于第一个问题，即，关于统计量选择的问题，我们提出了利用费舍尔信息的方法。我们发现，在非隐私设置中信息量最大的统计量可能不是隐私限制下的最佳选择。我们提供了几个例子来支持这一点。我们考虑了几种类型的数据共享设置，并提出了几种基于蒙特卡罗的数值估计方法来计算这些设置的费舍尔信息。第二个问题涉及推理：（2）基于共享统计量，我们如何进行有效的贝叶斯推断？我们提出了几个马尔可夫链蒙特卡罗（MCMC）算法的采样从后验分布的参数给定的噪声统计。建议的MCMC算法可以优先于另一个取决于问题。例如，当共享统计是加性的并且添加了高斯噪声时，利用中心极限定理的简单Metropolis-Hasting算法是一个不错的选择。我们提出了更先进的MCMC算法的其他几种情况下的实际相关性。我们的数值示例涉及比较几个要私下共享的候选统计量。对于每个统计量，我们执行贝叶斯估计的基础上的后验分布条件的私有化版本的统计。我们证明，相对性能的统计量，在贝叶斯估计的均方误差的基础上相应的私有化统计量，充分预测私有化统计的费舍尔信息。
2022-03-28 cs.LG stat.CO stat.ME
Bayesian Symbol Detection in Wireless Relay Networks via Likelihood-Free Inference
针对一类协作无线中继网络，提出了一种通用的随机模型，该模型中假设目的节点的信道状态信息是不完全的。该框架结合了在一般已知的非线性处理功能下操作的多个中继节点。当考虑非线性中继函数时，似然函数通常是难以处理的，导致极大似然和最大后验检测器不允许封闭形式的解。我们说明了我们的方法，以克服这种棘手的一个流行的最佳非线性中继函数选择的例子，并演示了我们的算法是如何能够解决以前棘手的检测问题。克服这一难题需要开发专门的贝叶斯模型。我们开发了三种新的算法来检测这个贝叶斯模型，这些算法包括一个马尔可夫链蒙特卡罗近似贝叶斯计算（MCMCMC-ABC）的方法，辅助变量MCMC（MCMCMC-AV）的方法，和一个次优穷举搜索迫零（SES-ZF）的方法。最后，数值例子比较的符号错误率（SER）性能与信噪比（SNR）的三种检测算法进行了研究，在模拟的例子。
2010-07-27 stat.AP
Spectral Subsampling MCMC for Stationary Multivariate Time Series with Applications to Vector ARTFIMA Processes
谱子采样MCMC是近年来提出的一种通过在频域对周期图进行子采样来加速长平稳单变量时间序列的马尔可夫链蒙特卡罗（MCMC）的方法。本文扩展的方法，多变量时间序列使用多变量广义的惠特尔可能性。为了评估具有挑战性的问题，从频谱子采样的计算增益，多变量广义的自回归回火分数积分移动平均模型（ARTFIMA）的介绍和它的一些属性。贝叶斯推断的基础上的Whittle可能性被证明是一个快速和准确的替代精确的时域可能性。频谱子采样提供了两个数量级的额外的速度，同时保留MCMC抽样效率和精度，相比，频谱方法使用完整的数据集。关键词：贝叶斯，马尔可夫链蒙特卡罗，半长记忆，谱分析，惠特尔似然。
2022-09-18 stat.CO stat.ME
Bayesian Pose Graph Optimization via Bingham Distributions and Tempered Geodesic MCMC
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎电信学院LTCI实验室）
我们介绍了Tempered Geodesic Markov Chain Monte Carlo（TG-MCMC）算法用于初始化姿态图优化问题，这些问题出现在各种场景中，例如SFM（从运动恢复结构）或SLAM（同时定位与地图构建）。TG-MCMC是同类中的第一个，因为它将四元数球面流形上的渐近全局非凸优化与后验采样结合起来，以便提供可靠的初始姿态和不确定性估计，这些估计可以提供有关单个解决方案质量的信息。我们为我们的方法设计了严格的理论收敛保证，并在合成和真实的基准数据集上对其进行了广泛的评估。除了其优雅的配方和理论，我们表明，我们的方法是强大的缺失数据，噪声和估计的不确定性捕捉直观的数据属性。
2019-03-30 cs.AI cs.CG cs.CV
Efficient Bernoulli factory MCMC for intractable posteriors
基于接受-拒绝的马尔可夫链蒙特卡罗（MCMC）算法传统上利用接受概率，该接受概率可以被明确地写为两个竞争点处的目标密度的比率的函数。这个功能是呈现几乎无用的贝叶斯后验与未知的功能形式。我们引入了一个新的家庭的MCMC接受概率，具有显着的特点，不是在两个点的目标密度的比率的函数。我们提出了两个稳定的伯努利工厂，在这一类的接受概率产生的事件。我们的方法的效率依赖于获得合理的本地上或下限的目标密度，我们提出了两类问题，这样的界限是可行的：贝叶斯推断的扩散和MCMC约束空间。由此产生的港口巴克的算法是准确的，计算更有效的，目前的国家的最先进的。
2021-04-23 stat.CO stat.ME
Comparison of parallel SMC and MCMC for Bayesian deep learning
Mathematics Department, University of Manchester（曼彻斯特大学数学系）；Department of Electrical and Computer Engineering, Southern Methodist University（南方 Methodist 大学电气与计算机工程系）；DEVCOM US Army Research Laboratory（美国陆军研发实验室）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Cognizant AI Labs（Cognizant AI 实验室）；Quantum Information Science Section, Oak Ridge National Laboratory（橡树岭国家实验室量子信息科学部）；Tulane University（Tulane 大学）
本研究系统比较贝叶斯深度学习中并行SMC（SMC∥）与并行MCMC（MCMC∥），证明SMC∥收敛性与单SMC一致且通信更少，发现两者并行实现性能和成本与非并行及彼此相近，但运行不足会灾难性不收敛。
2025-08-20 cs.LG stat.CO stat.ML
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗（MCMC），随后的重要性抽样（IS）校正的马尔可夫链不精确的输出，导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下，近似马尔可夫链是伪边际，需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下，和的情况下，IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链，其中，与一个合适的重新加权，允许提高效率。由于IS类型权重可以假定为负值，因此可以将扩展类的无偏估计量用于IS类型校正，例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器，我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设，不需要扩散可以被精确地模拟。在近似贝叶斯计算（ABC）的背景下，我们建议一个自适应MCMC方法来处理一个适当的大公差的选择，与IS校正可能更精细的公差，并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比，标准的直接MCMC，如伪边际，延迟接受，和ABC-MCMC。我们提供了一个比较标准，概括的协方差排序的IS设置。
2019-04-11 stat.CO
Rate-optimal refinement strategies for local approximation MCMC
许多贝叶斯推断问题涉及目标分布，其密度函数的计算是昂贵的评估。用基于少量精心选择的密度估计的局部近似代替目标密度可以显著降低马尔可夫链蒙特卡罗（MCMC）采样的计算开销。此外，局部逼近的不断改进可以保证渐近精确采样。我们设计了一种新的策略，用于平衡由于近似与MCMC方差的偏差的衰减率。我们证明了所得到的局部近似MCMC（LA-MCMC）算法的误差衰减大致预期的$1/\sqrt{T}$率，我们证明了这个速度的数值。我们还引入了一个算法参数，保证收敛非常弱的尾部界限，显着加强以前的收敛结果。最后，我们应用LA-MCMC计算密集型贝叶斯反问题产生的地下水水文。
2022-07-11 math.PR math.ST stat.CO
Notes on Using Control Variates for Estimation with Reversible MCMC Samplers
一个通用的方法，提出了建设和有效利用控制变量的可逆MCMC采样器。的控制变量的最佳线性组合的系数的值进行计算，自适应，一致的MCMC估计，这些最佳系数。所有的方法论和渐近的论点是严格合理的。众多的MCMC模拟的例子，从贝叶斯推断的应用表明，所产生的方差减少可以是相当戏剧性的。
2010-05-04 math.PR stat.CO
What is the probability that a vaccinated person is shielded from Covid-19? A Bayesian MCMC based reanalysis of published data with emphasis on what should be reported as 'efficacy'
根据辉瑞、Moderna和阿斯利康在2020年底发布的新闻稿中传达的信息，我们建立了一个简单的贝叶斯模型，其中主要关注量在{ \em疫苗有效性}（“$ε$”）中起作用。由此产生的贝叶斯网络由马尔可夫链蒙特卡罗（MCMC）处理，在JAGS中实现，通过rjags与R接口。作为结果，我们得到了几个概率密度函数（pdf的）的$ε$，每个条件下的数据提供的三家制药公司。结果相对于参与试验的人数的大的变化是相当稳定的，并且在某种程度上与公司提供的结果很好地一致，在某种意义上，它们的值对应于MCMC产生的pdf的最可能值（“模式”），从而使我们确信我们的简单模型的有效性。然而，我们坚持认为，被报告为“疫苗效力”的数字应该是分布的平均值，而不是众数，因为拉普拉斯在大约250年前就已经非常清楚了（其“继承规则”来自最简单的问题）。在成功的数量等于试验数量的情况下，这一点尤其重要，因为Moderna声称对“严重形式”感染的疗效是100%。使用MCMC和近似公式，还显示了各种不确定性对接种疫苗的感染者的预测数量的影响。
2021-09-06 math.HO q-bio.PE stat.AP
