A Unified Particle-Optimization Framework for Scalable Bayesian Sampling
University at Buffalo（布法罗大学）；Duke University（杜克大学）
最近人们对开发可扩展的贝叶斯采样方法感兴趣，例如用于大数据分析的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）。标准SG-MCMC算法模拟来自离散时间马尔可夫链的样本以近似目标分布，因此样本可能是高度相关的，这是SG-MCMC的不期望的属性。相反，SVGD直接优化一组粒子来近似目标分布，因此能够用相对少得多的样本获得良好的近似。在本文中，我们提出了一个原则粒子优化框架的基础上Wasserstein梯度流统一SG-MCMC和SVGD，并允许开发新的算法。我们的框架将SG-MCMC解释为概率测度空间上的粒子优化，揭示了SG-MCMC和SVGD之间的紧密联系。我们的框架的关键组成部分是几个粒子近似技术，有效地解决了原来的偏微分方程的空间上的概率测度。在合成数据和深度神经网络上的大量实验证明了我们的可扩展贝叶斯采样框架的有效性和效率。
2018-07-10 cs.LG stat.ML
Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；New York University（纽约大学）
神经网络权值的后验是高维多模态的。每种模式通常表征数据的有意义的不同表示。我们开发了循环随机梯度MCMC（SG-MCMC）来自动探索这种分布。特别是，我们提出了一个周期性的步长时间表，其中较大的步骤发现新的模式，和较小的步骤表征每个模式。我们还证明了我们提出的算法的非渐近收敛性。此外，我们提供了广泛的实验结果，包括ImageNet，以证明循环SG-MCMC在学习复杂多模态分布方面的可扩展性和有效性，特别是对于现代深度神经网络的完全贝叶斯推理。
2020-05-11 cs.AI cs.CV cs.LG
MCMC convergence diagnosis using geometry of Bayesian LASSO
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们表明，分拆函数取决于l1和l2的标准和目前的三个制度的比率。我们推导了贝叶斯LASSO的浓度，并给出了MCMC收敛性诊断。
2015-12-04 math.ST stat.TH
Bayesian Lasso : Concentration and MCMC Diagnosis
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们证明了分拆函数依赖于l 1和l 2范数的比值，并提出了三种制度。推导了贝叶斯LASSO算法的收敛性，并给出了MCMC算法的收敛性诊断.关键词：LASSO，贝叶斯，MCMC，对数凹，几何，不完全Γ函数
2018-02-22 math.ST stat.TH
Bayesian structure learning using dynamic programming and MCMC
MCMC方法从DAG的空间采样可以混合不良，由于当地的性质，通常使用的建议。已经表明，从节点阶数空间采样会产生更好的结果[FK 03，EW 06]。最近，Koivisto和Sood展示了如何使用动态规划（DP）[KS 04，Koi06]分析边际化订单。他们的方法计算精确的边际后边缘概率，从而避免了对MCMC的需要。不幸的是，DP技术有四个缺点：它只能使用模块化先验，它只能计算模块化特征的后验，难以计算预测密度，并且需要指数时间和空间。我们将展示如何克服前三个问题，通过使用DP算法作为建议分布MCMC在DAG空间。我们表明，这种混合技术比其他方法更快地收敛到后验，从而在测试数据上实现更准确的结构学习和更高的预测可能性。
2012-06-20 cs.LG stat.ML
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit（盖比计算神经科学单元）；University College London（伦敦大学学院）
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中，我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想，并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间，然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Bayesian Optimization for Adaptive MCMC
提出了一种新的基于贝叶斯优化的自适应MCMC随机化策略。这种方法适用于不可微的目标函数，并权衡探索和开发，以减少潜在的昂贵的目标函数评估的数量。我们证明了战略在复杂的设置采样约束，离散和密集连接的概率图形模型，对于每个变化的问题，需要自动调整的建议机制的参数，以确保有效的混合的马尔可夫链。
2011-10-29 stat.CO stat.ML
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验（MAP）图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中，我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中，迭代顺序MCMC方案进行优化的限制搜索空间内，估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现，用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Distributed, partially collapsed MCMC for Bayesian Nonparametrics
Princeton University（普林斯顿大学）
贝叶斯非参数（BNP）模型提供了用于发现数据集中潜在特征的优雅方法，但此类模型中的推理可能很慢。我们利用的事实，完全随机措施，常用的模型，如狄利克雷过程和β-伯努利过程可以表示为，可分解成独立的子措施。我们使用这种分解的潜在措施划分成一个有限的措施，只包含实例化的组件，和一个无限的措施，包含所有其他组件。然后，我们选择不同的推理算法的两个组件：未塌陷的采样器混合以及有限的措施，而塌陷的采样器混合以及无限的，稀疏占用的尾巴。由此产生的混合算法可以应用于广泛的一类模型，并可以很容易地分布，以允许可扩展的推理，而不牺牲渐近收敛保证。
2020-03-04 cs.LG stat.ML
Sampling for Bayesian Mixture Models: MCMC with Polynomial-Time Mixing
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
本文研究了贝叶斯高斯混合模型中的幂后验分布抽样问题。这种幂后验被认为是非对数凹和多模态的，这导致了一些标准MCMC算法的指数混合时间。我们介绍并研究了用于采样的反射大都会-黑斯廷斯随机游动（RMRW）算法。对于对称的两组分高斯混合模型，只要样本量$n$为$d (d + \Vert θ_{0} \Vert^2)$阶，我们证明了其混合时间有界为$d^{1.5}(d + \Vert θ_{0} \Vert^2)^{4.5}$.值得注意的是，该结果不需要对两个平均值的分离有任何条件。途中证明这个界限，我们建立了一些新的结果可能独立的利益，允许结合庞加莱不等式的条件和边际密度。
2019-12-11 cs.DS cs.LG math.PR
Tree-Guided MCMC Inference for Normalized Random Measure Mixture Models
Pohang University of Science and Technology（浦项科技大学）
标准化随机测度（Normalized Random Measures，NRM）是一类离散随机测度，通常用作贝叶斯非参数模型的先验。Dirichlet过程是NRM的一个众所周知的例子。大多数NRM混合模型的后验推理方法依赖于MCMC方法，因为它们易于实现并且其收敛性已经得到了很好的研究。然而，MCMC经常遭受缓慢的收敛时，接受率低。基于树的推理是另一种确定性后验推理方法，其中贝叶斯层次聚类（BHC）或增量贝叶斯层次聚类（IBHC）已分别为DP或NRM混合（NRMM）模型开发。虽然IBHC是NRMM模型后验推理的一种很有前途的方法，因为它的效率和在线推理的适用性，但它的收敛性不能保证，因为它使用了在多次试验后简单地选择最佳解决方案的算法。本文结合MCMC和IBHC的优点，提出了一种NRMM模型的混合推理算法。IBHC构建的树概述了数据的分区，这指导了Metropolis-Hastings程序采用适当的建议。继承MCMC的性质，我们的树引导MCMC（tgMCMC）是保证收敛，并享受快速收敛由于有效的建议指导树。在合成数据集和真实数据集上的实验证明了我们方法的优点。
2015-11-18 cs.LG stat.ML
Modeling Complex Life Systems: Bayesian Inference for Weibull Failure Times Using Adaptive MCMC
本研究针对威布尔失效时间分析的先验选择难题，提出结合分层贝叶斯模型与NUTS的自适应半参数MCMC算法，通过模拟确定最优先验，可处理不同失效率场景，在前列腺癌剩余寿命预测中具实用价值，推动了复杂生命系统贝叶斯建模方法发展。
2025-06-13 stat.CO stat.ME
Data Augmentation MCMC for Bayesian Inference from Privatized Data
差分私有机制通过向数据中引入额外的随机性来保护隐私。限制仅访问私有化的数据使得对机密数据的参数进行有效的统计推断具有挑战性。具体而言，私有化数据的似然函数需要在机密数据库的大空间上进行集成，并且通常是难以处理的。对于贝叶斯分析，这导致后验分布是双重棘手的，使得传统的MCMC技术不适用。我们提出了一个MCMC框架来执行贝叶斯推断从私有化的数据，这是适用于广泛的统计模型和隐私机制。我们的MCMC算法增加了模型参数与未观察到的机密数据，并交替更新每个条件的其他。对于更新机密数据的潜在挑战性步骤，我们提出了一种通用的方法，利用该机制的隐私保证，以确保效率。我们给出的计算复杂性，接受率，和混合性能的MCMC的结果。我们说明了我们的方法在朴素贝叶斯对数线性模型以及线性回归模型上的有效性和适用性。
2022-12-07 stat.CO stat.ME
Macau: Scalable Bayesian Multi-relational Factorization with Side Information using MCMC
我们提出澳门，一个强大而灵活的贝叶斯分解方法的异构数据。我们的模型可以分解任何一组可以由关系模型表示的实体和关系，包括张量和每个实体的多个关系。Macau还可以结合辅助信息，特别是实体和关系特征，这对于预测稀疏观察的关系至关重要。Macau可扩展到数百万个实体实例、数亿个观测值和具有数百万个维度的稀疏实体特征。为了实现按比例放大，我们专门设计了实体和关系特征的采样过程，主要依赖于线性回归中的噪声注入。我们在一系列实验中展示了Macau的性能和先进功能，包括具有挑战性的药物蛋白活性预测任务。
2015-12-17 stat.ML
Hybrid Geometry-Adaptive MCMC for Bayesian Inference in Higher-Order Ising Models
我们解决的平均场伊辛模型与两个和三体相互作用的逆问题，使用贝叶斯框架。在这种情况下，参数恢复是出了名的困难，特别是在相变附近，在临界状态下，并根据非可识别性，传统的估计和标准MCMC采样失败。为了克服这些挑战，我们开发了一种混合算法，结合自适应大都会黑斯廷斯几何感知黎曼流形哈密顿动力学。这种方法在三维参数空间中产生显著改善的混合和收敛。通过在代表性制度的模拟实验，我们表明，该方法实现了准确的密度重建和可靠的不确定性量化，即使在现有的方法是不稳定或不适用的设置。
2025-10-31 cond-mat.stat-mech stat.ME
Bayesian Inference for Gaussian Process Classifiers with Annealing and Pseudo-Marginal MCMC
核方法已经彻底改变了模式识别和机器学习领域。然而，他们的成功，关键取决于内核参数的选择。以高斯过程（GP）分类为例，研究了基于马尔可夫链蒙特卡罗（MCMC）方法的协方差（核）参数的贝叶斯推断。其动机是，与核参数的标准优化相比，它们已被系统地证明在量化预测中的不确定性方面具有优越性。最近，伪边缘MCMC方法已被提出作为GP模型的实用推理工具。特别是，它的金额在替代分析棘手的边际似然由近似方法和重要性抽样获得的无偏估计。在讨论了重要性抽样的潜在缺陷后，本文提出了退火重要性抽样的应用。实验结果表明，与重要性抽样相比，退火重要性抽样能以多项式的计算代价指数地减小边缘似然估计的方差.实际数据的结果表明，采用退火重要性抽样的伪边缘MCMC方法代表了一个步骤，在GP模型的全自动精确推理引擎的发展。
2014-05-26 stat.ME stat.ML
PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling
University of Oxford（牛津大学）；Aalto University（阿尔托大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）；University of Copenhagen（哥本哈根大学）；Imperial College London（伦敦帝国学院）
PriorCVAE通过以随机过程超参数为条件编码GP先验，实现超参数联合估计与可扩展MCMC推断，且适用于ODE解等模型，具有广泛实用性。
2023-11-10 cs.LG stat.ML
Improving sample efficiency of high dimensional Bayesian optimization with MCMC
Tsinghua University（清华大学）；California Institute of Technology（加州理工学院）
针对高维贝叶斯优化中的维数灾难和计算复杂度问题，提出基于马尔可夫链蒙特卡洛的高效采样方法，在高斯过程汤普森采样下具备理论收敛保证，并在高维序贯优化与强化学习基准中超越现有最先进方法。
2024-01-05 cs.LG stat.ML
JAGS, NIMBLE, Stan: a detailed comparison among Bayesian MCMC software
本文的目的是比较JAGS、NIMBLE和Stan三种流行的软件平台的性能。这些概率编程语言能够使用MCMC算法从贝叶斯模型的规范（即，可能性和先验）开始，从感兴趣的后验分布自动生成样本。最终目标是向统计学家或应用科学家详细分析它们的优缺点。通过这种方式，我们希望有助于使他们充分认识到这个软件的优点和缺点。我们进行了系统的比较，这三个平台上广泛的一类模型，先验分布，和数据生成机制。我们广泛的模拟研究评估了MCMC链的质量，软件的效率和输出的拟合优度。我们还考虑了三个平台的并行化的效率。
2021-07-20 stat.AP stat.CO
Integration of Active Learning and MCMC Sampling for Efficient Bayesian Calibration of Mechanical Properties
本文系统比较了代理建模与MCMC算法选择对贝叶斯校准精度和效率的影响，提出基于MCMC路径的主动学习策略，并指出正向模型而非MCMC算法是推断过程的主要瓶颈。
2024-11-21 physics.comp-ph stat.AP stat.ML
Function-Space MCMC for Bayesian Wide Neural Networks
ETH AI Center（ETH人工智能中心）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；Sakana AI（Sakana人工智能公司）
本文研究宽贝叶斯神经网络中利用预条件Crank-Nicolson及其Langevin版本对重参数化后验分布进行采样，证明其接受概率随宽度增大趋近于1，并展示其采样效率和可扩展性优于其他算法。
2025-03-09 cs.LG stat.ML
MCMC with Adaptive Principal-Component Transformation: Rotation-Invariant Universal Samplers for Bayesian Structural System Identification
Harbin Institute of Technology（哈尔滨工业大学）；California Institute of Technology（加州理工学院）
本文提出APM-SGHMC算法，通过自适应旋转坐标轴对齐当前后验样本的主成分方向，实现旋转不变的采样性能，提升贝叶斯结构系统识别的通用性和效率。
2026-04-25 stat.AP stat.ME stat.ML
$π$VAE: a stochastic process prior for Bayesian deep learning with MCMC
Imperial College London（帝国理工学院）；University of Copenhagen（哥本哈根大学）；University of Oxford（牛津大学）
随机过程提供了一种数学上优雅的方法来模拟复杂的数据。从理论上讲，它们提供了函数类的灵活先验，可以编码各种有趣的假设。然而，在实践中，通过优化或边缘化进行有效推理是困难的，大数据和高维输入空间进一步加剧了这个问题。我们提出了一种新的变分自编码器（VAE）称为先验编码变分自编码器（$π$ VAE）。该$π$ VAE是可交换的和Kolmogorov相容的，因此是一个连续的随机过程。我们使用$π$ VAE来学习函数类的低维嵌入。我们表明，我们的框架可以准确地学习表达函数类，如高斯过程，但也可以学习函数的属性，以实现统计推断（如对数高斯过程的积分）。对于常见的任务，如空间插值，$π$ VAE在精度和计算效率方面都达到了最先进的性能。也许最有用的是，我们证明了低维独立分布的潜在空间表示学习提供了一个优雅的和可扩展的手段进行贝叶斯推理的概率程序设计语言，如斯坦的随机过程。
2022-09-13 cs.LG stat.ML
A Convergence Diagnostic for Bayesian Clustering
在贝叶斯聚类的许多应用中，通过马尔可夫链蒙特卡罗（MCMC）技术实现聚类分配的离散状态空间上的后验采样。由于设计转换核来有效地探索此状态空间通常具有挑战性，因此用于聚类应用的MCMC收敛诊断尤其重要。对于一般的MCMC问题，最先进的收敛诊断涉及跨多个链的比较。然而，单链替代方案可能对计算密集型和缓慢混合的MCMC有吸引力，这是贝叶斯聚类的典型情况。因此，我们在这里提出了一个单链收敛诊断专门针对离散空间MCMC。也就是说，我们考虑一个Hotelling型统计量的最高概率状态，并使用再生抽样论推导出其平衡分布。通过利用来自非标准化后验的信息，我们的诊断可以防止看似收敛的链，其中访问状态的相对频率是不正确的。该方法说明了贝叶斯聚类分析的开花植物拟南芥的遗传突变体。
2019-06-12 stat.CO
Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications
Purdue University（普渡大学）
在这项工作中，我们提出了一种贝叶斯类型的稀疏深度学习算法。该算法利用一组尖峰和厚板先验作为深度神经网络中的参数。分层贝叶斯混合将使用自适应经验方法进行训练。也就是说，人们将交替地使用预处理的随机梯度朗之万动力学（PSGLD）从后验中采样，并通过随机逼近优化潜变量。通过自适应搜索和惩罚优化超参数，实现了网络的稀疏性。一种流行的SG-MCMC方法是随机梯度朗之万动力学（SGLD）。然而，考虑到非凸学习中模型参数空间中的复杂几何形状，如在SGLD中那样在每个分量中使用通用步长来更新参数可能导致缓慢混合。为了解决这个问题，我们在更新规则中应用了一个计算上可管理的预条件子，它提供了一个步长参数来适应局部几何特性。此外，通过平滑地优化预处理矩阵中的超参数，我们提出的算法确保了减小的偏差，这是通过忽略预处理SGLD中的校正项而引入的。根据现有的理论框架，我们证明了所提出的算法可以渐近收敛到正确的分布在温和的条件下，具有可控的偏差。通过对合成回归问题和椭圆型偏微分方程解的学习，验证了本文方法的正确性和有效性。
2020-06-29 cs.LG cs.NA math.NA
Dimension-Robust MCMC in Bayesian Inverse Problems
本文中开发的方法是由统计学，机器学习和应用数学中出现的各种预测和不确定性量化问题，如非参数回归，多类分类和偏微分方程的反演。这种问题的一个流行的公式是贝叶斯逆问题，其中使用先验分布来正则化对高维潜在状态（通常是函数或字段）的推断。常见的是，这样的先验是非高斯的，例如分段常数或重尾的，和/或分层的，在涉及另一组低维参数的意义上，其例如控制潜在状态的尺度或平滑度。在这个公式中，预测和不确定性量化依赖于对潜在状态和参数的后验分布的有效探索。本文介绍了一个框架，有效的MCMC抽样贝叶斯逆问题，利用MCMC的两个基本思想，非中心参数化的分层模型和潜在的高斯过程的维数鲁棒采样。使用一系列不同的应用程序，我们展示了所提出的框架是维鲁棒的，也就是说，MCMC采样的效率不会恶化的潜在状态的维度变得更高。我们展示了我们在半监督多类分类中开发的机器的全部潜力，其中我们的采样算法在主动学习框架中使用，以指导选择手动标记的输入数据，以便以最少数量的标记数据实现高预测精度。
2019-03-24 stat.ME stat.ML
Bayesian learning of forest and tree graphical models
University of Bristol（布里斯托大学）
在高斯图模型结构的贝叶斯学习中，通常将注意力限制在某些类别的图上，并通过使用MCMC或诸如随机鸟枪搜索（SSS）的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布，特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木，和系统存储这些图，以便很容易选择移动到相邻的图形。实验表明，当真实图是树或稀疏图时，带有树的SSS表现良好。在某些情况下，树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测，但需要大范围的概率。森林上的MCMC不能很好地混合，树木上的MCMC比SSS慢。(For更长的摘要见论文。）
2021-08-31 cs.LG stat.ML
Complexity Analysis of Accelerated MCMC Methods for Bayesian Inversion
Mathematics Institute, Warwick University（华威大学数学研究所）
针对模型椭圆PDE的贝叶斯反演问题，分析了几种MCMC方法的计算复杂度，并提出了稀疏多项式混沌代理和多层MCMC两种加速策略以降低复杂度。
2013-04-30 cs.NA math.NA math.ST
Multiple Jump MCMC: A Scalable Algorithm for Bayesian Inference on Binary Model Spaces
University of Amsterdam（阿姆斯特丹大学）；Sabanci University（萨贝里大学）
本文提出多重跳跃MCMC算法，用于二元模型空间的贝叶斯推断，该算法简单、无拒绝机制且速度快，适用于高斯图模型、异或模型和变量选择等场景。
2026-04-02 stat.ME
Adaptive Metropolis Algorithm Using Variational Bayesian Adaptive Kalman Filter
马尔可夫链蒙特卡罗（MCMC）方法是分析复杂统计问题的有力计算工具。然而，它们的计算效率高度依赖于所选择的建议分布，这通常很难找到。解决这个问题的一种方法是使用自适应MCMC算法，该算法在MCMC运行期间自动调整提案分布的统计信息。提出了一种新的自适应MCMC算法--变分贝叶斯自适应Metropolis（VBAM）算法. VBAM算法使用变分贝叶斯自适应卡尔曼滤波器（VB-AKF）来更新提议的协方差阵。证明了VBAM算法的一个强大数律。文中还给出了三个模拟算例和两个实际数据算例的经验收敛结果。
2014-10-01 math.ST stat.TH
MCMC for a hyperbolic Bayesian inverse problem in traffic flow modelling
由于贝叶斯方法来拟合高速公路交通流模型在文献中仍然很少见，我们经验性地探索了这种方法提供的采样挑战，这些挑战与后验分布的强相关性和多模态有关。特别是，我们提供了一个统一的统计模型，估计使用高速公路数据的边界条件和基本图参数LWR，一个著名的高速公路交通流模型。这使我们能够提供一个交通流密度估计方法，被证明是优于交通流文献中发现的两种方法。为了从这个具有挑战性的后验分布中进行采样，我们使用了一个最先进的无梯度函数空间采样器，并使用了并行回火。
2021-08-10 stat.CO
MCMC computations for Bayesian mixture models using repulsive point processes
排斥混合模型最近在贝叶斯聚类检测中得到了普及。与更传统的混合模型相比，排斥混合模型产生更少数量的分离良好的集群。后验推理最常用的方法要么需要事先确定分量的数量，要么基于可逆跳MCMC计算。我们提出了一个一般框架的混合模型，当前的“集群中心”是一个有限的排斥点过程取决于一个超参数，指定的密度，这可能取决于一个棘手的归一化常数。通过研究这类混合模型的后验特征，我们得到了一个MCMC算法，它避免了众所周知的困难与可逆跳MCMC计算。特别是，我们使用的辅助变量的方法，它消除了棘手的规范化常数的黑斯廷斯比的问题。辅助变量法依赖于一个完美的模拟算法，我们证明这是快速的，因为组件的数量通常很小。在几个模拟研究和社会学数据的应用中，我们说明了我们的新方法比现有方法的优势，我们比较使用的行列式或排斥吉布斯点过程先验模型。
2021-04-19 stat.CO stat.ME
Gaussian Processes to speed up MCMC with automatic exploratory-exploitation effect
Trinity College Dublin（都柏林大学三一学院）
针对概率模型的对数似然估计计算量大的问题，提出了一种基于代理高斯过程（GP）模型的两阶段梅特罗波利斯-黑斯廷斯算法.该方法的主要特点，以及与传统方法的区别。以前的作品，是从头开始学习目标分布的能力（同时采样），因此不需要预先训练GP。这是基本的自动和推理的概率编程语言特别是，我们提出了一个替代的第一阶段接受计划边缘化的GP分布函数，这使得接受率显式依赖于GP的方差。该方法被扩展为Metropolis-Adjusted Langevin算法（MALA）。
2021-09-28 cs.LG math.PR stat.ML
MCMC-free adaptive Bayesian procedures using random series prior
我们考虑几个非参数贝叶斯模型，使用有限的随机序列与一个随机数的条款的先验。先验是通过基函数的数量和相关系数的分布来构造的。我们推导出一个一般性的结果，建设一个适当的筛子，并获得自适应后收缩率的所有平滑水平的功能，在真正的模型。我们将这个一般性结果应用于几个统计问题，如信号处理，密度估计，非参数加性回归，分类，谱密度估计，函数回归等。先验可以被看作是常用的高斯过程先验的替代方案，但是可以通过相对简单的技术进行分析，并且在许多情况下允许更简单的计算方法，而不使用马尔可夫链蒙特卡罗（MCMC）方法.仿真结果表明，随机序列先验的性能与高斯过程先验的性能相当。
2015-02-07 math.ST stat.TH
On free energy barriers in Gaussian priors and failure of cold start MCMC for high-dimensional unimodal distributions
我们展示了高维单峰后验分布的例子中产生的非线性回归模型与高斯过程先验MCMC方法可以采取指数运行时间进入该地区的大部分后验测量集中。我们的研究结果适用于最坏情况下的初始化（"冷启动"）算法，是本地的意义上说，他们的步长不能太大的平均。反例适用于基于梯度或随机游动步骤的一般MCMC方案，并说明了Metropolis-Hastings调整方法（如pCN和MALA）的理论。
2022-11-19 cs.NA math.NA math.PR
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架，在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Graph-Enabled Efficient Federated Bayesian Modeling
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Columbia University（哥伦比亚大学）
提出FLaG-MCMC框架，通过将历史后验样本编码到低维潜在空间并构建k近邻图，实现高效联邦贝叶斯学习，在阿片类药物使用障碍患病率估计和联邦主题建模中验证了其近似全局后验的能力。
2026-09-16 stat.AP stat.CO stat.ME
High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models
使用贝叶斯方法在深度模型中进行学习最近引起了极大的关注。这在很大程度上是因为现代贝叶斯方法的可行性，可以产生可扩展的学习和推理，同时保持模型参数的不确定性。随机梯度MCMC算法（SG-MCMC）是一系列用于大规模贝叶斯学习的基于扩散的采样方法。在SG-MCMC中，多变量随机梯度恒温器（mSGNHT）增加每个感兴趣的参数，动量和恒温器变量，以保持稳定的分布作为目标后验分布。随着连续时间扩散中变量数目的增加，其数值逼近误差成为实际的瓶颈，因此需要更好地使用数值积分器。为此，我们建议使用一个有效的对称分裂积分mSGNHT，而不是传统的欧拉积分。我们证明，该计划是更准确，鲁棒性，收敛速度更快。这些属性在贝叶斯深度学习中被证明是可取的。在两个典型模型及其深度扩展上的大量实验表明，该方案改进了一般贝叶斯后验抽样，特别是对于深度模型。
2015-12-23 stat.ML
Liesel: A Python Framework for Graph-Based Bayesian Modeling and Customizable MCMC with Support for Generalized Additive Models
Liesel是一个用于贝叶斯建模和后验计算的Python框架，特别支持广义加性回归模型，旨在减少方法学工作的摩擦。该框架包含三个组件：Liesel-Model用于模型构建和可视化，Liesel-Goose提供模块化的MCMC框架，Liesel-GAM提供广义加性回归模型的高级构建块，共同使Liesel成为快速开发、测试和应用贝叶斯模型和MCMC算法的有效工具。
2026-06-04 stat.CO
Bayesian Ultrahigh-Dimensional Screening Via MCMC
我们探讨了稀疏超高维环境下完全贝叶斯模型选择方法的理论和数值性质，即，$p\gg n$，其中$p$是协变量数量，$n$是样本量。我们的方法包括（1）一个分层贝叶斯模型与一个新的先验放置在模型空间，其中包括一个超参数$t_n$控制模型的大小，和（2）一个有效的MCMC算法的自动和随机搜索的模型。我们的理论表明，当正确指定$t_n$时，所提出的方法产生选择一致性，即，真实模型的后验概率渐近接近1;当错误指定$t_n$时，所选模型仍渐近嵌套在真实模型中。该理论还揭示了选择结果对$t_n$的选择不敏感。在实现中，进一步假设$t_n$具有合理的先验，使得可以随机抽取其样本。我们的方法进行选择，估计，甚至在一个统一的框架推断。不需要额外的预筛分或降维步骤。两个新的$g$ -先验的建议，使我们的方法更灵活。仿真研究显示我们的方法的数值优势。
2013-03-12 math.ST stat.CO stat.ME
An MCMC Algorithm for Estimating the Q-matrix in a Bayesian Framework
本研究的目的是发展一个估计Q矩阵的MCMC算法。该算法以DINA模型为基础，从估计相关属性入手。使用饱和模型和二进制十进制转换，该算法将可能的属性模式转换为多项分布。与属性模式的可能性一起，使用Γ分布构造的Dirichlet分布被用作从后验中采样的先验。利用反变换抽样方法生成考生的相关属性。给出了采样猜想和滑移参数的封闭形式后验，导出了Q矩阵的采样分布。一个重新标记算法，占潜在的标签切换。给出了DINA模型中属性相关数据的模拟方法。三个仿真研究进行评估的算法的性能。使用ECPE数据进行实证研究。该算法使用定制的R代码实现。
2018-02-07 stat.AP
MCMC for Bayesian nonparametric mixture modeling under differential privacy
本文提出差分隐私下的贝叶斯非参数混合模型及边际、条件两类 MCMC 后验推断算法，支持局部与全局 DP，并通过模拟和真实案例评估性能。
2024-05-21 stat.CO stat.ME
Merging MCMC Subposteriors through Gaussian-Process Approximations
马尔可夫链蒙特卡罗（MCMC）算法已成为贝叶斯推断的有力工具。然而，它们不能很好地扩展到大数据问题。分治策略将数据分成多个批次，并且对于每个批次，运行针对相应次后验的独立MCMC算法，可以将计算负担分散到多个单独的工作人员中。这种策略的挑战在于重新组合次后验以近似完整的后验。通过为每个对数次后验密度创建一个高斯过程近似，我们为整个后验创建了一个易于处理的近似。这种近似是通过三种方法来实现的：首先，针对后验密度期望的哈密顿蒙特卡罗算法提供了一个后验近似的样本;其次，在采样点处评估真实的后验，得到一个渐近地以真实的后验期望为目标的重要性采样器;最后，另一种重要性采样器使用对数后验密度的近似的全高斯过程分布来重新估计对任何初始样本进行加权，并提供后验期望的估计值和其中不确定性的度量。
2017-07-17 stat.CO stat.ML
Parallel Markov Chain Monte Carlo for Bayesian Hierarchical Models with Big Data, in Two Stages
由于近年来大数据集的不断增长，新的贝叶斯马尔可夫链蒙特卡罗（MCMC）并行计算方法已经被开发出来。这些方法通过观察将大数据集划分为子集。然而，对于贝叶斯嵌套分层模型，通常只有少数参数对整个数据集是通用的，大多数参数是特定于组的。因此，并行贝叶斯MCMC方法考虑到模型的结构，并按组而不是按观察值划分完整的数据集，是一种更自然的分析方法。在这里，我们适应和扩展了最近推出的两阶段贝叶斯分层建模方法，我们划分完整的数据集组。在阶段1中，独立地并行估计组特异性参数。阶段1后验被用作阶段2中的建议分布，其中目标分布是完整模型。使用三层和四层模型，我们在模拟和真实数据的研究表明，我们的方法的结果与完整的数据分析，大大提高了MCMC的效率，大大减少了计算时间。我们的方法与现有的并行MCMC计算方法的优点也被描述。
2019-01-16 cs.DC stat.CO stat.ME
Fast Bayesian whole-brain fMRI analysis with spatial 3D priors
任务相关功能磁共振成像（fMRI）的空间全脑贝叶斯建模是一个巨大的计算挑战。因此，目前提出的大多数方法分别在大脑的子区域中进行推断，或者在不与真实的后验分布进行比较的情况下进行近似推断。Penny等人（2005 b）介绍了一种流行的方法，现在是SPM软件中贝叶斯单受试者分析的标准方法。该方法处理的数据切片的切片，并使用近似变分贝叶斯（VB）估计算法，强制后验独立的活动系数在不同的体素之间。我们引入了一个快速和实用的马尔可夫链蒙特卡罗（MCMC）计划在同一模型中的精确推理，无论是切片和整个大脑使用的3D活动系数的先验。该算法利用稀疏性，并使用现代技术从高维高斯分布中进行有效采样，从而加快速度，否则MCMC将不是一个实用的选择。使用MCMC，我们是第一次能够评估近似VB后对确切的MCMC后，并表明，VB可以导致虚假激活。此外，我们开发了一种改进的VB方法，放弃了独立体素的假设后验。对于大型数据集，该算法比MCMC和原始VB快得多，与MCMC后验相比误差可以忽略不计。
2016-09-29 stat.AP stat.CO stat.ME
Generalized Bayesian Likelihood-Free Inference
提出基于评分规则的广义贝叶斯无似然推断后验，利用能量和核SRs实现一致性与鲁棒性，通过PM-MCMC或SG-MCMC进行推断，在标准基准与气象动力系统中表现优异。
2023-04-30 stat.CO stat.ME
Three Case Studies of Two-stage MCMC for Fast Bayesian Inference of Large Spatio-temporal Data
Department of Statistical Sciences, Wake Forest University（维克森林大学统计科学系）
本文通过三个案例展示两阶段MCMC算法，以较低计算成本高效拟合大规模贝叶斯时空模型，在保持后验样本一致的同时，实现约一个数量级的计算效率提升。
2026-09-15 stat.AP stat.ME
Considering parallel tempering and comparing post-treatment procedures in Bayesian Profile Regression Models for a survival outcome and correlated exposures
Autorité de Sûreté Nucléaire et de Radioprotection (ASNR)（核安全与辐射防护局）；PSE-SANTE/SESANE/LEPID；Université Paris Cité（巴黎西岱大学）；CNRS, Inserm, P-MIM, BioSTM（法国国家科学研究中心、INSERM、P-MIM、BioSTM）
本文提出改进MCMC算法以避免后验分布局部模式并减少计算时间，通过模拟研究比较不同后处理程序的性能，应用于辐射流行病学中的生存结果分析。
2025-12-29 stat.AP stat.ME
A fully Bayesian strategy for high-dimensional hierarchical modeling using massively parallel computing
马尔可夫链蒙特卡罗（MCMC）是贝叶斯参数估计的主要工具。当模型由于层次数量、特定级别的组数量或每组中的观测数量的增加而扩展时，通过MCMC进行的完全贝叶斯分析很容易变得计算量大，甚至难以处理。我们说明了如何在MCMC分层模型的步骤主要是两种类型之一：条件独立的绘制或低维绘制的基础上汇总统计的参数在更高级别的层次结构。并行计算可以通过对条件独立绘制执行并行计算并使用并行归约计算汇总统计量来提高效率。在MCMC算法中，我们记录运行均值和参数平方均值，以进行收敛性诊断和后验推理，同时避免代价高昂的内存传输瓶颈。我们证明了该算法的有效性的模型激励下一代测序数据，我们发布我们的实现R包fbseq和fbseqCUDA。
2016-06-21 stat.CO
Mode jumping MCMC for Bayesian variable selection in GLMM
广义线性混合模型（GLMM）被广泛应用于推理和预测，提供了一个强大的科学工具。越来越多的数据来源变得可用，为这些模型引入了各种候选解释变量。因此，选择最佳的变量组合变得至关重要。在贝叶斯设置中，基于观察到的数据的模型的后验分布可以被视为模型证据的相关度量。可能的模型的数量随着候选变量的数量呈指数级增加。此外，模型空间在后验模型概率方面具有许多局部极值。为了解决这些问题，一种新的MCMC算法的搜索通过模型空间，通过有效的模式跳跃的GLPNN。该算法是基于边缘似然可以有效地计算在每个模型。建议应用精确表达式或精确近似的边际似然。建议的算法应用于模拟数据，著名的美国犯罪数据，蛋白质活性数据和表观遗传数据，并与现有的几种方法进行比较。
2018-06-07 stat.CO
A computational framework for infinite-dimensional Bayesian inverse problems: Part II. Stochastic Newton MCMC with application to ice sheet flow inverse problems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种解决无限维反问题的计算框架，采用随机牛顿MCMC方法，通过低秩近似Hessian来加速采样，应用于冰盖流动反问题，展示了方法在收敛速度和计算成本上的优势。
2014-04-11 cs.NA math.NA math.OC
SIMD Parallel MCMC Sampling with Applications for Big-Data Bayesian Analytics
Sentrana Inc.（森特拉纳公司）；Imperial College London（伦敦帝国学院）
统计学和机器学习中贝叶斯方法估计技术的计算强度和顺序性质，以及它们在大数据分析中日益增加的应用，需要识别并行化技术（如MCMC采样）的潜在机会，以及将这种并行算法映射到现代CPU的一般策略的开发，以便引出基于计算和/或存储器的性能-基于硬件限制。两个机会的单指令多数据（SIMD）并行MCMC采样概率图形模型。在具有许多观测的可交换模型（如贝叶斯广义线性模型）中，可以同时计算子节点对每个节点的条件后验的贡献。在具有离散节点的无向图中，条件独立节点的并发采样可以转换为SIMD形式。具有多线程和向量化功能的高性能库可以很容易地应用于这样的SIMD机会，以获得适当的加速，而一系列高级源代码和运行时修改通过减少并行化开销和增加NUMA架构的数据本地性来提供进一步的性能提升。对于大数据贝叶斯GLM图，最终结果是一个用于评估条件后验及其梯度向量的例程，其速度比使用（内置）多线程英特尔MKL BLAS的简单实现快5倍，并且在内存带宽引起的硬件限制的影响范围内。所提出的优化策略提高了性能随内核数量和向量单元宽度的扩展（适用于众核SIMD处理器，如英特尔至强融核和GPU），从而在多核x86处理器上实现成本效益、能源效率和更高的速度。
2014-11-19 cs.AI cs.DC stat.CO
Approximate Methods for Bayesian Computation
丰富的数据生成机制在这个信息时代无处不在，需要复杂的统计模型来得出有意义的推论。虽然贝叶斯分析在过去的30年里取得了巨大的发展，受益于马尔可夫链蒙特卡罗（MCMC）抽样的成功应用所带来的推动力，但大数据和复杂模型的结合对传统MCMC算法提出了重大挑战。我们回顾了现代算法的发展，解决后者，并使用数值实验比较其性能。
2022-10-19 stat.CO
