Embarrassingly parallel MCMC using deep invertible transformations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所HIIT);Aalto University(阿尔托大学)
虽然MCMC方法已经成为贝叶斯推理的主要工作,但将其扩展到大型分布式数据集仍然是一个挑战。令人尴尬的并行MCMC策略采取分而治之的立场来实现这一目标,将目标后验写成子后验的乘积,并行地为每个子后验运行MCMC,然后组合结果。因此,挑战在于制定有效的聚合战略。当前的策略在近似质量与通信和计算成本之间进行权衡。在这项工作中,我们介绍了一种新的方法,同时解决这些问题。我们的关键见解是引入一个深度可逆变换来近似每个子后验。即使对于复杂的分布,这些近似也可以精确,并作为中间表示,保持总通信成本有限。此外,他们使我们能够使用一个有效的和稳定的重要性采样计划从产品的次后验样本。我们证明了该方法优于现有的国家的最先进的方法在一系列具有挑战性的情况下,包括高维和异构的subposteriors。
2021-06-15 cs.LG stat.ML
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ(巴黎萨克雷大学,凡尔赛大学校区);Sorbonne Paris Nord University(索邦巴黎北大学);LIPN(巴黎北部科学实验室)
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法,通过潜在多元高斯块分布实现非参数联合聚类,经实验验证在聚类准确率和效率上表现良好,还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML
Embarrassingly Parallel Sequential Markov-chain Monte Carlo for Large Sets of Time Series
贝叶斯计算关键依赖于马尔可夫链蒙特卡罗(MCMC)算法。在大规模数据集的情况下,运行Metropolis-Hastings采样器从后验分布中提取数据变得令人望而却步,因为每次迭代都需要计算大量的似然项。为了进行贝叶斯推断的一个大的时间序列,我们考虑了一个算法,结合了“分而治之”的想法,以前用于设计MCMC算法的大数据与顺序MCMC策略。该方法的性能说明了使用一个大的金融数据集。
2015-12-04 stat.AP stat.CO
Chained Markov melding using divide and conquer sequential Monte Carlo
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计单元)
本文提出了一种新的多阶段采样器,用于链式马尔可夫模型,通过分治策略的序列蒙特卡洛方法,解决了现有MCMC方法在处理相邻子模型共享量时的后验推断难题。
2026-05-21 stat.ME
Application of generalized linear models in big data: a divide and recombine (D&R) approach
本文针对广义线性模型(GLMs)的分治与重组(D&R)方法缺乏标准误验证的问题,提出合并标准误计算方法与顺序划分策略,验证其效率与全数据估计相当、结果准确。
2024-12-11 stat.ME
Variational Hamiltonian Monte Carlo via Score Matching
传统上,计算贝叶斯统计领域被分为两个主要的子领域:变分方法和马尔可夫链蒙特卡罗(MCMC)。然而,近年来,已经提出了几种方法的基础上结合变分贝叶斯推断和MCMC模拟,以提高其整体精度和计算效率。这种快速评估和灵活近似的结合为设计可扩展的贝叶斯推断方法提供了一种很有前途的方法。在本文中,我们探讨了将变分逼近到最先进的MCMC方法,哈密顿蒙特卡罗(HMC),以减少所需的梯度计算在模拟哈密尔顿流,这是许多应用的瓶颈HMC在大数据问题。为此,我们使用一个{ \it自由形式}近似诱导的快速和灵活的代理函数的基础上单隐层前馈神经网络。代理提供足够准确的近似,同时允许快速探索参数空间,从而产生一个有效的近似推理算法。我们证明了我们的方法在合成和真实数据问题上的优势。
2017-04-17 stat.CO stat.ML
An adaptive approximate Bayesian computation MCMC with Global-Local proposals
Nankai University(南开大学);ShanghaiTech University(上海科技大学)
本文提出了一种结合全局和局部提议的自适应ABC-MCMC算法,通过改进的自适应方案提升采样效率和收敛可靠性。
2025-12-14 stat.CO
gemlib.mcmc: composable kernels for Metropolis-within-Gibbs sampling schemes
本文提出gemlib.mcmc框架,通过可组合内核抽象简化MCMC实现,利用范畴论中的writer monads实现内核组合,降低开发难度,使研究人员能高效应用先进算法。
2026-05-11 stat.CO
Non-Reversible Parallel Tempering: a Scalable Highly Parallel MCMC Scheme
并行回火(PT)方法是一类流行的马尔可夫链蒙特卡罗方法,用于对复杂的高维概率分布进行采样。它们依赖于以目标分布的调和版本为目标的$N$交互辅助链的集合来改进状态空间的探索。我们在这里提供了一个新的视角,这些高度并行的算法和他们的调整,确定和形式化的行为和性能的可逆与不可逆的PT计划的尖锐分歧。我们从理论上和经验表明,一类不可逆的PT方法占主导地位的可逆同行和识别不同的缩放限制的不可逆和可逆的计划,前者是一个分段确定性的马尔可夫过程和后者的扩散。利用这些结果来确定最佳的退火时间表为不可逆的PT和开发一个迭代方案近似这个时间表。我们提供了广泛的数值例子支持我们的理论和方法的贡献。所提出的方法适用于从相对于参考分布$π_0$具有密度$L$的分布$π$中采样并计算归一化常数。一个典型的用例是当$π_0$是先验分布,$L$是似然函数,而$π$是相应的后验分布时。
2021-07-26 stat.CO
Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢,如巨大的数据集所例示的。在本文中,我们提供了一种方法,以减少计算成本的算法,一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分,旨在大大减少计算时间,超过相应的接受概率的减少。除法将“先验x似然”项分解为乘积,使得其某些分量的计算成本比其他分量低得多。每个分量可以顺序地与统一变量进行比较,第一次拒绝表示不再考虑所提出的值,这种方法可以反过来作为利用手头计算机的并行能力的预取算法的一部分来加速。我们说明了一系列的玩具和现实的例子,这些加速功能。
2014-06-10 stat.CO stat.ME
Divide, Interact, Sample: The Two-System Paradigm
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(爱丁堡大学数学学院与麦克斯韦数学科学研究所);School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学物理与数学科学学院)
本文提出双系统框架统一了均场、集合链和自适应采样方法,通过双子系统对称交替交互实现高效MCMC算法,提升了高维后验推断的效率和稳定性。
2026-05-12 math.PR stat.CO
Accelerating Metropolis-Hastings algorithms by Delayed Acceptance
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢,如巨大的数据集所例示的。在本文中,我们提供了一个有用的概括延迟接受的方法,旨在减少计算成本的算法,一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分,旨在大大减少计算时间,从而超过接受概率的相应减少。每个分量可以顺序地与统一变量进行比较,第一次拒绝表示不再考虑建议的值。此外,我们开发的方差相关估计的方差的理论界相对于标准的大都会黑斯廷斯和详细的最佳缩放和一般优化的过程中的一些结果。我们用一系列例子来说明这些加速特性
2015-03-05 stat.CO
Stabilised weighted data subsampling for accelerated Bayesian inference in models with recursive likelihoods
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学);Human Technology Institute, University of Technology Sydney(悉尼科技大学人类技术研究所)
针对递归定义似然的模型计算成本高的问题,提出一种基于对数似然无偏估计的稳定加权子采样方法,通过给早期观测分配更高采样概率减少递归深度,并引入理论支持的稳定化框架避免方差膨胀,在条件波动率模型中实现显著加速且保持推断精度。
2026-10-14 stat.CO stat.ME
An Algorithm for Distributed Bayesian Inference in Generalized Linear Models
蒙特卡罗算法,如马尔可夫链蒙特卡罗(MCMC)和哈密顿蒙特卡罗(HMC),通常用于广义线性模型中的贝叶斯推断;然而,这些算法在大规模数据设置中非常慢,因为它们需要在每次迭代中多次通过完整的数据。为了解决这个问题,我们开发了一个可扩展的扩展这些算法使用分治(D&C)技术,将数据划分为一个足够大的数量的子集,并行绘制参数的子集使用\textit{powered}的可能性,并产生蒙特卡罗提请参数结合参数提请从每个子集。这些组合的参数绘制起到了从原始采样算法绘制的作用。我们的主要贡献有两方面。首先,我们通过各种模拟和真实数据分析表明,我们的分布式算法在统计精度和计算效率方面与当前最先进的D&C算法相当。其次,为我们的经验观察提供理论支持,我们确定的规则性假设下,所提出的算法导致渐近最优推理。我们说明我们的方法,通过正常的线性和逻辑斯谛回归,我们的D&C算法的部分是易于分析的。
2020-08-27 stat.CO
AdaptSPEC-X: Covariate Dependent Spectral Modeling of Multiple Nonstationary Time Series
我们提出了一种联合分析一组可能非平稳的时间序列的方法。该方法是贝叶斯的,并使用协变量依赖的无限混合模型,将多个时间序列,与混合成分参数化的随时间变化的平均值和对数谱。混合物成分是基于AdaptSPEC,自适应划分的时间序列成一个未知数量的段和估计的局部对数谱平滑样条的非参数模型。我们扩展AdaptSPEC处理缺失值,时间序列的一个共同特点,这可能会导致非参数谱方法的困难。第二个扩展是允许时变均值。假设协变量与时间无关,使用logistic棒断裂过程通过混合物权重并入。该模型可以估计观察到的和未观察到的协变量值的时变平均值和光谱,从而允许预测性推断。估计是由马尔可夫链蒙特卡罗(MCMC)方法,结合数据增强,可逆跳跃,黎曼流形哈密顿蒙特卡罗技术。我们评估的方法,使用模拟数据,并描述应用澳大利亚降雨量数据和麻疹发病率在美国。实现本文提出的方法的软件可以在R包BayesSpec中获得。
2020-06-04 stat.ME
Sequential Markov Chain Monte Carlo for Bayesian Filtering with Massive Data
数字传感器、数字数据存储和通信的进步使得系统能够积累大量数据。在光处理的挑战,海量数据的存在,这项工作提出了解决方案的推理和过滤问题的贝叶斯框架内。针对非线性和非高斯状态空间模型,提出了两种新的贝叶斯推断算法,能够处理大量数据(或观测值)。这些是顺序的马尔可夫链蒙特卡罗(MCMC)方法,其依赖于两个关键思想:1)对大量数据进行子采样,并利用较小的子集进行过滤和推断,以及2)分别使用测量的子集计算局部过滤分布的分治型方法。仿真结果突出的准确性和大量的计算节省,可以达到90%的标准技术相比,所提出的算法。
2015-12-08 stat.AP stat.CO
Massive data compression for parameter-dependent covariance matrices
我们展示了如何使用大规模数据压缩算法MOPED来减少数量级的模拟数据集的数量,这些数据集是估计高斯分布数据分析所需的协方差矩阵所需的。当协方差矩阵不能直接计算时,这是相关的。当协方差矩阵随模型参数变化时,压缩特别有价值。在这种情况下,运行足够的模拟来估计整个参数空间中的完整协方差矩阵可能非常昂贵。这种压缩对于下一代弱透镜测量可能特别有价值,例如为Euclid和LSST提出的,对于下一代弱透镜测量,由于数据将被划分为大量的层析红移箱,因此汇总数据(例如频带功率或剪切相关估计)的数量非常大,$\sim 10^4$。在MCMC分析中对所有点单独估计协方差矩阵的悲观情况下,这可能需要不可行的$10^9$模拟。我们在这里表明,MOPED可以减少这个数字的一个因素,1000,或一个因素的$\sim 10^6$,如果在协方差矩阵中的一些规律性是假设,减少所需的模拟到一个可管理的$10^3$,否则棘手的分析可行。
2017-09-05 astro-ph.CO astro-ph.IM stat.ME
Distributed Bayesian Varying Coefficient Modeling Using a Gaussian Process Prior
变系数模型(VCM)被广泛用于估计函数数据的非线性回归函数。然而,他们的贝叶斯变体使用高斯过程先验的函数系数,在大规模数据应用中受到了有限的关注,这主要是由于使用马尔可夫链蒙特卡罗(MCMC)算法的后验计算非常慢。我们使用分治贝叶斯方法解决这个问题。我们首先创建大量的数据子样本,这些子样本的大小要小得多。然后,我们制定的VCM作为一个线性混合效应模型,并开发了一个数据增强算法,以获得MCMC提请所有的子集并行。最后,我们将基于MCMC的子集后验估计聚合成单个聚合蒙特卡罗(AMC)后验,该后验用作真实后验分布的计算有效替代。理论上,我们得到了变系数和平均回归函数的AMC后验的minimax最优后验收敛速度。我们提供的子集样本量和子集的数量的顺序量化。实证结果表明,满足我们的理论假设的组合方案,包括AMC后验,有更好的估计性能比他们的主要竞争对手在不同的模拟和实际数据分析。
2022-02-26 stat.CO stat.ME
Bayesian Mendelian randomization with study heterogeneity and data partitioning for large studies
背景资料:当随机对照试验不可行时,孟德尔随机化(MR)是从观察性研究中进行因果推断的一种有用方法。然而,MR所需的两项关联研究的研究异质性往往被忽视。在处理大型研究时,最近开发的贝叶斯MR受到其计算昂贵的限制。方法:我们提出了一个随机效应贝叶斯MR模型与多个曝光和结果研究异质性。对于大型研究,我们采用了子集后验聚合方法来解决计算问题。特别是,我们将数据划分为子集,并结合从子集中获得的估计子集因果效应。我们的方法的性能进行了评估,通过一些模拟,其中部分曝光数据丢失。结果如下:随机效应贝叶斯MR优于传统的逆方差加权估计,无论真正的因果效应是零或非零。大型研究的数据划分对估计的因果效应的变化影响不大,但在工具较弱和数据缺失率较高的情况下,它显著影响估计的无偏性。我们的模拟结果表明,数据划分是一个很好的方式,提高计算效率,为小的成本,减少无偏的估计,只要样本量的子集是合理的大。结论:我们通过包括随机效应来明确解释研究异质性,进一步推进了贝叶斯MR。我们还采用了一个子集后验聚合方法来解决MCMC的计算昂贵的问题,这是非常重要的,特别是在处理大型研究。我们提出的工作很可能为更一般的模型设置铺平道路,因为贝叶斯方法本身在模型构建中具有很大的灵活性。
2021-12-15 stat.AP stat.ME