Asynchronous Gibbs Sampling
吉布斯抽样是一种马尔可夫链蒙特卡罗(MCMC)方法,常用于贝叶斯学习。MCMC方法由于其固有的顺序性质而难以在并行和分布式系统上部署。我们研究异步吉布斯抽样,它通过简单地忽略顺序要求来实现并行。这种方法已被证明对某些层次模型产生了良好的实证结果,并且在主题建模社区中很受欢迎,但也被证明对其他目标存在分歧。我们介绍了一个理论框架,分析异步吉布斯抽样和其他扩展的MCMC不具备马尔可夫性。我们证明了异步吉布斯可以修改,使其收敛在适当的正则条件-我们称之为确切的异步吉布斯算法。我们研究异步吉布斯的一组例子,通过比较精确和近似的算法,包括两个工作良好的地方,和一个地方,它失败了显着。最后,我们用一组算法来描述可以有效使用该算法的设置。
2020-02-29 stat.CO
Jensen-Bregman split Gibbs sampling
Univ. de Toulouse, IRIT/INP-ENSEEIHT(图卢兹大学,IRIT/INP-ENSEEIHT);LITIS, Université Rouen Normandie(LITIS,鲁昂诺曼底大学);Université Paris-Saclay, CEA, List(巴黎萨克雷大学,CEA,List)
该研究针对现有分裂吉布斯采样(SGS)仅适用于二次变量耦合的局限,提出基于Jensen-Bregman散度的耦合核,将SGS推广至非欧几里得几何,实现后验采样并统一多种临时采样方案。
2026-10-14 eess.IV stat.CO stat.ME
A Gibbs Sampling Alternative to Reversible Jump MCMC
本说明提供了一个简单而优雅的采样器,可用作可逆跳跃MCMC方法的替代方案。
2009-02-24 stat.CO
Accelerated Gibbs sampling of normal distributions using matrix splittings and polynomials
应用于具有指定精度矩阵的多元正态分布的标准吉布斯抽样在基本方式上等价于精度矩阵中线性方程组的Gauss-Seidel迭代解。具体地说,迭代算子、收敛发生的条件和几何收敛因子(和速率)是相同的。这些结果适用于任意矩阵分裂从经典的迭代方法在数值线性代数提供方便地访问成熟的结果,在该领域,包括现有的收敛结果的对偶变量吉布斯抽样,REGS抽样,和推广。因此,有效的确定性平稳松弛计划导致有效的推广吉布斯抽样。可以应用多项式加速技术来加速等效的广义吉布斯采样器,该多项式加速技术显著提高了从\emph{symmetric}矩阵分裂导出的迭代求解器的收敛速率。误差多项式的恒等性保证了非齐次马尔可夫链的收敛性,而收敛因子的相等性保证了最优求解器导致最优采样器。数值例子,包括Chebyshev加速SSOR吉布斯采样器适用于一个程式化的演示低级别贝叶斯图像重建在一个大的3维线性逆问题。
2015-05-13 stat.CO
A Scalable Blocked Gibbs Sampling Algorithm For Gaussian And Poisson Regression Models
马尔可夫链蒙特卡罗(MCMC)方法是贝叶斯统计建模中的一种流行技术。它们长期以来一直被用于从后验分布中获取样本,但最近的研究集中在这些技术对大型问题的可扩展性上。我们不开发新的采样方法,而是描述了一个阻塞吉布斯采样器,这是足够的可扩展性,以适应许多有趣的问题。我们所描述的采样器适用于广义线性混合效应模型(GLMM)的一个受限子集;这个子集包括泊松和高斯回归模型。分块吉布斯抽样步骤联合更新先验方差参数及其下的所有随机效应。我们还讨论了灵活的先验分布等扩展。
2016-01-30 stat.ME
On particle Gibbs sampling
粒子吉布斯采样器是一种马尔可夫链蒙特卡罗(MCMC)算法,用于从状态空间模型的完整后验分布中采样。它这样做是通过执行吉布斯抽样步骤上定义的辅助变量的空间上的相互作用的粒子系统产生的扩展的目标分布。本文对该算法的理论研究做了如下贡献。首先,我们提出了一个耦合的两个粒子之间的吉布斯更新从不同的出发点,我们表明,耦合概率可以任意接近1,通过增加粒子的数量。作为一个直接推论,我们得到粒子吉布斯核是一致遍历的。其次,我们展示了如何包含一个额外的吉布斯抽样步骤,重新选择粒子吉布斯的扩展目标分布,这是一个流行的方法,在实践中,以提高混合的祖先,确实产生了理论上更有效的算法,所测量的渐近方差。第三,我们将粒子Gibbs推广到了低方差的reserve格式。一个详细的数值研究,以证明粒子吉布斯和所提出的变种的效率。
2015-07-28 stat.CO
On Gibbs Sampling for Structured Bayesian Models Discussion of paper by Zanella and Roberts
本文讨论了Zanella和Roberts的论文:多层线性模型、吉布斯采样器和多重网格分解。我们考虑了几个扩展,其中多重网格分解会给我们带来有趣的见解,包括向量层次模型,线性混合效应模型和部分中心参数化。
2021-12-16 math.PR stat.CO
Particle Gibbs Sampling for Bayesian Phylogenetic inference
组合序贯蒙特卡罗(CSMC)方法是一种有效的补充标准马尔可夫链蒙特卡罗(MCMC)方法的贝叶斯系统发生树推断方法。将CSMC和MCMC结合在粒子Gibbs(PG)采样器的框架下,联合估计系统发育树和进化参数是一种很有吸引力的方法。然而,粒子吉布斯的马尔可夫链可能混合不良,如果底层SMC遭受路径退化问题。一些补救措施,包括粒子吉布斯与祖先采样和相互作用粒子MCMC,已被提出来改善PG。但他们要么不能适用于组合树空间或仍然效率低下。我们引入了一种新的CSMC方法,提出了一个更有效的建议分布。它也可以结合到粒子吉布斯采样器框架来推断演化模型中的参数。新算法可以很容易地通过分配样本在不同的计算核心并行化。我们通过数值实验验证了所开发的CSMC可以在各种粒子Gibbs采样器中更有效地对树进行采样。我们的实现可以在https://github.com/liangliangwangsfu/phyloPMCMC上获得
2020-08-11 stat.CO
Continuous Herded Gibbs Sampling
羊群效应是一种从概率分布中顺序生成确定性样本的技术。在这项工作中,我们提出了一个连续放牧吉布斯采样器,结合内核放牧连续密度与吉布斯抽样的想法。我们的算法允许从高维多变量概率密度确定性采样,而不直接从联合密度采样。使用高斯混合密度的实验表明,L2误差的降低与内核羊群相似,而计算时间明显更低,即,在维数上是线性的。
2022-01-13 cs.LG eess.SP stat.CO
Approximate blocked Gibbs sampling for Bayesian neural networks
The University of Manchester(曼彻斯特大学)
本文提出近似分块 Gibbs 采样以提升前馈神经网络小批量 MCMC 的可行性,通过参数分组与深层降方差缓解深度增加导致的接受率消失,从而支持更长链运行并改善分类准确率与不确定性量化。
2023-07-24 cs.LG stat.CO stat.ME
Herded Gibbs Sampling
Harvard University(哈佛大学);UC Irvine(加州大学欧文分校);UBC(不列颠哥伦比亚大学);Facebook(脸书);University of Amsterdam(阿姆斯特丹大学)
吉布斯采样器是统计模型中最流行的推理算法之一。在本文中,我们介绍了这个算法的放牧变种,称为放牧吉布斯,这是完全确定性的。我们证明了放牧吉布斯有一个$O(1/T)$收敛速度的模型与独立的变量和完全连接的概率图模型。Herded Gibbs在使用MRF进行图像去噪和使用CRF进行命名实体识别的任务中表现优于Gibbs。然而,稀疏连接概率图模型的聚集吉布斯的收敛性仍然是一个开放的问题。
2013-03-16 cs.LG stat.CO stat.ML
Poisson-Minibatching for Gibbs Sampling with Convergence Rate Guarantees
Cornell University(康奈尔大学)
吉布斯抽样是一种马尔可夫链蒙特卡罗方法,通常用于图形模型的学习和推理。在每次迭代中使用图的一个小的随机子集的Minimetry可以通过减少计算成本来帮助Gibbs采样扩展到大型图形模型。本文提出了一种新的随机变量小批量Gibbs抽样方法{ \it Poisson-minirobot Gibbs},该方法既能产生无偏样本,又有理论上的收敛速度保证。与以前的小批Gibbs算法相比,Poisson-minibutched Gibbs算法支持从连续状态空间快速采样,并避免了对离散状态空间进行Metropolis-Hastings校正的需要。我们证明了我们的方法在多个应用程序的有效性,并与普通吉布斯和以前的小批量方法相比。
2019-11-21 cs.LG stat.ML
Rejoinder: Gibbs Sampling, Exponential Families and Orthogonal Polynomials
我们感谢各位讨论者所做的艰苦和有趣的工作。我们的论文的主要目的是给合理的收敛速度为吉布斯采样器的一些简单的例子。我们从说明性叙述中选择了一些例子,其中直接使用可用的技术给出了实际上无用的答案。对这些简单例子的仔细处理发展成为二元建模和兰开斯特家族。由于收敛率的边界是我们的主要关注点,让我们从那里开始。[arXiv:0808.3852]
2008-08-28 stat.ME
GPU-accelerated Gibbs sampling: a case study of the Horseshoe Probit model
吉布斯抽样是一种广泛使用的马尔可夫链蒙特卡罗(MCMC)方法,用于贝叶斯统计和其他数学科学中的数值近似积分。MCMC方法的许多实现不容易扩展到并行计算环境,因为它们固有的顺序性质会导致很大的同步成本。在本文所示的案例研究中,我们展示了如何做吉布斯抽样在一个完全的数据并行的方式在图形处理单元上,一个大类的可交换模型,承认潜在的变量表示。我们的方法需要一个系统的角度来看,重点放在有效地利用计算硬件。我们在马蹄概率回归模型上演示了我们的方法,并发现我们的实现可以同时有效地扩展到数千个预测因子和数百万个数据点。
2018-03-21 cs.DC stat.CO
Likelihood-free approximate Gibbs sampling
似然自由方法,如近似贝叶斯计算(ABC)已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好,但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器,自然地绕过了维数问题,专注于低维条件分布。这些分布是由灵活的回归模型估计,无论是在采样器运行之前,或自适应采样器的实施过程中。因此,与基于Metropolis-Hastings的方法相比,我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能,并使用包含13,140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析,这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
Non-Uniform Random Scans in Gibbs Sampling and CAVI
该研究将吉布斯采样和CAVI的收敛速率分析从均匀块选择扩展到任意固定正选择概率,提出适配选择的凸性常数,为异构块几何的扫描适配提供了原则性方法。
2026-09-02 stat.CO
Diffusive Gibbs Sampling
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University College London(伦敦大学学院)
针对传统MCMC在多模态分布上混合不足的问题,提出扩散吉布斯采样(DiGS),利用高斯卷积桥接模态并交替采样,显著提升混合性能,优于并行回火等方法。
2024-05-29 cs.LG stat.CO stat.ML
Deterministic Gibbs Sampling via Ordinary Differential Equations
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司高通人工智能研究院)
确定性动态是许多MCMC算法的重要组成部分,例如混合蒙特卡罗或利用归一化流的采样器。本文利用微分几何中的自治常微分方程和工具,给出了确定性测度保持动力学的一般构造。我们将展示如何混合蒙特卡罗和其他确定性采样遵循我们的理论的特殊情况。然后,我们证明了我们的方法的效用,通过构建一个连续的非顺序版本的吉布斯抽样的ODE流和扩展到离散状态空间。我们发现,我们的确定性采样器是更有效的样本比随机同行,即使后者产生独立的样本。
2021-06-18 cs.LG stat.CO
Efficient and Fast Sampling from Arbitrary Probability Kernels using Sliced Gibbs Sampler
North Carolina State University(北卡罗来纳州立大学)
本文提出自动切片吉布斯框架,实现对任意有限维概率核的自动马尔可夫链蒙特卡洛采样,无需用户指定截断界、提议尺度、步长调优或条件优化,适用于非标准化、非光滑、重尾和高多模态密度。
2026-10-06 stat.ME
On skew-symmetric distributions and their use in Monte Carlo sampling algorithms: coordinate-free, Gibbs-style and manifold versions of the Barker proposal
University of Oxford(牛津大学);University College London(伦敦大学学院);MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究理事会生物统计学单元)
本文回顾了基于偏斜对称分布的Barker提议,并提出三种扩展:坐标无关、Gibbs风格和简化流形版本,实验表明Gibbs风格提升相关目标采样效率,流形版本在几何不规则时优于MALA。
2026-10-02 stat.CO stat.ME stat.ML
Gibbs Sampling in Factorized Continuous-Time Markov Processes
在许多应用程序中,一个中心任务是推理在连续时间内变化的过程。连续时间贝叶斯网络是一种通用的多组分连续时间过程的紧凑表示语言。然而,在这样的过程中,精确的推断是指数的组件的数量,因此对于大多数感兴趣的模型是不可行的。在这里,我们开发了一种新的吉布斯抽样程序的多组分过程。该过程迭代地对给定其余分量的分量之一的轨迹进行采样。我们将展示如何执行精确的采样,适应采样过程的自然时间尺度。此外,我们表明,这种采样过程自然地利用网络的结构,以减少每一步的计算成本。这一过程是第一个可以提供渐近无偏近似在这样的过程。
2012-06-13 cs.AI stat.CO
Gibbs Sampling, Exponential Families and Orthogonal Polynomials
我们给出了家庭的例子,其中广泛使用的吉布斯采样器的平稳收敛率急剧。这些例子涉及标准指数族及其共轭先验。在每种情况下,过渡算子是显式对角化与经典的正交多项式作为本征函数。
2008-08-28 math.CA stat.ME
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型(LGM)的马尔可夫链蒙特卡罗(MCMC)方法。采样方案是两块吉布斯抽样方案,旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成,而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中,后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理,通过设计,LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外,当潜在模型的维数增加时,它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
Parameter elimination in particle Gibbs sampling
由于高维状态轨迹,状态空间模型中的贝叶斯推断具有挑战性。一个可行的方法是粒子马尔可夫链蒙特卡罗,结合MCMC和序贯蒙特卡罗形成“精确近似”,否则难以处理MCMC方法。近似的性能仅限于精确方法的性能。我们专注于粒子吉布斯和粒子吉布斯与祖先采样,提高其性能超出了潜在的吉布斯采样器(他们近似)边缘化了一个或多个参数。当参数先验与完整数据似然共轭时,这是可能的。边缘化产生一个非马尔可夫模型的推断,但我们表明,在一般情况下,这种方法仍然在时间上线性扩展。虽然边缘化可能很难实现,但概率编程的最新进展使其自动化成为可能。我们证明了边缘化的方法是可行的,有效的推理后端概率规划,并证明与生态学和流行病学的例子。
2019-10-30 stat.CO stat.ML
On optimal direction gibbs sampling
Centro de Investigación en Matemáticas (CIMAT)(数学研究中心);University of Otago(奥塔哥大学)
研究在方向性随机扫描吉布斯采样器中如何通过最小化截断正态目标函数的互信息来选择最优方向,并推广到多元正态局部近似情况。
2012-05-18 cs.NA math.NA stat.CO
Minibatch Gibbs Sampling on Large Graphical Models
Cornell University(康奈尔大学);Stanford University(斯坦福大学)
吉布斯抽样是事实上的马尔可夫链蒙特卡罗方法,用于大规模图形模型的推理和学习。对于具有大量因子的复杂因子图,Gibbs采样的性能可能受到执行马尔可夫链的单个更新步骤的计算成本的限制。这个成本与图的度、与每个变量相邻的因子数成正比。在本文中,我们将展示如何使用minimizing来降低此成本:对因子进行子采样以形成其总和的估计。我们介绍了几个小批量的吉布斯的变种,表明他们可以无偏,证明他们的收敛速度的界限,并表明在某些条件下,他们可以导致在渐进的单更新运行时的加速比平原吉布斯采样。
2018-06-15 cs.LG stat.ML
A Generalized Labeled Multi-Bernoulli Filter Implementation using Gibbs Sampling
Curtin University(科廷大学)
本文提出了一种有效的实现广义标记多伯努利(GLMB)滤波器相结合的预测和更新到一个单一的步骤。与在预测和更新步骤中涉及单独截断的原始方法相比,所提出的实现对于每次迭代仅需要一个单一截断,这可以使用标准排名的最优分配算法来执行。此外,我们提出了一种新的截断技术的基础上马尔可夫链蒙特卡罗方法,如吉布斯抽样,这大大降低了滤波器的复杂性。所提出的方法的优越性能证明通过广泛的数值研究。
2015-07-03 cs.LG stat.CO
Streaming Gibbs Sampling for LDA Model
University of California Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
流变分贝叶斯(SVB)是成功的学习LDA模型在线的方式。然而,以前的尝试发展在线蒙特卡罗方法LDA几乎没有成功,往往有更糟糕的困惑比他们的批处理同行。我们提出了一个流吉布斯采样(SGS)的方法,一个在线扩展的崩溃吉布斯采样(CGS)。我们的实证研究表明,SGS可以达到与CGS相似的困惑,远远优于SVB。我们的分布式SGS版本DSGS比SVB更具可伸缩性,主要是因为更新的通信复杂性很小。
2016-01-06 cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington(华盛顿大学)
我们开发了一个框架,近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法,它在后验中整合变量以改善混合。不幸的是,对于许多复杂的模型,整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究,其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明,我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡,从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Digesting Gibbs Sampling Using R
本文面向希望在研究中使用 MCMC(尤其是 Gibbs 采样)的用户,提供基于 R 的实践框架,并说明读者所需的微积分与统计学预备知识。
2025-06-08 stat.CO
Parsimonious and Efficient Likelihood Composition by Gibbs Sampling
由于似然函数的复杂性,传统的极大似然估计(MLE)在复杂高维数据中的应用受到限制。最大复合似然估计(Maximum Composite Likelihood Estimation,McLE)通过组合依赖于小数据子集的多个部分似然对象来避免完全似然规范,从而能够对复杂数据进行推断。一个基本的困难,使McLE方法可行的是从众多的候选似然对象构建的复合似然函数的选择。在本文中,我们提出了一个灵活的吉布斯抽样计划的最佳选择的子似然分量。采样复合似然函数收敛到一个最大的信息在平衡的未知参数,因为子似然对象的选择概率取决于相应的McLE的方差。当数据复杂度很高时,我们的方法的惩罚版本生成具有相对较少数量的组件的稀疏似然。我们的算法通过模拟数据以及真实基因型SNP数据的病例对照研究的数值例子来说明。
2015-02-17 stat.ME
Modifying Gibbs sampling to avoid self transitions
本文回顾并提出了多种修改Gibbs采样的可逆与不可逆方法以减少自转移并降低渐近方差,在多个模型模拟中验证了性能,发现顺序更新的不可逆性有益但单个不可逆更新无一致优势。
2024-03-26 physics.comp-ph stat.CO
Exact Gibbs sampling for stochastic differential equations with gradient drift and constant diffusion
Purdue University(普渡大学)
本文提出了一种适用于广泛SDE类别的精确吉布斯采样方法,无需离散化误差,通过变换扩展到更广泛的多元SDEs,并在合成和真实数据上展示了优于粒子MCMC的性能。
2026-01-31 stat.CO
Gibbs sampling for Bayesian P-splines
Interuniversity Institute for Biostatistics and statistical Bioinformatics (I-BioStat), Data Science Institute, Hasselt University(哈瑟尔特大学交叉大学生物统计学和统计生物信息学研究所(I-BioStat)数据科学研究所);Department of Biostatistics, Erasmus University Medical Center(伊拉斯姆斯大学医学中心生物统计学系)
P-样条提供了一个灵活的设置建模非线性模型组件的基础上,一个相对简单的计算骨干离散化的惩罚结构。在基于马尔可夫链蒙特卡罗的贝叶斯推理框架下,P样条模型中模型系数的估计通常采用Metropolis型算法.这些算法依赖于必须仔细选择的建议分布,以生成有效地探索参数空间的马尔可夫链。为了避免这样一个敏感的调整选择,我们扩展吉布斯采样贝叶斯P-样条模型。在这类模型中,模型系数的条件后验分布具有吸引人的数学性质。利用这些属性,我们建议交替的自适应拒绝采样器的目标是对数凹和网格吉布斯采样器的目标时,其特征在于由更复杂的形状之间的条件后验。所提出的吉布斯采样贝叶斯P样条(GSBPS)算法被证明是一个有趣的调谐免费工具的贝叶斯P样条模型的推断。此外,GSBPS算法可以转换成一个紧凑和用户友好的例程。在描述了理论结果之后,我们说明了我们的方法在密度估计、二项回归和平滑流行曲线方面的潜力。
2025-10-31 stat.ME
Improving Gibbs Sampler Scan Quality with DoGS
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
Dobrushin的成对影响矩阵长期以来一直被用作限制吉布斯抽样收敛速度的分析工具。在这项工作中,我们使用Dobrushin影响的基础上,一个实用的工具,以证明和有效地提高离散吉布斯采样器的质量。我们的Dobrushin优化吉布斯采样器(DoGS)为给定的采样预算和感兴趣的变量子集提供定制的变量选择顺序,全变差距离到平稳性的明确界限,以及标准系统和均匀随机扫描吉布斯采样器的可证明的改进。在我们的联合图像分割和对象识别,马尔可夫链蒙特卡罗极大似然估计,和伊辛模型推理的实验中,DoGS始终提供更高质量的推理与显着更小的采样预算比标准吉布斯采样器。
2017-07-18 cs.LG math.PR stat.ME
Multi-Object Posterior Computation via Gibbs Sampling
Curtin University(科廷大学)
本文提出一种基于通用测量似然函数的多目标后验计算方法,利用Gibbs采样生成样本,通过建立条件分布为伯努利随机有限集,实现高效采样和收敛保证,展示了在低信噪比场景下的鲁棒性。
2026-04-14 stat.CO
Efficient Implementations of Extended Object PMBM Filters with Blocked Gibbs Sampling
Shanghai Jiao Tong University(上海交通大学);Universidad Politécnica de Madrid(马德里理工大学);Chalmers University of Technology(查尔姆斯理工大学)
本文基于泊松多伯努利混合滤波器研究多扩展目标跟踪,提出高效实现方法,通过阻塞Gibbs抽样提升数据关联效率,采用伽马高斯逆 Wishart模型验证方法有效性,实验显示性能相当但运行时间更短。
2026-09-28 eess.SP stat.ME
Ancestor Sampling for Particle Gibbs
我们提出了一种新的方法,在家庭的粒子MCMC方法,我们称为粒子吉布斯祖先采样(PG-AS)。类似于现有的PG与反向模拟(PG-BS)的过程中,我们使用反向采样(大大)改善PG内核的混合。然而,我们在单个前向扫描中实现了相同的效果,而不是像在PG-BS中那样使用单独的前向扫描和后向扫描。我们将PG-AS框架应用于具有挑战性的非马尔可夫状态空间模型类。我们开发了这些模型的截断策略,原则上适用于任何基于向后模拟的方法,但特别适合于PG-AS框架。特别是,正如我们在模拟研究中所示,PG-AS可以产生一个数量级的精度提高相对于PG-BS由于其鲁棒性的截断误差。几个应用实例进行了讨论,包括Rao-Blackwellized粒子平滑和退化状态空间模型的推断。
2012-10-25 stat.CO stat.ML
A Gibbs Sampling Scheme for a Generalised Poisson-Kingman Class
本文修改了一种贝叶斯非参数方法,提出基于负二项过程的模型类及 Gibbs 采样算法,并应用于群体遗传学构建谱系树。
2024-02-18 stat.ME
Particle-Gibbs Sampling For Bayesian Feature Allocation Models
University of British Columbia(英属哥伦比亚大学);BC Cancer Agency(不列颠哥伦比亚癌症机构)
贝叶斯特征分配模型是一种流行的工具,用于对具有组合潜在结构的数据进行建模。这些模型中的精确推断通常是棘手的,因此从业者通常应用马尔可夫链蒙特卡罗(MCMC)方法进行后验推断。最广泛使用的MCMC策略依赖于特征分配矩阵的元素明智吉布斯更新。这些逐元素更新可能是低效的,因为特征通常是强相关的。为了克服这个问题,我们开发了一个吉布斯采样器,可以更新一整行的功能分配矩阵在一个单一的移动。然而,这种采样器是不切实际的模型与大量的功能,计算复杂性的规模指数的特征数量。我们开发了一个粒子吉布斯采样器,其目标是与行吉布斯更新相同的分布,但计算复杂度仅在特征数量上线性增长。我们比较了我们提出的方法的性能标准吉布斯采样器使用合成数据从一系列的特征分配模型。我们的研究结果表明,行明智的更新使用PG方法可以显着提高性能的特征分配模型的采样器。
2020-01-25 cs.LG stat.CO stat.ML
Convergence rate and concentration inequalities for Gibbs sampling in high dimension
本文的目的是研究吉布斯抽样计算的平均观察在非常高的维度-一个强大的马尔可夫链蒙特卡罗方法。在Dobrushin的唯一性条件下,我们建立了指数收敛速度的精确估计,并证明了经验均值的高斯浓度不等式。
2014-10-16 math.ST stat.TH
Between-Domain Instance Transition Via the Process of Gibbs Sampling in RBM
K.N.Toosi University of Technology(K.N.图西理工大学)
本文提出了一种基于Gibbs抽样的迁移学习新思想。吉布斯采样是一种算法,其中实例可能以相对于概率分布的更高可能性转移到新状态。我们发现,这样的算法可以用来转移域之间的实例。受限玻尔兹曼机(RBM)是一种基于能量的模型,它非常适合训练来表示数据分布,也适合执行吉布斯采样。我们使用RBM来捕获源域的数据分布,并使用它将目标实例转换为具有与源数据分布类似的分布的新数据。使用通常用于评估TL方法的数据集,我们表明,我们的方法可以成功地提高目标分类的相当大的比例。此外,该方法的优点是,它不需要目标数据在模型的训练过程中,通常的DA方法。
2020-06-25 cs.LG stat.ML
Probabilistic Duality for Parallel Gibbs Sampling without Graph Coloring
MPI Tübingen(图宾根马普所);Microsoft Research(微软研究院)
本文提出了混合分布随机变量概率对偶的一个新概念。使用这个概念,我们展示了如何实现一个高度并行化的吉布斯采样器弱耦合离散成对图形模型,严格的积极因素,几乎不需要预处理,很容易实现。此外,我们展示了我们的方法如何与阻塞相结合,以提高混合。即使我们的方法导致劣质的混合时间相比,一个顺序的吉布斯采样器,我们认为,我们的方法仍然是非常有用的大型动态网络,在连续的基础上添加和删除的因素,因为它是很难保持一个图着色在这种设置。同样,我们的方法是有用的并行吉布斯采样的图形模型,不允许图着色与少量的颜色,如密集连接的图形。
2016-11-21 cs.LG math.PR stat.ML
Moment Matching Denoising Gibbs Sampling
Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
针对去噪分数匹配训练的能量模型存在不一致性,提出矩匹配的(伪)吉布斯采样框架,从带噪声模型中有效采样底层干净模型,并扩展到高维数据。
2024-03-19 cs.LG stat.ML
Particle Gibbs with Ancestor Sampling
粒子马尔可夫链蒙特卡罗(Particle Markov chain Monte Carlo,PMCMC)是一种将两种主要的蒙特卡罗统计推断工具结合起来的系统方法:序列蒙特卡罗(Sequential Monte Carlo,SMC)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)。我们提出了一种新的PMCMC算法,我们称之为粒子吉布斯与祖先采样(PGAS)。PGAS为数据分析师提供了一种现成的马尔可夫核,可用于模拟状态空间模型中通常高维和高度自相关的状态轨迹。祖先采样过程即使在底层SMC采样器中使用看似很少的粒子时,也可以快速混合PGAS内核。这很重要,因为它可以显著减少通常与使用SMC相关的计算负担。PGAS在概念上类似于现有的反向模拟PG(PGBS)程序。然而,我们不是像PGBS那样使用单独的前向和后向扫描,而是在单个前向扫描中实现相同的效果。这使得PGAS非常适合解决推理问题,不仅在状态空间模型,而且在模型更复杂的依赖关系,如非马尔可夫,贝叶斯非参数和一般的概率图形模型。
2014-01-03 stat.CO stat.ML
Linear Complexity Gibbs Sampling for Generalized Labeled Multi-Bernoulli Filtering
针对GLMB滤波中NP难的计算瓶颈,提出线性复杂度温和吉布斯采样框架,将复杂度从O(TP²M)降至O(T(P+M+logT)+PM),并验证收敛性与性能。
2023-12-28 eess.SP stat.CO stat.ML
Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling
Technicolor(特艺集团);INRIA(法国国家信息与自动化研究所)
我们研究大规模潜变量模型中的参数推断。我们首先提出了一个统一的治疗在线推理的潜变量模型从一个非典型的指数家庭,并绘制明确的链接之前提出的几个频率或贝叶斯方法。然后,我们提出了一种新的推理方法的频率估计的参数,适应MCMC方法在线推理的潜变量模型与适当使用的本地吉布斯抽样。然后,对于潜在的Dirich-let分配,我们提供了一组广泛的实验和与现有工作的比较,我们的新方法优于所有以前提出的方法。特别是,使用吉布斯抽样潜变量推理优于变分推理的测试对数似然。此外,贝叶斯推理通过变分方法执行差,有时会导致更高维度的潜在变量更差的拟合。
2018-01-31 cs.LG stat.ML
Convergence of Griddy Gibbs Sampling and other perturbed Markov chains
网格吉布斯抽样是由Ritter和Tanner(1992)提出的,作为众所周知的吉布斯抽样方法的计算有效近似。该算法简单有效,已成功地用于解决应用科学各个领域的问题。但该算法的近似性使其无法得到广泛应用:Griddy Gibbs抽样方法生成的马尔可夫链一般不可逆,因此不能保证其不变测度的存在唯一性。即使当这样的不变测度唯一存在时,也没有估计它与感兴趣的概率分布之间的距离,因此没有手段来确保算法作为从真实分布采样的手段的有效性。在本文中,我们表明,在一些相当自然的条件下,网格吉布斯方法有一个唯一的,不变测度。此外,我们提供了$L^p$估计之间的距离,这个不变测度和相应的措施从吉布斯抽样。这些结果为Griddy Gibbs抽样方法的应用提供了理论依据。我们还解决了一个更一般的结果不变测度的灵敏度小扰动下的转移概率。也就是说,如果我们用另一个转移概率$Q$代替任何蒙特卡罗马尔可夫链的转移概率$P$,其中$Q$接近于$P$,我们仍然可以估计两个不变测度之间的距离。我们的方法和以前关于扰动马尔可夫链收敛性的工作的区别在于,通过将不变测度看作函数空间上线性算子的不动点,我们不需要对马尔可夫链的收敛速率施加任何进一步的条件。
2021-03-29 math.ST stat.TH
Learning to Replace MCMC in Split-Gibbs Diffusion Posterior Sampling via Deep Unfolding
Weizmann Institute of Science(魏茨曼科学研究所);Northeastern University(东北大学)
提出用深度展开网络替换分裂吉布斯采样中的MCMC步骤,通过ODE扩散实现高斯去噪更新,在非线性相位恢复中实现更低成本的扩散后验采样。
2026-09-28 cs.LG eess.SP stat.ML
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven(计算机科学系,鲁汶大学);Department of Electrical Engineering, ESAT - STADIUS, KU Leuven(电气工程系,ESAT - STADIUS,鲁汶大学)
贝叶斯回归仍然是一个简单而有效的工具,基于贝叶斯推断技术。对于大规模的应用,复杂的后验分布,马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题,提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外,使用相关样本的方差减少,以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试,几乎所有数据集都实现了加速,而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
Scan Order in Gibbs Sampling: Models in Which it Matters and Bounds on How Much
Stanford University(斯坦福大学)
吉布斯抽样是一种马尔可夫链蒙特卡罗抽样技术,它迭代地从条件分布中对变量进行抽样。变量有两种常见的扫描顺序:随机扫描和系统扫描。由于硬件中局部性的好处,通常使用系统扫描,即使大多数统计保证仅用于随机扫描。虽然它已被证实,随机扫描和系统扫描的混合时间不超过一个对数因子的差异,我们通过反例表明,情况并非如此,我们证明,混合时间不超过一个多项式因子在温和的条件下。为了证明这些相对的界限,我们引入了一种方法,增加状态空间来研究系统扫描电导。
2016-06-10 cs.AI cs.LG stat.ML
Efficient Gibbs Sampling for Markov Switching GARCH Models
我们开发了有效的模拟技术,贝叶斯推理切换Gestro模型。我们对现有文献的贡献是多方面的。首先,我们讨论了不同的多移动采样技术的马尔可夫切换(MS)状态空间模型,特别是注意MS-Gesthem模型。我们的多移动采样策略是基于前向滤波后向采样(FFBS)应用于近似的MS-Gestro。另一个重要的贡献是使用多点采样器,如多尝试Metropolis(MTM)和多尝试Metropolize独立采样器,结合FFBS用于MS-Gestro过程。在这个意义上,我们将So [2006]关于连续状态空间模型的有效MTM采样器的工作扩展到MS状态空间模型。最后,我们建议通过在FFBS中引入Craiu和Meng [2005]和Craiu和Lemieux [2007]的对偶抽样来进一步提高抽样效率。在MS-GBS模型上的仿真实验表明,与单移动Gibbs抽样相比,多点多移动抽样策略可以提高抽样效率。
2012-12-21 math.ST stat.TH
Minimum Message Length Clustering Using Gibbs Sampling
Monash University(莫纳什大学);Allstate Research and Planning Center(好事达研究与规划中心)
K-Mean和EM算法由于其简单和易于实现而在聚类和混合建模中很受欢迎。然而,它们有几个重要的局限性。这两个覆盖到其各自的目标函数的局部最优值(忽略模型空间中的不确定性),需要类/clsuters的数量的先验规范,并且是不一致的。在这项工作中,我们克服了这些限制,使用最小消息长度(MML)的原则和变化的K-均值/EM观测分配和参数计算方案。我们保持这些方法的简单性,同时构建贝叶斯混合建模工具,使用马尔可夫链蒙特卡罗(MCMC)采样器称为吉布斯采样器的采样/搜索模型空间。吉布斯抽样允许我们根据后验概率访问每个模型。因此,如果模型空间是多模态的,我们将访问所有模型,而不会陷入局部最优。我们称我们的方法为多链平衡(MCE)MML采样。
2013-01-16 cs.LG stat.ML
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University(哥伦比亚大学);University of Oxford(牛津大学)
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是,它们依赖于重要性恢复,这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义,以适应祖先rescue,一种技术,减轻粒子退化,概率编程设置。我们提出的实证结果表明,非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML