Diffusive Gibbs Sampling
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University College London(伦敦大学学院)
针对传统MCMC在多模态分布上混合不足的问题,提出扩散吉布斯采样(DiGS),利用高斯卷积桥接模态并交替采样,显著提升混合性能,优于并行回火等方法。
2024-05-29 cs.LG stat.CO stat.ML
On particle Gibbs sampling
粒子吉布斯采样器是一种马尔可夫链蒙特卡罗(MCMC)算法,用于从状态空间模型的完整后验分布中采样。它这样做是通过执行吉布斯抽样步骤上定义的辅助变量的空间上的相互作用的粒子系统产生的扩展的目标分布。本文对该算法的理论研究做了如下贡献。首先,我们提出了一个耦合的两个粒子之间的吉布斯更新从不同的出发点,我们表明,耦合概率可以任意接近1,通过增加粒子的数量。作为一个直接推论,我们得到粒子吉布斯核是一致遍历的。其次,我们展示了如何包含一个额外的吉布斯抽样步骤,重新选择粒子吉布斯的扩展目标分布,这是一个流行的方法,在实践中,以提高混合的祖先,确实产生了理论上更有效的算法,所测量的渐近方差。第三,我们将粒子Gibbs推广到了低方差的reserve格式。一个详细的数值研究,以证明粒子吉布斯和所提出的变种的效率。
2015-07-28 stat.CO
Continuous Herded Gibbs Sampling
羊群效应是一种从概率分布中顺序生成确定性样本的技术。在这项工作中,我们提出了一个连续放牧吉布斯采样器,结合内核放牧连续密度与吉布斯抽样的想法。我们的算法允许从高维多变量概率密度确定性采样,而不直接从联合密度采样。使用高斯混合密度的实验表明,L2误差的降低与内核羊群相似,而计算时间明显更低,即,在维数上是线性的。
2022-01-13 cs.LG eess.SP stat.CO
Asynchronous Gibbs Sampling
吉布斯抽样是一种马尔可夫链蒙特卡罗(MCMC)方法,常用于贝叶斯学习。MCMC方法由于其固有的顺序性质而难以在并行和分布式系统上部署。我们研究异步吉布斯抽样,它通过简单地忽略顺序要求来实现并行。这种方法已被证明对某些层次模型产生了良好的实证结果,并且在主题建模社区中很受欢迎,但也被证明对其他目标存在分歧。我们介绍了一个理论框架,分析异步吉布斯抽样和其他扩展的MCMC不具备马尔可夫性。我们证明了异步吉布斯可以修改,使其收敛在适当的正则条件-我们称之为确切的异步吉布斯算法。我们研究异步吉布斯的一组例子,通过比较精确和近似的算法,包括两个工作良好的地方,和一个地方,它失败了显着。最后,我们用一组算法来描述可以有效使用该算法的设置。
2020-02-29 stat.CO
A Gibbs Sampling Alternative to Reversible Jump MCMC
本说明提供了一个简单而优雅的采样器,可用作可逆跳跃MCMC方法的替代方案。
2009-02-24 stat.CO
Poisson-Minibatching for Gibbs Sampling with Convergence Rate Guarantees
Cornell University(康奈尔大学)
吉布斯抽样是一种马尔可夫链蒙特卡罗方法,通常用于图形模型的学习和推理。在每次迭代中使用图的一个小的随机子集的Minimetry可以通过减少计算成本来帮助Gibbs采样扩展到大型图形模型。本文提出了一种新的随机变量小批量Gibbs抽样方法{ \it Poisson-minirobot Gibbs},该方法既能产生无偏样本,又有理论上的收敛速度保证。与以前的小批Gibbs算法相比,Poisson-minibutched Gibbs算法支持从连续状态空间快速采样,并避免了对离散状态空间进行Metropolis-Hastings校正的需要。我们证明了我们的方法在多个应用程序的有效性,并与普通吉布斯和以前的小批量方法相比。
2019-11-21 cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington(华盛顿大学)
我们开发了一个框架,近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法,它在后验中整合变量以改善混合。不幸的是,对于许多复杂的模型,整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究,其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明,我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡,从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Accelerated Gibbs sampling of normal distributions using matrix splittings and polynomials
应用于具有指定精度矩阵的多元正态分布的标准吉布斯抽样在基本方式上等价于精度矩阵中线性方程组的Gauss-Seidel迭代解。具体地说,迭代算子、收敛发生的条件和几何收敛因子(和速率)是相同的。这些结果适用于任意矩阵分裂从经典的迭代方法在数值线性代数提供方便地访问成熟的结果,在该领域,包括现有的收敛结果的对偶变量吉布斯抽样,REGS抽样,和推广。因此,有效的确定性平稳松弛计划导致有效的推广吉布斯抽样。可以应用多项式加速技术来加速等效的广义吉布斯采样器,该多项式加速技术显著提高了从\emph{symmetric}矩阵分裂导出的迭代求解器的收敛速率。误差多项式的恒等性保证了非齐次马尔可夫链的收敛性,而收敛因子的相等性保证了最优求解器导致最优采样器。数值例子,包括Chebyshev加速SSOR吉布斯采样器适用于一个程式化的演示低级别贝叶斯图像重建在一个大的3维线性逆问题。
2015-05-13 stat.CO
Grid Particle Gibbs with Ancestor Sampling for State-Space Models
针对一般状态空间模型的贝叶斯参数与潜在状态估计,提出利用确定性网格和近似HMM表示高效生成粒子的带祖先采样网格粒子Gibbs算法,并在机制转换模型中验证其显著计算收益。
2025-01-06 stat.CO
Particle-Gibbs Sampling For Bayesian Feature Allocation Models
University of British Columbia(英属哥伦比亚大学);BC Cancer Agency(不列颠哥伦比亚癌症机构)
贝叶斯特征分配模型是一种流行的工具,用于对具有组合潜在结构的数据进行建模。这些模型中的精确推断通常是棘手的,因此从业者通常应用马尔可夫链蒙特卡罗(MCMC)方法进行后验推断。最广泛使用的MCMC策略依赖于特征分配矩阵的元素明智吉布斯更新。这些逐元素更新可能是低效的,因为特征通常是强相关的。为了克服这个问题,我们开发了一个吉布斯采样器,可以更新一整行的功能分配矩阵在一个单一的移动。然而,这种采样器是不切实际的模型与大量的功能,计算复杂性的规模指数的特征数量。我们开发了一个粒子吉布斯采样器,其目标是与行吉布斯更新相同的分布,但计算复杂度仅在特征数量上线性增长。我们比较了我们提出的方法的性能标准吉布斯采样器使用合成数据从一系列的特征分配模型。我们的研究结果表明,行明智的更新使用PG方法可以显着提高性能的特征分配模型的采样器。
2020-01-25 cs.LG stat.CO stat.ML
Minibatch Gibbs Sampling on Large Graphical Models
Cornell University(康奈尔大学);Stanford University(斯坦福大学)
吉布斯抽样是事实上的马尔可夫链蒙特卡罗方法,用于大规模图形模型的推理和学习。对于具有大量因子的复杂因子图,Gibbs采样的性能可能受到执行马尔可夫链的单个更新步骤的计算成本的限制。这个成本与图的度、与每个变量相邻的因子数成正比。在本文中,我们将展示如何使用minimizing来降低此成本:对因子进行子采样以形成其总和的估计。我们介绍了几个小批量的吉布斯的变种,表明他们可以无偏,证明他们的收敛速度的界限,并表明在某些条件下,他们可以导致在渐进的单更新运行时的加速比平原吉布斯采样。
2018-06-15 cs.LG stat.ML
On Gibbs Sampling for Structured Bayesian Models Discussion of paper by Zanella and Roberts
本文讨论了Zanella和Roberts的论文:多层线性模型、吉布斯采样器和多重网格分解。我们考虑了几个扩展,其中多重网格分解会给我们带来有趣的见解,包括向量层次模型,线性混合效应模型和部分中心参数化。
2021-12-16 math.PR stat.CO
Streaming Gibbs Sampling for LDA Model
University of California Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
流变分贝叶斯(SVB)是成功的学习LDA模型在线的方式。然而,以前的尝试发展在线蒙特卡罗方法LDA几乎没有成功,往往有更糟糕的困惑比他们的批处理同行。我们提出了一个流吉布斯采样(SGS)的方法,一个在线扩展的崩溃吉布斯采样(CGS)。我们的实证研究表明,SGS可以达到与CGS相似的困惑,远远优于SVB。我们的分布式SGS版本DSGS比SVB更具可伸缩性,主要是因为更新的通信复杂性很小。
2016-01-06 cs.LG stat.ML
Approximate blocked Gibbs sampling for Bayesian neural networks
The University of Manchester(曼彻斯特大学)
本文提出近似分块 Gibbs 采样以提升前馈神经网络小批量 MCMC 的可行性,通过参数分组与深层降方差缓解深度增加导致的接受率消失,从而支持更长链运行并改善分类准确率与不确定性量化。
2023-07-24 cs.LG stat.CO stat.ME
Linear Complexity Gibbs Sampling for Generalized Labeled Multi-Bernoulli Filtering
针对GLMB滤波中NP难的计算瓶颈,提出线性复杂度温和吉布斯采样框架,将复杂度从O(TP²M)降至O(T(P+M+logT)+PM),并验证收敛性与性能。
2023-12-28 eess.SP stat.CO stat.ML
Likelihood-free approximate Gibbs sampling
似然自由方法,如近似贝叶斯计算(ABC)已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好,但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器,自然地绕过了维数问题,专注于低维条件分布。这些分布是由灵活的回归模型估计,无论是在采样器运行之前,或自适应采样器的实施过程中。因此,与基于Metropolis-Hastings的方法相比,我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能,并使用包含13,140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析,这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
Non-Uniform Random Scans in Gibbs Sampling and CAVI
该研究将吉布斯采样和CAVI的收敛速率分析从均匀块选择扩展到任意固定正选择概率,提出适配选择的凸性常数,为异构块几何的扫描适配提供了原则性方法。
2026-09-02 stat.CO
The Gibbs Sampler with Particle Efficient Importance Sampling for State-Space Models
我们认为粒子吉布斯(PG)的贝叶斯分析的非线性非高斯状态空间模型的工具。PG是标准吉布斯过程的蒙特卡罗(MC)近似,其在吉布斯过程内部使用顺序MC(SMC)重要性抽样来更新潜在的和潜在的高维状态轨迹。我们建议结合PG与一个通用的和易于实现的SMC方法称为粒子有效的重要性抽样(PEIS)。通过使用SMC重要性抽样密度,其近似地完全全局地适应于状态的目标密度,PEIS可以相对于现有PG实现从状态和参数的后验实质上改善PG抽取的混合和效率。PEIS实现的效率增益说明PG应用程序的一个单变量随机波动模型的资产收益,非高斯非线性局部水平模型的利率,和一个多变量随机波动模型的实现协方差阵的资产收益。
2018-04-17 stat.CO stat.ME
On skew-symmetric distributions and their use in Monte Carlo sampling algorithms: coordinate-free, Gibbs-style and manifold versions of the Barker proposal
University of Oxford(牛津大学);University College London(伦敦大学学院);MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究理事会生物统计学单元)
本文回顾了基于偏斜对称分布的Barker提议,并提出三种扩展:坐标无关、Gibbs风格和简化流形版本,实验表明Gibbs风格提升相关目标采样效率,流形版本在几何不规则时优于MALA。
2026-10-02 stat.CO stat.ME stat.ML
Sequential Gibbs Sampling Algorithm for Cognitive Diagnosis Models with Many Attributes
认知诊断模型(CDMs)是一种有用的统计工具,可以为干预和学习提供丰富的信息。马尔可夫链蒙特卡罗(MCMC)算法作为一种常用的CDM估计和推理方法,在实际中得到了广泛的应用。然而,当属性个数$K$较大时,现有MCMC算法可能会变得耗时,因为MCMC抽样过程中通常需要进行$O(2^K)$计算以获得每个属性剖面的条件分布。为了克服这一计算问题,受Culpepper和Hudson(2018)的启发,我们提出了一种计算效率高的顺序吉布斯抽样方法,该方法需要$O(K)$计算来对每个属性配置文件进行采样。我们使用模拟和实际数据的例子来显示所提出的顺序吉布斯抽样的有限样本性能,其优势,现有的方法。
2021-02-13 stat.CO stat.ME
GPU-accelerated Gibbs sampling: a case study of the Horseshoe Probit model
吉布斯抽样是一种广泛使用的马尔可夫链蒙特卡罗(MCMC)方法,用于贝叶斯统计和其他数学科学中的数值近似积分。MCMC方法的许多实现不容易扩展到并行计算环境,因为它们固有的顺序性质会导致很大的同步成本。在本文所示的案例研究中,我们展示了如何做吉布斯抽样在一个完全的数据并行的方式在图形处理单元上,一个大类的可交换模型,承认潜在的变量表示。我们的方法需要一个系统的角度来看,重点放在有效地利用计算硬件。我们在马蹄概率回归模型上演示了我们的方法,并发现我们的实现可以同时有效地扩展到数千个预测因子和数百万个数据点。
2018-03-21 cs.DC stat.CO
Between-Domain Instance Transition Via the Process of Gibbs Sampling in RBM
K.N.Toosi University of Technology(K.N.图西理工大学)
本文提出了一种基于Gibbs抽样的迁移学习新思想。吉布斯采样是一种算法,其中实例可能以相对于概率分布的更高可能性转移到新状态。我们发现,这样的算法可以用来转移域之间的实例。受限玻尔兹曼机(RBM)是一种基于能量的模型,它非常适合训练来表示数据分布,也适合执行吉布斯采样。我们使用RBM来捕获源域的数据分布,并使用它将目标实例转换为具有与源数据分布类似的分布的新数据。使用通常用于评估TL方法的数据集,我们表明,我们的方法可以成功地提高目标分类的相当大的比例。此外,该方法的优点是,它不需要目标数据在模型的训练过程中,通常的DA方法。
2020-06-25 cs.LG stat.ML
Moment Matching Denoising Gibbs Sampling
Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
针对去噪分数匹配训练的能量模型存在不一致性,提出矩匹配的(伪)吉布斯采样框架,从带噪声模型中有效采样底层干净模型,并扩展到高维数据。
2024-03-19 cs.LG stat.ML
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型(LGM)的马尔可夫链蒙特卡罗(MCMC)方法。采样方案是两块吉布斯抽样方案,旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成,而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中,后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理,通过设计,LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外,当潜在模型的维数增加时,它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
Deterministic Gibbs Sampling via Ordinary Differential Equations
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司高通人工智能研究院)
确定性动态是许多MCMC算法的重要组成部分,例如混合蒙特卡罗或利用归一化流的采样器。本文利用微分几何中的自治常微分方程和工具,给出了确定性测度保持动力学的一般构造。我们将展示如何混合蒙特卡罗和其他确定性采样遵循我们的理论的特殊情况。然后,我们证明了我们的方法的效用,通过构建一个连续的非顺序版本的吉布斯抽样的ODE流和扩展到离散状态空间。我们发现,我们的确定性采样器是更有效的样本比随机同行,即使后者产生独立的样本。
2021-06-18 cs.LG stat.CO
Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling
Technicolor(特艺集团);INRIA(法国国家信息与自动化研究所)
我们研究大规模潜变量模型中的参数推断。我们首先提出了一个统一的治疗在线推理的潜变量模型从一个非典型的指数家庭,并绘制明确的链接之前提出的几个频率或贝叶斯方法。然后,我们提出了一种新的推理方法的频率估计的参数,适应MCMC方法在线推理的潜变量模型与适当使用的本地吉布斯抽样。然后,对于潜在的Dirich-let分配,我们提供了一组广泛的实验和与现有工作的比较,我们的新方法优于所有以前提出的方法。特别是,使用吉布斯抽样潜变量推理优于变分推理的测试对数似然。此外,贝叶斯推理通过变分方法执行差,有时会导致更高维度的潜在变量更差的拟合。
2018-01-31 cs.LG stat.ML
Gibbs Sampling in Factorized Continuous-Time Markov Processes
在许多应用程序中,一个中心任务是推理在连续时间内变化的过程。连续时间贝叶斯网络是一种通用的多组分连续时间过程的紧凑表示语言。然而,在这样的过程中,精确的推断是指数的组件的数量,因此对于大多数感兴趣的模型是不可行的。在这里,我们开发了一种新的吉布斯抽样程序的多组分过程。该过程迭代地对给定其余分量的分量之一的轨迹进行采样。我们将展示如何执行精确的采样,适应采样过程的自然时间尺度。此外,我们表明,这种采样过程自然地利用网络的结构,以减少每一步的计算成本。这一过程是第一个可以提供渐近无偏近似在这样的过程。
2012-06-13 cs.AI stat.CO
Jensen-Bregman split Gibbs sampling
Univ. de Toulouse, IRIT/INP-ENSEEIHT(图卢兹大学,IRIT/INP-ENSEEIHT);LITIS, Université Rouen Normandie(LITIS,鲁昂诺曼底大学);Université Paris-Saclay, CEA, List(巴黎萨克雷大学,CEA,List)
该研究针对现有分裂吉布斯采样(SGS)仅适用于二次变量耦合的局限,提出基于Jensen-Bregman散度的耦合核,将SGS推广至非欧几里得几何,实现后验采样并统一多种临时采样方案。
2026-10-14 eess.IV stat.CO stat.ME
Digesting Gibbs Sampling Using R
本文面向希望在研究中使用 MCMC(尤其是 Gibbs 采样)的用户,提供基于 R 的实践框架,并说明读者所需的微积分与统计学预备知识。
2025-06-08 stat.CO
Comment: Lancaster Probabilities and Gibbs Sampling
评"兰开斯特概率与吉布斯抽样"[arXiv:0808.3852]
2008-08-28 stat.ME
Particle MCMC with Poisson Resampling: Parallelization and Continuous Time Models
我们引入了一种新的粒子滤波器,其中粒子在给定时间的“孩子”的数量具有泊松分布。因此,粒子的数量是随机的,并随时间而变化。这个方案的一个优点是不同粒子的后代可以独立进化。它使并行计算变得容易。此外,具有泊松响应的粒子滤波器很容易适用于隐过程是连续时间、分段确定性半马尔可夫过程的情况。我们表明,粒子MCMC的基本技术,即粒子独立的大都会黑斯廷斯,粒子吉布斯采样器和它的版本与祖先采样,我们的泊松响应计划下工作。我们的版本的粒子吉布斯采样器是一致遍历的相同的假设下,其标准对应。我们目前的仿真结果表明,我们的算法可以与现有的方法。
2019-08-02 stat.CO
Probabilistic Duality for Parallel Gibbs Sampling without Graph Coloring
MPI Tübingen(图宾根马普所);Microsoft Research(微软研究院)
本文提出了混合分布随机变量概率对偶的一个新概念。使用这个概念,我们展示了如何实现一个高度并行化的吉布斯采样器弱耦合离散成对图形模型,严格的积极因素,几乎不需要预处理,很容易实现。此外,我们展示了我们的方法如何与阻塞相结合,以提高混合。即使我们的方法导致劣质的混合时间相比,一个顺序的吉布斯采样器,我们认为,我们的方法仍然是非常有用的大型动态网络,在连续的基础上添加和删除的因素,因为它是很难保持一个图着色在这种设置。同样,我们的方法是有用的并行吉布斯采样的图形模型,不允许图着色与少量的颜色,如密集连接的图形。
2016-11-21 cs.LG math.PR stat.ML
A Generalized Labeled Multi-Bernoulli Filter Implementation using Gibbs Sampling
Curtin University(科廷大学)
本文提出了一种有效的实现广义标记多伯努利(GLMB)滤波器相结合的预测和更新到一个单一的步骤。与在预测和更新步骤中涉及单独截断的原始方法相比,所提出的实现对于每次迭代仅需要一个单一截断,这可以使用标准排名的最优分配算法来执行。此外,我们提出了一种新的截断技术的基础上马尔可夫链蒙特卡罗方法,如吉布斯抽样,这大大降低了滤波器的复杂性。所提出的方法的优越性能证明通过广泛的数值研究。
2015-07-03 cs.LG stat.CO
On optimal direction gibbs sampling
Centro de Investigación en Matemáticas (CIMAT)(数学研究中心);University of Otago(奥塔哥大学)
研究在方向性随机扫描吉布斯采样器中如何通过最小化截断正态目标函数的互信息来选择最优方向,并推广到多元正态局部近似情况。
2012-05-18 cs.NA math.NA stat.CO
Exact Gibbs sampling for stochastic differential equations with gradient drift and constant diffusion
Purdue University(普渡大学)
本文提出了一种适用于广泛SDE类别的精确吉布斯采样方法,无需离散化误差,通过变换扩展到更广泛的多元SDEs,并在合成和真实数据上展示了优于粒子MCMC的性能。
2026-01-31 stat.CO
Conditional particle filters with bridge backward sampling
针对弱信息观测和慢混合动态下条件粒子滤波器性能下降、易退化的问题,提出两种适配的条件重采样策略及带桥接反向采样的推广CPF,实验验证其能显著提升该场景下的采样效率。
2023-06-19 stat.CO stat.ME
Minimum Message Length Clustering Using Gibbs Sampling
Monash University(莫纳什大学);Allstate Research and Planning Center(好事达研究与规划中心)
K-Mean和EM算法由于其简单和易于实现而在聚类和混合建模中很受欢迎。然而,它们有几个重要的局限性。这两个覆盖到其各自的目标函数的局部最优值(忽略模型空间中的不确定性),需要类/clsuters的数量的先验规范,并且是不一致的。在这项工作中,我们克服了这些限制,使用最小消息长度(MML)的原则和变化的K-均值/EM观测分配和参数计算方案。我们保持这些方法的简单性,同时构建贝叶斯混合建模工具,使用马尔可夫链蒙特卡罗(MCMC)采样器称为吉布斯采样器的采样/搜索模型空间。吉布斯抽样允许我们根据后验概率访问每个模型。因此,如果模型空间是多模态的,我们将访问所有模型,而不会陷入局部最优。我们称我们的方法为多链平衡(MCE)MML采样。
2013-01-16 cs.LG stat.ML
Comment: Gibbs Sampling, Exponential Families, and Orthogonal Polynomials
关于"吉布斯抽样、指数族和正交多项式“的评论[arXiv:0808.3852]
2008-08-28 stat.ME
Dense Distributions from Sparse Samples: Improved Gibbs Sampling Parameter Estimators for LDA
我们介绍了一种新的方法来估计潜在的Dirichlet分配(LDA)参数从塌陷的吉布斯样本(CGS),充分利用条件分布的潜在变量的分配,有效地平均多个样本,比绘制一个单一的额外的塌陷吉布斯样本的计算成本。我们的方法可以理解为适应软聚类方法的折叠变分贝叶斯(CVB0)CGS参数估计,以获得最好的两种技术。我们的估计器可以直接应用于任何现有的CGS实现的输出,包括现代的加速变体。我们进行了广泛的经验比较,我们的估计与标准的折叠推理算法对现实世界的数据无监督LDA和先验LDA,监督的变种LDA多标签分类。我们的研究结果表明,我们的方法在所有实验条件下都优于传统的CGS,并且在大多数条件下都优于CVB 0推理。更广泛地说,我们的研究结果突出了LDA参数估计中多个样本的平均值的重要性,以及使用有效的计算技术来做到这一点。
2017-04-11 stat.ML
Comment: Gibbs Sampling, Exponential Families and Orthogonal Polynomials
评"吉布斯抽样、指数族和正交多项式“[arXiv:0808.3852]
2008-08-28 stat.ME
Multi-Object Posterior Computation via Gibbs Sampling
Curtin University(科廷大学)
本文提出一种基于通用测量似然函数的多目标后验计算方法,利用Gibbs采样生成样本,通过建立条件分布为伯努利随机有限集,实现高效采样和收敛保证,展示了在低信噪比场景下的鲁棒性。
2026-04-14 stat.CO
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven(计算机科学系,鲁汶大学);Department of Electrical Engineering, ESAT - STADIUS, KU Leuven(电气工程系,ESAT - STADIUS,鲁汶大学)
贝叶斯回归仍然是一个简单而有效的工具,基于贝叶斯推断技术。对于大规模的应用,复杂的后验分布,马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题,提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外,使用相关样本的方差减少,以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试,几乎所有数据集都实现了加速,而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
Modifying Gibbs sampling to avoid self transitions
本文回顾并提出了多种修改Gibbs采样的可逆与不可逆方法以减少自转移并降低渐近方差,在多个模型模拟中验证了性能,发现顺序更新的不可逆性有益但单个不可逆更新无一致优势。
2024-03-26 physics.comp-ph stat.CO
Learning to Replace MCMC in Split-Gibbs Diffusion Posterior Sampling via Deep Unfolding
Weizmann Institute of Science(魏茨曼科学研究所);Northeastern University(东北大学)
提出用深度展开网络替换分裂吉布斯采样中的MCMC步骤,通过ODE扩散实现高斯去噪更新,在非线性相位恢复中实现更低成本的扩散后验采样。
2026-09-28 cs.LG eess.SP stat.ML
Scan Order in Gibbs Sampling: Models in Which it Matters and Bounds on How Much
Stanford University(斯坦福大学)
吉布斯抽样是一种马尔可夫链蒙特卡罗抽样技术,它迭代地从条件分布中对变量进行抽样。变量有两种常见的扫描顺序:随机扫描和系统扫描。由于硬件中局部性的好处,通常使用系统扫描,即使大多数统计保证仅用于随机扫描。虽然它已被证实,随机扫描和系统扫描的混合时间不超过一个对数因子的差异,我们通过反例表明,情况并非如此,我们证明,混合时间不超过一个多项式因子在温和的条件下。为了证明这些相对的界限,我们引入了一种方法,增加状态空间来研究系统扫描电导。
2016-06-10 cs.AI cs.LG stat.ML
Gibbs Sampling the Posterior of Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出一种在神经网络每层激活前后添加噪声的新概率模型,利用高效吉布斯采样器从后验采样,并在教师-学生框架下引入热化准则以检测采样失败,小模型上性能媲美HMC和MALA。
2024-01-11 cs.LG stat.ML
Improving Gibbs Sampler Scan Quality with DoGS
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
Dobrushin的成对影响矩阵长期以来一直被用作限制吉布斯抽样收敛速度的分析工具。在这项工作中,我们使用Dobrushin影响的基础上,一个实用的工具,以证明和有效地提高离散吉布斯采样器的质量。我们的Dobrushin优化吉布斯采样器(DoGS)为给定的采样预算和感兴趣的变量子集提供定制的变量选择顺序,全变差距离到平稳性的明确界限,以及标准系统和均匀随机扫描吉布斯采样器的可证明的改进。在我们的联合图像分割和对象识别,马尔可夫链蒙特卡罗极大似然估计,和伊辛模型推理的实验中,DoGS始终提供更高质量的推理与显着更小的采样预算比标准吉布斯采样器。
2017-07-18 cs.LG math.PR stat.ME
Is Gibbs sampling faster than Hamiltonian Monte Carlo on GLMs?
本文通过利用计算图结构将GLMs的Gibbs采样时间复杂度从O(d²)降至O(d),证明其在维度扩展上优于HMC,同时指出HMC在条件数扩展方面仍有优势,两者互不占优。
2025-03-12 stat.CO stat.ME
Regularization by denoising: Bayesian model and Langevin-within-split Gibbs sampling
Institut Denis Poisson, University of Orléans(德尼·泊松研究所,奥尔良大学);University of Toulouse, IRIT/INP-ENSEEIHT, CNRS(图卢兹大学,法国国家信息与自动化研究所/国立高等电子、电子技术、计算机与机械学院,法国国家科学研究中心)
本文提出一种基于去噪正则化(RED)的图像反演贝叶斯框架,并设计了内含Langevin Monte Carlo步骤的分裂Gibbs采样算法,通过去模糊等任务验证了其有效性。
2024-02-19 cs.CV cs.LG stat.ML
Poisson Multi-Bernoulli Mapping Using Gibbs Sampling
Chalmers University of Technology(查尔姆斯理工大学);Autoliv Sverige AB(奥托立夫瑞典公司);University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学)
本文讨论了映射问题。使用共轭先验形式,我们推导出精确的理论批次多目标后验密度的地图给定一组测量。地图中的地标被建模为扩展对象,测量值被描述为泊松过程,以地图为条件。我们在地图上使用泊松过程先验,并证明了后验分布是一个混合泊松,多伯努利混合分布。我们设计了一个吉布斯抽样算法从批量多目标后验中进行抽样。所提出的方法可以处理数据关联和地标集的基数中的不确定性,并且是可并行的,使其适合于大规模问题。所提出的方法的性能进行评估的合成数据,并表现出优于一个国家的最先进的方法。
2018-11-07 cs.LG stat.ML
An estimation of distribution algorithm with adaptive Gibbs sampling for unconstrained global optimization
本文提出了一种新的启发式方法,属于进化分布估计算法(EDAs)领域。EDAs建立概率模型,并从模型中采样一组解决方案,该模型表征了这些解决方案的分布。所提出的方法的主要框架是一个估计的分布算法,其中一个自适应吉布斯采样是用来产生新的有前途的解决方案,并结合本地搜索策略,它提高了在每次迭代中产生的个别解决方案。本文提出的自适应Gibbs抽样分布估计算法称为AGEDA。我们实验评估和比较该算法对两个确定性的程序和几个随机方法在三个著名的无约束全局优化测试问题。经验表明,我们的启发式算法是强大的问题,涉及三个主要决定全局优化问题的难度,即高维,多模态和非光滑的核心方面。
2013-05-29 cs.NE math.OC stat.ML
A Scalable Blocked Gibbs Sampling Algorithm For Gaussian And Poisson Regression Models
马尔可夫链蒙特卡罗(MCMC)方法是贝叶斯统计建模中的一种流行技术。它们长期以来一直被用于从后验分布中获取样本,但最近的研究集中在这些技术对大型问题的可扩展性上。我们不开发新的采样方法,而是描述了一个阻塞吉布斯采样器,这是足够的可扩展性,以适应许多有趣的问题。我们所描述的采样器适用于广义线性混合效应模型(GLMM)的一个受限子集;这个子集包括泊松和高斯回归模型。分块吉布斯抽样步骤联合更新先验方差参数及其下的所有随机效应。我们还讨论了灵活的先验分布等扩展。
2016-01-30 stat.ME
Accelerated Markov Chain Monte Carlo Using Adaptive Weighting Scheme
School of Computer Science and Technology, North University of China(中北大学计算机科学与技术学院);School of Semiconductor and Physics, North University of China(中北大学半导体与物理学院)
本文提出一种非均匀随机扫描的Gibbs sampling方法,通过构造并求解关于选择概率的约束优化问题,根据潜变量的边缘概率自适应分配更新权重,从而加速Markov chain的混合时间,并在真实数据实验中验证了其有效性。
2024-08-23 cs.LG stat.ML
Convergence rate and concentration inequalities for Gibbs sampling in high dimension
本文的目的是研究吉布斯抽样计算的平均观察在非常高的维度-一个强大的马尔可夫链蒙特卡罗方法。在Dobrushin的唯一性条件下,我们建立了指数收敛速度的精确估计,并证明了经验均值的高斯浓度不等式。
2014-10-16 math.ST stat.TH