Is Gibbs sampling faster than Hamiltonian Monte Carlo on GLMs?
本文通过利用计算图结构将GLMs的Gibbs采样时间复杂度从O(d²)降至O(d)，证明其在维度扩展上优于HMC，同时指出HMC在条件数扩展方面仍有优势，两者互不占优。
2025-03-12 stat.CO stat.ME
Adaptive Gibbs samplers and related MCMC methods
我们考虑各种版本的自适应Gibbs和Metropolis-within-Gibbs采样器，它们在运行过程中通过学习动态更新它们的选择概率（也许还有它们的建议分布），以试图优化算法。我们提出了一个警示的例子，即使是一个简单的自适应吉布斯采样器可能无法收敛。然后，我们提出了各种积极的结果，保证在一定条件下的自适应吉布斯采样收敛。
2013-02-27 math.PR stat.CO
Improving Gibbs Sampler Scan Quality with DoGS
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
Dobrushin的成对影响矩阵长期以来一直被用作限制吉布斯抽样收敛速度的分析工具。在这项工作中，我们使用Dobrushin影响的基础上，一个实用的工具，以证明和有效地提高离散吉布斯采样器的质量。我们的Dobrushin优化吉布斯采样器（DoGS）为给定的采样预算和感兴趣的变量子集提供定制的变量选择顺序，全变差距离到平稳性的明确界限，以及标准系统和均匀随机扫描吉布斯采样器的可证明的改进。在我们的联合图像分割和对象识别，马尔可夫链蒙特卡罗极大似然估计，和伊辛模型推理的实验中，DoGS始终提供更高质量的推理与显着更小的采样预算比标准吉布斯采样器。
2017-07-18 cs.LG math.PR stat.ME
A Gibbs sampler on the $n$-simplex
我们确定一个简单的吉布斯采样器的混合时间的单位单纯形，证实了一个猜想奥尔德斯。上界是基于两步耦合，其中第一步是一个简单的收缩参数和第二步是一个非马尔可夫耦合。我们还提出了一个基于MCMC的完美采样算法的基础上，我们的证明，可以适用于吉布斯采样器，更难分析。
2014-01-15 math.PR stat.CO
Spatiotemporal blocking of the bouncy particle sampler for efficient inference in state space models
我们提出了一种新的连续时间弹性粒子采样器的阻塞版本[Bouchard-Bounte et al.，[2018]它适用于任何可微的概率密度。该替代实现方式由用于状态空间模型的分块吉布斯抽样激发[Singh等人，2017]，并导致在每秒有效样本量方面的显著改进，此外，允许所得算法的显著并行化。新的算法是特别有效的高维状态空间模型，在空间和时间的阻塞是必要的，以避免退化的MCMC的潜在状态推断。与弹性粒子采样器的标准实现和Andrieu等人[2010]的粒子Gibbs算法相比，我们的阻塞弹性粒子采样器的效率在模拟数据和具有挑战性的真实世界金融数据集的数值上都得到了说明。
2021-07-09 stat.CO stat.ME
Split-and-augmented Gibbs sampler - Application to large-scale inference problems
本文从变量分裂和数据增广两个方面出发，推导了两种新的优化驱动的蒙特卡罗算法。特别是，所提出的方法之一的制定是密切相关的交替方向乘法器（ADMM）的主要步骤。所提出的框架能够得到更快，更有效的采样方案比目前最先进的方法，并可以嵌入后者。通过对待推断的参数以及问题的超参数进行有效采样，生成的样本可以用于近似待推断的参数的贝叶斯估计。此外，所提出的方法带来了置信区间在一个低成本的优化方法相反。两个经常研究的信号处理问题的仿真说明了这两个采样器的性能。所有的结果进行比较，通过最近的国家的最先进的优化和MCMC算法来解决这些问题。
2018-10-10 eess.SP stat.CO stat.ME
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型（LGM）的马尔可夫链蒙特卡罗（MCMC）方法。采样方案是两块吉布斯抽样方案，旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成，而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中，后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理，通过设计，LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外，当潜在模型的维数增加时，它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
Likelihood-free approximate Gibbs sampling
似然自由方法，如近似贝叶斯计算（ABC）已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好，但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器，自然地绕过了维数问题，专注于低维条件分布。这些分布是由灵活的回归模型估计，无论是在采样器运行之前，或自适应采样器的实施过程中。因此，与基于Metropolis-Hastings的方法相比，我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能，并使用包含13，140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析，这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
Interdependent Gibbs Samplers
Technion（以色列理工学院）
吉布斯抽样作为一种模型学习方法，被认为是在各种领域中产生最准确的结果，并且是这些领域中事实上的标准。然而，众所周知，吉布斯随机游动通常具有瓶颈，有时称为“局部最大值”，因此采样器经常返回次优解。在本文中，我们介绍了吉布斯采样器的变化，产生高似然解决方案显着更经常比常规吉布斯采样器。具体来说，我们表明，结合多个采样器，与一定的依赖（耦合）之间，结果在更高的似然解决方案。这一步的知名问题的可识别性，这一直是障碍，结合采样器在以前的工作。我们评估的方法上的潜在狄利克雷分配模型，并在HMM的，精确计算的可能性和比较的标准期望最大化算法是可能的。
2018-04-19 cs.LG stat.ML
Efficient and Fast Sampling from Arbitrary Probability Kernels using Sliced Gibbs Sampler
North Carolina State University（北卡罗来纳州立大学）
本文提出自动切片吉布斯框架，实现对任意有限维概率核的自动马尔可夫链蒙特卡洛采样，无需用户指定截断界、提议尺度、步长调优或条件优化，适用于非标准化、非光滑、重尾和高多模态密度。
2026-10-06 stat.ME
Entropy contraction of the Gibbs sampler under log-concavity
Duke University（杜克大学）；Bocconi University（博科尼大学）
本文研究了在强log-concave条件下吉布斯采样的熵收缩特性，证明了其收敛速率与条件数线性相关，并探讨了非强log-concave情况下的收敛退化及扩展应用。
2026-01-20 math.PR math.ST stat.CO
Mixing Time Bounds for the Gibbs Sampler under Isoperimetry
Imperial College London（伦敦帝国理工学院）；Qube Research & Technologies（Qube研究与科技公司）
本文基于等周性条件，推导了系统扫描和随机扫描基尔丁采样器的导电性界，扩展了对基尔丁采样收敛行为的理解，并展示了结果对log-Lipschitz和log-smooth目标分布的有效性。
2026-04-27 math.PR math.ST stat.TH
Simulating Markov random fields with a conclique-based Gibbs sampler
对于空间和网络数据，我们考虑由马尔可夫随机场（MRF）结构和每个观测的条件分布的规范形成的模型。从这样的MRF模型的快速模拟通常是一个重要的考虑因素，特别是当需要重复生成大量的数据集。然而，用于从MRF模型模拟的标准吉布斯策略涉及单站点更新，以顺序方式使用每个观测的条件单变量分布执行，由此即使对于中等样本，完整的吉布斯迭代也可能在计算上涉及。作为替代方案，我们描述了一种使用具有“concliques”的吉布斯抽样（即，非相邻观测的组）。与标准的吉布斯抽样相比，该模拟方案可以通过减少吉布斯步骤和独立地更新每个conclique的所有观测一次快得多。速度的提高取决于相对于用于模拟的样本量的浓缩物的数量，并且对于许多MRF模型（例如，具有适当有界的邻域）。我们详细的模拟方法，建立其有效性，并评估其计算性能，通过数值研究，速度优势，几个空间和网络的例子。
2019-09-10 stat.CO
Convergence Rates of Two-Component MCMC Samplers
包括Gibbs和条件Metropolis-Hastings采样器在内的连续MCMC算法通常用于从多变量概率分布中采样。关于吉布斯算法的一个长期存在的问题是确定性扫描（系统扫描）采样器是否比随机扫描采样器收敛得更快。我们回答这个问题时，采样器涉及两个组件通过建立一个精确的定量关系$L^2$的两个采样器的收敛速度。该关系表明，确定性扫描采样器收敛得更快。我们还建立了定性的关系之间的收敛速度的两个组件的吉布斯采样器和一些条件Metropolis-Hastings变体。例如，它示出，如果一些两个组件的条件Metropolis-Hastings采样器是几何遍历的，那么相关联的吉布斯采样器。
2021-05-09 math.ST stat.TH
Weak Poincaré inequalities for two-component Deterministic-scan Metropolis-within-Gibbs samplers
University of Warwick（华威大学）
本文通过弱Poincaré不等式分析了确定性扫描Metropolis-within-Gibbs采样器的收敛性质，并建立了相关理论结果及应用。
2026-10-06 math.PR stat.CO
Gibbs sampler and coordinate ascent variational inference: a set-theoretical review
贝叶斯统计中的一个基本问题是后验分布的近似。吉布斯抽样和坐标上升变分推理是著名的利用近似技术，依赖于随机和确定性近似。在本文中，我们定义了贝叶斯推理中经常使用的基本密度集。我们将从集合论的观点来澄清这两种方案。这种新的方法提供了一个替代机制，分析这两个方案赋予教学的见解。
2021-05-02 math.ST stat.TH
Particle-Gibbs Sampling For Bayesian Feature Allocation Models
University of British Columbia（英属哥伦比亚大学）；BC Cancer Agency（不列颠哥伦比亚癌症机构）
贝叶斯特征分配模型是一种流行的工具，用于对具有组合潜在结构的数据进行建模。这些模型中的精确推断通常是棘手的，因此从业者通常应用马尔可夫链蒙特卡罗（MCMC）方法进行后验推断。最广泛使用的MCMC策略依赖于特征分配矩阵的元素明智吉布斯更新。这些逐元素更新可能是低效的，因为特征通常是强相关的。为了克服这个问题，我们开发了一个吉布斯采样器，可以更新一整行的功能分配矩阵在一个单一的移动。然而，这种采样器是不切实际的模型与大量的功能，计算复杂性的规模指数的特征数量。我们开发了一个粒子吉布斯采样器，其目标是与行吉布斯更新相同的分布，但计算复杂度仅在特征数量上线性增长。我们比较了我们提出的方法的性能标准吉布斯采样器使用合成数据从一系列的特征分配模型。我们的研究结果表明，行明智的更新使用PG方法可以显着提高性能的特征分配模型的采样器。
2020-01-25 cs.LG stat.CO stat.ML
Amortized Population Gibbs Samplers with Neural Sufficient Statistics
Northeastern University（东北大学）；Massachusetts Institute of Technology（麻省理工学院）
我们开发摊销人口吉布斯（APG）采样器，一类可扩展的方法，框架结构变分推断自适应重要性抽样。APG采样器通过迭代更新低维变量块来构造高维建议。我们通过最小化关于条件后验的包容性库尔贝克-莱布勒散度来训练每个条件建议。为了适当地考虑输入数据的大小，我们开发了一个新的参数化神经充分统计量。实验表明，APG采样器可以以无监督的方式训练高度结构化的深度生成模型，并且相对于标准的自动编码变分方法，在推理精度上实现了实质性的提高。
2020-07-09 cs.LG stat.ML
Gibbs sampling for Bayesian P-splines
P-样条提供了一个灵活的设置建模非线性模型组件的基础上，一个相对简单的计算骨干离散化的惩罚结构。在基于马尔可夫链蒙特卡罗的贝叶斯推理框架下，P样条模型中模型系数的估计通常采用Metropolis型算法.这些算法依赖于必须仔细选择的建议分布，以生成有效地探索参数空间的马尔可夫链。为了避免这样一个敏感的调整选择，我们扩展吉布斯采样贝叶斯P-样条模型。在这类模型中，模型系数的条件后验分布具有吸引人的数学性质。利用这些属性，我们建议交替的自适应拒绝采样器的目标是对数凹和网格吉布斯采样器的目标时，其特征在于由更复杂的形状之间的条件后验。所提出的吉布斯采样贝叶斯P样条（GSBPS）算法被证明是一个有趣的调谐免费工具的贝叶斯P样条模型的推断。此外，GSBPS算法可以转换成一个紧凑和用户友好的例程。在描述了理论结果之后，我们说明了我们的方法在密度估计、二项回归和平滑流行曲线方面的潜力。
2025-10-31 stat.ME
The Recycling Gibbs Sampler for Efficient Learning
Télécom ParisTech, Université Paris-Saclay（巴黎高科电信学院，巴黎-萨克雷大学）；Image Processing Laboratory (IPL), Universitat de Valencia（图像处理实验室，瓦伦西亚大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
蒙特卡罗方法是贝叶斯推断的重要工具。吉布斯抽样是一种众所周知的马尔可夫链蒙特卡罗（MCMC）算法，广泛用于信号处理、机器学习和统计学，用于从复杂的高维后验分布中抽取样本。吉布斯抽样器成功应用的关键是能够从全条件概率密度函数中有效地抽取样本。由于在一般情况下这是不可能的，为了加速链的收敛，需要生成辅助样本，其信息最终被忽略。在这项工作中，我们证明了这些辅助样本可以在Gibbs估计器中回收，从而提高效率，而无需额外成本。在指出标准吉布斯采样器和用于采样目的的链式规则之间的关系之后，这种新颖的方案自然产生。涉及简单和真实推理问题的数值模拟证实了所提出的方案在精度和计算效率方面的优异性能。特别是，我们在一个玩具的例子，高斯过程超参数的推断，并通过回归学习依赖图的性能的经验证据。
2017-12-20 cs.LG stat.CO stat.ML
Particle Gibbs Sampling for Bayesian Phylogenetic inference
组合序贯蒙特卡罗（CSMC）方法是一种有效的补充标准马尔可夫链蒙特卡罗（MCMC）方法的贝叶斯系统发生树推断方法。将CSMC和MCMC结合在粒子Gibbs（PG）采样器的框架下，联合估计系统发育树和进化参数是一种很有吸引力的方法。然而，粒子吉布斯的马尔可夫链可能混合不良，如果底层SMC遭受路径退化问题。一些补救措施，包括粒子吉布斯与祖先采样和相互作用粒子MCMC，已被提出来改善PG。但他们要么不能适用于组合树空间或仍然效率低下。我们引入了一种新的CSMC方法，提出了一个更有效的建议分布。它也可以结合到粒子吉布斯采样器框架来推断演化模型中的参数。新算法可以很容易地通过分配样本在不同的计算核心并行化。我们通过数值实验验证了所开发的CSMC可以在各种粒子Gibbs采样器中更有效地对树进行采样。我们的实现可以在https://github.com/liangliangwangsfu/phyloPMCMC上获得
2020-08-11 stat.CO
Accelerated Gibbs sampling of normal distributions using matrix splittings and polynomials
应用于具有指定精度矩阵的多元正态分布的标准吉布斯抽样在基本方式上等价于精度矩阵中线性方程组的Gauss-Seidel迭代解。具体地说，迭代算子、收敛发生的条件和几何收敛因子（和速率）是相同的。这些结果适用于任意矩阵分裂从经典的迭代方法在数值线性代数提供方便地访问成熟的结果，在该领域，包括现有的收敛结果的对偶变量吉布斯抽样，REGS抽样，和推广。因此，有效的确定性平稳松弛计划导致有效的推广吉布斯抽样。可以应用多项式加速技术来加速等效的广义吉布斯采样器，该多项式加速技术显著提高了从\emph{symmetric}矩阵分裂导出的迭代求解器的收敛速率。误差多项式的恒等性保证了非齐次马尔可夫链的收敛性，而收敛因子的相等性保证了最优求解器导致最优采样器。数值例子，包括Chebyshev加速SSOR吉布斯采样器适用于一个程式化的演示低级别贝叶斯图像重建在一个大的3维线性逆问题。
2015-05-13 stat.CO
Gibbs sampling for mixtures in order of appearance: the ordered allocation sampler
吉布斯抽样方法是对混合模型进行后验推断的标准工具。这些方法大致分为两类：边际方法和条件方法。虽然条件采样器比边际采样器适用范围更广，但它们可能会在无限混合中混合缓慢，需要某种形式的截断，无论是确定性的还是随机的。在具有随机数组分的混合物中，探索不同维度的参数空间也可能是具有挑战性的。我们解决这些问题的混合物组分表示的随机顺序的外观在一个可交换的序列由混合分布。我们推导出一个采样器，这是简单的混合分布与易处理的大小偏置有序的权重，可以很容易地适应混合模型的边际采样器是不可用的。在无限混合物中，不需要任何形式的截断。对于具有随机维数的有限混合物，通过阻塞参数获得了组分数量的简单更新，从而缓解了通过Metropolis-Hastings步骤在跨维移动中发现的挑战。此外，采样发生在有序分区的空间中，其中块以最小元素顺序标记，这赋予采样器良好的混合特性。所提出的算法的性能进行了评估，在仿真研究。
2023-02-20 math.ST stat.ME stat.TH
Deterministic Gibbs Sampling via Ordinary Differential Equations
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司高通人工智能研究院）
确定性动态是许多MCMC算法的重要组成部分，例如混合蒙特卡罗或利用归一化流的采样器。本文利用微分几何中的自治常微分方程和工具，给出了确定性测度保持动力学的一般构造。我们将展示如何混合蒙特卡罗和其他确定性采样遵循我们的理论的特殊情况。然后，我们证明了我们的方法的效用，通过构建一个连续的非顺序版本的吉布斯抽样的ODE流和扩展到离散状态空间。我们发现，我们的确定性采样器是更有效的样本比随机同行，即使后者产生独立的样本。
2021-06-18 cs.LG stat.CO
A Scalable Blocked Gibbs Sampling Algorithm For Gaussian And Poisson Regression Models
马尔可夫链蒙特卡罗（MCMC）方法是贝叶斯统计建模中的一种流行技术。它们长期以来一直被用于从后验分布中获取样本，但最近的研究集中在这些技术对大型问题的可扩展性上。我们不开发新的采样方法，而是描述了一个阻塞吉布斯采样器，这是足够的可扩展性，以适应许多有趣的问题。我们所描述的采样器适用于广义线性混合效应模型（GLMM）的一个受限子集;这个子集包括泊松和高斯回归模型。分块吉布斯抽样步骤联合更新先验方差参数及其下的所有随机效应。我们还讨论了灵活的先验分布等扩展。
2016-01-30 stat.ME
Variational Bayes for Gaussian Factor Models under the Cumulative Shrinkage Process
累积收缩过程是一个不断增加的收缩先验，可以在模型中使用，其中附加项应该发挥逐渐可忽略的作用。一个自然的应用是高斯因子模型，在这种情况下，这样的过程已被证明是有效的，在诱导简约表示，同时提供准确的推断数据协方差阵。累积收缩过程带有自适应吉布斯采样器，该采样器在整个迭代过程中调整潜在因子的数量，这使得它比非自适应吉布斯采样器更快。在这项工作中，我们提出了一个变分算法的高斯因子模型赋予的累积收缩过程。这种策略提供了与自适应Gibbs采样器相当的推断，并进一步减少了运行时间
2020-08-12 stat.CO
Accelerating Metropolis-within-Gibbs sampler with localized computations of differential equations
反问题在科学和工程中普遍存在，贝叶斯方法常被用来推断其底层参数。对于高维时空模型，经典的马尔可夫链蒙特卡罗（MCMC）方法往往收敛速度慢，需要在参数块上应用吉布斯内都市（MwG）采样。然而，每个MwG迭代的计算成本通常是$O(n^2)$，其中$n$是模型维度。这在实践中可能过于昂贵。针对一类具有局部相互作用的随机微分方程初值反问题，提出了一种新的缩减计算量的方法，使计算量降低到$O(n)$.关键的观察结果是，每个MwG建议仅在一个参数块处与原始MwG不同，并且这种差异将仅在MwG计算中的局部域内传播。因此，我们可以近似的全球替代计算更新仅在本地域中，以减少计算成本。理论和数值计算表明，近似误差可以由局域尺寸控制。我们讨论了如何使用Euler-Maruyama和四阶Runge-Kutta方法实现局部计算方案。我们数值证明了所提出的方法与Lorenz 96模型和线性随机流模型的性能。
2020-02-18 stat.CO
Markov Interacting Importance Samplers
我们介绍了一种新的马尔可夫链蒙特卡罗（MCMC）采样器称为马尔可夫交互重要性采样器（MIIS）。MIIS采样器使用条件重要性抽样（IS）近似来联合采样马尔可夫链的当前状态并估计条件期望，可能通过结合全范围的方差减少技术。我们计算Rao-Blackwellized估计的基础上的条件期望构造控制变量估计的期望下的目标分布。当目标分布中的变量之间存在实质性相关性时，控制变量特别有效，这对MCMC来说是一个挑战性的设置。MIIS的一个重要的激励应用发生在精确的吉布斯采样器不可用时，因为直接从条件分布进行模拟是不可行的。在这种情况下，MIIS方法可能比Metropolis-within-Gibbs方法更有效。我们还介绍了MIIS随机游动算法，旨在加快收敛速度，提高标准随机游动采样器的计算效率。贝叶斯分析的模拟和实证说明表明，该方法显着降低了方差的蒙特卡罗估计相比，标准MCMC方法，在同等的实施和计算工作量。
2015-06-25 stat.CO
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯（PG）采样器是在马尔可夫链蒙特卡罗（MCMC）中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核，其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明，PG马尔可夫内核是一致遍历的相当一般的假设下，我们将仔细审查和讨论。特别是，我们提供了一个显式的收敛速率，它揭示了：（i）对于固定数量的数据点，可以通过增加粒子数量来使收敛速度任意好，以及（ii）在一般混合假设下，可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究，说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
Auxiliary MCMC and particle Gibbs samplers for parallelisable inference in latent dynamical systems
针对高维潜在动态模型采样难题，提出引入人工观测作为辅助变量的 MCMC 核，开发出高效精确的卡尔曼采样器与增强 Particle Gibbs 算法，支持 GPU 时间维度并行化，显著提升了高维推断性能。
2025-03-03 cs.DC stat.CO stat.ML
Efficient parameter sampling for Markov jump processes
马尔可夫跳变过程（MJPs）是连续时间随机过程，广泛应用于各种应用学科。MJP的推断通常通过马尔可夫链蒙特卡罗进行，最先进的是基于均匀化的辅助变量吉布斯采样器。这是为MJP参数已知的情况而设计的，并且通常通过将其合并到更大的吉布斯采样器中来执行对未知参数的贝叶斯推断。这种给定路径的采样参数和给定路径参数的策略会导致马尔可夫链混合效果不好。在这项工作中，我们提出了一个简单而优雅的算法来解决这个问题。我们的计划带来了大都市黑斯廷斯方法的离散时间隐马尔可夫模型的连续时间设置，从而在MJP参数和路径推理的完整和干净的配方。在我们的实验中，我们表现出优越的性能超过吉布斯抽样，以及另一种流行的方法，粒子MCMC。我们还表明，我们的采样器继承几何混合从一个“理想”的采样器，没有计算的限制。
2020-04-12 stat.CO
A Gibbs Sampling Alternative to Reversible Jump MCMC
本说明提供了一个简单而优雅的采样器，可用作可逆跳跃MCMC方法的替代方案。
2009-02-24 stat.CO
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington（华盛顿大学）
我们开发了一个框架，近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法，它在后验中整合变量以改善混合。不幸的是，对于许多复杂的模型，整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究，其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明，我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡，从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Efficient Gibbs Sampling for Markov Switching GARCH Models
我们开发了有效的模拟技术，贝叶斯推理切换Gestro模型。我们对现有文献的贡献是多方面的。首先，我们讨论了不同的多移动采样技术的马尔可夫切换（MS）状态空间模型，特别是注意MS-Gesthem模型。我们的多移动采样策略是基于前向滤波后向采样（FFBS）应用于近似的MS-Gestro。另一个重要的贡献是使用多点采样器，如多尝试Metropolis（MTM）和多尝试Metropolize独立采样器，结合FFBS用于MS-Gestro过程。在这个意义上，我们将So [2006]关于连续状态空间模型的有效MTM采样器的工作扩展到MS状态空间模型。最后，我们建议通过在FFBS中引入Craiu和Meng [2005]和Craiu和Lemieux [2007]的对偶抽样来进一步提高抽样效率。在MS-GBS模型上的仿真实验表明，与单移动Gibbs抽样相比，多点多移动抽样策略可以提高抽样效率。
2012-12-21 math.ST stat.TH
GIST: Gibbs self-tuning for locally adaptive Hamiltonian Monte Carlo
Rutgers University（罗格斯大学）；Flatiron Institute（平果研究所）；Stanford University（斯坦福大学）
本文提出了一种新的灵活框架，通过基于每一步的位置和动量进行Gibbs采样来构建局部自适应Hamilton-Monte Carlo（HMC）采样器。GIST方法能够适应路径长度的采样，涵盖了随机HMC、多项式HMC、无U-turn采样器（NUTS）和Apogee-to-Apogee路径采样器等特殊情况。
2025-06-24 math.ST stat.CO stat.ML
On Gibbs Sampling for Structured Bayesian Models Discussion of paper by Zanella and Roberts
本文讨论了Zanella和Roberts的论文：多层线性模型、吉布斯采样器和多重网格分解。我们考虑了几个扩展，其中多重网格分解会给我们带来有趣的见解，包括向量层次模型，线性混合效应模型和部分中心参数化。
2021-12-16 math.PR stat.CO
Second-order perturbation bounds for Gibbs samplers under strong spatial mixing
本研究在强空间混合条件下，通过三种方法证明了Gibbs采样器扰动分析中的“平方根”现象，即一步误差约为$1/\sqrt{\tau}$时局部更新仍有效，并展示了其在MCMC算法调参中的应用。
2026-10-26 math.PR stat.CO
Fast Gibbs Sampling on Bayesian Hidden Markov Model with Missing Observations
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出了一种在存在缺失观测时快速进行贝叶斯隐马尔可夫模型采样的方法，通过整合缺失观测和潜在状态，提高了计算效率和采样精度。
2026-01-04 cs.LG stat.ME stat.ML
Multivariate strong invariance principle and uncertainty assessment for time in-homogeneous cyclic MCMC samplers
该研究为时间非齐次循环MCMC采样器相关马尔可夫链建立了速率与时齐情形最优速率一致的多元强不变性原理，据此推导了多元批均值估计强相合性与固定体积序贯终止规则渐近有效的条件，并通过数值实验验证了相关不确定性评估工具。
2024-05-16 math.ST stat.CO stat.TH
Optimal scaling of the independence sampler: Theory and Practice
独立采样器是最常用的MCMC算法之一，通常作为Metropolis-within-Gibbs算法的一个组成部分。独立抽样者的共同焦点是选择建议分布以获得尽可能高的接受率。在本文中，我们有一个有点不同的重点集中在使用的独立采样器更新增强数据的贝叶斯框架中存在的独立采样器的自然建议分布。因此，我们集中在比例的增广数据更新，以优化独立采样器。通用的准则，优化独立采样器获得独立和相同分布的产品密度镜像的随机游动大都会算法的调查结果。通用的指导方针是翔实的理想化的产品密度在两个流行病的例子超出了狭窄的范围。
2016-10-03 stat.CO
Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models
主题模型，更具体地说是潜在狄利克雷分配（LDA）类，广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器，并比较其速度和效率，以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是，我们提出并比较了两种不同的策略，用于对具有潜在主题指标的参数块进行采样。实验表明，统计效率的增加，从只有部分折叠是小于通常假设的，可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点，比普通的塌陷采样器适用于更多的建模场合。
2017-08-15 stat.ME stat.ML
Blocking Strategies and Stability of Particle Gibbs Samplers
在马尔可夫链蒙特卡罗方法的背景下，从隐马尔可夫模型的潜在状态的条件（或后验）概率分布中采样，给定所观察的过程的实现，是一个非平凡的问题。为此，Andrieu et al.（2010）构建了一个马尔可夫核，使用粒子滤波器保持这个条件分布不变。从从业者的角度来看，这个马尔可夫内核试图模拟的行为采样所有的潜在状态变量作为一个块从后验分布，但模型的精确模拟是不可能的。有一些最近的理论结果，建立了均匀遍历的马尔可夫核，混合率不会减少提供的粒子数至少线性增长的数量在后的潜在状态。这导致了内核的每次应用的成本，即潜在状态的数量是二次的，这对于长观测序列来说可能是禁止的。我们试图回答一个明显但重要的问题：是否有一个不同的实现，其每次迭代的成本随潜在状态的数量线性增长，但在这个意义上仍然是稳定的，它的混合率不会恶化？我们解决这个问题，使用阻塞策略，这是很容易并行化，并证明稳定的采样器。
2015-09-28 math.ST stat.TH
Control Variates for Reversible MCMC Samplers
一个一般的方法介绍了建设和有效的应用控制变量的估计问题，涉及数据从可逆MCMC采样器。我们建议使用一类特定的功能作为控制变量，我们引入了一个新的，相合估计量的最佳线性组合的这些功能的系数值。控制变量的形式和建议的建设来自我们的解决方案的泊松方程与一个特定的MCMC方案。新的估计，它可以适用于相同的MCMC样本，来自一个新的，有限维的，明确的最佳系数表示。由此产生的方差减少方法主要适用于当模拟数据由共轭随机扫描吉布斯采样器产生。贝叶斯推断问题的MCMC示例表明，估计方差的相应减少是显著的，并且在某些情况下可能是相当戏剧性的。这种方法在几个方向的扩展，包括某些家庭的大都会黑斯廷斯采样器和混合大都会内吉布斯算法。相应的仿真例子说明所提出的方法的效用。所有的方法和渐近的论点是严格合理的，易于验证，基本上是最小的条件下。
2010-08-07 math.PR math.ST stat.CO
A mixing time bound for Gibbs sampling from log-smooth log-concave distributions
本文研究了 Gibbs 采样器在对数平滑且强对数凹分布上的行为，证明了在初始分布为 $M$-warm 的假设下，其达到指定总变差距离误差所需的混合时间上界。
2024-12-23 cs.DS math.ST stat.ML
Probabilistic Duality for Parallel Gibbs Sampling without Graph Coloring
MPI Tübingen（图宾根马普所）；Microsoft Research（微软研究院）
本文提出了混合分布随机变量概率对偶的一个新概念。使用这个概念，我们展示了如何实现一个高度并行化的吉布斯采样器弱耦合离散成对图形模型，严格的积极因素，几乎不需要预处理，很容易实现。此外，我们展示了我们的方法如何与阻塞相结合，以提高混合。即使我们的方法导致劣质的混合时间相比，一个顺序的吉布斯采样器，我们认为，我们的方法仍然是非常有用的大型动态网络，在连续的基础上添加和删除的因素，因为它是很难保持一个图着色在这种设置。同样，我们的方法是有用的并行吉布斯采样的图形模型，不允许图着色与少量的颜色，如密集连接的图形。
2016-11-21 cs.LG math.PR stat.ML
Stability of the Gibbs Sampler for Bayesian Hierarchical Models
本文证明了在具有任意对称误差分布的分层线性模型中，从参数和缺失数据的联合后验分布中采样的Gibbs采样器的收敛性。我们表明，收敛可以是均匀的，几何或亚几何依赖于相对尾部行为的误差分布，并选择的参数化。我们的理论被用来证明潜在高斯过程模型上Gibbs抽样器的收敛性。我们指出，我们介绍的理论框架将是有用的，在分析更复杂的模型。
2007-10-23 stat.CO stat.ME
Fast Gibbs sampling for high-dimensional Bayesian inversion
Centre for Medical Image Computing, University College London（医学图像计算中心，伦敦大学学院）
本文提出了一种改进的吉布斯采样方法，用于高维贝叶斯反演问题，支持多种先验分布，如一般ℓ_𝑝^𝑞先验和硬约束，并通过计算实例展示了其在CT数据反演中的应用效果。
2016-07-05 cs.NA math.NA math.PR
Continuous Herded Gibbs Sampling
羊群效应是一种从概率分布中顺序生成确定性样本的技术。在这项工作中，我们提出了一个连续放牧吉布斯采样器，结合内核放牧连续密度与吉布斯抽样的想法。我们的算法允许从高维多变量概率密度确定性采样，而不直接从联合密度采样。使用高斯混合密度的实验表明，L2误差的降低与内核羊群相似，而计算时间明显更低，即，在维数上是线性的。
2022-01-13 cs.LG eess.SP stat.CO
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法，用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
Minimum Message Length Clustering Using Gibbs Sampling
Monash University（莫纳什大学）；Allstate Research and Planning Center（好事达研究与规划中心）
K-Mean和EM算法由于其简单和易于实现而在聚类和混合建模中很受欢迎。然而，它们有几个重要的局限性。这两个覆盖到其各自的目标函数的局部最优值（忽略模型空间中的不确定性），需要类/clsuters的数量的先验规范，并且是不一致的。在这项工作中，我们克服了这些限制，使用最小消息长度（MML）的原则和变化的K-均值/EM观测分配和参数计算方案。我们保持这些方法的简单性，同时构建贝叶斯混合建模工具，使用马尔可夫链蒙特卡罗（MCMC）采样器称为吉布斯采样器的采样/搜索模型空间。吉布斯抽样允许我们根据后验概率访问每个模型。因此，如果模型空间是多模态的，我们将访问所有模型，而不会陷入局部最优。我们称我们的方法为多链平衡（MCE）MML采样。
2013-01-16 cs.LG stat.ML
A Hybrid NUTS-Gibbs Sampler with State Space Marginalization for Estimation of Dynamic Structural Equation Models with Binomial Outcomes
University of Oslo（奥斯陆大学）；University of Delaware（特拉华大学）；Leiden University（莱顿大学）
本文提出一种混合采样器，结合NUTS和高斯伯恩斯坦步骤，解决动态结构方程模型中二项式响应的效率问题，通过状态空间边缘化提升大规模数据和复杂模型的估计能力。
2026-03-31 stat.CO stat.ME
Gibbs Sampling the Posterior of Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出一种在神经网络每层激活前后添加噪声的新概率模型，利用高效吉布斯采样器从后验采样，并在教师-学生框架下引入热化准则以检测采样失败，小模型上性能媲美HMC和MALA。
2024-01-11 cs.LG stat.ML
Discussion of "A Gibbs sampler for a class of random convex polytopes"
一个令人兴奋的新算法的突破已经先进的如何进行推理的Dempster-Shafer（DS）制定的分类数据生成模型。所开发的采样机制借鉴了有向图的理论，是一项聪明而非凡的成就，因为这几十年来一直是一个悬而未决的问题。在这次讨论中，我评论的重要贡献，中心问题，和文章的主要事项。
2021-04-06 stat.CO stat.ME
