Herded Gibbs Sampling
Harvard University（哈佛大学）；UC Irvine（加州大学欧文分校）；UBC（不列颠哥伦比亚大学）；Facebook（脸书）；University of Amsterdam（阿姆斯特丹大学）
吉布斯采样器是统计模型中最流行的推理算法之一。在本文中，我们介绍了这个算法的放牧变种，称为放牧吉布斯，这是完全确定性的。我们证明了放牧吉布斯有一个$O(1/T)$收敛速度的模型与独立的变量和完全连接的概率图模型。Herded Gibbs在使用MRF进行图像去噪和使用CRF进行命名实体识别的任务中表现优于Gibbs。然而，稀疏连接概率图模型的聚集吉布斯的收敛性仍然是一个开放的问题。
2013-03-16 cs.LG stat.CO stat.ML
Moment Matching Denoising Gibbs Sampling
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）
针对去噪分数匹配训练的能量模型存在不一致性，提出矩匹配的（伪）吉布斯采样框架，从带噪声模型中有效采样底层干净模型，并扩展到高维数据。
2024-03-19 cs.LG stat.ML
Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling
Technicolor（特艺集团）；INRIA（法国国家信息与自动化研究所）
我们研究大规模潜变量模型中的参数推断。我们首先提出了一个统一的治疗在线推理的潜变量模型从一个非典型的指数家庭，并绘制明确的链接之前提出的几个频率或贝叶斯方法。然后，我们提出了一种新的推理方法的频率估计的参数，适应MCMC方法在线推理的潜变量模型与适当使用的本地吉布斯抽样。然后，对于潜在的Dirich-let分配，我们提供了一组广泛的实验和与现有工作的比较，我们的新方法优于所有以前提出的方法。特别是，使用吉布斯抽样潜变量推理优于变分推理的测试对数似然。此外，贝叶斯推理通过变分方法执行差，有时会导致更高维度的潜在变量更差的拟合。
2018-01-31 cs.LG stat.ML
Geometric Ergodicity & Scanning Strategies For Two-Component Gibbs Samplers
在任何马尔可夫链蒙特卡罗分析中，链向其目标概率分布的快速收敛具有重要的理论和实践意义。以几何速率收敛的链是几何遍历的。在本文中，我们探讨了几何遍历两个组件的吉布斯采样器，根据选定的扫描策略，通过结合一次更新的两个组件。我们比较收敛行为之间和三个这样的战略：组成，随机序列扫描，随机扫描。我们的主要结果是双重的。首先，我们建立，如果吉布斯采样器是几何遍历下的任何一个这些策略，所以也是其他的。此外，我们建立了一个简单的和可验证的充分条件的几何遍历的吉布斯采样。我们的结果说明使用两个例子。
2012-10-04 stat.CO
Diffusive Gibbs Sampling
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）
针对传统MCMC在多模态分布上混合不足的问题，提出扩散吉布斯采样（DiGS），利用高斯卷积桥接模态并交替采样，显著提升混合性能，优于并行回火等方法。
2024-05-29 cs.LG stat.CO stat.ML
Minimum Message Length Clustering Using Gibbs Sampling
Monash University（莫纳什大学）；Allstate Research and Planning Center（好事达研究与规划中心）
K-Mean和EM算法由于其简单和易于实现而在聚类和混合建模中很受欢迎。然而，它们有几个重要的局限性。这两个覆盖到其各自的目标函数的局部最优值（忽略模型空间中的不确定性），需要类/clsuters的数量的先验规范，并且是不一致的。在这项工作中，我们克服了这些限制，使用最小消息长度（MML）的原则和变化的K-均值/EM观测分配和参数计算方案。我们保持这些方法的简单性，同时构建贝叶斯混合建模工具，使用马尔可夫链蒙特卡罗（MCMC）采样器称为吉布斯采样器的采样/搜索模型空间。吉布斯抽样允许我们根据后验概率访问每个模型。因此，如果模型空间是多模态的，我们将访问所有模型，而不会陷入局部最优。我们称我们的方法为多链平衡（MCE）MML采样。
2013-01-16 cs.LG stat.ML
Probabilistic Duality for Parallel Gibbs Sampling without Graph Coloring
MPI Tübingen（图宾根马普所）；Microsoft Research（微软研究院）
本文提出了混合分布随机变量概率对偶的一个新概念。使用这个概念，我们展示了如何实现一个高度并行化的吉布斯采样器弱耦合离散成对图形模型，严格的积极因素，几乎不需要预处理，很容易实现。此外，我们展示了我们的方法如何与阻塞相结合，以提高混合。即使我们的方法导致劣质的混合时间相比，一个顺序的吉布斯采样器，我们认为，我们的方法仍然是非常有用的大型动态网络，在连续的基础上添加和删除的因素，因为它是很难保持一个图着色在这种设置。同样，我们的方法是有用的并行吉布斯采样的图形模型，不允许图着色与少量的颜色，如密集连接的图形。
2016-11-21 cs.LG math.PR stat.ML
Accelerated Markov Chain Monte Carlo Using Adaptive Weighting Scheme
School of Computer Science and Technology, North University of China（中北大学计算机科学与技术学院）；School of Semiconductor and Physics, North University of China（中北大学半导体与物理学院）
本文提出一种非均匀随机扫描的Gibbs sampling方法，通过构造并求解关于选择概率的约束优化问题，根据潜变量的边缘概率自适应分配更新权重，从而加速Markov chain的混合时间，并在真实数据实验中验证了其有效性。
2024-08-23 cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington（华盛顿大学）
我们开发了一个框架，近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法，它在后验中整合变量以改善混合。不幸的是，对于许多复杂的模型，整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究，其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明，我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡，从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Learning to Replace MCMC in Split-Gibbs Diffusion Posterior Sampling via Deep Unfolding
Weizmann Institute of Science（魏茨曼科学研究所）；Northeastern University（东北大学）
提出用深度展开网络替换分裂吉布斯采样中的MCMC步骤，通过ODE扩散实现高斯去噪更新，在非线性相位恢复中实现更低成本的扩散后验采样。
2026-09-28 cs.LG eess.SP stat.ML
Gibbs Sampling the Posterior of Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出一种在神经网络每层激活前后添加噪声的新概率模型，利用高效吉布斯采样器从后验采样，并在教师-学生框架下引入热化准则以检测采样失败，小模型上性能媲美HMC和MALA。
2024-01-11 cs.LG stat.ML
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University（哥伦比亚大学）；University of Oxford（牛津大学）
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是，它们依赖于重要性恢复，这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义，以适应祖先rescue，一种技术，减轻粒子退化，概率编程设置。我们提出的实证结果表明，非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML
Poisson Multi-Bernoulli Mapping Using Gibbs Sampling
Chalmers University of Technology（查尔姆斯理工大学）；Autoliv Sverige AB（奥托立夫瑞典公司）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
本文讨论了映射问题。使用共轭先验形式，我们推导出精确的理论批次多目标后验密度的地图给定一组测量。地图中的地标被建模为扩展对象，测量值被描述为泊松过程，以地图为条件。我们在地图上使用泊松过程先验，并证明了后验分布是一个混合泊松，多伯努利混合分布。我们设计了一个吉布斯抽样算法从批量多目标后验中进行抽样。所提出的方法可以处理数据关联和地标集的基数中的不确定性，并且是可并行的，使其适合于大规模问题。所提出的方法的性能进行评估的合成数据，并表现出优于一个国家的最先进的方法。
2018-11-07 cs.LG stat.ML
Non-Uniform Random Scans in Gibbs Sampling and CAVI
该研究将吉布斯采样和CAVI的收敛速率分析从均匀块选择扩展到任意固定正选择概率，提出适配选择的凸性常数，为异构块几何的扫描适配提供了原则性方法。
2026-09-02 stat.CO
Approximate blocked Gibbs sampling for Bayesian neural networks
The University of Manchester（曼彻斯特大学）
本文提出近似分块 Gibbs 采样以提升前馈神经网络小批量 MCMC 的可行性，通过参数分组与深层降方差缓解深度增加导致的接受率消失，从而支持更长链运行并改善分类准确率与不确定性量化。
2023-07-24 cs.LG stat.CO stat.ME
Comment: Lancaster Probabilities and Gibbs Sampling
评"兰开斯特概率与吉布斯抽样"[arXiv：0808.3852]
2008-08-28 stat.ME
Regularization by denoising: Bayesian model and Langevin-within-split Gibbs sampling
Institut Denis Poisson, University of Orléans（德尼·泊松研究所，奥尔良大学）；University of Toulouse, IRIT/INP-ENSEEIHT, CNRS（图卢兹大学，法国国家信息与自动化研究所/国立高等电子、电子技术、计算机与机械学院，法国国家科学研究中心）
本文提出一种基于去噪正则化（RED）的图像反演贝叶斯框架，并设计了内含Langevin Monte Carlo步骤的分裂Gibbs采样算法，通过去模糊等任务验证了其有效性。
2024-02-19 cs.CV cs.LG stat.ML
Particle-Gibbs Sampling For Bayesian Feature Allocation Models
University of British Columbia（英属哥伦比亚大学）；BC Cancer Agency（不列颠哥伦比亚癌症机构）
贝叶斯特征分配模型是一种流行的工具，用于对具有组合潜在结构的数据进行建模。这些模型中的精确推断通常是棘手的，因此从业者通常应用马尔可夫链蒙特卡罗（MCMC）方法进行后验推断。最广泛使用的MCMC策略依赖于特征分配矩阵的元素明智吉布斯更新。这些逐元素更新可能是低效的，因为特征通常是强相关的。为了克服这个问题，我们开发了一个吉布斯采样器，可以更新一整行的功能分配矩阵在一个单一的移动。然而，这种采样器是不切实际的模型与大量的功能，计算复杂性的规模指数的特征数量。我们开发了一个粒子吉布斯采样器，其目标是与行吉布斯更新相同的分布，但计算复杂度仅在特征数量上线性增长。我们比较了我们提出的方法的性能标准吉布斯采样器使用合成数据从一系列的特征分配模型。我们的研究结果表明，行明智的更新使用PG方法可以显着提高性能的特征分配模型的采样器。
2020-01-25 cs.LG stat.CO stat.ML
Comment: Gibbs Sampling, Exponential Families, and Orthogonal Polynomials
关于"吉布斯抽样、指数族和正交多项式“的评论[arXiv：0808.3852]
2008-08-28 stat.ME
Comment: Gibbs Sampling, Exponential Families and Orthogonal Polynomials
评"吉布斯抽样、指数族和正交多项式“[arXiv：0808.3852]
2008-08-28 stat.ME
SAME but Different: Fast and High-Quality Gibbs Parameter Estimation
UC Berkeley（加州大学伯克利分校）
吉布斯抽样是贝叶斯推理的主力，但在用于参数估计时有几个限制，并且通常比非抽样推理方法慢得多。边缘估计的状态增强（State Augmentation for Marginal Estimation）\cite{Doucet99,Doucet02}是MAP参数估计的一种方法，它给出了比直接Gibbs采样更好的参数估计。可被视为冷却后验参数分布，并允许退火搜索的MAP参数，往往产生非常高的质量（较低的损失）的估计。但这样做的代价是每次迭代都要增加额外的样本，而且性能通常会更慢。另一方面，FPGA极大地提高了采样时间表的并行性，是现代（SIMD）硬件的完美匹配。在本文中，我们探讨了现代硬件上的图形模型推理的应用。我们表明，结合因子化样本表示（或近似）的吞吐量与最快的符号方法竞争，但具有潜在的更好的质量。我们描述了潜在狄利克雷分配实验，实现速度类似于最快的方法（在线变分贝叶斯）和较低的交叉验证损失比其他LDA实现。该方法实现简单，应该适用于许多其他模型。
2014-09-18 cs.LG stat.ML
Solidarity of Gibbs Samplers: the spectral gap
该研究证明了不同扫描方式的Gibbs采样器谱间隙具有一致性，借助交替投影的几何解释与相关方法分析收敛速率，还给出了谱间隙随维度多项式缩放的定量结论。
2024-07-09 stat.CO
Asynchronous Gibbs Sampling
吉布斯抽样是一种马尔可夫链蒙特卡罗（MCMC）方法，常用于贝叶斯学习。MCMC方法由于其固有的顺序性质而难以在并行和分布式系统上部署。我们研究异步吉布斯抽样，它通过简单地忽略顺序要求来实现并行。这种方法已被证明对某些层次模型产生了良好的实证结果，并且在主题建模社区中很受欢迎，但也被证明对其他目标存在分歧。我们介绍了一个理论框架，分析异步吉布斯抽样和其他扩展的MCMC不具备马尔可夫性。我们证明了异步吉布斯可以修改，使其收敛在适当的正则条件-我们称之为确切的异步吉布斯算法。我们研究异步吉布斯的一组例子，通过比较精确和近似的算法，包括两个工作良好的地方，和一个地方，它失败了显着。最后，我们用一组算法来描述可以有效使用该算法的设置。
2020-02-29 stat.CO
On Gibbs Sampling for Structured Bayesian Models Discussion of paper by Zanella and Roberts
本文讨论了Zanella和Roberts的论文：多层线性模型、吉布斯采样器和多重网格分解。我们考虑了几个扩展，其中多重网格分解会给我们带来有趣的见解，包括向量层次模型，线性混合效应模型和部分中心参数化。
2021-12-16 math.PR stat.CO
Deterministic Gibbs Sampling via Ordinary Differential Equations
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司高通人工智能研究院）
确定性动态是许多MCMC算法的重要组成部分，例如混合蒙特卡罗或利用归一化流的采样器。本文利用微分几何中的自治常微分方程和工具，给出了确定性测度保持动力学的一般构造。我们将展示如何混合蒙特卡罗和其他确定性采样遵循我们的理论的特殊情况。然后，我们证明了我们的方法的效用，通过构建一个连续的非顺序版本的吉布斯抽样的ODE流和扩展到离散状态空间。我们发现，我们的确定性采样器是更有效的样本比随机同行，即使后者产生独立的样本。
2021-06-18 cs.LG stat.CO
Gibbs Sampling in Factorized Continuous-Time Markov Processes
在许多应用程序中，一个中心任务是推理在连续时间内变化的过程。连续时间贝叶斯网络是一种通用的多组分连续时间过程的紧凑表示语言。然而，在这样的过程中，精确的推断是指数的组件的数量，因此对于大多数感兴趣的模型是不可行的。在这里，我们开发了一种新的吉布斯抽样程序的多组分过程。该过程迭代地对给定其余分量的分量之一的轨迹进行采样。我们将展示如何执行精确的采样，适应采样过程的自然时间尺度。此外，我们表明，这种采样过程自然地利用网络的结构，以减少每一步的计算成本。这一过程是第一个可以提供渐近无偏近似在这样的过程。
2012-06-13 cs.AI stat.CO
A Gibbs Sampling Alternative to Reversible Jump MCMC
本说明提供了一个简单而优雅的采样器，可用作可逆跳跃MCMC方法的替代方案。
2009-02-24 stat.CO
Weak Poincaré inequalities for two-component Deterministic-scan Metropolis-within-Gibbs samplers
University of Warwick（华威大学）
本文通过弱Poincaré不等式分析了确定性扫描Metropolis-within-Gibbs采样器的收敛性质，并建立了相关理论结果及应用。
2026-10-06 math.PR stat.CO
Parameter elimination in particle Gibbs sampling
由于高维状态轨迹，状态空间模型中的贝叶斯推断具有挑战性。一个可行的方法是粒子马尔可夫链蒙特卡罗，结合MCMC和序贯蒙特卡罗形成“精确近似”，否则难以处理MCMC方法。近似的性能仅限于精确方法的性能。我们专注于粒子吉布斯和粒子吉布斯与祖先采样，提高其性能超出了潜在的吉布斯采样器（他们近似）边缘化了一个或多个参数。当参数先验与完整数据似然共轭时，这是可能的。边缘化产生一个非马尔可夫模型的推断，但我们表明，在一般情况下，这种方法仍然在时间上线性扩展。虽然边缘化可能很难实现，但概率编程的最新进展使其自动化成为可能。我们证明了边缘化的方法是可行的，有效的推理后端概率规划，并证明与生态学和流行病学的例子。
2019-10-30 stat.CO stat.ML
Accelerated Gibbs sampling of normal distributions using matrix splittings and polynomials
应用于具有指定精度矩阵的多元正态分布的标准吉布斯抽样在基本方式上等价于精度矩阵中线性方程组的Gauss-Seidel迭代解。具体地说，迭代算子、收敛发生的条件和几何收敛因子（和速率）是相同的。这些结果适用于任意矩阵分裂从经典的迭代方法在数值线性代数提供方便地访问成熟的结果，在该领域，包括现有的收敛结果的对偶变量吉布斯抽样，REGS抽样，和推广。因此，有效的确定性平稳松弛计划导致有效的推广吉布斯抽样。可以应用多项式加速技术来加速等效的广义吉布斯采样器，该多项式加速技术显著提高了从\emph{symmetric}矩阵分裂导出的迭代求解器的收敛速率。误差多项式的恒等性保证了非齐次马尔可夫链的收敛性，而收敛因子的相等性保证了最优求解器导致最优采样器。数值例子，包括Chebyshev加速SSOR吉布斯采样器适用于一个程式化的演示低级别贝叶斯图像重建在一个大的3维线性逆问题。
2015-05-13 stat.CO
A Generalized Labeled Multi-Bernoulli Filter Implementation using Gibbs Sampling
Curtin University（科廷大学）
本文提出了一种有效的实现广义标记多伯努利（GLMB）滤波器相结合的预测和更新到一个单一的步骤。与在预测和更新步骤中涉及单独截断的原始方法相比，所提出的实现对于每次迭代仅需要一个单一截断，这可以使用标准排名的最优分配算法来执行。此外，我们提出了一种新的截断技术的基础上马尔可夫链蒙特卡罗方法，如吉布斯抽样，这大大降低了滤波器的复杂性。所提出的方法的优越性能证明通过广泛的数值研究。
2015-07-03 cs.LG stat.CO
A Scalable Blocked Gibbs Sampling Algorithm For Gaussian And Poisson Regression Models
马尔可夫链蒙特卡罗（MCMC）方法是贝叶斯统计建模中的一种流行技术。它们长期以来一直被用于从后验分布中获取样本，但最近的研究集中在这些技术对大型问题的可扩展性上。我们不开发新的采样方法，而是描述了一个阻塞吉布斯采样器，这是足够的可扩展性，以适应许多有趣的问题。我们所描述的采样器适用于广义线性混合效应模型（GLMM）的一个受限子集;这个子集包括泊松和高斯回归模型。分块吉布斯抽样步骤联合更新先验方差参数及其下的所有随机效应。我们还讨论了灵活的先验分布等扩展。
2016-01-30 stat.ME
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven（计算机科学系，鲁汶大学）；Department of Electrical Engineering, ESAT - STADIUS, KU Leuven（电气工程系，ESAT - STADIUS，鲁汶大学）
贝叶斯回归仍然是一个简单而有效的工具，基于贝叶斯推断技术。对于大规模的应用，复杂的后验分布，马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题，提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外，使用相关样本的方差减少，以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试，几乎所有数据集都实现了加速，而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
On particle Gibbs sampling
粒子吉布斯采样器是一种马尔可夫链蒙特卡罗（MCMC）算法，用于从状态空间模型的完整后验分布中采样。它这样做是通过执行吉布斯抽样步骤上定义的辅助变量的空间上的相互作用的粒子系统产生的扩展的目标分布。本文对该算法的理论研究做了如下贡献。首先，我们提出了一个耦合的两个粒子之间的吉布斯更新从不同的出发点，我们表明，耦合概率可以任意接近1，通过增加粒子的数量。作为一个直接推论，我们得到粒子吉布斯核是一致遍历的。其次，我们展示了如何包含一个额外的吉布斯抽样步骤，重新选择粒子吉布斯的扩展目标分布，这是一个流行的方法，在实践中，以提高混合的祖先，确实产生了理论上更有效的算法，所测量的渐近方差。第三，我们将粒子Gibbs推广到了低方差的reserve格式。一个详细的数值研究，以证明粒子吉布斯和所提出的变种的效率。
2015-07-28 stat.CO
Convergence Rates of Two-Component MCMC Samplers
包括Gibbs和条件Metropolis-Hastings采样器在内的连续MCMC算法通常用于从多变量概率分布中采样。关于吉布斯算法的一个长期存在的问题是确定性扫描（系统扫描）采样器是否比随机扫描采样器收敛得更快。我们回答这个问题时，采样器涉及两个组件通过建立一个精确的定量关系$L^2$的两个采样器的收敛速度。该关系表明，确定性扫描采样器收敛得更快。我们还建立了定性的关系之间的收敛速度的两个组件的吉布斯采样器和一些条件Metropolis-Hastings变体。例如，它示出，如果一些两个组件的条件Metropolis-Hastings采样器是几何遍历的，那么相关联的吉布斯采样器。
2021-05-09 math.ST stat.TH
The Gibbs Sampler with Particle Efficient Importance Sampling for State-Space Models
我们认为粒子吉布斯（PG）的贝叶斯分析的非线性非高斯状态空间模型的工具。PG是标准吉布斯过程的蒙特卡罗（MC）近似，其在吉布斯过程内部使用顺序MC（SMC）重要性抽样来更新潜在的和潜在的高维状态轨迹。我们建议结合PG与一个通用的和易于实现的SMC方法称为粒子有效的重要性抽样（PEIS）。通过使用SMC重要性抽样密度，其近似地完全全局地适应于状态的目标密度，PEIS可以相对于现有PG实现从状态和参数的后验实质上改善PG抽取的混合和效率。PEIS实现的效率增益说明PG应用程序的一个单变量随机波动模型的资产收益，非高斯非线性局部水平模型的利率，和一个多变量随机波动模型的实现协方差阵的资产收益。
2018-04-17 stat.CO stat.ME
Convergence rate and concentration inequalities for Gibbs sampling in high dimension
本文的目的是研究吉布斯抽样计算的平均观察在非常高的维度-一个强大的马尔可夫链蒙特卡罗方法。在Dobrushin的唯一性条件下，我们建立了指数收敛速度的精确估计，并证明了经验均值的高斯浓度不等式。
2014-10-16 math.ST stat.TH
Sequential Gibbs Sampling Algorithm for Cognitive Diagnosis Models with Many Attributes
认知诊断模型（CDMs）是一种有用的统计工具，可以为干预和学习提供丰富的信息。马尔可夫链蒙特卡罗（MCMC）算法作为一种常用的CDM估计和推理方法，在实际中得到了广泛的应用。然而，当属性个数$K$较大时，现有MCMC算法可能会变得耗时，因为MCMC抽样过程中通常需要进行$O(2^K)$计算以获得每个属性剖面的条件分布。为了克服这一计算问题，受Culpepper和Hudson（2018）的启发，我们提出了一种计算效率高的顺序吉布斯抽样方法，该方法需要$O(K)$计算来对每个属性配置文件进行采样。我们使用模拟和实际数据的例子来显示所提出的顺序吉布斯抽样的有限样本性能，其优势，现有的方法。
2021-02-13 stat.CO stat.ME
Fast Gibbs Sampling on Bayesian Hidden Markov Model with Missing Observations
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出了一种在存在缺失观测时快速进行贝叶斯隐马尔可夫模型采样的方法，通过整合缺失观测和潜在状态，提高了计算效率和采样精度。
2026-01-04 cs.LG stat.ME stat.ML
GPU-accelerated Gibbs sampling: a case study of the Horseshoe Probit model
吉布斯抽样是一种广泛使用的马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯统计和其他数学科学中的数值近似积分。MCMC方法的许多实现不容易扩展到并行计算环境，因为它们固有的顺序性质会导致很大的同步成本。在本文所示的案例研究中，我们展示了如何做吉布斯抽样在一个完全的数据并行的方式在图形处理单元上，一个大类的可交换模型，承认潜在的变量表示。我们的方法需要一个系统的角度来看，重点放在有效地利用计算硬件。我们在马蹄概率回归模型上演示了我们的方法，并发现我们的实现可以同时有效地扩展到数千个预测因子和数百万个数据点。
2018-03-21 cs.DC stat.CO
Jensen-Bregman split Gibbs sampling
Univ. de Toulouse, IRIT/INP-ENSEEIHT（图卢兹大学，IRIT/INP-ENSEEIHT）；LITIS, Université Rouen Normandie（LITIS，鲁昂诺曼底大学）；Université Paris-Saclay, CEA, List（巴黎萨克雷大学，CEA，List）
该研究针对现有分裂吉布斯采样（SGS）仅适用于二次变量耦合的局限，提出基于Jensen-Bregman散度的耦合核，将SGS推广至非欧几里得几何，实现后验采样并统一多种临时采样方案。
2026-10-14 eess.IV stat.CO stat.ME
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO（荷兰应用科学研究组织）；Utrecht University（乌得勒支大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了马尔可夫链蒙特卡罗（MCMC）推理方法Prune Sampling，并对它在离散和确定性贝叶斯网络（BN）中的性能进行了分析。我们开发了一个程序，以获得性能的MCMC采样方法在无限的模拟时间的限制，从相对较短的模拟外推。这种方法被用来进行一项研究，以比较准确性，收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法：吉布斯和大都会采样。我们发现，修剪采样创建的马尔可夫链总是收敛到所需的后验分布，也为传统的吉布斯抽样失败的网络。除此之外，我们证明了修剪优于吉布斯抽样，至少对于某一类BN。不过，这个诱人的功能是有代价的。在Prune Sampling的第一个版本中，对于大BN，统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是，修剪采样是所有类型的小型和中型BN的竞争力的方法，但（现在）标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
Ancestor Sampling for Particle Gibbs
我们提出了一种新的方法，在家庭的粒子MCMC方法，我们称为粒子吉布斯祖先采样（PG-AS）。类似于现有的PG与反向模拟（PG-BS）的过程中，我们使用反向采样（大大）改善PG内核的混合。然而，我们在单个前向扫描中实现了相同的效果，而不是像在PG-BS中那样使用单独的前向扫描和后向扫描。我们将PG-AS框架应用于具有挑战性的非马尔可夫状态空间模型类。我们开发了这些模型的截断策略，原则上适用于任何基于向后模拟的方法，但特别适合于PG-AS框架。特别是，正如我们在模拟研究中所示，PG-AS可以产生一个数量级的精度提高相对于PG-BS由于其鲁棒性的截断误差。几个应用实例进行了讨论，包括Rao-Blackwellized粒子平滑和退化状态空间模型的推断。
2012-10-25 stat.CO stat.ML
Mixing Time Bounds for the Gibbs Sampler under Isoperimetry
Imperial College London（伦敦帝国理工学院）；Qube Research & Technologies（Qube研究与科技公司）
本文基于等周性条件，推导了系统扫描和随机扫描基尔丁采样器的导电性界，扩展了对基尔丁采样收敛行为的理解，并展示了结果对log-Lipschitz和log-smooth目标分布的有效性。
2026-04-27 math.PR math.ST stat.TH
On optimal direction gibbs sampling
Centro de Investigación en Matemáticas (CIMAT)（数学研究中心）；University of Otago（奥塔哥大学）
研究在方向性随机扫描吉布斯采样器中如何通过最小化截断正态目标函数的互信息来选择最优方向，并推广到多元正态局部近似情况。
2012-05-18 cs.NA math.NA stat.CO
Adapting The Gibbs Sampler
自适应MCMC的流行一方面是由于其在应用中的成功，另一方面是由于Metropolis算法接受率（以及等效的提案规模）的数学吸引力和计算上简单的优化标准。迄今为止，还没有设计出用于优化随机扫描吉布斯采样器的选择概率的类似的原则和操作标准。在目前的工作中，我们关闭这一差距，并开发了一个通用的自适应随机扫描吉布斯采样器，适应选择概率。自适应是通过优化目标的高斯模拟的$L_2-$光谱间隙来引导的，逐渐地，因为目标的全局协方差是由采样器学习的。额外的计算成本的适应表示一小部分的总模拟工作。“我们提出了一些中等和高维的例子，包括截断高斯，贝叶斯层次模型和隐马尔可夫模型，其中显着的计算增益都是经验性观察，自适应吉布斯，自适应大都会内的自适应吉布斯版本的算法。我们认为，自适应随机扫描吉布斯采样器可以定期实施和大量的计算增益将观察到许多典型的吉布斯抽样问题。我们将给出自适应算法的遍历性可以成立的条件。
2018-01-28 stat.CO stat.ME
Particle Gibbs Sampling for Bayesian Phylogenetic inference
组合序贯蒙特卡罗（CSMC）方法是一种有效的补充标准马尔可夫链蒙特卡罗（MCMC）方法的贝叶斯系统发生树推断方法。将CSMC和MCMC结合在粒子Gibbs（PG）采样器的框架下，联合估计系统发育树和进化参数是一种很有吸引力的方法。然而，粒子吉布斯的马尔可夫链可能混合不良，如果底层SMC遭受路径退化问题。一些补救措施，包括粒子吉布斯与祖先采样和相互作用粒子MCMC，已被提出来改善PG。但他们要么不能适用于组合树空间或仍然效率低下。我们引入了一种新的CSMC方法，提出了一个更有效的建议分布。它也可以结合到粒子吉布斯采样器框架来推断演化模型中的参数。新算法可以很容易地通过分配样本在不同的计算核心并行化。我们通过数值实验验证了所开发的CSMC可以在各种粒子Gibbs采样器中更有效地对树进行采样。我们的实现可以在https://github.com/liangliangwangsfu/phyloPMCMC上获得
2020-08-11 stat.CO
An estimation of distribution algorithm with adaptive Gibbs sampling for unconstrained global optimization
本文提出了一种新的启发式方法，属于进化分布估计算法（EDAs）领域。EDAs建立概率模型，并从模型中采样一组解决方案，该模型表征了这些解决方案的分布。所提出的方法的主要框架是一个估计的分布算法，其中一个自适应吉布斯采样是用来产生新的有前途的解决方案，并结合本地搜索策略，它提高了在每次迭代中产生的个别解决方案。本文提出的自适应Gibbs抽样分布估计算法称为AGEDA。我们实验评估和比较该算法对两个确定性的程序和几个随机方法在三个著名的无约束全局优化测试问题。经验表明，我们的启发式算法是强大的问题，涉及三个主要决定全局优化问题的难度，即高维，多模态和非光滑的核心方面。
2013-05-29 cs.NE math.OC stat.ML
Dense Distributions from Sparse Samples: Improved Gibbs Sampling Parameter Estimators for LDA
我们介绍了一种新的方法来估计潜在的Dirichlet分配（LDA）参数从塌陷的吉布斯样本（CGS），充分利用条件分布的潜在变量的分配，有效地平均多个样本，比绘制一个单一的额外的塌陷吉布斯样本的计算成本。我们的方法可以理解为适应软聚类方法的折叠变分贝叶斯（CVB0）CGS参数估计，以获得最好的两种技术。我们的估计器可以直接应用于任何现有的CGS实现的输出，包括现代的加速变体。我们进行了广泛的经验比较，我们的估计与标准的折叠推理算法对现实世界的数据无监督LDA和先验LDA，监督的变种LDA多标签分类。我们的研究结果表明，我们的方法在所有实验条件下都优于传统的CGS，并且在大多数条件下都优于CVB 0推理。更广泛地说，我们的研究结果突出了LDA参数估计中多个样本的平均值的重要性，以及使用有效的计算技术来做到这一点。
2017-04-11 stat.ML
Convergence of Griddy Gibbs Sampling and other perturbed Markov chains
网格吉布斯抽样是由Ritter和Tanner（1992）提出的，作为众所周知的吉布斯抽样方法的计算有效近似。该算法简单有效，已成功地用于解决应用科学各个领域的问题。但该算法的近似性使其无法得到广泛应用：Griddy Gibbs抽样方法生成的马尔可夫链一般不可逆，因此不能保证其不变测度的存在唯一性。即使当这样的不变测度唯一存在时，也没有估计它与感兴趣的概率分布之间的距离，因此没有手段来确保算法作为从真实分布采样的手段的有效性。在本文中，我们表明，在一些相当自然的条件下，网格吉布斯方法有一个唯一的，不变测度。此外，我们提供了$L^p$估计之间的距离，这个不变测度和相应的措施从吉布斯抽样。这些结果为Griddy Gibbs抽样方法的应用提供了理论依据。我们还解决了一个更一般的结果不变测度的灵敏度小扰动下的转移概率。也就是说，如果我们用另一个转移概率$Q$代替任何蒙特卡罗马尔可夫链的转移概率$P$，其中$Q$接近于$P$，我们仍然可以估计两个不变测度之间的距离。我们的方法和以前关于扰动马尔可夫链收敛性的工作的区别在于，通过将不变测度看作函数空间上线性算子的不动点，我们不需要对马尔可夫链的收敛速率施加任何进一步的条件。
2021-03-29 math.ST stat.TH
Gibbs Sampling, Exponential Families and Orthogonal Polynomials
我们给出了家庭的例子，其中广泛使用的吉布斯采样器的平稳收敛率急剧。这些例子涉及标准指数族及其共轭先验。在每种情况下，过渡算子是显式对角化与经典的正交多项式作为本征函数。
2008-08-28 math.CA stat.ME
Linear Complexity Gibbs Sampling for Generalized Labeled Multi-Bernoulli Filtering
针对GLMB滤波中NP难的计算瓶颈，提出线性复杂度温和吉布斯采样框架，将复杂度从O(TP²M)降至O(T(P+M+logT)+PM)，并验证收敛性与性能。
2023-12-28 eess.SP stat.CO stat.ML
Particle Gibbs with Ancestor Sampling
粒子马尔可夫链蒙特卡罗（Particle Markov chain Monte Carlo，PMCMC）是一种将两种主要的蒙特卡罗统计推断工具结合起来的系统方法：序列蒙特卡罗（Sequential Monte Carlo，SMC）和马尔可夫链蒙特卡罗（Markov chain Monte Carlo，MCMC）。我们提出了一种新的PMCMC算法，我们称之为粒子吉布斯与祖先采样（PGAS）。PGAS为数据分析师提供了一种现成的马尔可夫核，可用于模拟状态空间模型中通常高维和高度自相关的状态轨迹。祖先采样过程即使在底层SMC采样器中使用看似很少的粒子时，也可以快速混合PGAS内核。这很重要，因为它可以显著减少通常与使用SMC相关的计算负担。PGAS在概念上类似于现有的反向模拟PG（PGBS）程序。然而，我们不是像PGBS那样使用单独的前向和后向扫描，而是在单个前向扫描中实现相同的效果。这使得PGAS非常适合解决推理问题，不仅在状态空间模型，而且在模型更复杂的依赖关系，如非马尔可夫，贝叶斯非参数和一般的概率图形模型。
2014-01-03 stat.CO stat.ML
Likelihood-free approximate Gibbs sampling
似然自由方法，如近似贝叶斯计算（ABC）已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好，但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器，自然地绕过了维数问题，专注于低维条件分布。这些分布是由灵活的回归模型估计，无论是在采样器运行之前，或自适应采样器的实施过程中。因此，与基于Metropolis-Hastings的方法相比，我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能，并使用包含13，140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析，这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
