Comments on: A Gibbs sampler for a class of random convex polytopes
在这篇评论中，我们讨论了相对的优点和缺点的单纯形和Dirichlet Dempster-Shafer推理适用于多分辨率测试的独立性。
2021-04-15 stat.CO
Discussion of `A Gibbs sampler for a class of random convex polytopes'
这是对Pierre E.放大图片作者：Jacob，龚若斌，Paul T. Edlefsen和Arthur P. Dempster发表在《美国统计协会杂志》上。
2021-04-15 stat.CO stat.OT
Optimal transport couplings of Gibbs samplers on partitions for unbiased estimation
马尔可夫链的计算耦合为无偏蒙特卡罗估计提供了一条实用的途径，可以利用并行计算。然而，这些方法主要依赖于在少量转换之后的链相遇。对于将数据分组的模型，例如混合模型，耦合吉布斯采样器的明显方法无法快速满足。这种失败归因于所谓的“标签切换”问题;语义上等同的重新标记的群体有助于分离后的模式，阻碍快速混合，并导致大的会议时间。我们在这里演示如何通过将链视为探索分区空间而不是标签来避免标签切换。使用这个空间上的度量，我们采用了最佳的吉布斯条件传输耦合。这种耦合优于依赖于标签的替代耦合，并且在真实的数据集上，在有限的时间范围内提供比通常的遍历平均值更精确的估计。代码可在github.com/tinnguyen96/coupling-Gibbs-partition上获得。
2021-04-13 stat.CO stat.ME
A Modified Gibbs Sampler on General State Spaces
我们提出了一个修改的吉布斯采样一般状态空间。我们确定，这种修改可以导致统计效率的大幅提高，同时保持收敛的整体质量。我们说明我们的结果在两个例子中，包括一个玩具正态-正态模型和贝叶斯版本的随机效应模型。
2013-08-26 stat.CO
Gibbs sampler approach for objective Bayeisan inference in elliptical multivariate random effects model
本文针对椭圆多元随机效应模型，在参考先验和Jeffreys先验下提出基于混合Gibbs采样器的贝叶斯后验抽样算法，并通过模拟研究与两种Metropolis-Hastings算法比较，最后应用于十项高血压治疗研究。
2023-05-25 stat.CO stat.ME
Multilevel linear models, Gibbs samplers and multigrid decompositions
我们研究了条件高斯分层模型的贝叶斯分析所产生的后验分布的背景下的吉布斯采样器的收敛性质。我们开发了一个多重网格的方法，推导出各种广泛使用的模型结构，包括嵌套和交叉随机效应的算法的收敛速度的解析表达式。我们的结果适用于多级模型的层次结构中的任意层数，而以前的工作仅限于两级嵌套的情况下。理论结果提供了明确的和易于实施的指导方针，以优化实际实施的吉布斯采样器，如指示上的参数化选择（如中心和非中心），施加约束，以保证统计可识别性，以及哪些参数监测诊断过程中。模拟结果表明，在非高斯分布和更一般的MCMC计划，如基于梯度的上下文中也是信息丰富的。条件高斯分层模型的吉布斯采样器的实现。
2019-06-26 math.PR stat.CO stat.ME
The Gibbs Sampler with Particle Efficient Importance Sampling for State-Space Models
我们认为粒子吉布斯（PG）的贝叶斯分析的非线性非高斯状态空间模型的工具。PG是标准吉布斯过程的蒙特卡罗（MC）近似，其在吉布斯过程内部使用顺序MC（SMC）重要性抽样来更新潜在的和潜在的高维状态轨迹。我们建议结合PG与一个通用的和易于实现的SMC方法称为粒子有效的重要性抽样（PEIS）。通过使用SMC重要性抽样密度，其近似地完全全局地适应于状态的目标密度，PEIS可以相对于现有PG实现从状态和参数的后验实质上改善PG抽取的混合和效率。PEIS实现的效率增益说明PG应用程序的一个单变量随机波动模型的资产收益，非高斯非线性局部水平模型的利率，和一个多变量随机波动模型的实现协方差阵的资产收益。
2018-04-17 stat.CO stat.ME
Extensions of the solidarity principle of the spectral gap for Gibbs samplers to their blocked and collapsed variants
University of Florida（佛罗里达大学）
本文扩展了完整Gibbs采样器的固有原则，证明了阻塞和坍塌变体继承谱间隙，并通过例子说明其不继承几何平稳性。
2026-01-11 math.PR math.ST stat.CO
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于谱分解的高斯-马尔可夫采样器，用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题，通过优化全局尺度参数τ的混合性，提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
The Coordinate Sampler: A Non-Reversible Gibbs-like MCMC Sampler
在这篇文章中，我们推导出一种新的不可逆的，连续时间的马尔可夫链蒙特卡罗（MCMC）采样器，称为坐标采样器，基于分段确定性的马尔可夫过程（PSEK），它可以被看作是锯齿形采样器的变体。除了证明这种新的采样算法的理论验证，我们表明，马尔可夫链诱导具有几何遍历收敛，分布的尾部衰减至少一样快的指数分布，最快的高斯分布。几个数值例子强调，我们的坐标采样器是更有效的比锯齿形采样器，在有效的样本量。
2019-04-11 stat.CO
Metropolis-Hastings within Partially Collapsed Gibbs Samplers
部分塌陷吉布斯（PCG）采样器提供了一种新的策略，以改善吉布斯采样器的收敛性。PCG通过减少其母吉布斯采样器的某些绘制中的条件来实现更快的收敛。虽然这可以显著提高收敛性，但必须注意确保保持平稳分布。在PCG采样器中采样的条件分布可能是不相容的，并且改变它们的顺序可能会打乱链的平稳分布。在部分或全部更新中使用Metropolis-Hastings（MH）更新时，必须格外小心。减少吉布斯采样器中MH的条件可以改变稳态分布，即使在不使用MH的情况下PCG采样器也可以完美工作。事实上，在文献中提倡的这种采样器的数量实际上并不具有目标平稳分布。在这篇文章中，我们说明了可能出现的挑战，当使用MH在PCG采样器和开发一个通用的策略，使用这种更新，同时保持所需的平稳分布。当在PCG采样方案中选择不同的MH时，理论论证提供了指导。最后，我们用几个应用实例说明了PCG采样器中的MH及其计算优势。
2014-03-07 stat.CO
Convergence rate of a collapsed Gibbs sampler for crossed random effects models
本文分析了交叉随机效应模型的折叠Gibbs抽样的收敛速度。我们的研究结果适用于一个比以前的作品，包括模型，将缺失机制和不平衡的水平数据的更大范围的模型。在我们的分析中涉及的理论工具包括弛豫时间和自回归矩阵，集中不等式，和随机矩阵理论之间的连接。
2021-10-21 math.ST stat.CO stat.ME
Particle Gibbs for Likelihood-Free Inference of State Space Models with Application to Stochastic Volatility
针对似然难处理的状态空间模型，提出结合条件辅助粒子滤波的粒子吉布斯采样器，在ABC框架下实现参数推断，并在随机波动率模型及S&P 500数据上验证了准确性。
2023-12-20 stat.CO stat.ME
Geometric Ergodicity & Scanning Strategies For Two-Component Gibbs Samplers
在任何马尔可夫链蒙特卡罗分析中，链向其目标概率分布的快速收敛具有重要的理论和实践意义。以几何速率收敛的链是几何遍历的。在本文中，我们探讨了几何遍历两个组件的吉布斯采样器，根据选定的扫描策略，通过结合一次更新的两个组件。我们比较收敛行为之间和三个这样的战略：组成，随机序列扫描，随机扫描。我们的主要结果是双重的。首先，我们建立，如果吉布斯采样器是几何遍历下的任何一个这些策略，所以也是其他的。此外，我们建立了一个简单的和可验证的充分条件的几何遍历的吉布斯采样。我们的结果说明使用两个例子。
2012-10-04 stat.CO
A Gibbs sampler for a class of random convex polytopes
我们提出了一个Gibbs抽样的Dempster-Shafer（DS）方法的统计推断分类分布。DS框架扩展了贝叶斯方法，特别是允许使用部分先验信息，并产生三值的不确定性评估表示概率“为”，“反对”，和“不知道”正式的断言的利益。该算法针对一类随机凸多面体的分布，封装了DS推理。采样器依赖于顶点配置的迭代约束与全连通有向图中的圈的非负性之间的等价性。举例说明了2 × 2列联表的独立性检验和连锁模型的参数估计。
2021-01-21 stat.CO
Solidarity of Gibbs Samplers: the spectral gap
该研究证明了不同扫描方式的Gibbs采样器谱间隙具有一致性，借助交替投影的几何解释与相关方法分析收敛速率，还给出了谱间隙随维度多项式缩放的定量结论。
2024-07-09 stat.CO
Is Gibbs sampling faster than Hamiltonian Monte Carlo on GLMs?
本文通过利用计算图结构将GLMs的Gibbs采样时间复杂度从O(d²)降至O(d)，证明其在维度扩展上优于HMC，同时指出HMC在条件数扩展方面仍有优势，两者互不占优。
2025-03-12 stat.CO stat.ME
MALA-within-Gibbs samplers for high-dimensional distributions with sparse conditional structure
马尔可夫链蒙特卡罗（MCMC）采样器是用于从给定目标概率分布中抽取样本的数值方法。我们讨论了一个特殊的MCMC采样器，MALA内吉布斯采样器，从理论和实践的角度。我们首先表明，这个采样器的接受率和步长是独立的整体问题的尺寸时，（i）的目标分布具有稀疏的条件结构，和（ii）这种结构是反映在部分更新策略的MALA-within-Gibbs。此外，如果目标密度是分块对数凹的，则采样器的收敛速度与维数无关。从实际的角度来看，我们希望MALA-within-Gibbs是有用的解决高维贝叶斯推断问题，后验显示稀疏条件结构至少近似。在这种情况下，必须找到一个分区的状态，正确地反映了稀疏的条件结构，我们说明了这个过程中的两个数值例子。我们还讨论了用于部分更新的块大小和可能随着块数量增加而增加的计算要求之间的权衡。
2020-03-18 math.ST stat.CO stat.ME
A positive-definiteness-assured block Gibbs sampler for Bayesian graphical models with shrinkage priors
尽管Wang（2012）提出的贝叶斯图LASSO的块Gibbs采样器近年来已被广泛应用并扩展到各种收缩先验，但它具有不太明显但可能严重的缺点，即在Gibbs采样器的每个循环中不能保证高斯图模型中精度矩阵的正定性。具体地说，如果精度矩阵的维数超过样本量，精度矩阵的正定性将难以满足，吉布斯采样器几乎肯定会失败。在本文中，我们建议修改原来的块吉布斯采样器，使精度矩阵永远不会失败，是正定的采样，正是从域的正定性。正如我们在蒙特卡罗实验中所示，这种修改不仅稳定了采样过程，而且显着提高了参数估计和图形结构学习的性能。我们还将我们提出的算法应用于股票数量超过样本周期的月度回报数据的图形模型，证明了其稳定性和可扩展性。
2022-04-14 stat.CO
The Gibbs sampler revisited from the perspective of conditional modeling
本文从条件建模视角探讨了Gibbs采样器三种理论依据的等价性，提出迭代条件替换算法（ICR）证明PCGS收敛性并近似PGS平稳分布，简化了收敛性理解。
2024-10-12 stat.CO
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Adaptive Gibbs samplers and related MCMC methods
我们考虑各种版本的自适应Gibbs和Metropolis-within-Gibbs采样器，它们在运行过程中通过学习动态更新它们的选择概率（也许还有它们的建议分布），以试图优化算法。我们提出了一个警示的例子，即使是一个简单的自适应吉布斯采样器可能无法收敛。然后，我们提出了各种积极的结果，保证在一定条件下的自适应吉布斯采样收敛。
2013-02-27 math.PR stat.CO
On the convergence rate of the "out-of-order" block Gibbs sampler
它表明，一个看似无害的块吉布斯采样器中的步骤重新排序，实际上可以使算法无效。特别地，由"无序"块吉布斯采样器模拟的马尔可夫链不具有正确的不变概率分布。然而，尽管具有错误的不变分布，马尔可夫链以与原始块吉布斯马尔可夫链相同的速率收敛。更具体地说，它表明，要么两个马尔可夫链是几何遍历（具有相同的几何收敛速率），或者都不是。这些结果从实际的观点来看是重要的，因为（无效的）无序算法可能比（有效的）块吉布斯采样器更容易分析（参见，例如，Yang和Rosenthal [2019]）。
2021-10-27 math.ST stat.CO stat.TH
A Gibbs sampler on the $n$-simplex
我们确定一个简单的吉布斯采样器的混合时间的单位单纯形，证实了一个猜想奥尔德斯。上界是基于两步耦合，其中第一步是一个简单的收缩参数和第二步是一个非马尔可夫耦合。我们还提出了一个基于MCMC的完美采样算法的基础上，我们的证明，可以适用于吉布斯采样器，更难分析。
2014-01-15 math.PR stat.CO
Gradient Scan Gibbs Sampler: an efficient algorithm for high-dimensional Gaussian distributions
本文讨论了包含高维条件高斯分布的Gibbs采样器。它提出了一种有效的算法，避免了高维高斯采样，并依赖于沿一个小的方向集的随机偏移。该算法被证明是收敛的，即所抽取的样本是根据目标分布渐近分布的。我们的主要动机是在逆问题相关的一般线性观测模型和他们的解决方案，通过采样算法实现的分层贝叶斯框架。它可以直接应用于半盲/无监督方法以及一些非高斯方法。本文以超分辨率方法中的无监督估计为例进行了研究。
2015-09-11 stat.CO
Blocking Collapsed Gibbs Sampler for Latent Dirichlet Allocation Models
隐狄利克雷分配（LDA）模型是机器学习中广泛使用的文本分析隐变量模型。该模型的推断通常涉及与观测相关联的潜变量的单站点塌陷吉布斯抽样步骤。采样的效率对于模型在实际大规模应用中的成功至关重要。在这篇文章中，我们介绍了一个阻塞计划的崩溃吉布斯采样器的LDA模型，可以在理论上保证，提高链混合效率。我们开发了两个程序，一个O（K）步向后模拟和O（log K）步嵌套模拟，直接采样每个块内的潜变量。我们证明，阻塞计划实现了显着改善链混合相比，最先进的单网站崩溃吉布斯采样器。我们还表明，当主题的数量超过数百个，嵌套模拟阻塞计划可以实现显着减少计算时间相比，单站点采样器。
2016-08-02 stat.CO stat.ML
Spectral Telescope: Convergence Rate Bounds for Random-Scan Gibbs Samplers Based on a Hierarchical Structure
随机扫描吉布斯采样器具有自然的层次结构。该结构将针对高维分布的Gibbs采样器连接到针对低维分布的Gibbs采样器。这导致了它们的光谱间隙的准伸缩性质。基于这一性质，我们得到了一般域上Gibbs采样器的谱间隙和收敛速度的三个新的界。这三个界限分别与链的谱间隙、目标分布的相关结构、一类随机游动链和一组影响矩阵有关。值得注意的是，我们的结果之一，推广的技术谱独立，这已收到相当大的关注，其成功的有限域，一般状态空间。我们说明了我们的方法，通过采样器针对均匀分布的一个角落的$n$立方体。
2022-10-14 cs.DS math.PR math.ST
Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression
Duke University（杜克大学）；Bocconi University（博科尼大学）
针对贝叶斯probit回归的数据增强Gibbs采样器，基于对数凹目标分布的Gibbs采样器最新结果，给出了混合时间的显式非渐近界，并分析了不同统计场景下的行为。
2026-06-12 stat.CO stat.ME stat.ML
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时，这一点至关重要，处理现代数据集时也是如此，例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归，使实用的，非渐近诊断的收敛，而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件，我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验，其中包括“马蹄铁”，我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是，对于Gibbs采样器来说，不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响，并建议使用先验，其中局部精度为半t分布，自由度大于1。
2021-07-10 stat.CO stat.ME
Scalable inference for crossed random effects models
我们分析了吉布斯采样器的复杂性，用于现代方差分析中使用的交叉随机效应模型的推理。我们证明，对于某些设计的普通香草吉布斯采样器是不可扩展的，在这个意义上说，它的复杂性比成比例的参数和数据的数量。因此，我们提出了一个简单的修改，导致一个崩溃的吉布斯采样器，可证明是可扩展的。虽然我们的理论需要对数据设计进行一些平衡性假设，但我们在模拟和真实数据集中证明，在违反假设的情况下，它预测的速率与正确的速率显著匹配。我们还表明，折叠吉布斯采样器，扩展到采样进一步未知的超参数，性能显着优于其他国家的最先进的算法。
2018-03-26 stat.CO stat.ME stat.ML
Split-and-augmented Gibbs sampler - Application to large-scale inference problems
本文从变量分裂和数据增广两个方面出发，推导了两种新的优化驱动的蒙特卡罗算法。特别是，所提出的方法之一的制定是密切相关的交替方向乘法器（ADMM）的主要步骤。所提出的框架能够得到更快，更有效的采样方案比目前最先进的方法，并可以嵌入后者。通过对待推断的参数以及问题的超参数进行有效采样，生成的样本可以用于近似待推断的参数的贝叶斯估计。此外，所提出的方法带来了置信区间在一个低成本的优化方法相反。两个经常研究的信号处理问题的仿真说明了这两个采样器的性能。所有的结果进行比较，通过最近的国家的最先进的优化和MCMC算法来解决这些问题。
2018-10-10 eess.SP stat.CO stat.ME
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$（Madigan and York，1995）和Gibbs（George and McCulloch，1997）采样器是线性回归模型中贝叶斯模型平均（BMA）最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量，然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的，则这在计算上可能是低效的。在这项工作中，我们引入自适应版本的这些采样器，保持其简单的实施，并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型（LGM）的马尔可夫链蒙特卡罗（MCMC）方法。采样方案是两块吉布斯抽样方案，旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成，而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中，后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理，通过设计，LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外，当潜在模型的维数增加时，它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
Likelihood-free approximate Gibbs sampling
似然自由方法，如近似贝叶斯计算（ABC）已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好，但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器，自然地绕过了维数问题，专注于低维条件分布。这些分布是由灵活的回归模型估计，无论是在采样器运行之前，或自适应采样器的实施过程中。因此，与基于Metropolis-Hastings的方法相比，我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能，并使用包含13，140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析，这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology（大连理工大学）；University College London（伦敦大学学院）
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能，然后我们提供了几个其他联合对角化算法，这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品，吉布斯采样器的输出可以用来估计对数边际似然，但是我们采用基于贝叶斯信息准则（BIC）的近似，在合成的例子中，它被认为正确地定位了公共特征向量的数量。然后，我们成功地应用采样器的源分离问题，以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣，收敛复杂性分析是研究蒙特卡罗马尔可夫链（对于难以处理的贝叶斯后验分布）的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题，而且很少有成功的分析。秦和霍伯特（2021 b）最近提出了一个富有成效的分析，他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明，在规则性条件下，随着数据集大小的增加，该吉布斯采样器的几何收敛速度收敛到零。本文表明，吉布斯采样器表现出类似的行为，更一般的贝叶斯模型，具有随机效应和传统的连续协变量，所谓的混合模型。该分析采用了Qin和Hobert（2021 b）介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间，在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果，并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Incorporating Local Step-Size Adaptivity into the No-U-Turn Sampler using Gibbs Self Tuning
本文针对 NUTS 中步长与路径长度相互依赖导致局部自适应困难的问题，提出基于 Gibbs 自调节框架的局部步长自适应方法，保证可逆性并仅依赖步长条件分布决定接受概率，在 Neal 漏斗和高维正态分布上验证了有效性。
2024-08-15 math.PR stat.CO stat.ME
Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models
本文提出了一种新的马尔可夫链蒙特卡罗方法，用于共轭混合模型的后验分布的抽样。该算法依赖于一个灵活的分裂合并过程中使用粒子吉布斯采样器。与现有的分裂-合并过程相反，所得到的所谓粒子吉布斯分裂-合并采样器不需要计算复杂的接受率，使用现有的序贯蒙特卡罗库实现简单，并且可以并行化。我们研究其性能实验合成的问题，以及地理位置和癌症基因组学数据。在所有这些例子中，粒子吉布斯分裂-合并采样器优于最先进的分裂-合并方法高达一个数量级的固定计算复杂度。
2017-05-27 stat.CO
Entropy contraction of the Gibbs sampler under log-concavity
Duke University（杜克大学）；Bocconi University（博科尼大学）
本文研究了在强log-concave条件下吉布斯采样的熵收缩特性，证明了其收敛速率与条件数线性相关，并探讨了非强log-concave情况下的收敛退化及扩展应用。
2026-01-20 math.PR math.ST stat.CO
Self-Tuned Rejection Sampling within Gibbs and a Case Study in Small Area Estimation
Center for Statistical Research and Methodology, U.S. Census Bureau（美国人口普查局统计研究与方法中心）；Department of Biostatistics, University at Buffalo（布法罗大学生物统计学系）
本研究针对吉布斯采样中陌生条件分布的抽样问题，提出自调垂直加权条带（VWS）拒绝采样方法，将其应用于县级学龄贫困儿童人口的小区域估计，在控制计算量的同时实现精确抽样。
2026-10-05 stat.AP stat.CO stat.ME
Simulating Markov random fields with a conclique-based Gibbs sampler
对于空间和网络数据，我们考虑由马尔可夫随机场（MRF）结构和每个观测的条件分布的规范形成的模型。从这样的MRF模型的快速模拟通常是一个重要的考虑因素，特别是当需要重复生成大量的数据集。然而，用于从MRF模型模拟的标准吉布斯策略涉及单站点更新，以顺序方式使用每个观测的条件单变量分布执行，由此即使对于中等样本，完整的吉布斯迭代也可能在计算上涉及。作为替代方案，我们描述了一种使用具有“concliques”的吉布斯抽样（即，非相邻观测的组）。与标准的吉布斯抽样相比，该模拟方案可以通过减少吉布斯步骤和独立地更新每个conclique的所有观测一次快得多。速度的提高取决于相对于用于模拟的样本量的浓缩物的数量，并且对于许多MRF模型（例如，具有适当有界的邻域）。我们详细的模拟方法，建立其有效性，并评估其计算性能，通过数值研究，速度优势，几个空间和网络的例子。
2019-09-10 stat.CO
Blocked Gibbs sampler for hierarchical Dirichlet processes
针对 HDP 混合模型后验采样中 CRF 混合差、复杂度高及切片采样器不稳定的问题，提出基于随机测度截断与 gamma 先验的分块 Gibbs 采样器及高效拒绝采样方法。
2024-08-04 stat.CO
Weak Poincaré inequalities for two-component Deterministic-scan Metropolis-within-Gibbs samplers
University of Warwick（华威大学）
本文通过弱Poincaré不等式分析了确定性扫描Metropolis-within-Gibbs采样器的收敛性质，并建立了相关理论结果及应用。
2026-10-06 math.PR stat.CO
An Exact Auxiliary Variable Gibbs Sampler for a Class of Diffusions
随机微分方程（英语：Stochastic Differential Equations，缩写：SDEs）是一类连续时间随机过程，广泛应用于数学和应用科学中。模拟这些过程的路径通常是一个棘手的问题，通常涉及时间离散近似。我们提出了一个精确的马尔可夫链蒙特卡罗采样算法，不涉及这样的时间离散化误差。我们的采样器是适用于问题的事先模拟，后验模拟条件下的噪声观测，以及参数推断噪声观测。我们的工作重铸现有的拒绝抽样算法的一类扩散作为一个潜在的变量模型，然后推导出一个辅助变量吉布斯抽样算法，目标相关的联合分布。在高层次上，所得到的算法包括两个步骤：模拟一个随机网格的时间从一个非齐次泊松过程，并更新这个网格的条件下的轨迹。我们的工作允许大量的文献的蒙特卡罗抽样算法从高斯过程文献被带到承担涉及扩散的应用。我们在合成和真实数据集上研究了我们的方法，在那里我们展示了优于竞争方法的性能。
2020-05-25 stat.CO
Particle-Gibbs Sampling For Bayesian Feature Allocation Models
University of British Columbia（英属哥伦比亚大学）；BC Cancer Agency（不列颠哥伦比亚癌症机构）
贝叶斯特征分配模型是一种流行的工具，用于对具有组合潜在结构的数据进行建模。这些模型中的精确推断通常是棘手的，因此从业者通常应用马尔可夫链蒙特卡罗（MCMC）方法进行后验推断。最广泛使用的MCMC策略依赖于特征分配矩阵的元素明智吉布斯更新。这些逐元素更新可能是低效的，因为特征通常是强相关的。为了克服这个问题，我们开发了一个吉布斯采样器，可以更新一整行的功能分配矩阵在一个单一的移动。然而，这种采样器是不切实际的模型与大量的功能，计算复杂性的规模指数的特征数量。我们开发了一个粒子吉布斯采样器，其目标是与行吉布斯更新相同的分布，但计算复杂度仅在特征数量上线性增长。我们比较了我们提出的方法的性能标准吉布斯采样器使用合成数据从一系列的特征分配模型。我们的研究结果表明，行明智的更新使用PG方法可以显着提高性能的特征分配模型的采样器。
2020-01-25 cs.LG stat.CO stat.ML
The Recycling Gibbs Sampler for Efficient Learning
Télécom ParisTech, Université Paris-Saclay（巴黎高科电信学院，巴黎-萨克雷大学）；Image Processing Laboratory (IPL), Universitat de Valencia（图像处理实验室，瓦伦西亚大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
蒙特卡罗方法是贝叶斯推断的重要工具。吉布斯抽样是一种众所周知的马尔可夫链蒙特卡罗（MCMC）算法，广泛用于信号处理、机器学习和统计学，用于从复杂的高维后验分布中抽取样本。吉布斯抽样器成功应用的关键是能够从全条件概率密度函数中有效地抽取样本。由于在一般情况下这是不可能的，为了加速链的收敛，需要生成辅助样本，其信息最终被忽略。在这项工作中，我们证明了这些辅助样本可以在Gibbs估计器中回收，从而提高效率，而无需额外成本。在指出标准吉布斯采样器和用于采样目的的链式规则之间的关系之后，这种新颖的方案自然产生。涉及简单和真实推理问题的数值模拟证实了所提出的方案在精度和计算效率方面的优异性能。特别是，我们在一个玩具的例子，高斯过程超参数的推断，并通过回归学习依赖图的性能的经验证据。
2017-12-20 cs.LG stat.CO stat.ML
Particle Gibbs Sampling for Bayesian Phylogenetic inference
组合序贯蒙特卡罗（CSMC）方法是一种有效的补充标准马尔可夫链蒙特卡罗（MCMC）方法的贝叶斯系统发生树推断方法。将CSMC和MCMC结合在粒子Gibbs（PG）采样器的框架下，联合估计系统发育树和进化参数是一种很有吸引力的方法。然而，粒子吉布斯的马尔可夫链可能混合不良，如果底层SMC遭受路径退化问题。一些补救措施，包括粒子吉布斯与祖先采样和相互作用粒子MCMC，已被提出来改善PG。但他们要么不能适用于组合树空间或仍然效率低下。我们引入了一种新的CSMC方法，提出了一个更有效的建议分布。它也可以结合到粒子吉布斯采样器框架来推断演化模型中的参数。新算法可以很容易地通过分配样本在不同的计算核心并行化。我们通过数值实验验证了所开发的CSMC可以在各种粒子Gibbs采样器中更有效地对树进行采样。我们的实现可以在https://github.com/liangliangwangsfu/phyloPMCMC上获得
2020-08-11 stat.CO
Accelerated Gibbs sampling of normal distributions using matrix splittings and polynomials
应用于具有指定精度矩阵的多元正态分布的标准吉布斯抽样在基本方式上等价于精度矩阵中线性方程组的Gauss-Seidel迭代解。具体地说，迭代算子、收敛发生的条件和几何收敛因子（和速率）是相同的。这些结果适用于任意矩阵分裂从经典的迭代方法在数值线性代数提供方便地访问成熟的结果，在该领域，包括现有的收敛结果的对偶变量吉布斯抽样，REGS抽样，和推广。因此，有效的确定性平稳松弛计划导致有效的推广吉布斯抽样。可以应用多项式加速技术来加速等效的广义吉布斯采样器，该多项式加速技术显著提高了从\emph{symmetric}矩阵分裂导出的迭代求解器的收敛速率。误差多项式的恒等性保证了非齐次马尔可夫链的收敛性，而收敛因子的相等性保证了最优求解器导致最优采样器。数值例子，包括Chebyshev加速SSOR吉布斯采样器适用于一个程式化的演示低级别贝叶斯图像重建在一个大的3维线性逆问题。
2015-05-13 stat.CO
A hybrid Gibbs sampler for edge-preserving tomographic reconstruction with uncertain view angles
在计算机断层扫描中，数据由穿过物体的X射线衰减的测量值组成。目标是重建物体内部的线性衰减系数。对于X射线源的每个位置，其特征在于其相对于固定坐标系的角度，测量一组称为视图的数据。一个常见的假设是这些视角是已知的，但在某些应用中，它们是不精确的。我们提出了一个框架来解决贝叶斯逆问题，共同估计的视角和图像的对象的衰减系数。我们还包括一些表征可能性和先验的超参数。我们的方法是基于吉布斯采样器，其中相关的条件密度模拟使用不同的采样方案-因此，长期混合。特别地，与重建相关联的条件分布在图像像素中是非线性的、非高斯的和高维的。我们通过构造一个拉普拉斯近似来接近这个分布，该近似在每次Gibbs迭代时局部地表示目标条件。这使得能够使用迭代重建算法以有效的方式对衰减系数进行采样。数值结果表明，我们的算法能够联合识别图像和视角，同时还提供两者的不确定性估计。我们证明了我们的方法与二维X射线计算机断层扫描问题，使用扇形光束配置。
2021-04-14 stat.CO
Deterministic Gibbs Sampling via Ordinary Differential Equations
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司高通人工智能研究院）
确定性动态是许多MCMC算法的重要组成部分，例如混合蒙特卡罗或利用归一化流的采样器。本文利用微分几何中的自治常微分方程和工具，给出了确定性测度保持动力学的一般构造。我们将展示如何混合蒙特卡罗和其他确定性采样遵循我们的理论的特殊情况。然后，我们证明了我们的方法的效用，通过构建一个连续的非顺序版本的吉布斯抽样的ODE流和扩展到离散状态空间。我们发现，我们的确定性采样器是更有效的样本比随机同行，即使后者产生独立的样本。
2021-06-18 cs.LG stat.CO
Marginalized particle Gibbs for multiple state-space models coupled through shared parameters
我们认为贝叶斯推断从多个时间序列描述的一个共同的状态空间模型（SSM）的结构，但不同的子模型之间共享不同的参数子集。一个重要的例子是疾病动力学，其中参数可以是疾病或位置特定的。通过系统地汇总来自不同时间序列的信息，尤其是短序列的信息，可以改进这些模型中的参数推断。粒子吉布斯（PG）采样器是一类有效的算法，用于SSM中的推理，特别是当共轭性可以被利用来从状态更新中边缘化模型参数时。我们提出了两种不同的PG采样器，边缘化静态模型参数的飞行：一个更新一个模型的时间条件的数据集为其他模型，并同时更新所有的模型堆叠成一个高维SSM。每个采样器的独特功能使它们适用于不同的建模环境。我们提供的见解时，每个采样器应该使用，并表明它们可以结合起来，形成一个有效的PG采样器的状态和参数之间具有很强的依赖关系的模型。两个线性高斯的例子和一个真实世界的例子上的蚊子传播的疾病的传播的性能进行了说明。
2022-10-13 stat.AP stat.CO stat.ME
