A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology（大连理工大学）；University College London（伦敦大学学院）
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能，然后我们提供了几个其他联合对角化算法，这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品，吉布斯采样器的输出可以用来估计对数边际似然，但是我们采用基于贝叶斯信息准则（BIC）的近似，在合成的例子中，它被认为正确地定位了公共特征向量的数量。然后，我们成功地应用采样器的源分离问题，以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
A fast non-reversible sampler for Bayesian mixture models
Duke University（杜克大学）；University of Padua（帕多瓦大学）；Bocconi University（博科尼大学）
针对贝叶斯有限混合模型后验采样收敛慢的问题，提出一种新型不可逆采样方案，理论证明其渐近方差性能不劣于标准方法四倍，可将大样本下收敛时间从O(n²)降至O(n)，在多场景下性能显著优于经典采样器。
2026-10-05 stat.CO stat.ME stat.ML
Enhancing Computational Efficiency in High-Dimensional Bayesian Analysis: Applications to Cancer Genomics
本文系统评估了 Two-Block Gibbs 采样器在高维贝叶斯收缩模型中的性能，证明其相比 Three-Block Gibbs 采样器计算效率更高、收敛更快，并通过 NCI-60 癌细胞基因表达预测蛋白质表达的应用验证了其价值。
2024-10-22 stat.CO stat.ME
A positive-definiteness-assured block Gibbs sampler for Bayesian graphical models with shrinkage priors
尽管Wang（2012）提出的贝叶斯图LASSO的块Gibbs采样器近年来已被广泛应用并扩展到各种收缩先验，但它具有不太明显但可能严重的缺点，即在Gibbs采样器的每个循环中不能保证高斯图模型中精度矩阵的正定性。具体地说，如果精度矩阵的维数超过样本量，精度矩阵的正定性将难以满足，吉布斯采样器几乎肯定会失败。在本文中，我们建议修改原来的块吉布斯采样器，使精度矩阵永远不会失败，是正定的采样，正是从域的正定性。正如我们在蒙特卡罗实验中所示，这种修改不仅稳定了采样过程，而且显着提高了参数估计和图形结构学习的性能。我们还将我们提出的算法应用于股票数量超过样本周期的月度回报数据的图形模型，证明了其稳定性和可扩展性。
2022-04-14 stat.CO
An integer grid bridge sampler for the Bayesian inference of incomplete birth-death records
在生灭过程的桥路空间与单形和整数网格的乘积空间的排他并之间建立了一一对应。导出了上跳次数固定的整数格桥的精确计数公式。然后构造了一个在这种有限桥路空间上的均匀采样器。这导致了一个蒙特卡罗计划，整数网格桥采样器，IGBS，以评估的转移概率的生灭过程。即使是概率接近于零的罕见事件，现在也可以用受控的相对误差进行评估。基于IGBS的不完全出生-死亡观测值的贝叶斯推断可方便地用于实例演示和对一个真实的严重不完全数据集的分析。与基本的自举滤波器，一个基本的顺序重要性恢复算法进行比较。在新计划中，挥之不去的过滤失败没有找到任何位置。
2022-08-08 math.ST stat.CO stat.ME
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间，在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果，并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时，这一点至关重要，处理现代数据集时也是如此，例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归，使实用的，非渐近诊断的收敛，而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件，我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验，其中包括“马蹄铁”，我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是，对于Gibbs采样器来说，不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响，并建议使用先验，其中局部精度为半t分布，自由度大于1。
2021-07-10 stat.CO stat.ME
Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中，我们使用Polson等人（2013）的数据增强技术，在适当的先验条件下，使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外，我们证明了这种Gibbs抽样的一致遍历性，这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$（Madigan and York，1995）和Gibbs（George and McCulloch，1997）采样器是线性回归模型中贝叶斯模型平均（BMA）最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量，然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的，则这在计算上可能是低效的。在这项工作中，我们引入自适应版本的这些采样器，保持其简单的实施，并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣，收敛复杂性分析是研究蒙特卡罗马尔可夫链（对于难以处理的贝叶斯后验分布）的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题，而且很少有成功的分析。秦和霍伯特（2021 b）最近提出了一个富有成效的分析，他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明，在规则性条件下，随着数据集大小的增加，该吉布斯采样器的几何收敛速度收敛到零。本文表明，吉布斯采样器表现出类似的行为，更一般的贝叶斯模型，具有随机效应和传统的连续协变量，所谓的混合模型。该分析采用了Qin和Hobert（2021 b）介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法，用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
SOMA: A Novel Sampler for Bayesian Inference from Privatized Data
本文提出SOMA采样器，通过单个提议同时评估替换所有分量来提高接受率，解决私有化数据贝叶斯推断中DAMCMC混合缓慢的问题，并给出理论保证与实验验证。
2025-11-06 stat.ME
Blocked Gibbs sampler for hierarchical Dirichlet processes
针对 HDP 混合模型后验采样中 CRF 混合差、复杂度高及切片采样器不稳定的问题，提出基于随机测度截断与 gamma 先验的分块 Gibbs 采样器及高效拒绝采样方法。
2024-08-04 stat.CO
A Bayesian Dynamic Latent Space Model for Weighted Networks
Ca’ Foscari University of Venice（威尼斯卡福斯卡里大学）；Luiss University（卢伊斯大学）
本文提出一种新的动态潜在空间Eigen模型，用于处理加权时间网络中的整数权重、零过剩、时间变化的节点位置和网络稀疏性。通过向量自回归过程建模潜在位置，并采用贝叶斯方法解决动态LSM中的推断难题。
2026-04-14 stat.CO stat.ME
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Multilevel linear models, Gibbs samplers and multigrid decompositions
我们研究了条件高斯分层模型的贝叶斯分析所产生的后验分布的背景下的吉布斯采样器的收敛性质。我们开发了一个多重网格的方法，推导出各种广泛使用的模型结构，包括嵌套和交叉随机效应的算法的收敛速度的解析表达式。我们的结果适用于多级模型的层次结构中的任意层数，而以前的工作仅限于两级嵌套的情况下。理论结果提供了明确的和易于实施的指导方针，以优化实际实施的吉布斯采样器，如指示上的参数化选择（如中心和非中心），施加约束，以保证统计可识别性，以及哪些参数监测诊断过程中。模拟结果表明，在非高斯分布和更一般的MCMC计划，如基于梯度的上下文中也是信息丰富的。条件高斯分层模型的吉布斯采样器的实现。
2019-06-26 math.PR stat.CO stat.ME
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程（HDP）及其相关混合模型的精确切片采样器（Teh等人，2006年）。虽然有现有的MCMC算法的采样从HDP，切片采样器已失踪的文献。切片采样以其理想的特性而闻名，包括其快速混合和其自然的并行化潜力。另一方面，HDPs的分层性质对采用成熟的切片采样器提出了挑战，该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中，我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量，我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点，如（1）快速混合;（2）保持精确，同时允许自然截断的基础无限维措施，如（Kalli等人，2011），导致在每次迭代中仅更新有限数量的必要原子和权重;以及（3）自然地适合于并行实现。全似然联合因子分解的基本原理很简单，可以应用于许多其他设置，例如为一般相关Dirichlet过程（DDP）模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
Geometric ergodicity of Gibbs samplers for Bayesian error-in-variable regression
针对含经典与Berkson误差的多元Bayesian EIV回归，提出三变量确定性扫描Gibbs采样器，证明其始终几何遍历，并通过模拟和天体物理数据验证性能。
2023-04-20 math.ST stat.TH
HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
Brown University（布朗大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
该研究拓展了Cole-Hopf变换的抽象理论框架，提出HJ-sampler算法，通过求解粘性HJ偏微分方程和随机最优控制采样求解带终端观测的随机微分方程贝叶斯逆问题，还给出两种求解器变体并验证了有效性与灵活性。
2024-10-08 cs.LG math.OC stat.CO
Regenerative Simulation for the Bayesian Lasso
Park和Casella的Gibbs采样器是最流行的MCMC方法之一，用于从贝叶斯Lasso回归的后验密度中采样。与许多马尔可夫链采样器一样，他们的吉布斯采样器缺乏理论上合理的输出分析方法-一种用于估计给定遍历平均值的方差和估计链从平稳分布采样的接近程度的方法，即老化。在本文中，我们解决了这个缺点，通过识别再生结构的采样器的公园和卡塞拉，从而提供了一个理论上合理的方法来评估其性能。再生结构提供了强一致的方差估计量和与目标后验密度的全变差距离的估计量（上界）。其结果是一个简单的和理论上健全的方式来评估公园和卡塞拉，更普遍的是，其他MCMC采样器，再生模拟是可能的平稳性。我们进行了一个数值研究，我们验证了我们的再生方法计算的标准误，通过比较它与AR（1）启发式近似计算的标准误。因此，我们表明，贝叶斯Lasso模型，再生方法是一个可行的和理论上合理的替代现有的ad-hoc MCMC收敛诊断。
2018-06-06 stat.CO
Analysis of block slice samplers for Bayesian GLMMs and GAMs with linear inequality and shape constraints
指数族模型、广义线性模型、广义线性混合模型和广义可加模型是统计学中广泛使用的模型。然而，许多科学应用需要对模型参数进行约束，例如形状和线性不等式约束。参数的约束估计和推断仍然是统计学中的一个普遍问题，其中许多方法依赖于修改刚性大样本理论假设进行推断。针对具有线性不等式和形状约束的贝叶斯GLM和GAM问题，提出了一种灵活的切片采样Gibbs算法。我们证明我们的后验样本遵循马尔可夫链中心极限定理（CLT），证明我们的马尔可夫链的一致遍历性和存在的一个矩母函数为我们的后验分布。我们使用我们的CLT的结果来获得联合频带和多重调整贝叶斯推断的非参数功能的影响。我们严格的CLT结果解决了文献中的一个缺点，在有限样本设置的约束参数获得有效的估计和推断。我们的算法和证明技术适用于无数重要的统计建模问题。我们将贝叶斯GAM应用到一个真实的数据分析实例中，该实例涉及具有形状约束和平滑非参数效应的儿童脑震荡恢复的比例优势回归。我们得到的单调非参数时间效应的多重调整推断，以阐明儿童的恢复趋势作为时间的函数。
2022-12-22 stat.ME
Scalable Bayesian Inference for Population Markov Jump Processes
马尔可夫跳变过程（MJPs）的贝叶斯推断通常依赖于数据增强马尔可夫链蒙特卡罗，其中可用的观测值与系统状态或跳变相关。最先进的发展涉及表示MJP路径与辅助候选跳转时间，后来细化。然而，这些算法i）在涉及大容量或无限容量系统的情况下是不可行的，并且ii）不适合于所有观测类型。在本文中，我们建立并提出了一个通用的数据增强框架的基础上统一表示的潜在的非平稳跳跃过程的人口MJPs。这导致多个新的MCMC采样器，使精确的（在蒙特卡罗意义上）推理任务的模型参数。我们表明，建议的采样优于现有的流行的方法，并提供了大量的效率增益的应用部分观察到的随机流行病，移民过程和捕食者-猎物动力系统。
2019-04-17 stat.CO stat.ME
Scalable Bayesian shrinkage and uncertainty quantification for high-dimensional regression
贝叶斯收缩方法作为高维回归和模型选择的工具，最近引起了人们的极大兴趣。这些方法自然有利于易于处理的不确定性量化和纳入先验信息。这一优势导致贝叶斯收缩方法在不同应用中的广泛使用。这些模型的一个共同特点是回归系数的相应先验可以表示为正态的尺度混合。虽然三步吉布斯采样器用于采样从往往棘手的相关后验密度已被证明是几何遍历的几个这些模型，它最近已被证明，这种采样器的收敛仍然可以在现代高维设置相当缓慢，尽管这个明显的理论保障。我们提出了一种新的方法，通过一个易于处理的两步阻塞吉布斯采样器从相同的后验。我们证明了我们提出的两步块采样器具有非常优越的收敛行为相比，原来的三步采样器在高维制度的真实和模拟数据。我们还提供了一个详细的理论基础的贝叶斯套索的上下文中的新方法。首先，我们证明了建议的两步采样器是几何遍历，并推导出明确的（几何）收敛速度的上界。此外，我们从理论上证明，虽然原来的贝叶斯套索链不是希尔伯特-施密特，拟议的链是迹类（因此希尔伯特-施密特）。迹类性质意味着相应的马尔可夫算子是紧的，并且它的（可数的）特征值是可和的。它还有助于严格比较两步阻塞链与“三明治”算法，其目的是通过插入廉价的额外步骤来提高两步链的性能。
2017-04-19 stat.ME
Cost free hyper-parameter selection/averaging for Bayesian inverse problems with vanilla and Rao-Blackwellized SMC Samplers
在贝叶斯逆问题中，人们的目标是在给定间接测量的情况下，描述一组未知数的后验分布。对于非线性/非高斯问题，解析解很少可用：序贯蒙特卡罗采样器通过构建平滑到达后验的辅助密度序列，为近似复杂后验提供了强大的工具。后验通常取决于标量超参数。在这项工作中，我们表明，适当设计的序贯蒙特卡罗（SMC）采样器自然提供了一个近似的边际似然与此超参数免费，即在一个可以忽略不计的额外计算成本。所提出的方法通过构造分布的辅助序列来进行，使得它们中的每一个可以被解释为对应于超参数的不同值的后验分布。这可以被利用来在经验贝叶斯方法中执行超参数的选择，以及在完全贝叶斯方法中根据一些超先验分布对超参数的值进行平均。对于FB方法，所提出的方法具有允许以可忽略的计算成本进行先前的敏感性分析的进一步益处。此外，所提出的方法在所有（相关）迭代中利用粒子，从而减轻SMC采样器的已知限制之一，即中间迭代中的所有样本通常被丢弃的事实。我们展示了两种不同情况下的数值结果，其中超参数只影响可能性：一个玩具的例子，其中SMC采样器用于近似完整的后验分布;和一个脑成像的例子，其中Rao-Blackwellized SMC采样器用于近似条件线性高斯模型中的参数子集的后验分布。
2022-12-23 stat.AP stat.ME
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型（LLMM）是应用最广泛的统计模型之一。通常，马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle（2013）的Polya-Gamma数据增强（DA）技术可用于构建LLLRR的完整Gibbs（FG）采样器。在这里，我们开发了高效的块吉布斯（BG）采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时，我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件，保证几何遍历的BG马尔可夫链时，流行的不适当的一致先验分配的回归系数，适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义，因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME
Bayesian Estimation of Hierarchical Linear Models from Incomplete Data: Cluster-Level Interaction Effects and Small Sample Sizes
针对小样本和部分观测数据下HLM的估计问题，提出一种直接从精确后验分布填补参数与缺失值的兼容Gibbs采样器，通过模拟证明其优于现有方法。
2025-01-31 stat.ME
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题，特别是当似然函数的梯度不可用时。在低到中等尺寸，仿射不变的方法，一类基于集成的无梯度的方法，已发现在采样集中后验的成功。然而，系综成员的数量必须超过未知状态的维度，以便正确的分布成为目标。相反，预处理Crank-Nicolson（pCN）算法在高维采样时成功，但当后验与前验显著不同时，样本变得高度相关。在这篇文章中，我们将上述方法以两种不同的方式结合起来，试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差，而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤，同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Vanderbilt University（范德堡大学）
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题，提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS，并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计学系）
该研究提出AI4BayesCode系统，通过自然语言描述生成可运行且验证过的MCMC采样器，采用模块化设计和递归状态性编码范式，提升了贝叶斯模型的可靠性和扩展性。
2026-08-03 cs.AI cs.LG stat.CO
Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference
Universität Heidelberg（海德堡大学）；University of Tübingen（蒂宾根大学）；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）；Zuse School ELIZA（祖塞ELIZA学院）
本文提出马尔可夫链蒙特卡洛循环类比热机循环，通过自适应集成调度器实现参数调整，发现非高斯模型可产生非零净功，并作为非高斯性度量应用于超新星宇宙学。
2026-09-09 cond-mat.stat-mech cs.AI stat.CO
Adaptive random neighbourhood informed Markov chain Monte Carlo for high-dimensional Bayesian variable Selection
我们介绍了一个有效的马尔可夫链蒙特卡罗（MCMC）算法的框架，目标是离散值的高维分布，如后验分布贝叶斯变量选择（BVS）问题。我们表明，许多最近推出的算法，如本地知情的采样器和自适应缩放的个人适应采样器（ASI），可以被视为框架内的特殊情况。然后，我们描述了一种新的算法，自适应随机邻域知情采样器（ARNI），从这两个现有的方法相结合的想法。我们使用几个例子的真实和模拟的数据集，计算效率高的逐点实现（PARNI）导致相对更可靠的推论的变量选择问题的范围内，特别是在非常大的$p$设置。
2021-10-26 stat.CO
Deep Bootstrap for Bayesian Inference
对于贝叶斯，定义可能性的任务可能与定义先验的任务一样令人困惑。我们专注于当感兴趣的参数已经从可能性中解放出来，并通过损失函数直接与数据相关联时的情况。我们调查现有的工作都与吉布斯后验贝叶斯参数推断以及贝叶斯非参数推断。然后，我们强调最近的自举计算方法近似损失驱动的后验。特别是，我们专注于通过一个潜在的前推映射定义的隐式自举分布。我们调查iid采样器从近似后验通过随机引导权重通过一个训练有素的生成网络。在训练深度学习映射之后，这种iid采样器的模拟成本可以忽略不计。我们在几个例子（包括支持向量机或分位数回归）上比较了这些深度自举采样器与精确自举和MCMC的性能。我们还提供了理论上的见解，引导后验模型的错误规范的连接。
2022-05-30 stat.CO
A Modified Gibbs Sampler on General State Spaces
我们提出了一个修改的吉布斯采样一般状态空间。我们确定，这种修改可以导致统计效率的大幅提高，同时保持收敛的整体质量。我们说明我们的结果在两个例子中，包括一个玩具正态-正态模型和贝叶斯版本的随机效应模型。
2013-08-26 stat.CO
Low Rank Independence Samplers in Bayesian Inverse Problems
Clemson University（克莱姆森大学）；North Carolina State University（北卡罗来纳州立大学）；Statistical and Applied Mathematical Sciences Institute（统计与应用数学科学研究所）
本文提出一种高效采样方法，用于高维高斯分布的贝叶斯线性逆问题，利用低秩近似先验预条件Hessian进行Metropolis-Hastings独立采样，提升计算效率。
2018-03-12 cs.NA math.NA stat.CO
Sufficient burn-in for Gibbs samplers for a hierarchical random effects model
我们认为吉布斯和块吉布斯抽样的贝叶斯分层版本的单向随机效应模型。漂移和最小化条件建立的基础马尔可夫链。漂移和少数化与J. S。罗森塔尔[J. Amer. Statistist. Assoc.90（1995）558-566]和G. O. Roberts和R. L.特威迪[随机过程。Appl. 80（1999）211-229]来构造关于到平稳性的距离的分析上界。这些导致上界的烧伤，这是需要得到一个预先指定的（全变差）的距离内的固定分布链的量。最后用数值例子说明了结果。
2004-06-23 math.ST stat.TH
Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models
本文提出了一种新的马尔可夫链蒙特卡罗方法，用于共轭混合模型的后验分布的抽样。该算法依赖于一个灵活的分裂合并过程中使用粒子吉布斯采样器。与现有的分裂-合并过程相反，所得到的所谓粒子吉布斯分裂-合并采样器不需要计算复杂的接受率，使用现有的序贯蒙特卡罗库实现简单，并且可以并行化。我们研究其性能实验合成的问题，以及地理位置和癌症基因组学数据。在所有这些例子中，粒子吉布斯分裂-合并采样器优于最先进的分裂-合并方法高达一个数量级的固定计算复杂度。
2017-05-27 stat.CO
Dimension-free Mixing for High-dimensional Bayesian Variable Selection
Yang等人（2016）证明了贝叶斯变量选择的对称随机游动梅特罗波利斯-黑斯廷斯算法在温和的高维假设下快速混合。我们提出了一种新的MCMC采样器使用知情的建议计划，我们证明实现了更快的混合时间，是独立的协变量的数量，在相同的假设下。据我们所知，这是第一个高维结果，严格表明，知情MCMC方法的混合速度可以足够快，以抵消局部后验评估的计算成本。基于对采样器的理论分析，我们进一步提出了一种新的方法--“两阶段漂移条件”来研究一般状态空间上的马尔可夫链的收敛速度，这对于在高维环境下获得严格的复杂性界是有用的.仿真研究和实际数据分析表明，我们的算法的实际优势。
2022-04-23 stat.CO stat.ME
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架，在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法，可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本：系统扫描（SS）版本，其中所有变量在每次迭代时更新，以及随机扫描（RS）版本，其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查，并介绍了一种替代的混合扫描吉布斯采样器，这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实，即在该算法中使用的扫描具有系统和随机元两者。事实上，在每次迭代中，我们都会更新整个潜在变量集，以及随机选择的剩余变量块。混合扫描（HS）Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先，HS算法通常更容易从理论角度进行分析。特别地，建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次，在Hobert和Marchev（2008）中开发的三明治方法，也被审查，可以应用于HS吉布斯算法（但不适用于标准扫描吉布斯采样器）。结果表明，在弱正则性条件下，添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布，这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中，我们考虑马尔可夫链蒙特卡罗（MCMC）算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是，我们构造的两块吉布斯采样器使用的数据增强（DA）技术。此外，我们证明了Gibbs抽样的几何遍历性，这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时，我们也提供了后适当的条件。一般而言，用于DA的Haar参数展开（PX- DA）算法是DA算法的改进，并且已经表明，它在理论上至少与DA算法一样好。在这里，我们构建了一个Haar PX DA算法，它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Probability Based Independence Sampler for Bayesian Quantitative Learning in Graphical Log-Linear Marginal Models
贝叶斯方法的图形对数线性边际模型还没有发展到与传统的频率论方法相同的程度。在这项工作中，我们引入了一种新的贝叶斯方法，用于此类模型的定量学习。这些模型属于弯曲指数族，从贝叶斯的角度来看很难处理。此外，可能性不能解析地表示为边际对数线性相互作用的函数，而只能用细胞计数或概率表示。后验分布不能直接得到，需要MCMC方法。最后，一个定义良好的模型需要参数值，导致兼容的边际概率。因此，任何MCMC都应该考虑到这一重要限制。我们构建了一个全自动和高效的MCMC策略，用于处理这些问题的图形对数线性边际模型的定量学习。虽然先验表示的边际对数线性相互作用，我们建立了一个MCMC算法，采用概率参数空间的建议。通过参数变换，得到了关于边际对数线性相互作用的相应建议。通过这种策略，我们实现了在期望的目标空间内移动。在每一步中，我们直接使用定义良好的概率分布。此外，我们可以利用条件共轭设置来建立关于概率参数的有效建议。所提出的方法说明了模拟研究和真实的数据集。
2018-07-03 stat.ME
Efficient Sequential Monte-Carlo Samplers for Bayesian Inference
在许多问题中，需要复杂的非高斯和/或非线性模型来精确地描述感兴趣的物理系统。在这种情况下，蒙特卡罗算法是非常灵活和非常强大的方法来解决这样的推理问题。然而，在存在高维和/或多峰后验分布的情况下，广泛记载的是，标准蒙特卡罗技术可能导致性能不佳。本文的研究重点是一个序贯蒙特卡罗（SMC）采样器框架，一个更强大的和有效的蒙特卡罗算法。虽然这种方法比传统的蒙特卡罗方法具有许多优点，但这种新兴技术的潜力在信号处理中很大程度上尚未得到充分利用。在这项工作中，我们的目标是提出一些新的策略，将提高效率，并促进实际实施的SMC采样器，专门用于信号处理应用。首先，我们提出了一个自动和自适应的策略，选择序列的分布内的SMC采样器，最大限度地减少后验归一化常数的估计的渐近方差。这对于在贝叶斯信号处理中的建模应用中执行模型选择是至关重要的。我们提出的第二个原始贡献通过引入一种新的校正机制来提高SMC采样器的全局效率，该机制允许使用通过算法的所有迭代生成的粒子（而不是仅使用来自最后一次迭代的粒子）。这是一个重要的贡献，因为它消除了丢弃大部分获得的样品的需要，这在标准SMC方法中是标准的。这将提高实际环境中的估计性能，其中计算预算是重要的考虑因素。
2015-04-22 stat.AP stat.CO
Multi-Domain Sampling With Applications to Structural Inference of Bayesian Networks
当一个后验分布有多个模式时，无条件期望（如后验均值）可能无法提供该分布的信息性摘要。受此问题的启发，我们建议将多峰分布的样本空间分解为局部模式的吸引域。基于域的表示被定义为总结吸引域的概率质量和条件期望，这比平均值和其他无条件期望信息量大得多。提出了一种计算方法--多域采样器，用于构造任意多峰分布的域表示。多域采样器被应用于从高通量单细胞数据的蛋白质信号网络的结构学习，其中信号网络被建模为因果贝叶斯网络。我们的方法不仅提供了一个详细的景观的后验分布，但也提高了准确性和预测能力的估计网络。
2011-10-15 stat.CO stat.ME
Scalable Bayesian shrinkage and uncertainty quantification in high-dimensional regression
贝叶斯收缩方法作为高维回归和模型选择的工具，最近引起了人们的极大兴趣。这些方法自然有利于易于处理的不确定性量化和纳入先验信息。这些模型，包括贝叶斯套索，全局-局部收缩先验，和尖峰和平板先验的一个共同特征是，回归系数上的相应先验可以表示为正态的尺度混合。虽然用于从通常难以处理的相关后验密度中进行采样的三步吉布斯采样器已被证明对于其中几个模型具有几何遍历性（Khare和Hobert，2013; Khare和Khare，2014），但最近已经证明，尽管有这种明显的理论保障，这种采样器的收敛在现代高维环境中仍然非常缓慢。我们提出了一种新的方法，通过一个易于处理的两步阻塞吉布斯采样器从相同的后验。我们证明了我们提出的两步块采样器具有非常优越的收敛行为相比，原来的三步采样器在高维制度的真实和模拟数据。我们还提供了一个详细的理论基础的贝叶斯套索的上下文中的新方法。首先，我们得到明确的（几何）收敛速度的上限。此外，我们从理论上证明，虽然原来的贝叶斯套索链不是希尔伯特-施密特，拟议的链是迹类（因此希尔伯特-施密特）。迹类性质具有重要的理论和实际意义。这意味着相应的马尔可夫算子是紧的，其特征值是可和的。它还有助于严格比较两步阻塞链与“三明治”算法，其目的是通过插入廉价的额外步骤来提高两步链的性能。
2017-04-14 stat.CO
Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors
我们发展了一种方法来执行两阶段线性回归系统的模型平均值受到内消。我们的方法扩展了现有的吉布斯采样器的工具变量，将模型的不确定性的组成部分。在这种情况下，模型概率的直接评估是棘手的。我们表明，通过嵌套模型移动内的吉布斯采样器，模型比较可以通过条件贝叶斯因子，导致简单的计算。这个新的吉布斯采样器只是比原来的算法稍微多一点，并没有表现出混合困难的证据。最后，我们研究了两种不同的建模挑战：将不确定性纳入宏观经济增长的决定因素，并通过对零售价格的批发来估计需求函数。
2012-03-19 stat.AP stat.ME
Bayesian variable selection for latent class analysis using a collapsed Gibbs sampler
潜在类别分析用于对多变量分类响应执行基于模型的聚类。选择与聚类最相关的变量是一项重要的任务，它会大大影响聚类的质量。这项工作认为贝叶斯方法选择的集群数量和最佳聚类变量。其主要思想是重新制定的问题组和变量选择的概率驱动搜索在一个大的离散空间使用马尔可夫链蒙特卡罗（MCMC）方法。这种方法的结果是估计聚类的每个变量的相关程度以及聚类数的后验概率。然后可以很容易地计算贝叶斯因子，并以原则性的方式选择合适的模型。这两个选择任务同时进行，使用MCMC方法的基础上崩溃的吉布斯抽样方法，其中几个模型参数集成的模型，大大提高了计算性能。提出了估计类成员资格，变量包含和组数的后验边际概率的方法，并概述了参数和不确定性估计的事后程序。模拟和真实数据的方法进行了测试。
2015-04-30 stat.CO
Piecewise Deterministic Markov Processes for Bayesian Inference of PDE Coefficients
Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于分段确定性马尔可夫过程的框架，利用代理模型提升贝叶斯推断效率，特别适用于PDE系数的非线性反问题。
2026-02-05 math.ST stat.AP stat.CO
Compatible Imputation for Hierarchical Linear Models with Incomplete Data: Interaction Effects of Continuous and Categorical Covariates MAR
针对连续协变量C与分类协变量D存在交互效应的MAR不完全数据，提出兼容Gibbs采样器解决小样本下HLM贝叶斯估计问题，可直接从精确后验分布抽取参数与缺失值，提升估计性能。
2025-02-10 stat.ME
A Pólya-Gamma Sampler for a Generalized Logistic Regression
在本文中，我们介绍了一种新的贝叶斯数据增强方法估计广义逻辑斯谛回归模型的参数。我们提出了一个Pólya-Gamma采样算法，使我们能够从精确的后验分布中采样，而不是依赖于近似。仿真研究说明了所提出的方法的灵活性和准确性，以捕捉重尾和轻尾在不同尺寸的二进制响应数据。该方法被应用到两个不同的真实数据集，在那里我们证明了Pólya-Gamma采样器提供了比经验似然方法更精确的估计，优于近似方法。
2020-12-21 stat.CO stat.ME stat.OT
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的，而与向量自回归的阶数和维数无关，并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言，几何收敛速度被证明是有界的渐近远离团结，几乎肯定或概率趋于一，这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
Tamkang University（淡江大学）
本文提出了一种对称随机扫描坍缩Gibbs采样器，用于高效贝叶斯变量选择，结合尖峰-夹层先验和自适应正则化，实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中，在没有先验信息的情况下，回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的（2013）数据增强（DA）算法。在本文中，我们建立了马尔可夫链的基础上Polson等人。的（2013）DA算法是几何遍历的。证明这一理论结果具有重要的实际意义，因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Efficient Bayesian inference for nonlinear state space models with univariate autoregressive state equation
潜自回归过程是一个流行的选择模型的时变参数。这些模型可以用公式表示为非线性状态空间模型，由于参数数量多，因此推断不直接。因此，极大似然方法往往是不可行的，研究人员依赖于替代技术，如吉布斯抽样。但是传统的吉布斯采样器通常是针对特定情况定制的，并且在重复抽取中具有高自相关性。针对一般的非线性状态空间模型，提出了一种基于单变量自回归状态方程的Gibbs采样器。为此，我们采用交织策略和椭圆切片采样，以利用自回归过程所隐含的依赖性。在一个模拟研究中，我们证明了所提出的采样器的效率为二元动态copula模型。此外，我们有兴趣在波动率回报关系建模。因此，我们使用所提出的采样估计的参数的随机波动率模型的偏学生t误差和一个新的二元动态混合copula模型的参数。该模型允许动态非对称尾部依赖。相关的基准模型，如DCC-Gestra或学生t copula模型，预测精度方面的比较显示所提出的方法的优越性能。
2019-10-31 stat.CO
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析，这是研究马尔可夫链蒙特卡罗（MCMC）算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的，部分原因是固定的$n$和$p$的现有结果根本不够尖锐，不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal（2019）提出的，他们为Rosenthal（1996）引入和研究的Gibbs采样器（用于简单的贝叶斯随机效应模型）建立了混合时间结果。然而，这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术（秦等。例如，2019）以提供实质性的数值证据，即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果，两个不同的吉布斯采样器与Rosenthal（1996）考虑的随机效应模型的推广。我们的结果表明，在强正则性条件下，这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
