Empirical Bayes analysis of spike and slab posterior distributions
在稀疏正态均值模型中，考虑了与尖峰和平板先验分布相关的贝叶斯后验分布的收敛性。通过边际最大似然经验贝叶斯校准的关键稀疏超参数。插件的后验平方$L^2$规范收敛于最小最大速率的欧几里德规范适当选择的尖峰和板分布。可能的选择包括标准的道钉和厚尾板，以及Rocková和George的道钉和厚尾板LASSO。令人惊讶的是，流行的拉普拉斯平板显示，导致一个次优率的完整的经验贝叶斯后验。这提供了一个引人注目的例子，其中经验贝叶斯后验的各方面的收敛并不需要完整的经验贝叶斯后验本身的收敛。
2018-10-16 math.ST stat.TH
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London（伦敦大学学院）
高斯过程（GP）中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的，但在高维数据集中，这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验，并推断变量包含的后验概率。然而，GP中的现有实现在高维和大$n$数据集中运行都非常昂贵，或者仅适用于具有特定内核的无监督设置。因此，我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力，以适应相关变量的稀疏性贝叶斯模型平均超参数，并实现了大幅度的速度使用零温度后验限制，丢弃修剪和最近邻最小化。在实验中，我们的方法始终优于普通和稀疏变分GP，同时保持相似的运行时间（即使是在$n=10^6$时），并且与使用MCMC的尖峰和平板GP的性能具有竞争力，但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Bayesian Joint Spike-and-Slab Graphical Lasso
Yale School of Public Health（耶鲁大学公共卫生学院）；University of Washington（华盛顿大学）；Ohio State University（俄亥俄州立大学）
在这篇文章中，我们提出了一个新的类的先验贝叶斯推断与多高斯图形模型。我们完全引入贝叶斯处理两个流行的程序，组图形套索和融合图形套索，并将其扩展到一个连续的钉和板的框架，允许自适应收缩和模型选择同时进行。我们开发了一个期望最大化算法，执行快速和动态的探索后验模式。我们的方法有效地选择稀疏模型，其偏差比其他正则化程序所引起的偏差小得多。所提出的方法的性能通过仿真和两个实际数据的例子证明。
2019-05-09 cs.LG stat.ML
Spike and Slab Gaussian Process Latent Variable Models
University of Sheffield（谢菲尔德大学）
高斯过程隐变量模型（GP-LVM）是一种流行的非线性概率降维方法。模型的一个设计选择是潜在变量的数量。我们提出了一个尖峰和板前GP-LVM，并提出了一个有效的变分推断程序，给出了一个下界的对数边际似然。新的模型提供了一个更原则的方法来选择潜在的尺寸比阈值的长度尺度参数的标准方式。我们的方法的有效性证明了通过实验上的真实和模拟数据。此外，我们扩展了多视图高斯过程，依赖于共享潜在的尺寸（称为流形相关性确定）与尖峰和板先验。这允许用于为数据的每个视图选择潜在空间的子集的更有原则的方法。扩展模型优于以前的国家的最先进的应用时，跨模态多媒体检索任务。
2015-05-10 cs.LG stat.ML
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks
Computational Science Initiative, Brookhaven National Laboratory（布鲁克海文国家实验室计算科学倡议）；Department of Statistics and Probability, Michigan State University（密歇根州立大学统计与概率系）
本文提出结构稀疏贝叶斯神经网络，利用尖峰-平板组Lasso和Horseshoe先验剪除冗余节点，实现高效压缩与低延迟推理。
2024-08-21 cs.LG stat.ME stat.ML
Spike and slab empirical Bayes sparse credible sets
在稀疏正态均值模型中，考虑了与尖峰和平板先验分布相关的自适应贝叶斯后验可信集的覆盖。通过边际最大似然经验贝叶斯校准的关键稀疏超参数。首先，相对于$q\leq 2$的$d_q$-型-距离导出自适应后收缩率。其次，在一类所谓的过度偏置条件下，构造了在指定的$1-α$置信水平下覆盖真参数且同时具有最优直径的可信集。我们还证明了，以前的条件不能显着削弱极大极小的角度来看。
2019-02-02 math.ST stat.TH
ICR: Iterative Convex Refinement for Sparse Signal Recovery Using Spike and Slab Priors
The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在这封信中，我们解决稀疏信号恢复使用尖峰和板先验。特别是，我们专注于一个贝叶斯框架，稀疏性是通过概率先验重建系数。由尖峰和厚板先验最大化产生的优化已知是硬非凸问题，并且现有的解决方案涉及简化假设和/或松弛。我们提出了一种称为迭代凸优化（ICR）的方法，旨在直接解决上述优化问题，从而在稀疏结构中实现更大的通用性。本质上，ICR解决了一系列凸优化问题，使得解决方案序列收敛到原始硬优化问题的次优解。我们提出了我们的算法的两个版本：a。不受约束的版本，以及b.）具有对稀疏系数的非负性约束，这在某些现实问题中可能是需要的。实验验证是在合成数据和现实世界的图像恢复问题，这说明了ICR的优点超过国家的最先进的替代品。
2015-02-16 cs.CV math.OC stat.ML
Variable Fusion and Selection via a Spike-and-Slab Approach with Nonlocal Priors
The Institute of Statistical Mathematics（统计数学研究所）；Graduate School of Mathematics, Kyushu University（九州大学大学院数学院）；Faculty of Mathematics, Kyushu University（九州大学数学系）
本文提出一种基于贝叶斯模型平均框架的变量融合与选择方法，通过设计非局部先验实现变量融合与选择的联合建模。
2026-07-20 stat.ME
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
Tamkang University（淡江大学）
本文提出了一种对称随机扫描坍缩Gibbs采样器，用于高效贝叶斯变量选择，结合尖峰-夹层先验和自适应正则化，实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
Spike and slab variable selection: Frequentist and Bayesian strategies
线性回归模型中的变量选择从频率论和贝叶斯的观点来看都有许多明显的面孔。在本文中，我们介绍了一种变量选择方法，称为一个重新标度的尖峰和平板模型。我们研究的重要性，以前的层次规格，并绘制连接到频率广义岭回归估计。具体来说，我们研究了连续双峰先验模型超方差参数的有用性，以及缩放效应通过其与惩罚的关系对后验均值的影响。几种模型选择策略，一些频率和贝叶斯的性质，开发和理论研究。我们证明了选择性收缩的重要性，有效的变量选择的风险误分类，并显示这是实现后从一个重新缩放的尖峰和平板模型。我们还展示了如何验证一个程序的能力，以减少模型的不确定性，在有限的样本中使用一个专门的前向选择策略。使用这个工具，我们说明了重新缩放的尖峰和平板模型在减少模型的不确定性的有效性。
2005-05-30 math.ST stat.TH
Bayesian Group Regularization in Generalized Linear Models with a Continuous Spike-and-Slab Prior
本文在连续尖峰-平板先验下研究高维广义线性模型的贝叶斯组正则化估计，给出MAP估计与后验分布的极小极大L2收敛速率，并提出EM和MCMC算法，通过模拟和HIV耐药性预测数据验证方法。
2025-08-25 stat.ME
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2012-06-23 cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2014-08-09 cs.LG stat.ML
smoothbp: Fast Bayesian Hierarchical Piecewise Regression with Smoothed Transitions and Spike-and-Slab Model Selection
Wicking Dementia Research & Education Centre, College of Health & Medicine, University of Tasmania（塔斯马尼亚大学健康与医学院温金痴呆症研究与教育中心）
提出R包smoothbp，利用Rust实现的Metropolis-within-Gibbs采样器和HMC，实现具有逻辑平滑转换的贝叶斯分层分段回归，支持多断点、随机效应和自动断点选择。
2026-06-18 stat.AP stat.CO stat.ME
Spike-and-Slab Posterior Sampling in High Dimensions
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对贝叶斯稀疏线性回归中的spike-and-slab后验采样，提出了首个适用于任意信噪比且测量次数次线性的可证明算法，在满足限制等距性质时实现了多项式时间及近线性时间的高精度采样。
2025-03-04 cs.DS cs.LG stat.ME
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels
The University of Utah（犹他大学）；The University of Sheffield（谢菲尔德大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；International Computer Science Institute（国际计算机科学研究所）
针对数据稀疏、噪声及缺乏不确定性量化等问题，提出基于核学习与贝叶斯尖峰与厚板先验的方程发现方法KBASS，结合EP-EM算法与张量代数实现高效推断与计算，在ODE和PDE发现任务中展现优势。
2024-04-22 cs.LG stat.ML
An approach to large-scale Quasi-Bayesian inference with spike-and-slab priors
我们提出了一个通用的框架，使用尖峰和板先验分布，以帮助发展高维贝叶斯推理。我们的框架允许一般的准似然函数的推理。我们表明，高效和可扩展的马尔可夫链蒙特卡罗（MCMC）算法可以很容易地构建从所产生的准后验分布的样本。我们研究了所得到的拟后验分布随参数空间维数的增长的大尺度行为，并建立了几个收敛结果。在计算速度非常重要的大规模应用中，变分近似方法经常被用来近似后验分布。我们表明，压缩行为的准后验分布可以利用其变分近似提供理论保证。我们用高斯图形模型和稀疏主成分分析的模拟结果来说明这一理论。
2019-08-19 math.ST stat.TH
A Spike-and-Slab Prior for Dimension Selection in Generalized Linear Network Eigenmodels
本文提出基于有序尖峰-平板先验的贝叶斯方法，用于广义线性网络特征模型的潜在维度选择，并证明其理论性质及在模拟网络和跨学科网络数据上的有效性。
2023-09-20 stat.ME
Bayesian $l_0$-regularized Least Squares
贝叶斯$l_0$ -正则化最小二乘法是一种用于高维预测的变量选择技术。挑战是通过在由所有可能的预测器组合组成的模型空间上搜索来优化非凸目标函数。钉板（又称Bernoulli-Gaussian）先验是贝叶斯变量选择的黄金标准，但需要注意计算速度和可扩展性。单一最佳替换（SBR）提供了一种快速可扩展的替代方案。我们提供了贝叶斯正则化和最近更新之间的联系，这提供了一个等价的后验模式和后验均值与不同的正则化先验。这允许我们使用SBR来找到尖峰和板估计器。为了说明我们的方法，我们提供了模拟证据和一个真实的数据的统计特性和计算效率的SBR与直接后验抽样使用穗和板先验的例子。最后，我们总结了未来研究的方向。
2018-12-18 stat.CO stat.ML
Spike and Slab Pólya tree posterior distributions: adaptive inference
在密度估计模型中，考虑了使用Pólya树型先验分布的自适应推断问题。引入一类具有树结构的先验密度，称为钉板Pólya树。对于这一类，得到了两种类型的结果：首先，对于$0$和$1$之间的真密度的任何Hölder正则性，贝叶斯后验分布被证明以自适应的方式收敛于上确界范数的极大极小率，从而为Castillo（2017）中经典Pólya树的结果提供了自适应对应。第二，考虑不确定性量化的问题。导出了一个自适应非参数Bernstein-vonMises定理。接下来，它示出，在自相似条件下的真密度，某些可信的集合从后验分布是自适应置信带，具有规定的覆盖水平和直径收缩在最佳速率在极大极小意义上。
2020-09-17 math.ST stat.TH
Adaptive Supremum Norm Posterior Contraction: Wavelet Spike-and-Slab and Anisotropic Besov Spaces
在统计学中，上确界范数损失对函数估计误差的量化更有直观意义。在误差未知的多元非参数回归的背景下，我们提出了一个贝叶斯过程的基础上的尖峰和板条先验和小波投影估计的回归函数和所有的混合偏导数。我们证明了它们的后验分布在上模损失下最优地自适应地收缩到真值。在贝叶斯非参数化理论中，通过指数误差检验的主定理不足以处理这个问题，我们提出了一种新的思想，将回归模型下的后验系统地简化为由准白噪声模型产生的后验，后者大大简化了我们的速率计算。因此，本文采取的第一步，明确显示如何可以将结果从白噪声回归模型在贝叶斯设置。
2018-06-27 math.ST stat.TH
Bayesian Covariate-Dependent Graph Learning with a Dual Group Spike-and-Slab Prior
本文提出了一种新颖的双重组spike-and-slab先验方法，用于协变量依赖图学习，通过嵌套策略实现协变量、节点和个体多级稀疏选择，并开发免调参Gibbs采样器进行后验推断，在图恢复精度上优于现有方法并应用于微生物组数据分析。
2025-04-03 stat.ME
Inner spike and slab Bayesian nonparametric models
离散贝叶斯非参数模型的期望是一个凸线性组合的点质量在某个点的支持和扩散概率分布允许纳入强先验信息，同时仍然是非常灵活的。最近的贡献，在统计文献中成功地实现了这样的建模策略，在各种应用，包括密度估计，非参数回归和基于模型的聚类。我们提供了一个大类的非参数模型，我们称之为内穗和平板hNRMI模型，这是通过考虑均匀归一化随机措施与独立增量（hNRMI）与基础措施由一个点质量和扩散概率分布的凸线性组合得到的深入研究。在本文中，我们研究这些模型的分布特性，我们的结果包括：i）可交换分区概率函数，他们诱导，ii）分布的不同值的数量在一个可交换的样本，iii）后验预测分布，和iv）的分布的元素，符合与正概率的支持的唯一点。我们的研究结果是通过一个广义的Pólya瓮计划的贝叶斯内穗和平板hNRMI模型的实际实施的主要组成部分。
2021-07-21 math.ST stat.TH
Bayesian Lesion Estimation with a Structured Spike-and-Slab Prior
本文提出可扩展的分层贝叶斯空间模型BLESS，结合尖峰-平板先验和动态后验探索的变分推断，用于大规模二值病灶影像建模，并提供基于簇大小的不确定性量化统计量。
2023-05-26 stat.AP stat.ME
Dynamic sparsity on dynamic regression models
在目前的工作中，我们考虑的变量选择和收缩的高斯动态线性回归贝叶斯框架内。特别是，我们提出了一种新的方法，允许随时间变化的稀疏性，基于扩展的尖峰和板先验的动态模型。这是通过为时变系数的方差分配适当的马尔可夫切换先验来完成的，扩展了Ishwaran和Rao（2005）以前的工作。此外，我们研究了不同的先验，包括过程方差的常见反向伽玛先验，以及其他混合先验分布，例如尖峰和平板的伽玛先验，这导致系数的正态伽玛先验的混合（Griffin ad Brown，2010）。从这个意义上说，我们的先验可以被视为一个动态变量选择先验，它在每个时间点诱导平滑（通过板）或收缩到零（通过尖峰）。用于后验计算的MCMC方法使用可以在每个时间点假设二进制状态的马尔可夫潜变量来生成系数的方差。通过这种方式，我们的模型是一个动态混合模型，因此，我们可以使用Gerlach等人（2000）的算法来生成潜在过程，而无需对状态进行调节。最后，通过模拟示例和真实数据应用程序来举例说明我们的方法。
2020-09-29 stat.CO stat.ME stat.ML
Bayesian Image-on-Scalar Regression with a Spatial Global-Local Spike-and-Slab Prior
在这篇文章中，我们提出了一种新的空间全局-局部尖峰和板选择图像标量回归之前。我们认为贝叶斯分层高斯过程模型的图像平滑，使用灵活的逆Wishart过程之前，处理图像内的依赖性，并提出了一个通用的全局-局部空间选择之前，扩展了丰富的一类研究良好的选择先验。与现有的构造不同，我们实现了同时的全局（即，在协变量水平上）和局部（即，在像素/体素级）通过引入“参与率”参数进行选择，该参数测量各个协变量影响观察到的图像的概率。这与硬阈值策略一起导致两个级别的选择之间的依赖性，在局部级别引入额外的稀疏性，并允许全局选择被局部选择告知，所有这些都以基于模型的方式进行。我们设计了一个有效的吉布斯采样器，允许推断大图像数据。我们模拟数据表明，参数是可解释的，并导致有效的选择。最后，我们使用自闭症脑成像数据交换（ABIDE）研究的数据证明了所提出的模型的性能。据我们所知，该模型的建设是第一次在贝叶斯文献中，同时实现图像平滑，参数估计和两个级别的变量选择图像上的标量回归。
2022-12-16 stat.AP stat.ME
A Hierarchical Spike-and-Slab Model for Pan-Cancer Survival Using Pan-Omic Data
泛组学，泛癌症分析推进了我们对癌症分子异质性的理解，扩展了单癌症或单组学研究的知识。然而，泛癌症、泛组学分析在其使用来自多个数据源的信息的能力方面受到限制（例如，组学平台）和多个样品组（例如，癌症类型）来预测重要的临床结果，如总生存期。我们解决了多个高维数据源和多个样本集的预测问题，通过使用BIDIFAC+的探索性结果，一种用于二维链接矩阵的综合降降维的方法，在预测模型中。我们应用贝叶斯分层模型，使用穗和板先验进行变量选择，修改允许跨聚类数据的信息借用。该方法用于使用来自29种癌症类型和4个组学来源的数据从癌症基因组图谱（TCGA）预测患者的总体存活率。我们的模型选择了由BIDIFAC+鉴定的变异模式，这些变异模式区分了具有显著不同生存结局的临床肿瘤亚型。我们还使用模拟来评估其变量选择精度和预测精度在不同的底层数据生成框架下的修改后的尖峰和板之前的性能。用于我们分析的软件和代码可以在https://github.com/sarahsamorodnitsky/HierarchicalSS_PanCanPanOmics/上找到。
2021-02-28 stat.AP
Bayesian Conway-Maxwell-Poisson model with spike-and slab priors for dispersed count data with application to football scores
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics, University College Dublin（都柏林大学学院洞察数据分析中心）
针对足球比分等离散计数数据，提出结合CMP似然与SAS先验的贝叶斯框架建模，通过定制抽样器进行后验推断，经模拟和英超数据验证，能捕捉非等离散，揭示球队离散异质性，提升模型拟合与预测性能。
2026-07-21 stat.AP stat.ME
A Cumulative Ordered Spike-and-Slab Prior for Adaptive Dimension Selection in Joint Latent Space Models
Key Laboratory of Advanced Theory and Application in Statistics and Data Science-MOE, School of Statistics, East China Normal University（华东师范大学统计学院，统计学与数据科学教育部重点实验室）
提出累积有序尖峰-平板先验，在贝叶斯联合潜在空间模型中自动推断潜在维度，实现自适应维度选择，并保证后验一致性和Hellinger一致性。
2026-06-29 stat.ME
Adaptive Bayesian SLOPE -- High-dimensional Model Selection with Missing Values
我们考虑的问题，变量选择在高维设置与缺失的观测之间的协变量。为了解决这个相对不足的问题，我们提出了一个新的协同程序-自适应贝叶斯斜率-有效地结合了斜率方法（排序$l_1$正则化）与尖峰和板LASSO方法。我们将我们的方法定位在贝叶斯框架内，该框架允许同时进行变量选择和参数估计，尽管存在缺失值。与尖峰和平板LASSO一样，系数被认为是由两组组成的分层模型产生的：（1）非活动的尖峰和（2）活动的平板。然而，我们没有为每个协变量分配独立的尖峰先验，而是在这里部署了一个联合的“SLOPE”尖峰先验，它考虑了系数幅度的排序，以控制错误的发现。通过大量的模拟，我们展示了令人满意的性能，功率，FDR和估计偏差在各种情况下。最后，我们分析了一个真实的数据集，其中包括来自巴黎医院的患者，他们经历了严重的创伤，在预测血小板水平方面表现出色。我们的方法已经在C++中实现，并包装成一个R包ABSLOPE供公众使用。
2019-11-06 stat.AP stat.CO stat.ME
On spike-and-slab priors for Bayesian equation discovery of nonlinear dynamical systems via sparse linear regression
本文介绍了使用钉板（SS）先验发现非线性结构动力系统的运动微分方程。发现控制方程的问题被转换为从预定的基变量字典中选择相关变量的问题，并通过稀疏贝叶斯线性回归来解决。SS先验，这属于一类离散混合先验，并被称为其强大的稀疏（或收缩）属性，诱导稀疏的解决方案和选择相关的变量。三种不同的变体的SS先验进行探索贝叶斯方程发现。由于具有SS先验的后验是解析上难以处理的，采用基于马尔可夫链蒙特卡罗（MCMC）的Gibbs采样器提取模型参数的后验样本，并将后验样本用于方程发现中的变量选择和参数估计.所提出的算法已被应用到四个系统的工程利益，其中包括基线线性系统，和系统的立方刚度，二次粘性阻尼，库仑阻尼。结果表明，有效的SS先验识别系统中的非线性的存在和类型。此外，与使用Student's t先验的相关向量机（RVM）的比较表明，SS先验可以实现更好的模型选择一致性，减少错误发现，并导出具有更高预测精度的模型。最后，利用Silverbox实验基准对所提出的方法进行了验证.
2020-12-07 cs.SY eess.SY stat.AP
Bayesian Nonparametric Factor Analysis via Marginalized Dirichlet Process Column Clustering with Spike-and-Slab Sparsity
St. Xavier’s College (Autonomous), Kolkata（加尔各答圣泽维尔学院（自治））；Indian Statistical Institute（印度统计研究所）
提出一种边缘化狄利克雷过程列聚类与尖峰- slab稀疏性的贝叶斯非参数因子模型，自适应推断因子数并合并冗余字典，实现最优收缩率，在模拟和乳腺癌数据中优于基线。
2026-09-29 math.ST stat.AP stat.ME
Non-stationary and Sparsely-correlated Multi-output Gaussian Process with Spike-and-Slab Prior
Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）；Tsinghua University（清华大学）
本文提出一种非平稳多输出高斯过程模型，通过时变核卷积和动态尖峰-厚板先验自动捕捉输出间的动态稀疏相关性，以缓解负迁移，并在高维时间序列和强化学习决策中验证其有效性。
2024-09-05 cs.LG cs.MA cs.SY
Posterior distributions for Hierarchical Spike and Slab Indian Buffet processes
贝叶斯非参数分层先验是非常有效的潜在的数据结构展示之间和跨组的信息共享提供灵活的模型。最突出的是分层狄利克雷过程（HDP）及其后续变体，它们模拟了群体之间和群体之间的潜在聚类。HDP可以被视为潜在狄利克雷分配模型（LDA）的更灵活的扩展，并且已经被应用于例如主题建模、自然语言处理和医疗保健中产生的数据集。我们重点关注类似的潜在特征分配模型，其中数据结构对应于多集或无界稀疏矩阵。在这方面的基本发展是分层印度自助餐过程（HIBP），它利用了一个层次的贝塔过程在J组，其中每个组生成二进制随机矩阵，反映组内共享的功能，根据β-伯努利IBP先验。为了涵盖非伯努利扩展的IBP的HIBP版本，我们介绍了层次版本的一般穗和板IBP。我们提供了明确的新的描述的边缘，后验和预测分布的HIBP和它的概括，允许精确的采样和更简单的实际实施。我们强调这些过程的共同结构特性，并建立现有的IBP类型和文献中出现的相关模型的关系。潜在应用的示例可能涉及主题模型、泊松因子分解模型、随机计数矩阵先验和神经网络模型
2021-03-21 math.PR math.ST stat.TH
Bayesian computation for high-dimensional Gaussian Graphical Models with spike-and-slab priors
Università della Svizzera Italiana（瑞士意大利语大学）；Monash University（莫纳什大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona School of Economics（巴塞罗那经济学院）
研究高维高斯图形模型的贝叶斯计算，提出完全贝叶斯算法，包括块内吉布斯 - 梅特罗波利斯 - 黑斯廷斯算法和全局提议，可扩展到高维，给出混合边界和成本边界，扩展了精确贝叶斯推断的适用性。
2026-07-21 stat.ME
Bayesian Estimation of Sparse Spiked Covariance Matrices in High Dimensions
我们提出了一个贝叶斯方法估计尖峰协方差阵的联合稀疏结构在高维。根据潜在因子模型对加标协方差阵进行重新参数化，其中加载矩阵配备了新型矩阵钉板LASSO先验，这是一种用于联合稀疏矩阵建模的连续收缩先验。我们建立了协方差阵关于算子范数的速率最优后验压缩以及主子空间关于投影算子范数损失的速率最优后验压缩。我们还研究了主子空间的后验收缩率相对于2到无穷范数损失，一种新的损失函数测量子空间之间的距离，能够捕获元素的特征向量扰动。我们表明，后验收缩率相对于2到无穷大的范数损失是严格的，比常规使用的投影算子范数损失在一定的低秩和有界相干条件下。此外，提出了一个主子空间的点估计与率最优风险界的投影算子范数损失。这些结果是基于矩阵尖峰和平板LASSO先验的浓度和大偏差不等式的集合。所提出的方法的数值性能进行评估，通过合成的例子和分析的一个真实世界的人脸数据的例子。
2019-01-30 math.ST stat.ME stat.TH
Bayesian and L1 Approaches to Sparse Unsupervised Learning
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）
使用L1正则化稀疏学习产生了巨大的研究兴趣，在信号采集，图像编码，基因组学和协同过滤等不同领域的成功应用。虽然现有的工作突出了L1方法的许多优点，但在本文中，我们发现，与其他方法相比，L1正则化在预测性能方面往往表现不佳。我们专注于无监督的潜变量模型，并开发L1最小化因子模型，贝叶斯变体的“L1”，贝叶斯模型具有更强的L0样稀疏诱导通过尖峰和板分布。这些尖峰和厚板贝叶斯因子模型鼓励稀疏性，同时以原则性的方式考虑不确定性，并避免非零值的不必要收缩。我们证明了一些数据集，在实践中尖峰和板坯贝叶斯方法优于L1最小化，即使在计算预算。因此，我们强调需要重新评估L1方法在稀疏依赖应用中的广泛使用，特别是当我们关心推广到以前看不见的数据时，并提供一种替代方案，在许多不同的条件下，提供改进的推广性能。
2012-08-17 cs.AI cs.LG stat.ML
Heavy Tailed Horseshoe Priors
贝叶斯框架中的局部自适应收缩是通过使用局部-全局先验分布来实现的，所述局部-全局先验分布对全局稀疏水平以及用于平均结构参数的个体收缩参数进行建模。这些模型中最流行的是马蹄先验及其变体，因为它们的尖峰和厚板行为涉及原点处的渐近线和重尾。在这篇文章中，我们提出了一种替代马蹄先验，它在原点处具有更尖锐的渐近线以及更重的尾部，我们称之为重尾马蹄先验。我们证明，混合的形状参数提供了改进的尖峰和板的行为，以及更好的重建性能比其他马蹄变体。仿真研究表明，重尾马蹄铁的优势，在绝对误差的真值均值结构以及预言。
2019-03-03 math.ST stat.ME stat.TH
Sparsity information and regularization in the horseshoe and other shrinkage priors
马蹄先验已被证明是稀疏贝叶斯估计的一个值得注意的替代方案，但以前有两个问题。首先，还没有系统的方式来基于关于参数向量中的稀疏度的先验信息来指定全局收缩超参数的先验。第二，马蹄先验具有不期望的性质，即不可能单独指定关于稀疏性的信息和最大系数的正则化量，这对于弱识别的参数（诸如在数据分离的情况下的逻辑斯谛回归系数）可能是有问题的。本文针对这两个问题提出了解决方案。我们引入了一个概念的有效数量的非零参数，显示一个直观的方式制定前的全局超参数的稀疏性假设的基础上，并认为，以前的默认选择是可疑的，基于他们的倾向，有利于解决方案与更多的unshrinking参数比我们通常期望的先验。此外，我们引入了一个推广的马蹄先验，称为正则化马蹄，它允许我们指定一个最小的正则化水平的最大值。我们表明，新的先验可以被认为是连续对应的钉和板前有限板宽度，而原来的马蹄铁类似的钉和板的无限宽的板。对合成和真实世界数据的数值实验说明了这两个理论进步的好处。
2017-07-06 stat.ME
Continuous-Time Bayesian Networks with Structured Shrinkage Priors for Modelling Multimorbidity Trajectories in Large-Scale Electronic Health Records
University of East Anglia（东英吉利大学）
提出结构化贝叶斯连续时间贝叶斯网络框架，通过顺序依赖收缩先验控制高阶效应组合爆炸，从纵向电子健康记录中学习疾病有向依赖网络，并在UK Biobank数据中识别出以糖尿病为中心的心血管代谢模块和连接呼吸与特应性疾病的炎症模块。
2026-07-03 stat.ME
Asymptotic Properties for Bayesian Neural Network in Besov Space
Seoul National University（首尔国立大学）
神经网络在处理图像和自然语言等各种非结构化数据时显示出强大的预测能力。贝叶斯神经网络通过为模型的参数设置先验分布并计算后验分布来捕获预测的不确定性。本文证明了当真实回归函数在Besov空间中时，采用尖峰-板先验的贝叶斯神经网络具有近似极小极大收敛速度的一致性。即使当回归函数的平滑度未知时，相同的后验收敛速率保持，并且因此尖峰和平板先验适应于回归函数的平滑度。我们还考虑了收缩先验，这是更可行的比其他先验，并表明它具有相同的收敛速度。换句话说，我们提出了一个实用的贝叶斯神经网络保证渐近性质。
2022-11-25 cs.LG math.ST stat.ML
Bayesian Singular Value Regularization via a Cumulative Shrinkage Process
本研究提出了一种新的分层先验推断可能的低秩矩阵测量噪声。我们考虑三分量矩阵分解，在奇异值分解，其完全贝叶斯推断。建议的先验是指定的指数分布，具有尖峰和平板组件的规模混合。穗/板坯部分的重量推断使用基于累积收缩过程的特殊先验。所提出的先验被设计为越来越积极地将不太重要或基本上冗余的奇异值推向零，从而导致对低秩矩阵的更准确的估计。为了确保参数识别，我们模拟后提请从一个近似的后，其中的约束稍微放松，使用无掉头采样器。通过一组模拟研究，我们表明，我们的建议是有竞争力的替代先验规范，它不会产生显着的额外计算负担。我们将所提出的方法应用于美国的部门工业生产，以分析大缓和时期的结构变化。
2020-10-08 stat.ME
Structured Sparse Modelling with Hierarchical GP
本文提出了一种新的具有时空结构的稀疏线性回归贝叶斯模型。它结合了结构假设的基础上，一个分层的高斯过程之前的尖峰和板系数。我们设计了一个基于期望传播的推理算法，并在真实数据上对模型进行了评估。
2017-04-27 stat.ML
Bayesian Inference in Nonparanormal Graphical Models
高斯图形模型已被用来研究几个变量之间的内在依赖性，但高斯假设可能在许多应用中受到限制。非超常图模型是连续变量的半参数推广，其中假设变量仅在每个变量上进行一些未知的平滑单调变换后才遵循高斯图模型。我们认为贝叶斯方法的nonparanormal图形模型，把先验的未知变换通过一个随机序列的基础上B-样条的系数有序诱导单调性。截断的正态先验导致模型中的部分共轭性，并且对于使用吉布斯抽样的后验模拟是有用的。在转换变量的基础精度矩阵上，我们考虑了尖峰和平板先验，并使用有效的后验吉布斯抽样方案。我们使用贝叶斯信息准则来选择尖峰和平板先验的超参数。我们提出了一个后验一致性结果的基础转换和精度矩阵。我们研究了所提出的方法的数值性能，通过广泛的模拟研究，最后将所提出的方法应用于一个真实的数据集。
2019-04-11 stat.ME
Model Selection for SLOPE Models: A Bayesian Perspective
Imperial College London（帝国理工学院）
提出贝叶斯方法BGSLOPE和BSGS，通过嵌入spike-and-slab框架控制FDR，并引入两步正交变换TSO，在合成和真实数据中优于交叉验证等方法。
2026-06-07 stat.ME
Spatio-temporal Spike and Slab Priors for Multiple Measurement Vector Problems
我们感兴趣的是解决多测量向量（MMV）的问题，例如，其中潜在的稀疏模式表现出时空结构的动机脑电图（EEG）源定位问题。我们提出了一个概率模型，考虑到这种结构，通过推广结构化的尖峰和板前和相关的期望传播推理计划。基于数值实验，我们证明了模型和近似推理方案的可行性。
2015-08-19 stat.ML
Neuronized Priors for Bayesian Sparse Linear Regression
虽然贝叶斯变量选择方法已被深入研究，但其在实践中的常规使用尚未赶上其非贝叶斯对应物，如Lasso，可能是由于计算困难和先前选择的灵活性。为了缓解这些挑战，我们提出了神经元先验统一和扩展一些流行的收缩先验，如拉普拉斯，柯西，马蹄铁，和钉和板先验。神经元化先验可以被写为高斯权重变量和经由激活函数从高斯变换的尺度变量的乘积。与经典的spike-and-slab先验相比，神经元化先验实现了相同的显式变量选择，而不使用任何潜在的指示变量，这导致更有效和灵活的后验采样和更有效的后验模态估计。从理论上讲，我们提供了具体的条件上的神经元化的制定，以实现最佳的后验收缩率，并表明，一个广泛适用的MCMC算法实现了指数快速收敛速度下的神经元化的制定。我们还研究了各种模拟和真实数据的例子，并证明了使用神经元化表示在所有已知的情况下比其标准对应物在计算上更有效。CRAN中提供了一个R包NPrior，用于在贝叶斯线性回归中使用神经元化先验。
2021-07-06 stat.ME
Bayesian Effect Selection in Structured Additive Distributional Regression Models
我们提出了一种新的spike和slab先验规范与缩放的beta素数边缘的重要性参数的回归系数，允许一般的效果选择类结构添加剂分布回归。这使我们能够对任意参数分布的所有分布参数进行建模，并考虑各种效应类型，如非线性或空间效应以及分层回归结构。我们的尖峰和板前依赖于一个参数扩展，分离块的回归系数到整体标量的重要性参数和向量的标准化系数。因此，我们可以使用标量来进行效果选择，而不是使用可能的高维效果向量，与经典的正态-逆伽马先验相比，这会产生改进的收缩和采样性能。我们调查的后验的适当性，显示出的前收益率理想的收缩性能，提出了一种方法，引出先验参数，并提供有效的马尔可夫链蒙特卡罗采样。使用模拟和三个大规模的数据集，我们表明，我们的方法是适用于数据的潜在大量的协变量，多层次的预测因子占分层嵌套的数据和非标准的响应分布，如二元正态或零膨胀泊松。
2019-02-27 stat.ME
Texture Modeling with Convolutional Spike-and-Slab RBMs and Deep Extensions
University of Montreal（蒙特利尔大学）
我们应用钉板限制玻尔兹曼机（ssRBM）的纹理建模。该算法在纹理合成和纹理修补方面达到或超过了现有的基于参数模型的算法。我们还开发了一种新的RBM模型与尖峰和板可见层和隐藏层中的二进制变量。该模型设计用于堆叠在TssRBM之上。我们证明了由此产生的深度信念网络（DBN）是一个强大的生成模型，它改进了单层模型，不仅能够建模单个高分辨率和具有挑战性的纹理，而且能够建模多个纹理。
2012-11-24 cs.LG stat.ML
Bayesian Effect Selection in Additive Models with an Application to Time-to-Event Data
提出基于 Demmler-Reinsch 基展开的正交分解方法，结合正态 beta prime spike and slab 先验，实现加性模型中连续协变量线性与非线性效应的准确选择与一致估计，并在地理加性 Cox 回归模型中验证了其优越性。
2024-01-01 stat.ME
Bayesian Synthetic Control with a Soft Simplex Constraint
Texas A&M University（德州农工大学）
本文提出一种贝叶斯合成控制法，结合软单纯约束与尖峰-层变量选择，以提高高维数据下的反事实估计效率，并在理论和实证上验证其有效性。
2025-12-01 econ.EM stat.AP stat.ME
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
Convergent Expectation Propagation in Linear Models with Spike-and-slab Priors
在具有尖峰和厚片先验的线性回归模型中，精确推断往往是困难的。期望传播（EP）可用于近似推理。然而，当训练集的大小非常小时，EP的规则序列形式（R-EP）在该模型中可能无法收敛。作为替代方案，我们提出了一个可证明收敛的EP算法（PC-EP）。本文证明了PC-EP的最小化是一个能量函数，在一定的约束条件下，该能量函数是下界的，且其驻点与R-EP的解重合。模拟数据的实验表明，当R-EP不收敛时，PC-EP产生的近似往往更好。相比之下，当R-EP收敛时，两种方法的性能相似。
2011-12-10 stat.ML
Accelerating Bayesian Variable Selection using Piecewise Deterministic Markov Processes
Tilburg University（蒂尔堡大学）；University of Amsterdam（阿姆斯特丹大学）
本研究将分段确定性马尔可夫过程（PDMP）采样器应用于贝叶斯变量选择，扩展其至相关先验与随机梯度场景，结合心理测量模型验证，提升了强相关参数下的采样效率。
2026-08-31 stat.ME
