Parallel hierarchical sampling: a practical multiple-chains sampler for Bayesian model selection
本文介绍了并行分层采样器（PHS），一种同时使用多个链的马尔可夫链蒙特卡罗算法。说明了PHS与并行回火（PT）算法之间的联系，证明了PHS联合转移核的收敛性，强调了PHS联合转移核的实用优势。我们说明了使用PHS，并行回火和梅特罗波利斯-黑斯廷斯算法的贝叶斯模型选择问题，即高斯聚类，协变量的选择线性回归模型和选择的结构树生存模型的推断。
2008-12-08 stat.CO stat.ME
Bayesian Robust Inference of Sample Selection Using Selection-t Models
Heckman选择模型是样本选择数据分析中最常用的计量经济学模型。然而，具有正态误差的选择模型不能适应误差分布中的重尾。最近，Marchenko和Genton提出了一种选择t模型来进行频率论的样本选择鲁棒性分析。而不是使用他们的最大似然估计，我们的论文开发了新的贝叶斯程序的选择t模型的连续或二进制的结果。利用t分布的正态混合表示，我们可以使用数据增广来填补缺失数据，并使用参数展开来抽样限制的协方差阵。贝叶斯过程只涉及简单的步骤，而不需要计算复杂的对数似然函数的解析或数值导数。仿真研究表明，具有正态误差的选择模型的脆弱性，以及具有t误差的选择模型的鲁棒性。有趣的是，我们发现证据的重尾性在三个真实的例子中分析了以前的研究，和选择效应的存在性的结论是非常敏感的误差项的分布假设。
2014-01-07 stat.AP stat.CO
Bayesian Stability Selection and Inference on Selection Probabilities
Macquarie University（麦考瑞大学）；The University of Sydney（悉尼大学）
本文提出一种结合贝叶斯分析的稳定性选择方法，通过整合领域知识提升变量选择的推断和决策稳定性。
2025-02-28 stat.CO stat.ME
Bayesian Variable Selection For Survival Data Using Inverse Moment Priors
在高维癌症基因组研究中，有效的变量选择对于发现与特定癌症类型相关的基因和预测对治疗的反应至关重要。删失生存数据在此类研究中很普遍。在这篇文章中，我们介绍了一个贝叶斯变量选择过程，使用的混合物前组成的点质量在零和逆矩前与部分似然定义的Cox比例风险模型。该过程在R包BVSNLP中实现，该包支持并行计算，并使用随机搜索方法来探索模型空间。贝叶斯模型平均用于预测。该算法提供了更好的性能比其他变量选择程序在模拟研究中，并出现提供更一致的变量选择时，应用到实际的基因组数据集。
2020-03-14 stat.AP stat.CO
Deviance Information Criteria for Model Selection in Approximate Bayesian Computation
近似贝叶斯计算（ABC）是贝叶斯推断中使用统计汇总和计算机模拟的一类算法方法。ABC在进化遗传学和生物学的其他分支中变得流行。然而，在ABC算法下的模型选择在最近几年一直是激烈辩论的主题。在这里，我们提出了新的方法，模型选择的基础上后验预测分布和近似的偏差。我们认为，这个框架可以解决模型概率的计算和后验预测检查使用ABC后验分布之间的一些矛盾。人类DNA重测序数据集的模拟研究和分析表明，偏差标准导致明智的结果，在一些模型选择问题的兴趣，人口遗传学家。
2011-05-02 q-bio.PE stat.CO
Approximate Bayesian computation scheme for parameter inference and model selection in dynamical systems
近似贝叶斯计算方法可用于评估后验分布，而不必计算似然。本文讨论并应用基于序贯蒙特卡罗（SMC）的近似贝叶斯计算（ABC）方法估计动力学模型的参数。我们发现，ABC SMC提供了有关参数的可推断性和模型对参数变化的敏感性的信息，并且往往比其他ABC方法表现得更好。该算法被应用到几个著名的生物系统，其中参数和它们的可信区间的推断。此外，我们开发的ABC SMC作为模型选择的工具，给出了一系列不同的数学描述，ABC SMC能够选择最好的模型，使用标准的贝叶斯模型选择装置。
2009-01-14 stat.CO stat.ME
Bayesian Model Selection with Graph Structured Sparsity
我们提出了一个通用的算法框架贝叶斯模型选择。一个尖峰和平板拉普拉斯先验被引入到模型的基本结构假设。使用的概念，有效的阻力，我们得到了EM型算法与封闭形式的迭代，有效地探索可能的候选人贝叶斯模型选择。与现有的随机搜索算法相比，所提出的算法的确定性的性质使其更具有可扩展性的大规模和高维数据集。当应用于稀疏线性回归时，我们的框架将EMVS算法[Rockova和George，2014]恢复为特殊情况。我们还讨论了扩展我们的框架，使用图代数工具，将复杂的贝叶斯模型，如双聚类和子矩阵本地化。广泛的仿真研究和实际数据的应用表明，我们的方法优于其频率主义的竞争对手，如$\ell_0$或$\ell_1$惩罚的性能。
2020-05-24 stat.CO stat.ME
Bayesian equation selection on sparse data for discovery of stochastic dynamical systems
通常，驱动随机动力系统的微分方程的基本系统被假设为已知的，推理以这个假设为条件。我们提出了一个贝叶斯框架，发现这个系统的微分方程的假设下，与现实生活中的场景，包括相对稀疏的数据的可用性。此外，我们讨论了对于梳理动力系统的重要细节至关重要的计算策略和算法创新，以解决在缺乏丰富数据的情况下严重的参数相互依赖性。这给出了一个完整的贝叶斯路径模型识别通过一个变量选择范例和参数估计的相应模型，只使用观察到的数据。我们提出了详细的计算和分析的Lorenz-96，Lorenz-63，和Orstein-Uhlenbeck系统使用贝叶斯框架，我们建议。
2021-01-12 stat.CO stat.ME
A Bayesian Bi-Directional Splitting Framework for Variable Selection in Large Datasets
School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学院）
提出一种贝叶斯双向分割框架，通过分而治之并行处理大规模数据，在保持变量选择性能的同时提升计算效率，并应用于H3N2流感数据。
2026-09-18 stat.CO stat.ME
Bayesian Variable Selection for Function-on-Scalar Regression Models: a comparative analysis
University of Western Ontario（韦仕敦大学）；University of Campinas（坎皮纳斯州立大学）；Federal University of Paraná（巴拉那联邦大学）
本文提出了一种新的贝叶斯变量选择方法，用于函数-标量回归模型，通过层次贝叶斯结构和潜在变量实现自适应协变量选择，通过模拟研究和实证分析验证了其在变量选择和模型拟合方面的优越性。
2026-03-29 stat.CO stat.ME
Fast Bayesian Variable Selection in Binomial and Negative Binomial Regression
贝叶斯变量选择是数据分析的一个强大工具，因为它提供了一种考虑先验信息和不确定性的变量选择原则性方法。然而，贝叶斯变量选择的广泛采用受到计算挑战的阻碍，特别是在具有大量协变量或非共轭似然的困难制度中。计数数据的广义线性模型在生物学、生态学、经济学等领域中很普遍，它是一个重要的特例。在这里，我们介绍了一种有效的MCMC方案，用于二项式和负二项式回归中的变量选择，该方案利用了Tempered吉布斯抽样（Zanella and Roberts，2019），并将逻辑斯谛回归作为特例。在实验中，我们证明了我们的方法的有效性，包括癌症数据与一万七千协变量。
2022-09-12 stat.CO stat.ME stat.ML
Methods for Bayesian Variable Selection with Binary Response Data using the EM Algorithm
高维贝叶斯变量选择问题通常使用计算昂贵的马尔可夫链蒙特卡罗（MCMC）技术来解决。最近，贝叶斯变量选择技术被开发用于连续数据，使用称为EMVS的期望最大化算法。我们提出了一个逻辑和概率扩展的EMVS方法，以二进制数据。为了保持EMVS的计算速度，我们还实现了随机双坐标下降（SDCA）算法。此外，我们进行了两个广泛的模拟研究，以显示这两种方法的计算速度。这些模拟研究揭示了这两种方法快速识别正确稀疏模型的能力。当将这些EMVS方法与随机搜索变量选择（SSVS）进行比较时，EMVS方法在计算速度和正确识别重要变量方面都超过SSVS。最后，我们在两个著名的基因表达数据集上说明了这两种方法的有效性。我们的结果反映了这些数据集的先前检查的结果，计算成本要低得多。
2016-05-18 stat.CO stat.ME
Scalable Bayesian bi-level variable selection in generalized linear models
受心脏病学中的实际应用的启发，我们开发了一种算法，用于在广义线性模型中执行贝叶斯双水平变量选择，用于可能在个体数量和预测因子数量方面都很大的数据集。我们的算法依赖于Dau和Chopin（2022）的无浪费SMC序贯蒙特卡罗方法，这是一种新的建议机制，用于处理特定于双层选择的约束（如果其组未被选中，则禁止选择单个预测因子），以及Rossell等人（2021）的ALA（近似拉普拉斯近似）方法。我们在数值研究中表明，该算法可以在几分钟内在大型数据集上提供可靠的性能，包括与上述心脏病学应用相关的模拟数据和真实数据。
2023-03-22 stat.CO stat.ME
New Development of Bayesian Variable Selection Criteria for Spatial Point Process with Applications
在非齐次空间泊松过程模型下，选择重要的空间相关变量是当前研究的一个重要课题。本文在非齐次空间Poisson过程模型下，利用偏差信息准则（DIC）和伪边缘似然对数（LPML）进行贝叶斯变量选择。我们进一步推导了空间Poisson过程下LPML的新的蒙特卡罗估计公式。进行了广泛的模拟研究，以评估所提出的标准的经验性能。所提出的方法进一步适用于两个大的数据集，美国地质调查局（USGS）地震数据和巴罗科罗拉多岛（BCI）的数据森林的地震灾害计划的分析。
2019-10-15 stat.AP stat.CO
Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"
本文是Gronau和Wagenmakers（2018）的文章的邀请讨论，可以在https://dx.doi.org/10.1007/s42113-018-0011-7上找到。
2018-10-12 math.ST stat.CO stat.ME
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Bayesian variable selection using an informed reversible jump in imaging genetics: an application to schizophrenia
针对影像遗传学精神分裂症风险评估，本文为可逆跳MCMC贝叶斯变量选择提出数据驱动的知情提议，并用贝叶斯probit模型与模型平均实现判别变量选择和风险预测。
2025-01-10 stat.AP stat.CO stat.ME
Bayesian Model Selection for Beta Autoregressive Processes
本文研究了Beta自回归过程的贝叶斯推断。我们限制我们的注意力的类的条件线性过程。这些过程特别适合于预测目的，但是由于对参数空间的约束而难以估计。我们提供了一个完整的贝叶斯方法的估计，包括在推理问题的参数限制的先验分布的一个合适的规格。此外，在贝叶斯框架中，参数估计和模型选择可以同时解决。特别是，我们提出了一个马尔可夫链蒙特卡罗（MCMC）程序的基础上，吉布斯算法内的大都会黑斯廷斯和解决模型选择问题的可逆跳MCMC方法。
2010-07-31 math.ST stat.CO stat.ME
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析，包括高维度的鲁棒性的保证，明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时，预计将优于标准计划。当应用于贝叶斯变量选择问题时，新算法比现有的替代抽样方案效率高出几个数量级，并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
Bayesian Computation and Model Selection in Population Genetics
直到最近，贝叶斯推断在群体遗传学中的使用仅限于少数情况，因为对于许多现实的群体遗传模型，似然函数不能解析计算。这种情况随着无可能性推理算法的出现而改变，这种算法通常被归入近似贝叶斯计算（ABC）一词。一个关键的创新是使用后采样回归调整，允许更大的公差值，并因此将计算时间转移到现实的数量级（参见Beaumont等人，2002年）。在这里，我们提出了一个一般线性模型（GLM）的回归调整的重新制定。这允许整合到贝叶斯统计的框架和使用其方法，包括通过贝叶斯因子的模型选择。然后，我们将所提出的方法应用于西部黑猩猩之间的人口细分的问题。
2009-01-15 q-bio.PE stat.CO stat.ME
Extended Stochastic Gradient MCMC for Large-Scale Bayesian Variable Selection
Purdue University（普渡大学）
随机梯度马尔可夫链蒙特卡罗（MCMC）算法在大数据问题的贝叶斯计算中受到广泛关注，但它只适用于一类参数空间具有固定维数且对数后验密度关于参数可微的问题。本文提出了一种扩展的随机梯度MCMC算法，通过引入适当的隐变量，该算法可以应用于更一般的大规模贝叶斯计算问题，如涉及维数跳跃和缺失数据的问题。数值实验表明，该算法具有很强的可扩展性，比传统的MCMC算法效率更高。所提出的算法大大减轻了贝叶斯方法在大数据计算中的痛苦。
2020-02-07 cs.LG stat.CO stat.ML
Integrative Bayesian models using Post-selective Inference: a case study in Radiogenomics
基于基因组学和大量中间表型（如成像）之间统计学相关性的综合分析提供了对其在疾病机制方面的临床相关性的重要见解。然而，在由此产生的综合模型的不确定性估计是不可靠的，除非推断占这些协会的选择与准确性。在这篇文章中，我们开发了选择感知贝叶斯方法，该方法：（i）通过$\ell_1$正则化算法选择有希望的变量后，通过灵活的综合贝叶斯模型中的“选择感知后验”来抵消模型选择偏差的影响;（二）当同一数据集用于选择和不确定性时，在模型选择的质量和推理能力之间取得不可避免的折衷估计。中央我们的方法发展，精心构造的条件似然函数部署与重新参数化映射提供了显着的易处理的更新时，基于梯度的MCMC抽样用于估计不确定性的选择意识后。将我们的方法应用于放射基因组学分析，我们成功地恢复了几个重要的基因通路，并估计了它们与患者生存时间的关系的不确定性。
2022-08-12 stat.AP stat.CO stat.ME
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley（加州大学伯克利分校）
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗（MCMC）方法的计算复杂性。我们首先表明，贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后，我们证明，后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前，我们提供了一组条件，保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系，直至对数因子。我们的证明控制的马尔可夫链的频谱间隙，通过构建一个典型的路径合奏，启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University（莱斯大学）；Department of Statistics（统计系）
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而，由于选择不稳定，缺乏正则化，以及选择后推理的困难，经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$，我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用，而是提出了更广泛的观点，即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径，并通过关键成员（如最小可接受子集）以及基于变量（共同）是否出现在所有、一些或没有可接受子集中的新（共同）变量重要性度量进行了简洁的总结。更广泛地说，我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据，所提出的方法表现出更好的预测，区间估计，变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境，社会经济和人口因素的组合提供了独特的见解，并确定了200多个不同的变量子集，这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
A subsampling approach for Bayesian model selection
在广义线性模型（GLM）的贝叶斯版本中，通常使用拉普拉斯近似来计算边际似然。边缘似然结合模型先验，然后在不同的搜索算法中使用，以计算模型和个体协变量的后验边缘概率。这允许执行贝叶斯模型选择和模型平均。对于大样本量，即使是拉普拉斯近似在计算上也变得具有挑战性，因为所涉及的优化例程需要在多次迭代中评估完整数据集的可能性。因此，该算法对于大型数据集是不可扩展的。为了解决这个问题，我们建议使用一个版本的流行的批量随机梯度下降（BSGD）算法估计的GLM的边际似然从数据的二次抽样。我们进一步结合该算法与马尔可夫链蒙特卡罗（MCMC）为基础的贝叶斯模型选择的方法，并提供了一些理论结果的收敛性估计。最后，我们报告的实验结果说明所提出的算法的性能。
2022-01-31 math.ST stat.CO stat.ME
Conjugate priors for Bayesian Variable Selection in exponential family Generalized Linear Models
University of Trento（特伦托大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·孔塞雷基金会）；BCAM — Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque — Basque Foundation for Science（巴斯克科学基金会）
提出一种全贝叶斯共轭框架，通过二进制包含指标实现广义线性模型中的变量选择与参数估计，并证明后验一致性，开发了高效Gibbs采样算法及R包。
2026-11-05 math.ST stat.CO stat.ME
Bayesian Evidence and Model Selection
在本文中，我们回顾了贝叶斯证据和贝叶斯因子的概念，也被称为对数优势比，以及它们在模型选择中的应用。该理论是随着分析，近似和数值技术的讨论。特别注意的是拉普拉斯近似，变分贝叶斯，重要性抽样，热力学集成，嵌套抽样及其最近的变种。类比统计物理，从其中许多这些技术的起源，讨论，以提供读者更深入的见解，可能导致新的技术。贝叶斯模型测试在域科学中的效用是通过提出四个具体的实际例子，在信号检测，传感器表征，科学模型选择和分子力表征领域的信号处理的背景下考虑。
2015-11-23 astro-ph.IM stat.AP stat.CO
