Deviance Information Criteria for Model Selection in Approximate Bayesian Computation
近似贝叶斯计算（ABC）是贝叶斯推断中使用统计汇总和计算机模拟的一类算法方法。ABC在进化遗传学和生物学的其他分支中变得流行。然而，在ABC算法下的模型选择在最近几年一直是激烈辩论的主题。在这里，我们提出了新的方法，模型选择的基础上后验预测分布和近似的偏差。我们认为，这个框架可以解决模型概率的计算和后验预测检查使用ABC后验分布之间的一些矛盾。人类DNA重测序数据集的模拟研究和分析表明，偏差标准导致明智的结果，在一些模型选择问题的兴趣，人口遗传学家。
2011-05-02 q-bio.PE stat.CO
Moment Matching Based Conjugacy Approximation for Bayesian Ranking and Selection
我们研究了共轭近似方法的背景下贝叶斯排名和选择未知的相关性。在正态-逆-Wishart先验分布假设下，当每一步对所有备选方案进行采样时，由于共轭性，后验分布仍保持正态-逆-Wishart分布。然而，如果一次只对一个备选方案进行采样，则这种共轭性质不再成立，当样本数量预算有限时，这是一种适当的设置。基于矩匹配的思想，我们提出了两种新的共轭逼近方法。这两种方法都给出了封闭形式的贝叶斯先验更新公式。然后，该更新公式可以与“信息价值”框架下的知识梯度算法相结合。我们进行计算实验，以显示所提出的共轭近似方法的优越性，包括应用在风电场的位置和计算机模型校准。
2016-10-28 stat.CO
Bayesian Model Selection with Graph Structured Sparsity
我们提出了一个通用的算法框架贝叶斯模型选择。一个尖峰和平板拉普拉斯先验被引入到模型的基本结构假设。使用的概念，有效的阻力，我们得到了EM型算法与封闭形式的迭代，有效地探索可能的候选人贝叶斯模型选择。与现有的随机搜索算法相比，所提出的算法的确定性的性质使其更具有可扩展性的大规模和高维数据集。当应用于稀疏线性回归时，我们的框架将EMVS算法[Rockova和George，2014]恢复为特殊情况。我们还讨论了扩展我们的框架，使用图代数工具，将复杂的贝叶斯模型，如双聚类和子矩阵本地化。广泛的仿真研究和实际数据的应用表明，我们的方法优于其频率主义的竞争对手，如$\ell_0$或$\ell_1$惩罚的性能。
2020-05-24 stat.CO stat.ME
Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"
本文是Gronau和Wagenmakers（2018）的文章的邀请讨论，可以在https://dx.doi.org/10.1007/s42113-018-0011-7上找到。
2018-10-12 math.ST stat.CO stat.ME
Type 2 Tobit Sample Selection Models with Bayesian Additive Regression Trees
本文提出TOBART-2模型，通过在选择与结果方程中引入树的求和及Dirichlet过程混合分布，有效解决样本选择偏差并处理非线性与模型不确定性，提升了个体处理效应估计的准确性。
2025-11-02 econ.EM stat.ML
Bayesian equation selection on sparse data for discovery of stochastic dynamical systems
通常，驱动随机动力系统的微分方程的基本系统被假设为已知的，推理以这个假设为条件。我们提出了一个贝叶斯框架，发现这个系统的微分方程的假设下，与现实生活中的场景，包括相对稀疏的数据的可用性。此外，我们讨论了对于梳理动力系统的重要细节至关重要的计算策略和算法创新，以解决在缺乏丰富数据的情况下严重的参数相互依赖性。这给出了一个完整的贝叶斯路径模型识别通过一个变量选择范例和参数估计的相应模型，只使用观察到的数据。我们提出了详细的计算和分析的Lorenz-96，Lorenz-63，和Orstein-Uhlenbeck系统使用贝叶斯框架，我们建议。
2021-01-12 stat.CO stat.ME
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Bayesian Model Selection for Beta Autoregressive Processes
本文研究了Beta自回归过程的贝叶斯推断。我们限制我们的注意力的类的条件线性过程。这些过程特别适合于预测目的，但是由于对参数空间的约束而难以估计。我们提供了一个完整的贝叶斯方法的估计，包括在推理问题的参数限制的先验分布的一个合适的规格。此外，在贝叶斯框架中，参数估计和模型选择可以同时解决。特别是，我们提出了一个马尔可夫链蒙特卡罗（MCMC）程序的基础上，吉布斯算法内的大都会黑斯廷斯和解决模型选择问题的可逆跳MCMC方法。
2010-07-31 math.ST stat.CO stat.ME
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法，以选择空间相关结构中的回归项和活动协变量。然后，我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择，从而提高预测。
2014-12-31 stat.ME
Decoupling shrinkage and selection in Bayesian linear models: a posterior summary perspective
为线性模型选择变量子集仍然是一个活跃的研究领域。本文回顾了许多最近的贡献贝叶斯模型选择和收缩先前的文献。提出了一种后验变量选择方法，该方法将回归系数的后验分布提取为稀疏线性预测变量序列。
2014-08-03 stat.ME
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
High-dimensional Ising model selection with Bayesian information criteria
我们考虑使用贝叶斯信息标准的选择的图形基础的伊辛模型。在伊辛模型中，每个变量的完整条件分布形成逻辑斯谛回归模型，回归的变量选择技术允许识别每个节点的邻域，从而识别整个图。我们证明了高维的一致性结果，这种伪似然图选择的方法时，使用贝叶斯信息准则的变量选择问题的逻辑斯谛回归。结果涉及到的稀疏性和相关的先前工作的信息标准，我们认为将一个明确的先验，鼓励稀疏的情况。
2015-03-05 math.ST stat.TH
A discussion of "Bayesian model selection based on proper scoring rules" by A.P. Dawid and M. Musio
本文是对A.P. Dawid和M. Musio，出现在贝叶斯分析中。虽然赞赏背后的概念使用适当的评分规则，包括不适当的先验知识，我们在这里指出一些可能的实际困难与提倡的方法。
2015-02-26 stat.ME
Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Bayesian Computation and Model Selection in Population Genetics
直到最近，贝叶斯推断在群体遗传学中的使用仅限于少数情况，因为对于许多现实的群体遗传模型，似然函数不能解析计算。这种情况随着无可能性推理算法的出现而改变，这种算法通常被归入近似贝叶斯计算（ABC）一词。一个关键的创新是使用后采样回归调整，允许更大的公差值，并因此将计算时间转移到现实的数量级（参见Beaumont等人，2002年）。在这里，我们提出了一个一般线性模型（GLM）的回归调整的重新制定。这允许整合到贝叶斯统计的框架和使用其方法，包括通过贝叶斯因子的模型选择。然后，我们将所提出的方法应用于西部黑猩猩之间的人口细分的问题。
2009-01-15 q-bio.PE stat.CO stat.ME
A novel Bayesian approach for variable selection in linear regression models
针对多元线性回归模型中的变量选择问题，提出了一种新的贝叶斯方法。特别是，我们提出了一个分层设置，它允许直接规范的先验信念的数量非零回归系数以及指定的信念，给定的系数是非零的。为了保证数值稳定性，我们采用了一个$g$事先与一个额外的岭参数的未知回归系数。为了从联合后验分布中进行模拟，提出了一种能够在不同模型间切换的智能随机游动梅特罗波利斯-黑斯廷斯算法。在真实和模拟数据上测试我们的算法表明，它的性能至少与其他成熟的方法相当，甚至更好。最后，我们证明了在一些名义假设下，所提出的方法是一致的模型选择。
2019-03-13 stat.CO stat.ME
Algorithmic Bayesian Group Gibbs Selection
贝叶斯模型选择，在George和McCulloch（1993）和Abramovich等人（1998）中有先例，支持与模型不确定性相关的可信度度量，但当稀疏先验近似时，计算成本可能很高。我们设计了一个适合高斯噪声，t分布噪声和逻辑学习的精确选择引擎，受益于坐标下降套索的数据结构。吉布斯采样器链以与等能量（Equi-Energy）兼容的压缩二进制格式存储（Kou等人，2006）回火。我们实现了一个分组效应选择模型，类似于组套索的设置，以确定进入模型的系数的共同输入。我们推导出一个函数的群包含被积函数，并引入一个新的MCMC开关步骤，以避免数值积分。定理表明该步具有指数收敛到目标分布。我们证明了群体选择的作用，以告知遗传分解的dilemma实验，并确定潜在的数量性状基因座在p > 40 K异质股票单倍型/表型研究。
2023-03-10 stat.CO stat.ME
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley（加州大学伯克利分校）
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗（MCMC）方法的计算复杂性。我们首先表明，贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后，我们证明，后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前，我们提供了一组条件，保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系，直至对数因子。我们的证明控制的马尔可夫链的频谱间隙，通过构建一个典型的路径合奏，启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵（逆协方差矩阵）的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点，但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的，但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验，我们开发了一种称为联合回归网络的算法（JRNS），用于联合回归和协方差选择，该算法（a）可以适应一般稀疏模式，（b）提供不确定性量化的后验样本，（c）可扩展，比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率，并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Bayesian model selection for exponential random graph models
指数随机图模型是社交网络中一类应用广泛的指数族模型。一个观察到的网络的拓扑结构建模的一组局部子图配置称为网络统计的相对流行。在这些模型的应用中的关键任务之一是在模型中包括哪些网络统计数据。这可以被认为是统计模型选择问题。这是一个非常具有挑战性的问题-每个模型的后验分布通常被称为“双重棘手”，因为计算的可能性很少，而且，后验的证据是，像往常一样，棘手。本文的贡献是基于Caimo和Friel（2011）的可逆跳跃马尔可夫链蒙特卡罗算法扩展开发了一种完全贝叶斯模型选择方法，该方法估计了每个竞争模型的后验概率。
2013-01-18 stat.AP stat.CO
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University（莱斯大学）；Department of Statistics（统计系）
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而，由于选择不稳定，缺乏正则化，以及选择后推理的困难，经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$，我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用，而是提出了更广泛的观点，即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径，并通过关键成员（如最小可接受子集）以及基于变量（共同）是否出现在所有、一些或没有可接受子集中的新（共同）变量重要性度量进行了简洁的总结。更广泛地说，我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据，所提出的方法表现出更好的预测，区间估计，变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境，社会经济和人口因素的组合提供了独特的见解，并确定了200多个不同的变量子集，这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
Integrative Bayesian models using Post-selective Inference: a case study in Radiogenomics
基于基因组学和大量中间表型（如成像）之间统计学相关性的综合分析提供了对其在疾病机制方面的临床相关性的重要见解。然而，在由此产生的综合模型的不确定性估计是不可靠的，除非推断占这些协会的选择与准确性。在这篇文章中，我们开发了选择感知贝叶斯方法，该方法：（i）通过$\ell_1$正则化算法选择有希望的变量后，通过灵活的综合贝叶斯模型中的“选择感知后验”来抵消模型选择偏差的影响;（二）当同一数据集用于选择和不确定性时，在模型选择的质量和推理能力之间取得不可避免的折衷估计。中央我们的方法发展，精心构造的条件似然函数部署与重新参数化映射提供了显着的易处理的更新时，基于梯度的MCMC抽样用于估计不确定性的选择意识后。将我们的方法应用于放射基因组学分析，我们成功地恢复了几个重要的基因通路，并估计了它们与患者生存时间的关系的不确定性。
2022-08-12 stat.AP stat.CO stat.ME
Bayesian threshold selection for extremal models using measures of surprise
统计极值理论关注的是使用渐近激励模型来描述过程的极值。许多常用的模型对于超过某个高阈值的观测数据是有效的。然而，在实践中，一个合适的阈值是未知的，必须为每个分析确定。虽然有许多单变量极值的阈值选择方法，但可以应用于多变量设置的方法相对较少。此外，只有少数基于贝叶斯的方法，由于数据稀缺，这些方法在极端情况建模方面自然具有吸引力。使用贝叶斯措施的惊喜，以确定合适的阈值极值模型的建议。这些措施量化了对拟议极值模型和阈值的支持程度，而无需指定任何模型替代方案。这种方法很容易实现单变量和多变量的极端。
2014-12-09 stat.CO stat.ME
Bayesian Group Selection in Logistic Regression with Application to MRI Data Analysis
本文研究协变量为组结构的贝叶斯逻辑斯谛回归模型。在高维环境中，通常假设只有一小部分组是重要的，因此一致的组选择是非常重要的。虽然一致频率论的组选择方法已经被提出，但逻辑斯谛回归模型的贝叶斯组选择方法的理论性质还没有被研究。本文研究了高维环境下逻辑斯谛回归模型的分层组spike和slab先验。在温和的条件下，我们建立了诱导后验的强组选择一致性，这是贝叶斯文献中的第一个理论结果。通过仿真研究，我们证明了所提出的方法的性能优于现有的国家的最先进的方法在各种设置。我们进一步将我们的方法应用于预测帕金森病的MRI数据集，并显示其优于其他竞争者的优势。
2019-12-04 stat.ME
Decoupling Shrinkage and Selection for the Bayesian Quantile Regression
本文将连续先验的解耦收缩和稀疏性思想推广到贝叶斯分位数回归（BQR）。该过程遵循两个步骤：在第一步中，我们收缩分位数回归后，通过国家的最先进的连续先验和在第二步中，我们稀疏后，通过一个有效的变体的自适应套索，信号自适应变量选择（SAVS）算法。我们提出了一个新的变体的SAVS自动选择的惩罚，通过分位数特定的损失函数，是有效的高维。我们在大规模的模拟表明，我们的选择过程降低了偏见，而不管数据中的真实的潜在稀疏程度，相比非稀疏回归后验。我们将我们的两步方法应用于高维风险增长（GaR）练习。保留非稀疏后验的预测准确性，同时产生可解释的分位数特定变量选择结果。我们的程序可用于向政策制定者传达哪些变量会导致宏观经济下行风险。
2021-07-18 econ.EM stat.ML
Selection of tuning parameters in bridge regression models via Bayesian information criterion
我们考虑的桥梁线性回归建模，它可以产生一个稀疏或非稀疏模型。模型建立过程中的一个关键点是调整参数的选择，包括正则化参数和调整参数的桥梁回归模型。调整参数的选择可以看作是一个模型选择和评估问题。本文提出了一种基于贝叶斯方法的桥梁回归模型评价的模型选择准则。该选择标准使我们能够客观地选择调整参数。我们调查我们提出的建模策略的有效性，通过一些数值例子。
2012-04-14 stat.ME stat.ML
A subsampling approach for Bayesian model selection
在广义线性模型（GLM）的贝叶斯版本中，通常使用拉普拉斯近似来计算边际似然。边缘似然结合模型先验，然后在不同的搜索算法中使用，以计算模型和个体协变量的后验边缘概率。这允许执行贝叶斯模型选择和模型平均。对于大样本量，即使是拉普拉斯近似在计算上也变得具有挑战性，因为所涉及的优化例程需要在多次迭代中评估完整数据集的可能性。因此，该算法对于大型数据集是不可扩展的。为了解决这个问题，我们建议使用一个版本的流行的批量随机梯度下降（BSGD）算法估计的GLM的边际似然从数据的二次抽样。我们进一步结合该算法与马尔可夫链蒙特卡罗（MCMC）为基础的贝叶斯模型选择的方法，并提供了一些理论结果的收敛性估计。最后，我们报告的实验结果说明所提出的算法的性能。
2022-01-31 math.ST stat.CO stat.ME
Bayesian Model Selection in Complex Linear Systems, as Illustrated in Genetic Association Studies
受遗传关联研究实例的启发，本文考虑了一般复杂线性模型系统和贝叶斯框架下的模型选择问题。我们讨论制定模型选择问题，并将上下文相关的{ \it先验}信息通过不同级别的先验规范。我们还推导出解析贝叶斯因子及其近似，以方便模型选择，并讨论其理论和计算特性。我们展示了我们的贝叶斯方法的基础上实现的马尔可夫链蒙特卡罗（MCMC）算法在模拟和映射组织特异性eQTL的实际数据应用。我们的新的贝叶斯因子的结果提供了一个通用的框架，在复杂的线性模型系统进行有效的模型比较。
2013-09-03 q-bio.QM stat.AP stat.ME
Exact Dimensionality Selection for Bayesian PCA
我们提出了一种贝叶斯模型选择方法来估计高维数据集的内在维数。为此，我们引入了一种新的制剂的概率主成分分析模型的基础上正常的伽玛先验分布。在这种情况下，我们展示了一个封闭形式的表达的边际可能性，允许推断出最佳数量的组件。我们还提出了一个启发式的边缘似然曲线的预期形状的基础上，以选择超参数。在非渐近框架中，我们在模拟数据上表明，这种精确的维度选择方法与贝叶斯和频率论的最先进方法都具有竞争力。
2019-05-21 math.ST stat.ME stat.ML
The good, the bad, and the ugly: Bayesian model selection produces spurious posterior probabilities for phylogenetic trees
贝叶斯方法在分析大型数据集时会产生虚假的高后验概率，但这种过度自信的确切原因尚不清楚。一般来说，贝叶斯选择错误指定的模型的性能知之甚少，即使这是很大的科学兴趣，因为模型在真实的数据分析中从来都不是真的。在这里，我们描述了贝叶斯模型选择的渐近行为，并表明当竞争模型同样错误时，贝叶斯模型选择在大型数据集中表现出令人惊讶的极化行为，全力支持一个模型，同时拒绝其他模型。如果一个模型比另一个模型的错误稍小，那么当数据量增加时，错误较少的模型最终会获胜，但该方法可能在变得可靠之前变得过于自信。我们认为，这种极端的行为可能是进化树的虚假高后验概率的一个主要因素。我们的研究结果的哲学意义的贝叶斯模型选择的应用，以评估相反的科学假设还有待探讨，在类似的情况下，非贝叶斯方法的行为。
2018-10-12 math.ST q-bio.PE stat.TH
Conjugate priors for Bayesian Variable Selection in exponential family Generalized Linear Models
University of Trento（特伦托大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·孔塞雷基金会）；BCAM — Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque — Basque Foundation for Science（巴斯克科学基金会）
提出一种全贝叶斯共轭框架，通过二进制包含指标实现广义线性模型中的变量选择与参数估计，并证明后验一致性，开发了高效Gibbs采样算法及R包。
2026-11-05 math.ST stat.CO stat.ME
The Dependence of Routine Bayesian Model Selection Methods on Irrelevant Alternatives
贝叶斯方法--基于贝叶斯因子或BIC --现在被广泛用于模型选择。任何模型选择方法可能合理要求的一个属性是，如果模型${M}_{1}$优于模型${M}_{0}$，则当这两个模型被表示为一个模型类$\mathbb{M}$的成员时，当它们被嵌入到不同的类$\mathbb{M}'$中时，该偏好被保留。然而，我们在本文中说明，这些常见的贝叶斯程序的通常实施，这个属性不成立，甚至近似。因此，我们主张，要使用这些方法，首先需要存在一个“自然”嵌入类。我们认为，在任何情况下，如在我们运行的例子贝叶斯模型选择的二元系统发育树，没有这样的嵌入。
2012-08-17 math.ST stat.ME stat.TH
Context-dependent Ranking and Selection under a Bayesian Framework
我们考虑一个上下文相关的排名和选择问题。最好的设计不是通用的，而是取决于环境。在贝叶斯框架下，我们开发了一个动态抽样方案的上下文相关优化（DSCO），有效地学习和选择最佳的设计在所有的情况下。所提出的抽样方案被证明是一致的。数值实验表明，所提出的抽样方案显着提高了上下文相关的排名和选择的效率。
2020-12-18 stat.ME
Bayesian Evidence and Model Selection
在本文中，我们回顾了贝叶斯证据和贝叶斯因子的概念，也被称为对数优势比，以及它们在模型选择中的应用。该理论是随着分析，近似和数值技术的讨论。特别注意的是拉普拉斯近似，变分贝叶斯，重要性抽样，热力学集成，嵌套抽样及其最近的变种。类比统计物理，从其中许多这些技术的起源，讨论，以提供读者更深入的见解，可能导致新的技术。贝叶斯模型测试在域科学中的效用是通过提出四个具体的实际例子，在信号检测，传感器表征，科学模型选择和分子力表征领域的信号处理的背景下考虑。
2015-11-23 astro-ph.IM stat.AP stat.CO
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中，我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活，这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足，即使所需的节点数量被严重高估。此外，这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上，我们学习的是更小的网络，其预测性能与当前方法相当。
2017-05-29 stat.ML
Bayesian model selection on linear mixed-effects models for comparisons between multiple treatments and a control
我们提出了一种新的贝叶斯模型选择技术的线性混合效应模型比较多个治疗与控制。采用完全贝叶斯方法来估计边际纳入概率，该概率提供治疗和对照之间差异的直接测量，以及模型平均后验分布。缺省先验提出了结合领域知识的模型选择，并开发了一种有效的后验计算的组件式吉布斯采样器。我们证明了所提出的方法的基础上模拟数据和实验数据集从小鼠寿命和体重轨迹的纵向研究。
2015-09-24 stat.AP stat.ME
Bayesian MAP Model Selection of Chain Event Graphs
链事件图模型类是离散贝叶斯网络类的推广，保留了贝叶斯网络在模型查询、传播和学习方面的大部分结构优势，同时更自然地对非对称状态空间和事件发生的顺序进行编码。在本文中，我们证明了如何与完全抽样，共轭封闭形式的模型选择的基础上的产品Dirichlet先验是可能的，并证明了适当的齐性假设的产品Dirichlet先验这类模型。我们使用两个教育的例子来展示我们的技术。
2009-04-06 stat.ME stat.ML
Bayesian model selection consistency and oracle inequality with intractable marginal likelihood
在这篇文章中，我们研究了大样本性质的模型选择过程中的一般贝叶斯框架时，封闭形式的表达的边缘似然函数是不可用的或局部渐近二次近似的对数似然函数不存在。在真实模型的适当可辨识性假设下，我们提供了贝叶斯模型选择过程是一致的并服从奥卡姆剃刀现象的充分条件，即，当样本量趋于无穷大时，选择包含真值的“最小”模型的概率趋于1。为了表明贝叶斯模型选择过程选择包含真理的最小模型，我们施加了先验反集中条件，要求由大模型分配给真理邻域的先验质量足够小。在一个更一般的设置，强模型可识别性假设可能不成立，我们引入了局部贝叶斯复杂性的概念，并开发贝叶斯模型选择过程的预言不等式。我们的贝叶斯预言不等式的特点之间的权衡近似误差和贝叶斯表征的局部复杂性的模型，说明了自适应性质的平均为基础的贝叶斯程序实现最佳的后验收敛率。模型选择理论的具体应用进行了讨论的背景下，高维非参数回归和密度回归的回归函数或条件密度被假定为依赖于一个固定的子集的预测。作为独立兴趣的结果，我们提出了一种获得平稳高斯过程小球概率上界的一般方法。
2017-01-09 math.ST stat.ME stat.ML
Sparse-Group Bayesian Feature Selection Using Expectation Propagation for Signal Recovery and Network Reconstruction
Max Planck Institute for Molecular Genetics（马克斯·普朗克分子遗传学研究所）
我们提出了一种贝叶斯方法的特征选择中存在的分组信息之间和组内水平的稀疏性。而不是使用随机算法的参数推断，我们采用期望传播，这是一个确定性和快速的算法。在存在分组信息的情况下，用于特征选择的可用方法具有许多简短的描述：一方面，Lasso方法虽然快速，但低估了回归系数，并且没有很好地利用分组信息，另一方面，贝叶斯方法虽然在参数估计中准确，但通常依赖于随机且缓慢的吉布斯抽样过程来恢复参数，使得它们例如对于基因网络重建是不可行的。我们的方法的贝叶斯稀疏组框架与期望传播，使我们不仅能够恢复准确的参数估计信号恢复问题，但也使得有可能将此贝叶斯框架的大规模网络重建问题。所提出的方法是通用的，但在应用方面，我们专注于基因调控网络。我们的模拟和实验数据表明，该方法构成了一个很好的选择网络重建的正确选择的功能，预测新的数据和合理的计算时间的数量。
2018-09-25 cs.LG stat.CO stat.ML
Penalized Likelihood and Bayesian Function Selection in Regression Models
各个领域的研究推动了高维预测变量回归模型变量选择方法的广泛进步。相比之下，选择非线性函数的模型与添加剂预测最近才被认为是。几个相互竞争的建议几乎是同时提出的，而且往往互不相关。本文提供了一个国家的最先进的审查功能选择，侧重于惩罚似然和贝叶斯的概念，在一个统一的框架中相互关联的各种方法。在实证比较中，也包括提升，我们通过应用程序来评估几种方法，模拟和真实数据，从而提供一些指导，在实践中的性能。
2013-03-04 stat.ME
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义，因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则，这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用，这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
Bayesian Variable Selection for Single Index Logistic Model
在大数据时代，变量选择是处理小样本量但协变量众多的高维问题的关键技术。针对线性模型、Logistic模型和广义线性模型等不同模型，提出了不同的变量选择方法。然而，由于传统Logistic模型的连接函数未知和MCMC算法混合速度慢，使得单指标模型的变量选择问题研究较少，特别是单指标Logistic模型。利用高斯过程和数据增广的优点，提出了单指标Logistic模型的贝叶斯变量选择方法。数值模拟和实际数据分析的结果表明，我们的方法比国家的艺术的优势。
2020-12-11 stat.ME
Bayesian Model Selection on Random Networks
随机网络模型的模型选择的一般贝叶斯框架，考虑其功能。我们的目标是开发一个原则贝叶斯模型选择的方法来比较不同的适合，不一定嵌套，模型的推理对这些网络的实现。随机网络模型的比较准则是通过贝叶斯因子和使用最广泛使用的损失函数的惩罚来制定的。参数化在不同的空间是不同的。为了克服这个问题，我们结合和编码的不同方面的复杂性的可观察空间。因此，给定一个特征的值范围，网络实现被提取。所提出的原则方法是基于寻找随机网络模型，这样，在感兴趣的特征和模型的复杂性之间保持合理的权衡，避免过拟合问题。
2020-04-28 stat.AP stat.ME
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，克洛德·贝尔纳大学，法国国家科学研究中心，物理实验室）；IRIT/INP-ENSEEIHT, University of Toulouse（图卢兹大学 IRIT/INP-ENSEEIHT）
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间，但需要选择的正则化参数，其值显着影响所获得的解决方案，其自动选择仍然是一个复杂的和具有挑战性的问题。相反，完全贝叶斯形式主义将正则化参数选择封装到分层模型中，代价是高计算成本。这方面的贡献提出了一个操作策略，结合层次贝叶斯和Potts模型配方，自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估，并显示出与完全贝叶斯分层过程相比，在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
Bayesian Model Selection of Stochastic Block Models
Indiana University Network Science Institute（印第安纳大学网络科学研究所）
分析网络的一个核心问题是将它们划分为模块或社区。其中一个最好的工具是随机块模型，它将顶点聚集到具有统计上均匀的链接模式的块中。尽管它的灵活性和流行性，一直缺乏原则性的统计模型选择标准的随机块模型。在这里，我们提出了一个贝叶斯框架，用于选择块的数量以及将其与更精细的度校正块模型进行比较，最终导致一个能够比较多个建模组合的通用模型选择框架。我们还将研究它与最小描述长度原则的联系。
2016-05-23 cs.LG cs.SI stat.ML
Towards Characterising Bayesian Network Models under Selection
现实生活中的统计样本经常受到选择偏差的困扰，这使得对一般人群得出结论变得复杂。当对学习变量之间的因果关系感兴趣时，可以假设样本来自选择下的因果贝叶斯网络（BN）模型中的分布。理解选择模型中的约束是恢复原始模型中因果结构的第一步。条件独立（CI）的约束条件下选择的BN模型已经被表征，但是，存在额外的，非CI的约束条件，在这样的模型。在这项工作中，提供了一些初步的结果，简化了表征问题。此外，还设计了一个从完全部分有向无圈图（CPDAG）中识别受迫祖先（确定原因）的算法。最后，非CI，非因式分解约束下的BN模型的选择计算的第一次。
2018-11-13 math.ST stat.TH
Bayesian Variable Selection and Estimation Based on Global-Local Shrinkage Priors
本文研究了具有全局-局部收缩先验的线性回归模型的贝叶斯变量选择问题。我们提出了一个变量选择程序，选择一个变量，如果后验均值的比例，相应的系数的普通最小二乘估计大于$1/2$。在正交设计的假设下，证明了当局部参数具有多项式尾先验时，该方法具有预言性质，即可以同时获得变量选择的一致性和最优估计率.然而，如果相反，指数尾先验被用于局部参数，所提出的方法不具有预言属性。
2016-05-25 stat.ME
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题，本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型，利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择，并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
Interpretable Selection and Visualization of Features and Interactions Using Bayesian Forests
对于机器学习方法来说，做出可解释且准确的预测变得越来越重要。在许多实际应用中，哪些特征和特征交互与预测任务相关是令人感兴趣的。我们提出了一种新的方法，选择性贝叶斯森林分类器，通过同时执行分类，特征选择，特征交互检测和可视化，在预测能力和可解释性之间取得平衡。它使用树形结构的贝叶斯网络构建简约而灵活的模型，并使用马尔可夫链蒙特卡罗对这些模型的集合进行采样。我们通过将树根据其与感兴趣的结果的相关性分为两组来构建特征选择。我们的方法在低维度和高维度的分类和特征选择基准上具有竞争力，并且包括一个可视化工具，可以深入了解相关特征和相互作用。
2016-02-07 stat.ML
Bayesian Model Selection for Misspecified Models in Linear Regression
虽然贝叶斯信息准则（BIC）和赤池信息准则（AIC）是线性回归中模型选择的强大工具，但它们建立在不同的先验假设上，因此适用于不同的数据生成场景。我们表明，在有限维的情况下，他们各自的假设可以统一在一个增广的模型加噪声空间，并在这个空间中构建一个先验继承了AIC和BIC的有益特性。这使我们能够调整BIC，使其对信噪比较低的错误指定模型具有鲁棒性。
2017-12-14 stat.ME
Bayesian Model Selection of Lithium-Ion Battery Models via Bayesian Quadrature
University of Oxford（牛津大学）；German Aerospace Center (DLR)（德国航空航天中心）；Helmholtz Institute Ulm（亥姆霍兹乌尔姆研究所）；Universität Ulm（乌尔姆大学）；The Faraday Institution（法拉第研究所）
针对锂离子电池模型选择难题，提出基于贝叶斯求积的贝叶斯模型选择方法，以模型证据为指标，样本效率高，多模态后验下选模更准，速度优于蒙特卡洛方法，还可顺带得到参数后验。
2023-04-05 cs.LG cs.SY eess.SY
Bayesian model selection and misspecification testing in imaging inverse problems only from noisy and partial measurements
Heriot-Watt University, MACS \& Maxwell Institute for Mathematical Sciences, EH14 4AS, Edinburgh, United Kingdom
提出一种结合贝叶斯交叉验证与数据分裂的通用方法，用于在无真实数据情况下对成像逆模型进行选择与误设定检测，兼容扩散采样器等贝叶斯成像采样器，计算成本低且准确率高。
2026-05-28 cs.LG eess.IV stat.ME
Sequential Bayesian Model Selection of Regular Vine Copulas
正则vine copula比多元Gaussian copula和多元Student's t copula能描述更广泛的依赖模式。本文提出了两个贡献有关的正则藤copula模型的选择。首先，我们的对copula家庭选择过程扩展了现有的贝叶斯家庭选择方法，允许对家庭从任意一组候选家庭中选择。其次，我们的方法代表了第一种将常规藤蔓密度构建纳入其推理范围的贝叶斯模型选择方法。我们的方法的优点是建立在一个模拟研究中，基准对目前文献中提出的方法。一个用于风险度量和投资分配的组合资产收益预测的实际数据例子说明了所提出的方案的可行性和相关性。
2015-12-03 math.ST stat.ME stat.TH
