Bayesian Shrinkage Variable Selection
由于延期和作为另一份文件提交而撤回。
2008-04-16 stat.ME
Fast Bayesian Variable Selection in Binomial and Negative Binomial Regression
贝叶斯变量选择是数据分析的一个强大工具，因为它提供了一种考虑先验信息和不确定性的变量选择原则性方法。然而，贝叶斯变量选择的广泛采用受到计算挑战的阻碍，特别是在具有大量协变量或非共轭似然的困难制度中。计数数据的广义线性模型在生物学、生态学、经济学等领域中很普遍，它是一个重要的特例。在这里，我们介绍了一种有效的MCMC方案，用于二项式和负二项式回归中的变量选择，该方案利用了Tempered吉布斯抽样（Zanella and Roberts，2019），并将逻辑斯谛回归作为特例。在实验中，我们证明了我们的方法的有效性，包括癌症数据与一万七千协变量。
2022-09-12 stat.CO stat.ME stat.ML
Feature Selection for Value Function Approximation Using Bayesian Model Selection
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习（RL）中的特征选择（即选择基函数使得可以获得未知价值函数的有用近似）是将RL扩展到现实世界应用的主要挑战之一。在这里，我们考虑高斯过程的框架GPTD近似的政策评估，并提出特征选择通过边际似然优化相关的超参数。我们的方法有两个吸引人的好处：（1）仅给定样本转换，我们可以完全自动地解决策略评估问题（不看学习任务，并且理论上独立于状态空间的维数），以及（2）模型选择允许我们考虑更复杂的内核，这又使我们能够识别相关的子空间并消除不相关的状态变量，使得我们可以实现大量的计算节省和改进的预测性能。
2012-01-31 cs.AI cs.LG
Efficient and Robust Bayesian Selection of Hyperparameters in Dimension Reduction for Visualization
University of California, Irvine（加州大学欧文分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出结合代理模型、归一化与子采样的贝叶斯优化框架，以支持大规模降维算法在多目标指标下的高效超参数选择与敏感性分析。
2023-06-01 cs.HC cs.LG math.PR
Determinantal Point Process Priors for Bayesian Variable Selection in Linear Regression
提出了贝叶斯变量选择中模型参数先验的离散决定点过程。通过我们的变量选择方法，共线的预测是不太可能同时选择，因为离散DPP的排斥属性。提出了三种类型的DPP先验。我们通过数值实验和共线数据集的应用程序所提出的先验的效率。
2014-06-09 stat.ME
Bayesian variable selection in high dimensional problems without assumptions on prior model probabilities
我们考虑线性模型中的变量选择问题时，$p$，潜在的回归的数量，可能会超过（也许是大幅度）的样本量$n$（这可能是小的）。
2016-07-11 stat.ME
Bayesian Variable Selection with the Quasi-Posterior
University of South Carolina（南卡罗来纳大学）；Monash University（蒙纳士大学）
本文提出基于准后验的贝叶斯变量选择方法，通过结合先验和准似然，无需完整似然函数即可实现稳健的变量选择，并在模拟和实际数据中展示了其优越性。
2026-03-04 stat.ME
Identifying Gene-environment interactions with robust marginal Bayesian variable selection
在高通量遗传学研究中，一个重要的目标是确定与临床结果相关的基因-环境相互作用。最近，已经开发了多种边缘惩罚方法，并在G $\times$ E研究中显示出有效性。然而，在贝叶斯框架内，边际变量的选择并没有得到太多的关注。在这项研究中，我们提出了一种新的边缘贝叶斯变量选择方法的G $\times$ E研究。特别是，我们的边际贝叶斯方法是强大的数据污染和离群值的结果变量。在此基础上，我们实现了基于MCMC的Gibbs采样器。所提出的方法优于大量的替代品在广泛的模拟研究。边际稳健贝叶斯变量选择方法的效用已在使用护士健康研究（NHS）数据的案例研究中得到进一步证明。从实际数据分析中确定的一些主要和相互作用效应具有重要的生物学意义。
2021-02-23 stat.ME
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型（GGM）是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法，将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型，并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外，我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据，最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Bayesian Variable Selection and Estimation for Group Lasso
本文重新访问贝叶斯群体套索，并使用穗和板坯先验组变量选择。在这个过程中，我们的模型与惩罚回归的连接被证明，并指出后中值阈值的作用。证明了在正交设计下，后验中位数估计对组变量的选择和估计具有预言性质，而当变量选择达到一致时，组Lasso估计具有次优的渐近估计率.接下来，我们考虑两个层次的选择问题，并提出了贝叶斯稀疏组选择再次与穗和板坯先验选择变量在组水平和组内。我们通过模拟证明，我们的尖峰和平板模型的后验中值估计具有优良的性能，无论是变量的选择和估计。
2015-12-03 math.ST stat.TH
Bayesian Variable Selection For Survival Data Using Inverse Moment Priors
在高维癌症基因组研究中，有效的变量选择对于发现与特定癌症类型相关的基因和预测对治疗的反应至关重要。删失生存数据在此类研究中很普遍。在这篇文章中，我们介绍了一个贝叶斯变量选择过程，使用的混合物前组成的点质量在零和逆矩前与部分似然定义的Cox比例风险模型。该过程在R包BVSNLP中实现，该包支持并行计算，并使用随机搜索方法来探索模型空间。贝叶斯模型平均用于预测。该算法提供了更好的性能比其他变量选择程序在模拟研究中，并出现提供更一致的变量选择时，应用到实际的基因组数据集。
2020-03-14 stat.AP stat.CO
spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R
R软件包spikeSlabGAM在高斯、二项式和泊松响应的（geo-）加性混合模型中实现贝叶斯变量选择、模型选择和正则化估计。其目的是（1）选择潜在协变量及其相互作用的适当子集，（2）确定是否需要线性或更灵活的函数形式来建模各个协变量的影响，以及（3）估计它们的形状。模型项的选择和正则化是基于与参数和半参数效应相关的系数组上的新的尖峰和板型先验。
2011-05-26 stat.ME
Bayesian variable selection using an informed reversible jump in imaging genetics: an application to schizophrenia
针对影像遗传学精神分裂症风险评估，本文为可逆跳MCMC贝叶斯变量选择提出数据驱动的知情提议，并用贝叶斯probit模型与模型平均实现判别变量选择和风险预测。
2025-01-10 stat.AP stat.CO stat.ME
Variable Selection Using Bayesian Additive Regression Trees
变量选择是一个重要的统计问题。当候选预测变量是混合类型（例如连续和二进制）并且以非线性和/或非加性方式影响响应变量时，该问题变得更具挑战性。在本文中，我们回顾了现有的变量选择方法的贝叶斯加性回归树（BART）模型，非参数回归模型，这是足够灵活，以捕捉预测和非线性关系的响应之间的相互作用。本次审查的重点是识别相关预测因子的能力。我们还提出了两个变量的重要性措施，可用于在一个基于置换的变量选择方法，和一个向后的变量选择程序的BART。我们目前的模拟表明，我们的方法表现出改善的性能方面的能力，恢复所有相关的预测在各种数据设置，相比现有的基于BART的变量选择方法。
2021-12-28 stat.AP stat.ME
A shrinkage-thresholding Metropolis adjusted Langevin algorithm for Bayesian variable selection
本文介绍了一种新的马尔可夫链蒙特卡罗方法，用于高维环境下贝叶斯变量的选择。该算法是一个黑斯廷斯-大都会采样器的建议机制，它结合了大都会调整的朗之万（MALA）的步骤，提出与收缩阈值的步骤，允许提出新的模型相关联的局部移动。证明了这种新的跨维马尔可夫链Monte Carlo采样器的几何遍历性。一个广泛的数值实验，模拟和真实的数据，提出了一些更经典的跨维算法相比，说明所提出的算法的性能。
2015-09-11 math.ST stat.TH
Stochastic Search Variable Selection for Bayesian Generalized Linear Mixed Effect Models
本文将 Yang 等（2020）面向线性混合模型的 SSVS 方法扩展至贝叶斯 GLMMs，以联合选择固定效应与随机效应，并通过模拟与真实数据验证其有效性及超参数影响。
2024-12-02 stat.AP stat.ME
A Bayesian Bi-Directional Splitting Framework for Variable Selection in Large Datasets
School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学院）
提出一种贝叶斯双向分割框架，通过分而治之并行处理大规模数据，在保持变量选择性能的同时提升计算效率，并应用于H3N2流感数据。
2026-09-18 stat.CO stat.ME
Bayesian Variable Selection for Function-on-Scalar Regression Models: a comparative analysis
University of Western Ontario（韦仕敦大学）；University of Campinas（坎皮纳斯州立大学）；Federal University of Paraná（巴拉那联邦大学）
本文提出了一种新的贝叶斯变量选择方法，用于函数-标量回归模型，通过层次贝叶斯结构和潜在变量实现自适应协变量选择，通过模拟研究和实证分析验证了其在变量选择和模型拟合方面的优越性。
2026-03-29 stat.CO stat.ME
Bayesian Adaptive Lasso with Variational Bayes for Variable Selection in High-dimensional Generalized Linear Mixed Models
本文介绍了一个完整的贝叶斯处理同时固定效应选择和参数估计的高维广义线性混合模型。该方法包括使用贝叶斯自适应Lasso惩罚信号级自适应收缩和快速变分贝叶斯方案估计后验模式的系数。与现有的方法相比，该方法具有自适应收缩参数的自动加入，不需要拉普拉斯近似步骤来积分出随机效应等优点。几个模拟和真实数据的例子说明了我们的方法的性能。该算法在R软件包glmmvb中实现，并可在线使用。
2016-08-30 stat.ME
Bayesian variable selection with spherically symmetric priors
我们建议，贝叶斯变量选择的线性参数化与高斯iid似然的对角化参数空间的球对称性的基础上。我们的r先验结果在封闭形式的证据的四个例子，包括超g先验和Zellner-Siow先验，这是特殊情况。一个单一的可变的色散参数和固定的色散的情况下进行了研究，并渐近形式可比的传统的信息准则。模拟实验表明，基于我们的r-先验模型比较给出了良好的结果，可比或优于当前的模型比较方案。
2015-12-10 math.ST physics.data-an stat.TH
Semi-parametric Bayesian variable selection for gene-environment interactions
已知许多复杂疾病受到遗传变异和环境暴露之间的相互作用的影响，而不仅仅是主要的遗传和环境影响。基因-环境（G $\times$ E）相互作用的研究对于阐明疾病的病因是重要的。现有的贝叶斯方法G $\times$ E相互作用的研究受到挑战的高维性质的研究和复杂的环境影响。许多研究表明，惩罚方法在检测“大p，小n”设置中的G $\times$ E相互作用方面具有优势。然而，贝叶斯变量选择，可以提供新的见解G $\times$ E研究，尚未得到广泛的研究。我们提出了一个新的和强大的半参数贝叶斯变量选择模型，可以同时调查线性和非线性的G $\times$ E相互作用。此外，所提出的方法可以进行结构识别，区分非线性相互作用的情况下，只有主效应的贝叶斯框架。尖峰和平板先验被纳入个人和组水平，以确定稀疏的主要和相互作用的影响。所提出的方法进行贝叶斯变量选择比现有的方法更有效。仿真结果表明，所提出的模型优于竞争的替代品的识别和预测。提出的贝叶斯方法导致识别的主要和相互作用的影响具有重要意义的高通量分析研究与高维SNP数据。
2019-09-27 stat.ME
A Graphical View of Bayesian Variable Selection
近年来，基于网络信息的Ising先验对于“入”或“出”二元随机变量的贝叶斯变量选择问题受到了越来越多的关注。在本文中，我们发现，即使没有信息先验的贝叶斯变量选择问题本身可以被认为是一个完整的图和描述的伊辛模型与随机相互作用。将变量选择作为图模型处理有许多优点，如易于采用单点更新和聚类更新算法，适用于小样本量和大变量数的问题，在贝叶斯变量选择伊辛模型中，交互作用由线性模型决定，而非线性模型中的交互作用由线性模型决定因此，我们采用全局-局部收缩策略，系统地研究了模型系数的不同尺度正态混合先验的性能。我们的研究结果证明，在变量选择方面的模型系数的最佳先验应保持小收缩，而不是大收缩的重要性。我们还讨论了伊辛模型的回火算法和全局-局部收缩方法之间的联系，表明收缩参数起着回火作用。用模拟数据和实际数据说明了该方法。
2012-06-13 stat.ME
Bayesian MI-LASSO for Variable Selection on Multiply-Imputed Data
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计系）；Department of Statistics, Rutgers University（罗格斯大学统计系）
针对多重插补数据变量选择不一致问题，提出四种贝叶斯MI-LASSO模型及四步投影预测选择程序，模拟显示优于现有方法，并提供了R包BMIselect。
2026-11-06 stat.ME
An exploration of sequential Bayesian variable selection -- A comment on García-Donato et al. (2025). "Model uncertainty and missing data: An objective Bayesian perspective"
本文针对含缺失数据的客观贝叶斯模型不确定性方法，提出在数据序贯累积场景下引入序贯模型置信集进行变量选择，以实现持续证据监测并稳定推断。
2025-09-30 math.ST stat.ME stat.TH
Robust Bayesian variable selection for gene-environment interactions
基因-环境（G $\times$ E）相互作用对阐明主要遗传和环境效应之外的复杂疾病的病因具有重要意义。在G $\times$ E研究的疾病表型中经常遇到异常值和数据污染，这导致了广泛的鲁棒正则化方法的发展。然而，在贝叶斯框架内，这个问题还没有得到照顾，在现有的研究。我们开发了一个完全贝叶斯稳健的变量选择方法G $\times$ E相互作用的研究。所提出的贝叶斯方法可以有效地容纳重尾误差和离群值的响应变量，同时进行变量选择，占结构稀疏。特别是，对于强大的稀疏组选择，穗和板先验已被施加在个人和组的水平，以确定重要的主要和相互作用的影响。一个有效的吉布斯采样器已被开发，以促进快速计算。对来自护士健康研究的具有SNP测量的糖尿病数据和具有基因表达测量的TCGA黑色素瘤数据的广泛模拟研究和分析表明，所提出的方法优于多个竞争替代方案。
2020-06-09 stat.ME
Scalable Bayesian bi-level variable selection in generalized linear models
受心脏病学中的实际应用的启发，我们开发了一种算法，用于在广义线性模型中执行贝叶斯双水平变量选择，用于可能在个体数量和预测因子数量方面都很大的数据集。我们的算法依赖于Dau和Chopin（2022）的无浪费SMC序贯蒙特卡罗方法，这是一种新的建议机制，用于处理特定于双层选择的约束（如果其组未被选中，则禁止选择单个预测因子），以及Rossell等人（2021）的ALA（近似拉普拉斯近似）方法。我们在数值研究中表明，该算法可以在几分钟内在大型数据集上提供可靠的性能，包括与上述心脏病学应用相关的模拟数据和真实数据。
2023-03-22 stat.CO stat.ME
Fully Bayesian Estimation and Variable Selection in Partially Linear Wavelet Models
在本文中，我们提出了一个基于小波的方法估计和变量选择的部分线性模型。推理是在小波域中进行的，它提供了一个稀疏和本地化的分解，适合具有不同程度的平滑度的非参数分量。一个分层贝叶斯模型制定的参数，这种表示，其中的估计和变量选择是由一个吉布斯抽样程序。对于模型的参数和非参数部分，我们使用具有双指数扩散分布的零污染点质量先验。部分线性小波模型领域只有少数论文存在，我们表明，所提出的方法往往优于现有的方法估计模型参数的任务。此外，该方法能够通过对模型的参数部分进行随机搜索来执行贝叶斯变量选择。
2016-09-23 stat.ME
Subsampling MCMC for Bayesian Variable Selection and Model Averaging in BGNLM
本文提出将GMJMCMC与S-IRLS-SGD算法结合，通过子采样估计边际似然，使贝叶斯非线性模型能处理高维数据。
2023-12-28 stat.CO
Multivariate Bayesian variable selection with application to multi-trait genetic fine mapping
针对多个相关且异质响应的变量选择问题，提出一种结合分组结构、多层次选择和先验生物知识的多元贝叶斯方法，并用于多性状遗传精细定位。
2024-03-01 stat.ME
Bayesian Variable Selection for Linear Regression with the $κ$-$G$ Priors
在本文中，我们介绍了一种新的方法，贝叶斯变量选择的线性回归，是独立于传统的指标方法。对角矩阵$\mathbf{G}$被引入到系数向量$\boldsymbolβ$的先验中，其中在对角线上的限定在$0$和$1$之间的每个$g_j$用作对应的$β_j$的稳定器。在数学上，有希望的变量具有接近于$0$的$g_j$值，而对应于无希望的变量的$g_j$的值接近于$1$。本文在正交性下证明了这一性质以及其它渐近性质。在计算上，每个$g_j$的样本路径通过Metropolis-within- Gibbs抽样方法获得。此外，在本文中，我们给出了两个模拟来验证这种方法的能力，在变量选择。
2016-10-18 stat.ME
Bayesian Variable Selection for Skewed Heteroscedastic Response
在这篇文章中，我们提出了新的贝叶斯方法来选择和估计偏异方差响应的稀疏系数向量。我们的新贝叶斯程序有效地估计中位数和其他分位数函数，适应非本地的回归效应之前，而不影响通过基于采样的工具，实现的容易性，并渐近选择的预测的真实集，即使协变量的数量增加在相同的顺序的样本量。我们还扩展了我们的方法来处理一些非常大的误差观测。通过模拟研究和重新分析的医疗成本的研究与大量的潜在的预测因素，我们说明了我们的方法相比，现有的方法进行此类研究的实施和其他实际的优势。
2017-07-03 math.ST stat.ME stat.TH
Bayesian projection approaches to variable selection and exploring model uncertainty
最近在文献中提出了一种贝叶斯方法来选择变量，该方法基于完整模型与其投影到子模型之间的预期库尔贝克-莱布勒散度。在这里，我们扩展了这个想法，考虑投影到子空间定义通过某种形式的$L_1$约束的参数在完整的模型。这导致了与套索相关的贝叶斯模型选择方法。在投影的后验分布中，存在某些分量恰好为零的正概率，并且由投影引起的模型空间上的后验分布允许探索模型不确定性。我们还考虑使用的方法在结构化的变量选择问题，如方差分析模型，它是希望将主效应存在的相互作用。在这里，我们利用投影相关的非负的加洛特，能够尊重层次约束。证明了投影引起的模型的后验分布的一致性结果，并证明了对于一些与自适应套索和非负Garotte相关的投影，后验分布渐近地集中在真实模型上.
2009-01-29 stat.ME
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
Oracle inequalities for computationally adaptive model selection
University of California, Berkeley（加州大学伯克利分校）；Queensland University of Technology（昆士兰科技大学）
我们分析了一般的模型选择过程中使用惩罚的经验损失最小化计算约束。虽然经典的模型选择方法不考虑计算方面的执行模型选择，我们认为，任何实际的模型选择程序不仅必须权衡估计和近似误差，但也需要计算经验最小值为不同的功能类的计算工作。我们提供了一个框架来分析这样的问题，我们给模型选择下的计算预算的算法。这些算法满足预言不等式，表明所选模型的风险并不比我们将所有的计算预算都投入到最优函数类中差得多。
2012-08-01 cs.LG stat.ML
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，克洛德·贝尔纳大学，法国国家科学研究中心，物理实验室）；IRIT/INP-ENSEEIHT, University of Toulouse（图卢兹大学 IRIT/INP-ENSEEIHT）
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间，但需要选择的正则化参数，其值显着影响所获得的解决方案，其自动选择仍然是一个复杂的和具有挑战性的问题。相反，完全贝叶斯形式主义将正则化参数选择封装到分层模型中，代价是高计算成本。这方面的贡献提出了一个操作策略，结合层次贝叶斯和Potts模型配方，自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估，并显示出与完全贝叶斯分层过程相比，在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
Bivariate Causal Discovery using Bayesian Model Selection
Imperial College London（帝国理工学院）；University of Bristol（布里斯托尔大学）；University of Oxford（牛津大学）
本文提出将因果假设纳入贝叶斯框架，将双变量因果方向识别转化为贝叶斯模型选择问题，并构建贝叶斯非参数模型，在多种基准数据集上超越先前方法。
2024-05-27 cs.LG stat.ML
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology（昆士兰科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）
耦合矩阵张量分解（CMTF）有助于集成和分析多个数据源，并有助于发现有意义的信息。非负CMTF（N-CMTF）已在许多应用中用于识别潜在模式、预测和推荐。然而，由于张量和矩阵数据之间的耦合增加的复杂性，现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法，避免了频繁的梯度更新。理论和实证分析表明，与现有的因子分解算法相比，本文提出的N-CMTF因子分解算法不仅精度更高，而且计算效率更高.
2020-03-07 cs.LG stat.ML
Uncertainty-Aware Surrogate-based Amortized Bayesian Inference for Computationally Expensive Models
Department of Stochastic Simulation and Safety Research for Hydrosystems（随机模拟与安全研究部门）；Cluster of Excellence SimTech（卓越中心SimTech）；University of Stuttgart（斯图加特大学）；Department of Statistics（统计学系）；TU Dortmund University（多特蒙德技术大学）
本文提出UA-SABI框架，结合替代模型和amortized贝叶斯推断，以量化和传播替代不确定性，实现对计算昂贵模型的快速可靠推断。
2026-01-16 cs.LG stat.ME stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Factorized Asymptotic Bayesian Hidden Markov Models
NEC Laboratories America（美国 NEC 实验室）；University of Tokyo（东京大学）
本文讨论了隐马尔可夫模型（HMM）的模型选择问题。我们推广了因子分解渐近贝叶斯推断（FAB），这是最近开发的独立隐变量模型选择（即，混合模型），用于时间依赖的隐变量。与混合模型中的FAB算法一样，本文推导出了基于因子分解信息准则（FIC）的混合模型中的FAB算法。它继承了混合模型的FAB，学习障碍的几个理想的属性，如FIC与边际对数似然的渐近一致性，隐藏状态选择的收缩效应，通过迭代优化的FIC下限的单调增加。此外，它没有可调的超参数，因此其模型选择过程可以完全自动化。实验结果表明，FAB优于国家的最先进的变分贝叶斯HMM和非参数贝叶斯HMM的模型选择精度和计算效率。
2012-06-18 cs.LG stat.ML
An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University（高丽大学信息安全技术中心(CIST)）；Korea University（高丽大学）
为了对数据进行聚类或分区，我们经常使用期望和最大化（EM）或高斯混合模型（GMM）的变分近似，GMM是一个参数概率密度函数，表示为$\hat{K}$高斯分量密度的加权和。然而，模型选择，以找到潜在的$\hat{K}$是GMM聚类的关键问题之一，因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中，我们提出了一个新的模型选择算法，探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度，这是AIC和BIC等信息准则基本上无法重建的。此外，与耗时的蒙特卡罗模拟相比，该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
On Bayesian Search for the Feasible Space Under Computationally Expensive Constraints
Swansea University（斯旺西大学）；ACT Acoustics（ACT声学公司）
我们经常感兴趣的是在多个约束条件下确定决策空间的可行子集，以允许有效的设计探索。如果确定可行性需要计算上昂贵的模拟，那么勘探的成本将是令人望而却步的。贝叶斯搜索对于这些问题是数据高效的：从一个小的数据集开始，中心概念是使用贝叶斯约束模型和获取函数来定位有希望的解决方案，当数据集被扩充时，这些解决方案可以改善可行性的预测。在这种具有有限数量的昂贵评估的顺序主动学习方法结束时，模型可以准确地预测任何解决方案的可行性，从而避免了完全模拟的需要。在本文中，我们提出了一种新的采集功能，结合了解决方案位于可行和不可行的空间（代表开发）和预测（代表探索）的熵之间的边界的概率。实验证实了所提出的功能的有效性。
2020-06-24 cs.LG cs.NE stat.ML
On Supervised Selection of Bayesian Networks
University of Helsinki（赫尔辛基大学）
给定一组可能的模型（例如，贝叶斯网络结构）和数据样本，在无监督模型选择问题中，任务是选择关于域联合概率分布的最准确的模型。与此相反，在监督模型选择中，先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布，但实际上，无监督意义上的最佳模型不一定在监督域中表现良好。特别是，标准边际似然得分是无监督任务的标准，虽然经常用于监督模型选择，但在此类任务中表现不佳。在本文中，我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能，通过使用大量的公开可用的分类数据集，并比较结果与其他模型选择标准，包括经验交叉验证方法，监督边际似然测度的近似，结果表明，边缘似然得分在有监督的模型选择中表现不佳，而Dawids序贯概率方法则获得了最好的结果。
2013-01-23 cs.LG stat.ML
Bayesian Model Selection of Stochastic Block Models
Indiana University Network Science Institute（印第安纳大学网络科学研究所）
分析网络的一个核心问题是将它们划分为模块或社区。其中一个最好的工具是随机块模型，它将顶点聚集到具有统计上均匀的链接模式的块中。尽管它的灵活性和流行性，一直缺乏原则性的统计模型选择标准的随机块模型。在这里，我们提出了一个贝叶斯框架，用于选择块的数量以及将其与更精细的度校正块模型进行比较，最终导致一个能够比较多个建模组合的通用模型选择框架。我们还将研究它与最小描述长度原则的联系。
2016-05-23 cs.LG cs.SI stat.ML
Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
Spatio-temporal Bayesian On-line Changepoint Detection with Model Selection
University of Warwick（华威大学）；The Alan Turing Institute for Data Science & AI（艾伦·图灵数据科学与人工智能研究所）
将贝叶斯在线变点检测方法推广到在线模型选择和非平稳时空过程。我们提出了空间结构的向量自回归（VAR）模型之间的变化点（CP）的过程，并给出了这样的模型的近似误差的上限。该算法在线完成预测、模型选择和CP检测。它的时间复杂度是线性的，空间复杂度是常数，因此它比最接近的竞争对手快两个数量级。此外，它优于多元数据的最新技术水平。
2018-06-06 cs.LG stat.ME stat.ML
Extended Stochastic Gradient MCMC for Large-Scale Bayesian Variable Selection
Purdue University（普渡大学）
随机梯度马尔可夫链蒙特卡罗（MCMC）算法在大数据问题的贝叶斯计算中受到广泛关注，但它只适用于一类参数空间具有固定维数且对数后验密度关于参数可微的问题。本文提出了一种扩展的随机梯度MCMC算法，通过引入适当的隐变量，该算法可以应用于更一般的大规模贝叶斯计算问题，如涉及维数跳跃和缺失数据的问题。数值实验表明，该算法具有很强的可扩展性，比传统的MCMC算法效率更高。所提出的算法大大减轻了贝叶斯方法在大数据计算中的痛苦。
2020-02-07 cs.LG stat.CO stat.ML
Bayesian model selection and misspecification testing in imaging inverse problems only from noisy and partial measurements
Heriot-Watt University, MACS \& Maxwell Institute for Mathematical Sciences, EH14 4AS, Edinburgh, United Kingdom
提出一种结合贝叶斯交叉验证与数据分裂的通用方法，用于在无真实数据情况下对成像逆模型进行选择与误设定检测，兼容扩散采样器等贝叶斯成像采样器，计算成本低且准确率高。
2026-05-28 cs.LG eess.IV stat.ME
Towards Bayesian Data Selection
LMU Munich（慕尼黑大学）
该研究将迭代式数据添加的机器学习场景建模为决策论框架下的决策问题，推导了半监督自训练的贝叶斯数据选择准则，实验验证其可缓解确认偏差问题。
2024-06-24 cs.AI cs.LG math.ST
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University（莱斯大学）；Department of Statistics（统计系）
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而，由于选择不稳定，缺乏正则化，以及选择后推理的困难，经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$，我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用，而是提出了更广泛的观点，即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径，并通过关键成员（如最小可接受子集）以及基于变量（共同）是否出现在所有、一些或没有可接受子集中的新（共同）变量重要性度量进行了简洁的总结。更广泛地说，我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据，所提出的方法表现出更好的预测，区间估计，变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境，社会经济和人口因素的组合提供了独特的见解，并确定了200多个不同的变量子集，这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
Bayesian Online Model Selection
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）
本文提出了一种贝叶斯算法，用于解决随机多臂老虎机中的在线模型选择问题，证明了算法的理论保证并展示了其在不同设置下的实证性能。
2026-02-20 cs.LG
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley（加州大学伯克利分校）
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗（MCMC）方法的计算复杂性。我们首先表明，贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后，我们证明，后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前，我们提供了一组条件，保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系，直至对数因子。我们的证明控制的马尔可夫链的频谱间隙，通过构建一个典型的路径合奏，启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
On Computationally Tractable Selection of Experiments in Measurement-Constrained Regression Models
Machine Learning Department, School of Computer Science（计算机科学学院机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
我们推导出计算上易于处理的方法来选择一个小的子集的实验设置从一个大的池给定的设计点。主要关注线性回归模型，而该技术也扩展到广义线性模型和Delta方法（线性回归模型的估计函数）。该算法是基于一个连续松弛的，否则棘手的组合优化问题，采样或贪婪的程序作为后处理步骤。正式的近似保证，这两种算法建立，合成和真实世界的数据上的数值结果证实了所提出的方法的有效性。
2017-12-20 cs.LG math.ST stat.ML
Asymptotic Model Selection for Naive Bayesian Networks
Technion - Israel Institute of Technology（以色列理工学院）
我们开发了一个封闭形式的渐近公式来计算数据的边际似然给定的朴素贝叶斯网络模型，具有两个隐藏状态和二进制功能。这个公式偏离了标准的BIC分数。我们的工作提供了一个具体的例子，BIC分数通常是不属于分层指数族的统计模型有效。这与线性和曲线指数族形成对比，在线性和曲线指数族中，BIC分数已被证明为边缘似然提供正确的近似。
2012-12-12 cs.AI cs.LG
