Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
Bayesian network marker selection via the thresholded graph Laplacian Gaussian prior
在许多研究领域中，在大规模网络中选择信息节点变得越来越重要。现有的方法大多只关注局部网络结构，对于大规模问题计算量大。在广义线性模型（GLM）框架下，提出了一种新的贝叶斯网络标记选择先验模型：广义图拉普拉斯高斯（TGLG）先验模型，该模型采用图拉普拉斯矩阵来表征全局网络结构中相邻标记之间的条件依赖关系.在较弱的条件下，我们证明了该模型在网络中边数和节点数不同的情况下具有后验一致性。我们还开发了一个大都市调整的朗之万算法（MALA）的有效后验计算，这是可扩展的大规模网络。我们说明了所提出的方法与现有的替代品相比，通过广泛的模拟研究和分析的乳腺癌基因表达数据集的癌症基因组图谱（TCGA）的优越性。
2018-09-29 math.ST stat.ME stat.TH
Dimension adaptability of Gaussian process models with variable selection and projection
现在已知的是，配备有重新缩放的扩展高斯过程模型可以适应许多非参数贝叶斯分析中函数值参数的不同平滑度水平，提供对于真实函数所属的平滑度类而言是最优的（直到对数因子）后验收敛速度。该最佳速率还取决于函数的域的维度，并且可以通过将分析投射在不等于关于真实函数的任何信息的损失的较低维度子空间中来潜在地获得更快的收敛收敛速率。一般来说，这样的子空间不是先验已知的，但可以通过为模型配备变量选择或线性投影来探索。我们证明了，对于非参数回归，分类，密度估计和密度回归，配备变量选择或线性投影的重新缩放高斯过程模型提供了一个后验收敛速度是最佳的（对数因子）的最低维中，分析可以铸造没有任何信息的损失的真实功能。这种降维功能的理论探索出现新颖的贝叶斯非参数模型，或没有高斯过程。
2011-12-04 math.ST stat.ME stat.ML
Variable selection for Gaussian processes via sensitivity analysis of the posterior predictive distribution
用于高斯过程模型的变量选择通常使用自动相关性确定来完成，该自动相关性确定使用每个输入变量的逆长度尺度参数作为变量相关性的代理。这种隐式确定的相关性有几个缺点，防止在预测性能方面的最佳输入变量的选择。为了改善这一点，我们提出了两种新的变量选择方法的高斯过程模型，利用一个完整的模型在附近的训练点的预测，从而排名的变量根据其预测的相关性。我们对合成和真实世界数据集的实证结果表明，与自动相关性确定相比，在可变性和预测性能方面改进了变量选择。
2019-03-06 stat.ME stat.ML
Adaptive Random Matrices in Gaussian Bandits: Spectral Universality and Selection-Induced Outliers
Abstract Math Institute（抽象数学研究所）
本文研究高斯老虎机中自适应臂选择对观测谱的影响，证明在臂数对数次线性增长时谱收敛于Marchenko-Pastur定律，并揭示选择诱导的离群值与方向效应。
2026-09-28 cs.LG math.PR math.ST
Parameter selection in Gaussian process interpolation: an empirical study of selection criteria
本文基于评分规则和扩展似然准则，实证研究高斯过程插值中的参数选择问题，发现模型族的选择通常比具体选择准则更重要，且大多数准则都能有效选取Matérn协方差的正则性参数。
2023-08-08 stat.ME stat.ML
Revisiting High Dimensional Bayesian Model Selection for Gaussian Regression
随着协变量数目的增加，回归问题的模型选择仍然是一个重要的问题，在理论和应用。模型选择一致性和均值结构重构依赖于贝叶斯因子学习率和模型复杂性惩罚之间的相互作用。在这项工作中，我们提出的结果Zellner-Siow先验的回归系数配对泊松模型的复杂性。我们发现，模型选择的一致性限制了真实模型的维数增加得太快。此外，我们表明，新的协变量的平均结构的额外贡献必须足够大，以克服复杂性惩罚。不同模型集的平均贝叶斯因子涉及从设计矩阵中选择列的随机变量。我们表明，这些随机变量有一个大的类没有时刻渐近，需要使用稳定的法律进行分析。我们推导出这些随机变量的吸引区域，并获得了控制错误发现的设计矩阵的条件。
2019-05-15 math.ST stat.TH
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题，本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型，利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择，并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Joint Variable Selection of both Fixed and Random Effects for Gaussian Process-based Spatially Varying Coefficient Models
空间变系数（SVC）模型是一种空间数据的回归模型，其中协变量效应随空间而变化。如果有多个协变量，一个自然的问题是哪些协变量具有空间变化效应，哪些没有。针对基于高斯过程的SVC模型，提出了一种新的变量选择方法.它依赖于惩罚极大似然估计（PMLE），并允许变量选择相对于固定效应和高斯过程随机效应。我们验证了我们的方法在模拟研究以及现实世界的数据集。我们的新方法在模拟研究中表现出良好的选择性能。在实际数据应用中，我们提出的PMLE产生稀疏SVC模型，并实现了一个更小的信息标准比经典的MLE。在应用于实际数据的交叉验证中，我们表明，稀疏PML估计SVC模型与ML估计SVC模型在预测性能方面不相上下。
2021-02-11 stat.ME
Model selection in the space of Gaussian models invariant by symmetry
我们考虑多变量中心高斯模型的随机变量$Z=(Z_1,\ldots, Z_p)$，不变的作用下的一个子群的排列组$\{1,\ldots, p\}$。利用实数域上对称群的表示论，得到了协方差参数$Σ$的最大似然估计的分布以及精度参数$K=Σ^{-1}$的Diaconis-Ylvisaker共轭先验的归一化常数的解析表达式.因此，我们可以在完全高斯模型类中进行贝叶斯模型选择，该完全高斯模型不受对称群的子群的作用的影响，我们也可以称之为完全RCOP模型。我们说明了我们的结果与玩具的尺寸$4$和几个例子循环群内的选择，包括一个高维的例子与$p=100$的例子。
2022-05-16 math-ph math.MP math.RT
Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection
高斯图形模型用于确定变量之间的条件关系。这是通过识别逆协方差阵中非零的非对角元素来实现的。当变量（p）与观测值（n）之比接近1时，协方差阵的极大似然估计量变得不稳定，需要收缩估计。虽然已经引入了几种经典（频率论）方法来解决这个问题，但完全贝叶斯方法在实践和方法学文献中仍然相对罕见。在这里，我们介绍了一种估计稀疏矩阵的贝叶斯方法，其中的条件关系确定与投影预测选择。该方法利用库尔贝克-莱布勒散度和交叉验证进行邻域选择，在低维和高维环境下重建逆协方差阵。通过模拟和应用示例，我们将性能与几种贝叶斯方法和图形套索以及TIGER进行了比较，TIGER类似地使用回归估计逆协方差阵。我们的研究结果表明，投影预测选择不仅具有优越的性能相比，选择最可能的模型和贝叶斯模型平均，特别是对于高维数据，而且相比贝叶斯和经典glasso方法。此外，我们表明，估计逆协方差阵与多元回归往往是更准确的，相对于各种损失函数，和效率比直接估计。在低维环境中，我们证明了投影预测选择也提供了有竞争力的性能。我们在R软件包GGMprojpred中实现了协方差选择的投影预测方法
2018-08-04 stat.AP stat.ME
Variable Selection Using Nearest Neighbor Gaussian Processes
提出基于最近邻高斯过程的贝叶斯变量选择方法，通过条件化均值和协方差函数实现变量选择，并采用Metropolis-Within-Gibbs算法进行推断，在模拟和真实数据上验证有效。
2024-09-25 stat.CO
Domain Selection for Gaussian Process Data: An application to electrocardiogram signals
本文提出局部Kullback-Leibler散度方法，用于识别两个高斯过程差异最大的区间，并通过蒙特卡洛模拟和心电图信号分析验证其估计性能与应用潜力。
2023-07-08 stat.ME
Projection predictive model selection for Gaussian processes
我们提出了一种新的方法来简化的高斯过程（GP）模型，通过投影的信息包含在全包围模型和选择减少数量的变量的预测相关性的基础上。我们的合成和真实世界的数据集上的结果表明，所提出的方法相比，通过长度尺度参数的自动相关性确定（ARD），提高了变量相关性的评估。我们期望该方法有助于提高模型的可解释性，降低未来的测量成本，并减少进行新预测的计算时间。
2016-08-02 stat.ME
Latent variable model selection for Gaussian conditional random fields
我们考虑的问题，学习条件高斯图模型中存在的潜变量。基于这一领域的最新进展，我们提出了一种方法，将条件马尔可夫随机场的参数分解为稀疏矩阵和低秩矩阵的和。我们推导出此估计的收敛界，并表明它是良好的行为，在高维制度以及“稀疏”（即能够恢复的图形结构）。然后，我们将展示如何使用近端梯度算法和半定规划技术来拟合数千个变量的模型。通过大量的模拟，我们说明了可识别性所需的条件，并表明，有广泛的情况下，该模型的表现明显优于其同行，例如，通过容纳更多的潜变量。最后，建议的方法被应用到两个数据集，包括遗传变异和代谢物水平的个人水平的数据。我们表明，我们的结果比其他方法更好地复制，并显示丰富的生物信号。
2017-03-04 math.ST stat.CO stat.ME
Thresholded Multiscale Gaussian Processes with Application to Bayesian Feature Selection for Massive Neuroimaging Data
出于对海量神经影像数据选择重要特征的需要，我们提出了一种在系数函数上施加稀疏性和分段光滑性的空间变系数模型（SVCMs）。基于阈值多分辨率高斯过程（TMGP），提出了一类新的非参数先验。我们表明，TMGP有一个大的支持空间的稀疏和分段光滑的功能，导致后验一致性系数函数估计和特征选择。此外，我们开发了一种方法，在TMGP阈值参数的先验规范，并讨论其理论性质。有效的后验计算算法的开发，通过采用核卷积的方法，其中一个修改的平方指数核选择的优点，本征分解的解析形式是可用的。基于仿真研究，我们证明了我们的方法可以实现更好的性能，在估计空间变化的系数。此外，所提出的模型已被应用于分析的静息状态功能磁共振成像（Rs-fMRI）数据从自闭症脑成像数据交换（ABIDE）的研究，它提供了生物学意义的结果。
2015-04-29 stat.AP stat.ME
Bayesian model selection approach for colored graphical Gaussian models
我们考虑了一类有色图形高斯模型，通过在贝叶斯框架下对精度矩阵施加对称性约束而得到。精度矩阵上的先验分布是着色的$G$ -Wishart先验，其是Diaconis-Ylvisaker共轭先验。在本文中，我们开发了一个计算效率高的模型搜索算法，结合线性回归与双可逆跳马尔可夫链蒙特卡罗（MCMC）方法。后者是估计表示为两个竞争模型的后验概率之比的Bayes因子。我们还建立了基于贝叶斯因子的模型选择过程的渐近一致性。我们的程序避免了计算上不可能的穷举搜索。我们的方法与模拟和现实世界中的应用程序与蛋白质信号数据集。
2020-04-02 stat.ME
GP-ALPS: Automatic Latent Process Selection for Multi-Output Gaussian Process Models
Invenia Labs（因维尼亚实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
将高斯过程（GP）扩展到多个输出的一种简单且广泛采用的方法是将每个输出建模为共享的未观察到的潜在GP集合的线性组合。这种方法的一个问题是选择潜在进程及其内核的数量。这些选择通常是手动完成的，这可能很耗时，而且容易受到人为偏见的影响。我们提出了高斯过程自动潜在过程选择（GP-ALPS），它通过关闭那些对解释数据没有意义的过程来自动选择潜在过程。我们开发了一个变分推断计划，通过与金标准MCMC进行比较来评估变分后验的质量，并在一组初步实验中证明GP-ALPS的适用性。
2019-12-17 cs.LG stat.ME stat.ML
Short-range dependent processes subordinated to the Gaussian may not be strong mixing
有各种各样的弱依赖。例如，强混合。短程相关（SRD）也是弱相关的一种形式。它发生在从属于高斯过程的背景下。如果高斯过程是长程相关的，那么SRD过程是强混合的吗？我们表明，这是不一定的情况下。
2015-08-19 math.PR math.ST stat.TH
Context-dependent Ranking and Selection under a Bayesian Framework
我们考虑一个上下文相关的排名和选择问题。最好的设计不是通用的，而是取决于环境。在贝叶斯框架下，我们开发了一个动态抽样方案的上下文相关优化（DSCO），有效地学习和选择最佳的设计在所有的情况下。所提出的抽样方案被证明是一致的。数值实验表明，所提出的抽样方案显着提高了上下文相关的排名和选择的效率。
2020-12-18 stat.ME
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes
Iowa State University（爱荷华州立大学）
基于节点的稀疏高斯过程作为全高斯过程的可扩展近似已经取得了相当大的成功。然而，当通过优化边际似然来进行节点选择时，可能会出现问题。例如，边缘似然曲面是高度多峰的，这可能导致次优节点放置，其中一些节点实际上不起作用。当使用的节点比必要的多得多时，这尤其是一个问题，导致额外的计算成本，而精度几乎没有提高。我们提出了一个一次一个节点选择算法来选择节点的数量和位置。我们的算法使用贝叶斯优化来有效地提出可能是好的结，并在很大程度上避免了使用边际似然作为目标函数时遇到的病态。我们提供的实证结果表明，提高了准确性和速度比目前的标准方法。
2020-02-21 cs.LG stat.ML
An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University（高丽大学信息安全技术中心(CIST)）；Korea University（高丽大学）
为了对数据进行聚类或分区，我们经常使用期望和最大化（EM）或高斯混合模型（GMM）的变分近似，GMM是一个参数概率密度函数，表示为$\hat{K}$高斯分量密度的加权和。然而，模型选择，以找到潜在的$\hat{K}$是GMM聚类的关键问题之一，因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中，我们提出了一个新的模型选择算法，探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度，这是AIC和BIC等信息准则基本上无法重建的。此外，与耗时的蒙特卡罗模拟相比，该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
Joint Optimization and Variable Selection of High-dimensional Gaussian Processes
California Institute of Technology（加州理工学院）；Eindhoven University of Technology（埃因霍温理工大学）；ETH Zurich（苏黎世联邦理工学院）
通过噪声观测最大化高维非凸函数是一个众所周知的难题，但在许多应用中都会出现。在本文中，我们通过将未知函数建模为高维高斯过程（GP）分布的样本来应对这一挑战。假设未知函数只依赖于几个相关变量，我们证明了联合变量选择和GP优化是可能的。我们为我们的算法提供了强有力的性能保证，限制了变量选择的样本复杂度，并提供了累积遗憾界限。我们进一步提供了经验证据，我们的算法在几个基准优化问题的有效性。
2012-06-27 cs.LG stat.ML
On the Laplace Approximation as Model Selection Criterion for Gaussian Processes
University of Applied Sciences and Arts（应用科学与艺术大学）；University of Hagen（哈根大学）
本文针对高斯过程模型选择，提出基于拉普拉斯近似的多种度量，克服了朴素应用的严重不一致性，在保证质量与动态嵌套采样相当的同时显著提升计算速度。
2024-03-14 cs.AI cs.LG stat.ML
Composite likelihood inference of fractional Gaussian processes with sequentially optimal subset selection
ESILV；De Vinci Higher Education, De Vinci Research Center（德芬奇高等教育，德芬奇研究中心）
针对分数高斯过程，提出通过顺序最大化Godambe信息来选择子集，以平衡估计精度与计算成本，并推导了Fisher信息和Godambe信息的理论表达式。
2026-07-15 q-fin.ST stat.CO stat.ME
Graphical Gaussian models associated to a homogeneous graph with permutation symmetries
我们考虑随机向量$(Z^1,\ldots, Z^p)$的多元中心高斯模型，其条件结构由齐次图描述，并且在置换子群的作用下是不变的。下面的文章关注的是当底层的条件依赖图已知时，有色图形高斯模型中的模型选择。我们推导出的精度参数的Diaconis-Ylvisaker共轭先验的归一化常数的解析表达式，并进行贝叶斯模型选择类的图形高斯模型不变的置换子群的行动。我们说明我们的结果与玩具的尺寸$5$的例子。
2022-09-21 math.RT math.ST stat.TH
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University（爱荷华州立大学）
稀疏的，基于节点的高斯过程已经取得了相当大的成功，作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出，并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法，但由于要优化的参数的数量，同时优化节点可能会很慢。此外，已经提出了一些方法来选择节点的数量，并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集，但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Indian Buffet process for model selection in convolved multiple-output Gaussian processes
多输出高斯过程作为一种将高斯过程的强大灵活性扩展到多个输出变量设置的自然机制，在过去几年中受到越来越多的关注。这里的关键点是设计核函数的能力，该核函数允许利用输出之间的相关性，同时满足协方差函数所需的正定性。构建这些协方差函数的替代方案是协区域化和过程卷积的线性模型。这些方法中的每一种都需要指定用于为输出构建协方差函数的潜在高斯过程的数量。在本文中，我们建议使用印度巴菲特过程作为一种方式来执行模型选择的数量的潜在高斯过程。这种类型的模型在潜力模型的背景下特别重要，其中潜力与物理量相关联，如蛋白质分布或机械系统中的潜力。我们使用变分推断来估计所涉及的变量的后验分布，并显示了人工数据，运动捕捉数据集和基因表达数据集的模型性能的例子。
2015-03-22 stat.ML
Predictive Active Set Selection Methods for Gaussian Processes
我们提出了一个积极的集合选择框架高斯过程分类的情况下，数据集是足够大，使其推理禁止。我们的方案由活动集更新规则和基于边际似然最大化的超参数优化的两步交替过程组成。活动集更新规则依赖于高斯过程分类器的预测分布的能力，以估计数据点在被包括或从模型中移除时的相对贡献。这意味着我们可以使用它来包含对分类器决策过程具有潜在高影响的点，同时删除那些不太相关的点。我们介绍了两个基于不同标准的活动集规则，第一个更喜欢一个模型与可解释的活动集参数，而第二个把计算复杂性放在第一位，因此一个模型与活动集参数，直接控制其复杂性。我们还提供了理论和经验支持，我们的积极集选择策略是一个很好的近似一个完整的高斯过程分类。我们广泛的实验表明，我们的方法可以与国家的最先进的分类技术与合理的时间复杂度。源代码可在http://cogsys.imm.dtu.dk/passgp上公开获取。
2011-06-23 stat.ML
Bayesian transformation family selection: moving towards a transformed Gaussian universe
转换选择的问题是彻底处理从贝叶斯的角度来看。几个家庭的转换被认为是为了实现正常的：Box-Cox，模，Yeo & Johnson和对偶变换。马尔可夫链蒙特卡罗算法已被构造，以便从与每个竞争家族$T$相关联的变换参数$λ_T$的后验分布中采样。我们研究了不同的方法来构建兼容的先验分布$λ_T$在替代的转换家庭，使用单位信息功率先验的方法和替代的正常前近似单位信息的解释。通过后验模型概率实现不同变换族之间的选择和区分。我们证明了我们的方法使用各种模拟数据集的效率。虽然没有一种转换家族可以普遍适用于所有问题，但经验证据表明，某些特定的数据结构最好由特定的转换家族处理。例如，偏度与Box-Cox族相关联，而厚尾分布则使用模变换进行有效处理。
2013-12-12 stat.ME
Variable Selection for Nonparametric Gaussian Process Priors: Models and Computational Strategies
本文提出了一个统一的处理高斯过程模型，扩展到数据从指数分散家庭和生存数据。我们的具体兴趣是在分析数据集的预测，有一个先验未知的形式可能的非线性关联的响应。我们所描述的建模方法结合高斯过程在一个广义线性模型框架，以获得一类非参数回归模型的协方差阵依赖于预测。我们认为，特别是，连续的，分类和计数的反应。我们还研究了考虑生存结果的模型。我们探索替代协方差公式的高斯过程之前，并证明了建设的灵活性。接下来，我们专注于从可能的预测变量集选择变量的重要问题，并描述了一个通用的框架，采用混合先验。我们比较替代MCMC策略的后验推理，并实现了计算效率和实用的方法。我们在模拟和基准数据集上展示了性能。
2011-06-16 stat.ME
Non-separable Nearest-Neighbor Gaussian Process Model for Antarctic Surface Mass Balance and Ice Core Site Selection
表面质量平衡是估算海平面变化的重要因素，本文收集了南极冰盖表面质量平衡的数据，并建立了表面质量平衡的预测模型。使用SMB现场测量的质量控制的聚合数据集与显着更多的观察比以前的分析，一个完全贝叶斯最近邻高斯过程模型提出了估计南极SMB，并提出新的现场测量位置。相应的南极SMB地图使用该模型呈现，并与以前的估计进行比较。创建预测不确定性图以识别高SMB不确定性区域。该模型估计净SMB为2345 Gton $\text{yr}^{-1}$，95%可信区间为（2273，2413）Gton $\text{yr}^{-1}$。总体而言，这些结果表明南极SMB低于以前报告的。使用该模型的不确定性量化，我们提出了25个新的测量现场研究，利用设计，以尽量减少综合均方误差。
2018-07-14 stat.AP
Model Uncertainty under Non-Gaussian Errors: Bayesian Model Averaging and Selection in Stochastic Frontier Models
Krakow University of Economics（克拉科夫经济大学）
研究非标准随机假设下随机前沿分析中的贝叶斯模型平均与选择，提出快速可靠程序，通过蒙特卡罗模拟比较，发现考虑随机前沿结构会影响后验推断和模型平均结果，尤其在效率分析合理时。
2026-07-17 econ.EM stat.CO
Bayesian model selection for unsupervised image deconvolution with structured Gaussian priors
本文考虑了随机模型的客观比较，以解决反问题，更具体地说，图像恢复。大多数情况下，模型比较是以监督的方式进行的，这可能是耗时的，并且部分是任意的。在这里，我们采用了无监督贝叶斯方法，并客观地比较模型的基础上，他们的后验概率，直接从数据没有地面真理可用。的概率取决于边际似然或“证据”的模型，我们诉诸Chib方法，包括吉布斯采样器。我们专注于家庭的高斯模型与循环协方差和未知的超参数，并比较不同类型的协方差阵的图像和噪声。
2020-10-13 stat.CO
Gaussian Experts Selection using Graphical Models
University of Tuebingen（图宾根大学）
局部近似是将高斯过程（GP）扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性，聚合专家的预测。在专家之间施加\emph{conditional independence assumption}（CI）使得不同专家预测的聚合具有时间效率，但代价是不确定性量化较差。另一方面，建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤，我们大大降低了计算成本的聚集依赖的专家，同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术，使用稀疏精度矩阵编码专家之间的条件依赖关系，以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程（GP）回归是一种灵活的非参数回归方法，可以自然量化不确定性。在许多应用中，响应和协变量的数量都很大，目标是选择与响应相关的协变量。对于这种设置，我们提出了一种新的，可扩展的算法，创造VGPR，它优化了惩罚GP对数似然的基础上的Vecchia GP近似，有序的条件近似从空间统计学，这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚，依次添加候选协变量的对数似然梯度的基础上，并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样，它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明，相对于现有的方法，改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
Non-stationary Gaussian process discriminant analysis with variable selection for high-dimensional functional data
University of Melbourne（墨尔本大学）；University of Edinburgh（爱丁堡大学）；University of Sydney（悉尼大学）
随着数据采集技术的发展，高维分类和特征选择任务无处不在。在一些应用领域，如生物学，基因组学和蛋白质组学，数据往往是功能性的，并表现出一定程度的粗糙度和非平稳性。这些结构对主要依赖于分别执行变量选择和分类的两阶段方法的常用方法提出了额外的挑战。在这项工作中，我们提出了一种新的高斯过程判别分析（GPDA），结合这些步骤在一个统一的框架。我们的模型是一个两层的非平稳高斯过程加上一个伊辛之前，以确定差分分布的位置。可扩展的推理是通过开发一个变分方案，利用稀疏逆协方差阵的使用进展。我们展示了我们的方法在模拟数据集和两个蛋白质组学数据集：乳腺癌和SARS-CoV-2上的性能。我们的方法通过提供可解释性和不确定性量化以及低计算成本来区分自己，这对于增加数据驱动工具的信任和社会接受度至关重要。
2021-09-29 cs.LG stat.CO stat.ML
Constrained Bayesian Hierarchical Models for Gaussian Data: A Model Selection Criterion Approach
考虑存在B>1个候选统计模型的设置，并且对模型选择感兴趣。解决这个问题的两种常用方法是选择单个模型或通过模型平均来组合候选模型。相反，我们选择与模型相关联的组合参数空间的子集。具体地，使用模型平均视角来增加参数空间，并且使用模型选择准则来选择该扩展的参数空间的子集。我们通过将Yekutieli（2012）的方法应用于贝叶斯模型平均（BMA）来解释标准的可变性。Yekutieli（2012）的方法将模型选择视为截断问题。我们截断联合支持的数据和参数空间，只包括小的值的协方差惩罚误差（CPE）标准。CPE是一个通用表达式，包含几个作为特殊情况的信息标准。仿真结果表明，只要截断集不具有近零概率，我们往往会获得比BMA更低的均方误差。额外的理论结果提供了这些意见的基础。我们将我们的方法应用于由美国社区调查（ACS）期间估计组成的数据集，以说明这种观点可以导致单个模型的改进。
2021-04-20 stat.ME
Model Selection and Parameter Estimation of One-Dimensional Gaussian Mixture Models
本文提出了一种基于傅里叶的方法，用于高效估计一维高斯混合模型的模型阶数和混合分布，且在样本复杂度上达到理论最优。
2026-09-01 cs.LG eess.SP stat.ME
Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）；University of British Columbia, Vector Institute（不列颠哥伦比亚大学，向量研究所）
本文提出计算感知高斯过程的模型选择方法，通过新型训练损失实现线性时间扩展，在180万数据点上数小时内完成训练并优于SGPR、CGGP和SVGP。
2025-07-07 cs.LG stat.ML
Adaptive Inducing Points Selection For Gaussian Processes
TU Berlin（柏林工业大学）
高斯过程（\textbf{GPs}）是一种灵活的非参数模型，具有很强的概率解释。虽然作为对时间序列执行推断的标准选择，但GP在流设置中工作的技术很少。\cite{bui2017streaming}开发了一种有效的变分方法，通过使用稀疏技术来训练在线GP：整个观测集由一组较小的诱导点（\textbf{IPs}）近似，并使用新数据进行移动。IP地址的数目和位置对算法的性能有很大的影响。除了优化它们的位置之外，我们还建议根据GP的属性和数据的结构自适应地添加新点。
2021-07-21 cs.LG stat.ML
Predictive Approaches For Gaussian Process Classifier Model Selection
Yahoo! Labs（雅虎实验室）；Yahoo! Research（雅虎研究院）
在本文中，我们考虑的问题高斯过程分类器（GPC）模型选择与不同的留一法（LOO）交叉验证（CV）为基础的优化标准，并提供了一个实用的算法使用LOO预测分布与这样的标准来选择超参数。除了标准的平均负对数的预测概率（NLP），我们还考虑了平滑版本的标准，如F-措施和加权出错率（WER），这是有用的处理不平衡的数据。与回归情况不同，分类器情况的LOO预测分布是难以处理的。我们使用近似LOO预测分布从期望传播（EP）近似。我们在几个真实世界的基准数据集上进行实验。当NLP准则用于优化超参数时，预测方法显示出比现有GPC方法更好或相当的NLP泛化性能。另一方面，当使用F-测度准则时，F-测度泛化性能在多个数据集上显著提高。总体而言，基于EP的预测算法是具有不同优化标准的GP分类器模型选择的绝佳选择。
2012-06-26 cs.LG stat.ML
Probabilistic selection of inducing points in sparse Gaussian processes
University of Glasgow（格拉斯哥大学）
稀疏高斯过程及其各种扩展是通过诱导点实现的，这些诱导点同时限制了预测能力，并成为模型复杂性的主要贡献者。然而，诱导点的数量通常与不确定性无关，这阻止了我们应用贝叶斯推理的装置来确定适当的权衡。在这项工作中，我们放置一个点过程之前的诱导点和近似相关的后验通过随机变分推理。通过让先验知识鼓励适度数量的诱导点，我们使模型能够学习使用哪些点以及使用多少点。我们的实验表明，更少的诱导点是首选的模型，因为点变得信息量较少，并进一步展示了该方法可以用于深高斯过程和潜变量建模。
2021-07-25 cs.LG stat.ML
Spectral band selection for vegetation properties retrieval using Gaussian processes regression
Universitat de València（瓦伦西亚大学）；CICESE；Israel Institute of Technology, Technion（以色列理工学院（Technion））
利用当前和即将到来的成像光谱仪，需要自动化谱带分析技术来实现对信息量最大的谱带的有效识别，以促进将光谱数据优化处理为生物物理变量的估计。本文介绍了一种基于高斯过程回归（GPR）的自动光谱波段分析工具（BAT），用于植被特性的光谱分析。GPR-BAT程序顺序向后删除给定变量的回归模型中贡献最小的波段，直到只保留一个波段。GPR-BAT是在免费的ARTMO的MLRA（机器学习回归算法）工具箱的框架内实现的，该工具箱致力于将光学遥感图像转换为生物物理产品。GPR-BAT允许（1）识别将光谱数据与生物物理变量相关联的信息量最大的波段，以及（2）找到保留优化的准确预测的最少数量的波段。这项研究的结论是，一个明智的波段选择高光谱数据是严格要求最佳的植被属性映射。
2020-12-07 cs.CV eess.IV stat.AP
Robust Bayesian Model Selection for Variable Clustering with the Gaussian Graphical Model
变量聚类对于解释性分析很重要。然而，只有少数专门的方法与高斯图形模型的变量聚类已经提出。甚至更严重的是，由于噪声导致的微小的不显著的偏相关性可以在例如使用贝叶斯信息准则（BIC）进行评估时显著地改变聚类结果。在这项工作中，我们试图解决这个问题，提出了一个贝叶斯模型，占可以忽略不计的小，但不一定为零，偏相关。基于我们的模型，我们建议使用边际似然来评估变量聚类结果。为了解决棘手的计算的边际似然，我们提出了两种解决方案：一个基于变分近似，另一个基于MCMC。仿真数据的实验表明，该方法是类似的准确BIC在无噪声设置，但有噪声的偏相关时，准确得多。此外，在真实数据上，所提出的方法提供了直观合理的聚类结果，这在使用BIC或其扩展时并不总是如此。
2018-06-15 stat.AP stat.CO stat.ML
Variable selection for Gaussian process regression through a sparse projection
本文提出了一种新的结合高斯过程（GP）回归的变量选择方法。我们考虑稀疏投影的输入变量和一个一般的平稳协方差模型，取决于投影功能之间的欧氏距离。稀疏投影矩阵被认为是一个未知参数。我们提出了一个前向阶段的方法，嵌入梯度下降步骤，以协同优化的参数与其他协方差参数的基础上最大化的非凸边际似然函数与凹稀疏惩罚，并提供了一些收敛性的算法。该模型比现有的自动相关性确定方法覆盖了更广泛的一类平稳协方差函数，并且该解决方案比现有的MCMC抽样程序在稀疏性先验下的自动相关性参数估计更具计算可行性。大量的模拟场景的方法进行评估。通过仿真研究，对调谐参数的选择和参数估计的精度进行了评价。在比较一些选择的基准方法，所提出的方法提供了一个更好的准确性，在变量的选择。它适用于识别影响金属合金大气腐蚀的环境因素的一个重要问题。
2020-08-25 cs.LG stat.ML
On Basis Function Selection for Sparse Gaussian Process Regression
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）
本文针对稀疏高斯过程回归，提出三种基于信息论的基函数选择标准，在六个UCI基准上验证了其优于传统截断方法，尤其对HSGP和VISH族有显著提升。
2026-09-24 cs.LG stat.ML
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London（伦敦大学学院）
高斯过程（GP）中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的，但在高维数据集中，这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验，并推断变量包含的后验概率。然而，GP中的现有实现在高维和大$n$数据集中运行都非常昂贵，或者仅适用于具有特定内核的无监督设置。因此，我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力，以适应相关变量的稀疏性贝叶斯模型平均超参数，并实现了大幅度的速度使用零温度后验限制，丢弃修剪和最近邻最小化。在实验中，我们的方法始终优于普通和稀疏变分GP，同时保持相似的运行时间（即使是在$n=10^6$时），并且与使用MCMC的尖峰和平板GP的性能具有竞争力，但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection
George Mason University（乔治梅森大学）
本文系统梳理了高斯过程回归中自动相关性确定（ARD）的理论基础、算法实践与渐近性质，论证其通过边际似然实现有效稀疏性，并对比多种变量选择方法，指出其优势在于与核学习集成、软件支持广泛且成本低。
2026-09-29 cs.LG stat.ML
Classification of MRI data using Deep Learning and Gaussian Process-based Model Selection
Philips Research（飞利浦研究院）
随着医学图像数据量的不断增加，根据解剖学视野对MRI图像进行分类是一个必须解决的问题。与此同时，深度学习的进步使其成为解决计算机视觉问题的合适工具。使用通用架构（如AlexNet）提供了相当好的结果，但不足以用于临床使用。改进模型并不是一件容易的事情，因为网络的架构和训练都需要大量的超参数，而且对它们的相关性的理解有限。由于穷举搜索不容易处理，我们建议首先通过随机搜索优化网络，然后通过基于高斯过程和改进概率的自适应搜索。应用这种方法在一个大的和不同的MRI数据集，我们表现出基线网络和最终的一个（最困难的类高达20%）之间的实质性改善。
2017-01-16 cs.LG stat.ML
An empirical Bayes procedure for the selection of Gaussian graphical models
提出了一种新的可分解图高斯模型的模型确定方法。贝叶斯范式的使用，并为每个给定的图形，超逆Wishart先验分布的协方差阵被认为是。这种先验分布依赖于超参数。众所周知，模型的后验分布对这些超参数的规格是敏感的，并且没有完全令人满意的方法被注册。为了避免这个问题，我们建议采用经验贝叶斯策略，即使用数据确定超参数值的策略。通常，超参数被固定到它们的极大似然估计。为了计算这些极大似然估计，我们提出了一个马尔可夫链蒙特卡罗版本的随机逼近期望最大化算法。此外，我们在图空间中引入了一个新的采样方案，改进了Armstrong等人（2009）的添加和删除建议。我们说明了这种新方案的效率在模拟和真实数据集。
2011-05-23 stat.CO
Numerical Gaussian Processes for Time-dependent and Non-linear Partial Differential Equations
我们引入数值高斯过程的概念，我们定义为高斯过程的协方差函数产生的时间离散的时间依赖的偏微分方程。数值高斯过程，通过构造，旨在处理以下情况：（1）我们观察到的都是黑箱初始条件下的噪声数据，以及（2）我们有兴趣量化与时间相关偏微分方程解中的噪声数据相关的不确定性。我们的方法绕过了空间离散的微分算子的适当位置的高斯过程先验。这是构建结构化和数据高效的学习机器的一种尝试，这些机器明确地由可能生成观察数据的底层物理学告知。通过几个涉及线性和非线性时变算子的基准问题证明了所提出方法的有效性。在所有的例子中，我们能够恢复精确的近似的潜在解决方案，并始终传播不确定性，即使在涉及很长时间的积分的情况下。
2017-03-29 cs.NA math.AP math.DS
