Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Dimension adaptability of Gaussian process models with variable selection and projection
现在已知的是，配备有重新缩放的扩展高斯过程模型可以适应许多非参数贝叶斯分析中函数值参数的不同平滑度水平，提供对于真实函数所属的平滑度类而言是最优的（直到对数因子）后验收敛速度。该最佳速率还取决于函数的域的维度，并且可以通过将分析投射在不等于关于真实函数的任何信息的损失的较低维度子空间中来潜在地获得更快的收敛收敛速率。一般来说，这样的子空间不是先验已知的，但可以通过为模型配备变量选择或线性投影来探索。我们证明了，对于非参数回归，分类，密度估计和密度回归，配备变量选择或线性投影的重新缩放高斯过程模型提供了一个后验收敛速度是最佳的（对数因子）的最低维中，分析可以铸造没有任何信息的损失的真实功能。这种降维功能的理论探索出现新颖的贝叶斯非参数模型，或没有高斯过程。
2011-12-04 math.ST stat.ME stat.ML
Variable Selection Using Nearest Neighbor Gaussian Processes
提出基于最近邻高斯过程的贝叶斯变量选择方法，通过条件化均值和协方差函数实现变量选择，并采用Metropolis-Within-Gibbs算法进行推断，在模拟和真实数据上验证有效。
2024-09-25 stat.CO
Revisiting High Dimensional Bayesian Model Selection for Gaussian Regression
随着协变量数目的增加，回归问题的模型选择仍然是一个重要的问题，在理论和应用。模型选择一致性和均值结构重构依赖于贝叶斯因子学习率和模型复杂性惩罚之间的相互作用。在这项工作中，我们提出的结果Zellner-Siow先验的回归系数配对泊松模型的复杂性。我们发现，模型选择的一致性限制了真实模型的维数增加得太快。此外，我们表明，新的协变量的平均结构的额外贡献必须足够大，以克服复杂性惩罚。不同模型集的平均贝叶斯因子涉及从设计矩阵中选择列的随机变量。我们表明，这些随机变量有一个大的类没有时刻渐近，需要使用稳定的法律进行分析。我们推导出这些随机变量的吸引区域，并获得了控制错误发现的设计矩阵的条件。
2019-05-15 math.ST stat.TH
Variable selection for Gaussian processes via sensitivity analysis of the posterior predictive distribution
用于高斯过程模型的变量选择通常使用自动相关性确定来完成，该自动相关性确定使用每个输入变量的逆长度尺度参数作为变量相关性的代理。这种隐式确定的相关性有几个缺点，防止在预测性能方面的最佳输入变量的选择。为了改善这一点，我们提出了两种新的变量选择方法的高斯过程模型，利用一个完整的模型在附近的训练点的预测，从而排名的变量根据其预测的相关性。我们对合成和真实世界数据集的实证结果表明，与自动相关性确定相比，在可变性和预测性能方面改进了变量选择。
2019-03-06 stat.ME stat.ML
Bayes Factor Asymptotics for Variable Selection in the Gaussian Process Framework
虽然变量选择是现代统计研究中最受欢迎的领域之一，但与贝叶斯范式相比，它的大部分发展都发生在经典范式中。有些令人惊讶的是，这两种范式几乎完全集中在线性模型上，尽管现代研究真实复杂现象的进步带来了模型解放运动的巨大范围。在这篇文章中，我们研究了由高斯过程驱动的模型中的一般贝叶斯变量选择，这使我们能够以同样的方式处理线性，非线性和非参数模型，甚至与依赖设置相结合。我们考虑贝叶斯因子的变量选择路线，并在“大p，大n”的设置，甚至与p>>n，建立几乎必然指数收敛的贝叶斯因子适当温和的条件下，高斯过程框架中的一般渐近理论。固定p设置作为特殊情况包括在内。为了说明这一点，我们将我们的一般结果应用于线性回归中的变量选择，具有平方指数协方差函数的高斯过程模型，以及具有时变协变量的一阶自回归过程。我们还跟进了我们的理论研究，在上述回归环境中进行了大量的模拟实验，并在一个真实的核黄素数据中进行了变量选择，该数据由71个观测值组成，但有4088个协变量。为了实现贝叶斯因子的变量选择，我们提出了一种新颖有效的基于跨维变换的马尔可夫链蒙特卡罗算法，该算法在模拟和实际数据应用中发挥了重要作用。
2021-05-26 math.ST stat.ME stat.TH
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
Bayesian network marker selection via the thresholded graph Laplacian Gaussian prior
在许多研究领域中，在大规模网络中选择信息节点变得越来越重要。现有的方法大多只关注局部网络结构，对于大规模问题计算量大。在广义线性模型（GLM）框架下，提出了一种新的贝叶斯网络标记选择先验模型：广义图拉普拉斯高斯（TGLG）先验模型，该模型采用图拉普拉斯矩阵来表征全局网络结构中相邻标记之间的条件依赖关系.在较弱的条件下，我们证明了该模型在网络中边数和节点数不同的情况下具有后验一致性。我们还开发了一个大都市调整的朗之万算法（MALA）的有效后验计算，这是可扩展的大规模网络。我们说明了所提出的方法与现有的替代品相比，通过广泛的模拟研究和分析的乳腺癌基因表达数据集的癌症基因组图谱（TCGA）的优越性。
2018-09-29 math.ST stat.ME stat.TH
Parameter selection in Gaussian process interpolation: an empirical study of selection criteria
本文基于评分规则和扩展似然准则，实证研究高斯过程插值中的参数选择问题，发现模型族的选择通常比具体选择准则更重要，且大多数准则都能有效选取Matérn协方差的正则性参数。
2023-08-08 stat.ME stat.ML
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes
Iowa State University（爱荷华州立大学）
基于节点的稀疏高斯过程作为全高斯过程的可扩展近似已经取得了相当大的成功。然而，当通过优化边际似然来进行节点选择时，可能会出现问题。例如，边缘似然曲面是高度多峰的，这可能导致次优节点放置，其中一些节点实际上不起作用。当使用的节点比必要的多得多时，这尤其是一个问题，导致额外的计算成本，而精度几乎没有提高。我们提出了一个一次一个节点选择算法来选择节点的数量和位置。我们的算法使用贝叶斯优化来有效地提出可能是好的结，并在很大程度上避免了使用边际似然作为目标函数时遇到的病态。我们提供的实证结果表明，提高了准确性和速度比目前的标准方法。
2020-02-21 cs.LG stat.ML
An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University（高丽大学信息安全技术中心(CIST)）；Korea University（高丽大学）
为了对数据进行聚类或分区，我们经常使用期望和最大化（EM）或高斯混合模型（GMM）的变分近似，GMM是一个参数概率密度函数，表示为$\hat{K}$高斯分量密度的加权和。然而，模型选择，以找到潜在的$\hat{K}$是GMM聚类的关键问题之一，因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中，我们提出了一个新的模型选择算法，探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度，这是AIC和BIC等信息准则基本上无法重建的。此外，与耗时的蒙特卡罗模拟相比，该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题，本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型，利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择，并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
Joint Optimization and Variable Selection of High-dimensional Gaussian Processes
California Institute of Technology（加州理工学院）；Eindhoven University of Technology（埃因霍温理工大学）；ETH Zurich（苏黎世联邦理工学院）
通过噪声观测最大化高维非凸函数是一个众所周知的难题，但在许多应用中都会出现。在本文中，我们通过将未知函数建模为高维高斯过程（GP）分布的样本来应对这一挑战。假设未知函数只依赖于几个相关变量，我们证明了联合变量选择和GP优化是可能的。我们为我们的算法提供了强有力的性能保证，限制了变量选择的样本复杂度，并提供了累积遗憾界限。我们进一步提供了经验证据，我们的算法在几个基准优化问题的有效性。
2012-06-27 cs.LG stat.ML
Joint Variable Selection of both Fixed and Random Effects for Gaussian Process-based Spatially Varying Coefficient Models
空间变系数（SVC）模型是一种空间数据的回归模型，其中协变量效应随空间而变化。如果有多个协变量，一个自然的问题是哪些协变量具有空间变化效应，哪些没有。针对基于高斯过程的SVC模型，提出了一种新的变量选择方法.它依赖于惩罚极大似然估计（PMLE），并允许变量选择相对于固定效应和高斯过程随机效应。我们验证了我们的方法在模拟研究以及现实世界的数据集。我们的新方法在模拟研究中表现出良好的选择性能。在实际数据应用中，我们提出的PMLE产生稀疏SVC模型，并实现了一个更小的信息标准比经典的MLE。在应用于实际数据的交叉验证中，我们表明，稀疏PML估计SVC模型与ML估计SVC模型在预测性能方面不相上下。
2021-02-11 stat.ME
On the Laplace Approximation as Model Selection Criterion for Gaussian Processes
University of Applied Sciences and Arts（应用科学与艺术大学）；University of Hagen（哈根大学）
本文针对高斯过程模型选择，提出基于拉普拉斯近似的多种度量，克服了朴素应用的严重不一致性，在保证质量与动态嵌套采样相当的同时显著提升计算速度。
2024-03-14 cs.AI cs.LG stat.ML
GP-ALPS: Automatic Latent Process Selection for Multi-Output Gaussian Process Models
Invenia Labs（因维尼亚实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
将高斯过程（GP）扩展到多个输出的一种简单且广泛采用的方法是将每个输出建模为共享的未观察到的潜在GP集合的线性组合。这种方法的一个问题是选择潜在进程及其内核的数量。这些选择通常是手动完成的，这可能很耗时，而且容易受到人为偏见的影响。我们提出了高斯过程自动潜在过程选择（GP-ALPS），它通过关闭那些对解释数据没有意义的过程来自动选择潜在过程。我们开发了一个变分推断计划，通过与金标准MCMC进行比较来评估变分后验的质量，并在一组初步实验中证明GP-ALPS的适用性。
2019-12-17 cs.LG stat.ME stat.ML
Domain Selection for Gaussian Process Data: An application to electrocardiogram signals
本文提出局部Kullback-Leibler散度方法，用于识别两个高斯过程差异最大的区间，并通过蒙特卡洛模拟和心电图信号分析验证其估计性能与应用潜力。
2023-07-08 stat.ME
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University（爱荷华州立大学）
稀疏的，基于节点的高斯过程已经取得了相当大的成功，作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出，并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法，但由于要优化的参数的数量，同时优化节点可能会很慢。此外，已经提出了一些方法来选择节点的数量，并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集，但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Projection predictive model selection for Gaussian processes
我们提出了一种新的方法来简化的高斯过程（GP）模型，通过投影的信息包含在全包围模型和选择减少数量的变量的预测相关性的基础上。我们的合成和真实世界的数据集上的结果表明，所提出的方法相比，通过长度尺度参数的自动相关性确定（ARD），提高了变量相关性的评估。我们期望该方法有助于提高模型的可解释性，降低未来的测量成本，并减少进行新预测的计算时间。
2016-08-02 stat.ME
Bayesian model selection approach for colored graphical Gaussian models
我们考虑了一类有色图形高斯模型，通过在贝叶斯框架下对精度矩阵施加对称性约束而得到。精度矩阵上的先验分布是着色的$G$ -Wishart先验，其是Diaconis-Ylvisaker共轭先验。在本文中，我们开发了一个计算效率高的模型搜索算法，结合线性回归与双可逆跳马尔可夫链蒙特卡罗（MCMC）方法。后者是估计表示为两个竞争模型的后验概率之比的Bayes因子。我们还建立了基于贝叶斯因子的模型选择过程的渐近一致性。我们的程序避免了计算上不可能的穷举搜索。我们的方法与模拟和现实世界中的应用程序与蛋白质信号数据集。
2020-04-02 stat.ME
Indian Buffet process for model selection in convolved multiple-output Gaussian processes
多输出高斯过程作为一种将高斯过程的强大灵活性扩展到多个输出变量设置的自然机制，在过去几年中受到越来越多的关注。这里的关键点是设计核函数的能力，该核函数允许利用输出之间的相关性，同时满足协方差函数所需的正定性。构建这些协方差函数的替代方案是协区域化和过程卷积的线性模型。这些方法中的每一种都需要指定用于为输出构建协方差函数的潜在高斯过程的数量。在本文中，我们建议使用印度巴菲特过程作为一种方式来执行模型选择的数量的潜在高斯过程。这种类型的模型在潜力模型的背景下特别重要，其中潜力与物理量相关联，如蛋白质分布或机械系统中的潜力。我们使用变分推断来估计所涉及的变量的后验分布，并显示了人工数据，运动捕捉数据集和基因表达数据集的模型性能的例子。
2015-03-22 stat.ML
Predictive Active Set Selection Methods for Gaussian Processes
我们提出了一个积极的集合选择框架高斯过程分类的情况下，数据集是足够大，使其推理禁止。我们的方案由活动集更新规则和基于边际似然最大化的超参数优化的两步交替过程组成。活动集更新规则依赖于高斯过程分类器的预测分布的能力，以估计数据点在被包括或从模型中移除时的相对贡献。这意味着我们可以使用它来包含对分类器决策过程具有潜在高影响的点，同时删除那些不太相关的点。我们介绍了两个基于不同标准的活动集规则，第一个更喜欢一个模型与可解释的活动集参数，而第二个把计算复杂性放在第一位，因此一个模型与活动集参数，直接控制其复杂性。我们还提供了理论和经验支持，我们的积极集选择策略是一个很好的近似一个完整的高斯过程分类。我们广泛的实验表明，我们的方法可以与国家的最先进的分类技术与合理的时间复杂度。源代码可在http://cogsys.imm.dtu.dk/passgp上公开获取。
2011-06-23 stat.ML
Model Uncertainty under Non-Gaussian Errors: Bayesian Model Averaging and Selection in Stochastic Frontier Models
Krakow University of Economics（克拉科夫经济大学）
研究非标准随机假设下随机前沿分析中的贝叶斯模型平均与选择，提出快速可靠程序，通过蒙特卡罗模拟比较，发现考虑随机前沿结构会影响后验推断和模型平均结果，尤其在效率分析合理时。
2026-07-17 econ.EM stat.CO
Bayesian model selection for unsupervised image deconvolution with structured Gaussian priors
本文考虑了随机模型的客观比较，以解决反问题，更具体地说，图像恢复。大多数情况下，模型比较是以监督的方式进行的，这可能是耗时的，并且部分是任意的。在这里，我们采用了无监督贝叶斯方法，并客观地比较模型的基础上，他们的后验概率，直接从数据没有地面真理可用。的概率取决于边际似然或“证据”的模型，我们诉诸Chib方法，包括吉布斯采样器。我们专注于家庭的高斯模型与循环协方差和未知的超参数，并比较不同类型的协方差阵的图像和噪声。
2020-10-13 stat.CO
Gaussian Experts Selection using Graphical Models
University of Tuebingen（图宾根大学）
局部近似是将高斯过程（GP）扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性，聚合专家的预测。在专家之间施加\emph{conditional independence assumption}（CI）使得不同专家预测的聚合具有时间效率，但代价是不确定性量化较差。另一方面，建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤，我们大大降低了计算成本的聚集依赖的专家，同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术，使用稀疏精度矩阵编码专家之间的条件依赖关系，以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Non-stationary Gaussian process discriminant analysis with variable selection for high-dimensional functional data
University of Melbourne（墨尔本大学）；University of Edinburgh（爱丁堡大学）；University of Sydney（悉尼大学）
随着数据采集技术的发展，高维分类和特征选择任务无处不在。在一些应用领域，如生物学，基因组学和蛋白质组学，数据往往是功能性的，并表现出一定程度的粗糙度和非平稳性。这些结构对主要依赖于分别执行变量选择和分类的两阶段方法的常用方法提出了额外的挑战。在这项工作中，我们提出了一种新的高斯过程判别分析（GPDA），结合这些步骤在一个统一的框架。我们的模型是一个两层的非平稳高斯过程加上一个伊辛之前，以确定差分分布的位置。可扩展的推理是通过开发一个变分方案，利用稀疏逆协方差阵的使用进展。我们展示了我们的方法在模拟数据集和两个蛋白质组学数据集：乳腺癌和SARS-CoV-2上的性能。我们的方法通过提供可解释性和不确定性量化以及低计算成本来区分自己，这对于增加数据驱动工具的信任和社会接受度至关重要。
2021-09-29 cs.LG stat.CO stat.ML
Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）；University of British Columbia, Vector Institute（不列颠哥伦比亚大学，向量研究所）
本文提出计算感知高斯过程的模型选择方法，通过新型训练损失实现线性时间扩展，在180万数据点上数小时内完成训练并优于SGPR、CGGP和SVGP。
2025-07-07 cs.LG stat.ML
Adaptive Inducing Points Selection For Gaussian Processes
TU Berlin（柏林工业大学）
高斯过程（\textbf{GPs}）是一种灵活的非参数模型，具有很强的概率解释。虽然作为对时间序列执行推断的标准选择，但GP在流设置中工作的技术很少。\cite{bui2017streaming}开发了一种有效的变分方法，通过使用稀疏技术来训练在线GP：整个观测集由一组较小的诱导点（\textbf{IPs}）近似，并使用新数据进行移动。IP地址的数目和位置对算法的性能有很大的影响。除了优化它们的位置之外，我们还建议根据GP的属性和数据的结构自适应地添加新点。
2021-07-21 cs.LG stat.ML
Predictive Approaches For Gaussian Process Classifier Model Selection
Yahoo! Labs（雅虎实验室）；Yahoo! Research（雅虎研究院）
在本文中，我们考虑的问题高斯过程分类器（GPC）模型选择与不同的留一法（LOO）交叉验证（CV）为基础的优化标准，并提供了一个实用的算法使用LOO预测分布与这样的标准来选择超参数。除了标准的平均负对数的预测概率（NLP），我们还考虑了平滑版本的标准，如F-措施和加权出错率（WER），这是有用的处理不平衡的数据。与回归情况不同，分类器情况的LOO预测分布是难以处理的。我们使用近似LOO预测分布从期望传播（EP）近似。我们在几个真实世界的基准数据集上进行实验。当NLP准则用于优化超参数时，预测方法显示出比现有GPC方法更好或相当的NLP泛化性能。另一方面，当使用F-测度准则时，F-测度泛化性能在多个数据集上显著提高。总体而言，基于EP的预测算法是具有不同优化标准的GP分类器模型选择的绝佳选择。
2012-06-26 cs.LG stat.ML
Composite likelihood inference of fractional Gaussian processes with sequentially optimal subset selection
ESILV；De Vinci Higher Education, De Vinci Research Center（德芬奇高等教育，德芬奇研究中心）
针对分数高斯过程，提出通过顺序最大化Godambe信息来选择子集，以平衡估计精度与计算成本，并推导了Fisher信息和Godambe信息的理论表达式。
2026-07-15 q-fin.ST stat.CO stat.ME
Probabilistic selection of inducing points in sparse Gaussian processes
University of Glasgow（格拉斯哥大学）
稀疏高斯过程及其各种扩展是通过诱导点实现的，这些诱导点同时限制了预测能力，并成为模型复杂性的主要贡献者。然而，诱导点的数量通常与不确定性无关，这阻止了我们应用贝叶斯推理的装置来确定适当的权衡。在这项工作中，我们放置一个点过程之前的诱导点和近似相关的后验通过随机变分推理。通过让先验知识鼓励适度数量的诱导点，我们使模型能够学习使用哪些点以及使用多少点。我们的实验表明，更少的诱导点是首选的模型，因为点变得信息量较少，并进一步展示了该方法可以用于深高斯过程和潜变量建模。
2021-07-25 cs.LG stat.ML
Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection
高斯图形模型用于确定变量之间的条件关系。这是通过识别逆协方差阵中非零的非对角元素来实现的。当变量（p）与观测值（n）之比接近1时，协方差阵的极大似然估计量变得不稳定，需要收缩估计。虽然已经引入了几种经典（频率论）方法来解决这个问题，但完全贝叶斯方法在实践和方法学文献中仍然相对罕见。在这里，我们介绍了一种估计稀疏矩阵的贝叶斯方法，其中的条件关系确定与投影预测选择。该方法利用库尔贝克-莱布勒散度和交叉验证进行邻域选择，在低维和高维环境下重建逆协方差阵。通过模拟和应用示例，我们将性能与几种贝叶斯方法和图形套索以及TIGER进行了比较，TIGER类似地使用回归估计逆协方差阵。我们的研究结果表明，投影预测选择不仅具有优越的性能相比，选择最可能的模型和贝叶斯模型平均，特别是对于高维数据，而且相比贝叶斯和经典glasso方法。此外，我们表明，估计逆协方差阵与多元回归往往是更准确的，相对于各种损失函数，和效率比直接估计。在低维环境中，我们证明了投影预测选择也提供了有竞争力的性能。我们在R软件包GGMprojpred中实现了协方差选择的投影预测方法
2018-08-04 stat.AP stat.ME
Variable selection for Gaussian process regression through a sparse projection
本文提出了一种新的结合高斯过程（GP）回归的变量选择方法。我们考虑稀疏投影的输入变量和一个一般的平稳协方差模型，取决于投影功能之间的欧氏距离。稀疏投影矩阵被认为是一个未知参数。我们提出了一个前向阶段的方法，嵌入梯度下降步骤，以协同优化的参数与其他协方差参数的基础上最大化的非凸边际似然函数与凹稀疏惩罚，并提供了一些收敛性的算法。该模型比现有的自动相关性确定方法覆盖了更广泛的一类平稳协方差函数，并且该解决方案比现有的MCMC抽样程序在稀疏性先验下的自动相关性参数估计更具计算可行性。大量的模拟场景的方法进行评估。通过仿真研究，对调谐参数的选择和参数估计的精度进行了评价。在比较一些选择的基准方法，所提出的方法提供了一个更好的准确性，在变量的选择。它适用于识别影响金属合金大气腐蚀的环境因素的一个重要问题。
2020-08-25 cs.LG stat.ML
Model Selection and Parameter Estimation of One-Dimensional Gaussian Mixture Models
本文提出了一种基于傅里叶的方法，用于高效估计一维高斯混合模型的模型阶数和混合分布，且在样本复杂度上达到理论最优。
2026-09-01 cs.LG eess.SP stat.ME
Thresholded Multiscale Gaussian Processes with Application to Bayesian Feature Selection for Massive Neuroimaging Data
出于对海量神经影像数据选择重要特征的需要，我们提出了一种在系数函数上施加稀疏性和分段光滑性的空间变系数模型（SVCMs）。基于阈值多分辨率高斯过程（TMGP），提出了一类新的非参数先验。我们表明，TMGP有一个大的支持空间的稀疏和分段光滑的功能，导致后验一致性系数函数估计和特征选择。此外，我们开发了一种方法，在TMGP阈值参数的先验规范，并讨论其理论性质。有效的后验计算算法的开发，通过采用核卷积的方法，其中一个修改的平方指数核选择的优点，本征分解的解析形式是可用的。基于仿真研究，我们证明了我们的方法可以实现更好的性能，在估计空间变化的系数。此外，所提出的模型已被应用于分析的静息状态功能磁共振成像（Rs-fMRI）数据从自闭症脑成像数据交换（ABIDE）的研究，它提供了生物学意义的结果。
2015-04-29 stat.AP stat.ME
On Basis Function Selection for Sparse Gaussian Process Regression
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）
本文针对稀疏高斯过程回归，提出三种基于信息论的基函数选择标准，在六个UCI基准上验证了其优于传统截断方法，尤其对HSGP和VISH族有显著提升。
2026-09-24 cs.LG stat.ML
Bayesian transformation family selection: moving towards a transformed Gaussian universe
转换选择的问题是彻底处理从贝叶斯的角度来看。几个家庭的转换被认为是为了实现正常的：Box-Cox，模，Yeo & Johnson和对偶变换。马尔可夫链蒙特卡罗算法已被构造，以便从与每个竞争家族$T$相关联的变换参数$λ_T$的后验分布中采样。我们研究了不同的方法来构建兼容的先验分布$λ_T$在替代的转换家庭，使用单位信息功率先验的方法和替代的正常前近似单位信息的解释。通过后验模型概率实现不同变换族之间的选择和区分。我们证明了我们的方法使用各种模拟数据集的效率。虽然没有一种转换家族可以普遍适用于所有问题，但经验证据表明，某些特定的数据结构最好由特定的转换家族处理。例如，偏度与Box-Cox族相关联，而厚尾分布则使用模变换进行有效处理。
2013-12-12 stat.ME
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程（GP）回归是一种灵活的非参数回归方法，可以自然量化不确定性。在许多应用中，响应和协变量的数量都很大，目标是选择与响应相关的协变量。对于这种设置，我们提出了一种新的，可扩展的算法，创造VGPR，它优化了惩罚GP对数似然的基础上的Vecchia GP近似，有序的条件近似从空间统计学，这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚，依次添加候选协变量的对数似然梯度的基础上，并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样，它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明，相对于现有的方法，改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London（伦敦大学学院）
高斯过程（GP）中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的，但在高维数据集中，这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验，并推断变量包含的后验概率。然而，GP中的现有实现在高维和大$n$数据集中运行都非常昂贵，或者仅适用于具有特定内核的无监督设置。因此，我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力，以适应相关变量的稀疏性贝叶斯模型平均超参数，并实现了大幅度的速度使用零温度后验限制，丢弃修剪和最近邻最小化。在实验中，我们的方法始终优于普通和稀疏变分GP，同时保持相似的运行时间（即使是在$n=10^6$时），并且与使用MCMC的尖峰和平板GP的性能具有竞争力，但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection
George Mason University（乔治梅森大学）
本文系统梳理了高斯过程回归中自动相关性确定（ARD）的理论基础、算法实践与渐近性质，论证其通过边际似然实现有效稀疏性，并对比多种变量选择方法，指出其优势在于与核学习集成、软件支持广泛且成本低。
2026-09-29 cs.LG stat.ML
Variable Selection for Nonparametric Gaussian Process Priors: Models and Computational Strategies
本文提出了一个统一的处理高斯过程模型，扩展到数据从指数分散家庭和生存数据。我们的具体兴趣是在分析数据集的预测，有一个先验未知的形式可能的非线性关联的响应。我们所描述的建模方法结合高斯过程在一个广义线性模型框架，以获得一类非参数回归模型的协方差阵依赖于预测。我们认为，特别是，连续的，分类和计数的反应。我们还研究了考虑生存结果的模型。我们探索替代协方差公式的高斯过程之前，并证明了建设的灵活性。接下来，我们专注于从可能的预测变量集选择变量的重要问题，并描述了一个通用的框架，采用混合先验。我们比较替代MCMC策略的后验推理，并实现了计算效率和实用的方法。我们在模拟和基准数据集上展示了性能。
2011-06-16 stat.ME
Classification of MRI data using Deep Learning and Gaussian Process-based Model Selection
Philips Research（飞利浦研究院）
随着医学图像数据量的不断增加，根据解剖学视野对MRI图像进行分类是一个必须解决的问题。与此同时，深度学习的进步使其成为解决计算机视觉问题的合适工具。使用通用架构（如AlexNet）提供了相当好的结果，但不足以用于临床使用。改进模型并不是一件容易的事情，因为网络的架构和训练都需要大量的超参数，而且对它们的相关性的理解有限。由于穷举搜索不容易处理，我们建议首先通过随机搜索优化网络，然后通过基于高斯过程和改进概率的自适应搜索。应用这种方法在一个大的和不同的MRI数据集，我们表现出基线网络和最终的一个（最困难的类高达20%）之间的实质性改善。
2017-01-16 cs.LG stat.ML
An empirical Bayes procedure for the selection of Gaussian graphical models
提出了一种新的可分解图高斯模型的模型确定方法。贝叶斯范式的使用，并为每个给定的图形，超逆Wishart先验分布的协方差阵被认为是。这种先验分布依赖于超参数。众所周知，模型的后验分布对这些超参数的规格是敏感的，并且没有完全令人满意的方法被注册。为了避免这个问题，我们建议采用经验贝叶斯策略，即使用数据确定超参数值的策略。通常，超参数被固定到它们的极大似然估计。为了计算这些极大似然估计，我们提出了一个马尔可夫链蒙特卡罗版本的随机逼近期望最大化算法。此外，我们在图空间中引入了一个新的采样方案，改进了Armstrong等人（2009）的添加和删除建议。我们说明了这种新方案的效率在模拟和真实数据集。
2011-05-23 stat.CO
Multiple testing with optimal individual tests in Gaussian graphical model selection
考虑高斯图模型选择问题。浓度图的识别是基于个体检验的多决策过程。构造了最优无偏个体检验。最优检验等价于样本偏相关检验。并将联合多重决策过程与标准过程进行了比较。
2016-04-23 math.ST stat.TH
High-dimensional Gaussian model selection on a Gaussian design
我们考虑估计一个真正的高斯变量$\nolinebreak Y=\sum_{i=1}^p\nolinebreakθ_iX_i+\nolinebreak ε$的协变量$(X_i)_{1\leq i\leq p}$的向量遵循联合高斯分布的条件均值的问题。这个问题经常发生在一个旨在估计的图形或高斯图形模型的分布。我们介绍了一个一般的模型选择过程，这是基于惩罚最小二乘型标准的最小化。它处理各种各样的问题，如有序和完整的变量选择，允许将一些先验知识的模型和应用时，协变量的数量$p$是大于观察数$n$。此外，它被证明是独立的协变量的相关结构实现非渐近预言不等式。我们还表现出各种极小极大率的估计所考虑的框架，因此，我们的程序的自适应特性。
2009-04-28 math.ST stat.TH
Adaptive model selection method for a conditionally Gaussian semimartingale regression in continuous time
研究了具有条件高斯分布的一般平方可积〔的〕半鞅的相依噪声的连续时间回归模型中周期函数的稳健自适应有效估计问题。这种噪声的一个例子是非高斯的Ornstein-Uhlenbeck-Levy过程。提出了一种基于改进加权最小二乘估计的自适应模型选择方法。在一定的噪声分布条件下，证明了鲁棒风险的sharp oracle不等式，建立了模型选择过程的鲁棒有效性。给出了数值分析结果。
2018-11-11 math.ST stat.TH
Data-driven neighborhood selection of a Gaussian field
研究了格点上观测到的平稳高斯场X的非参数协方差估计。为了解决这个问题，最近引入了一个社区选择程序。该过程相当于通过惩罚方法选择邻域m，并估计具有邻域m的高斯马尔可夫随机场（GMRF）空间中X的协方差。这样的策略，以满足甲骨文不等式以及极大极小自适应性能。然而，它有几个缺点，这使得该方法难以在实践中应用。一方面，惩罚取决于一些未知量。另一方面，该过程仅针对环形晶格定义。目前的贡献是三方面的。提出了一种数据驱动的罚函数整定算法。此外，该程序被扩展到非环形晶格。最后通过数值算例验证了该方法的有效性。这些模拟表明，高斯马尔可夫随机场选择往往是一个很好的替代变差函数估计。
2009-09-02 math.ST stat.TH
General model selection estimation of a periodic regression with a Gaussian noise
本文研究了在具有未知相关函数的平稳加性高斯噪声的连续时间回归模型中周期函数的估计问题。提出了一种基于任意投影估计的通用模型选择方法，该方法不需要已知噪声相关函数。在较弱的噪声条件下，得到了二次风险（oracle不等式）的一个非渐近上界。对于Ornstein-Uhlenbeck噪声的风险上界是一致的冗余参数。在高斯白噪声情况下，与基于最小二乘估计（LSE）的方法相比，所构造的方法具有一些优点。证明了估计的渐近极小极大性。所提出的模型选择方案也扩展到基于离散数据的估计问题，适用于不能提供高频采样的情况。
2010-11-05 math.ST stat.TH
Multiple Testing and Error Control in Gaussian Graphical Model Selection
图形模型为探索多元依赖模式提供了一个框架。图和统计模型之间的连接是通过识别具有观察到的变量的图的顶点，并将图中的边的模式转换为施加在变量的联合分布上的条件独立性的模式来实现的。聚焦高斯模型，我们回顾经典的图形模型。对于这些模型，定义的条件独立性等同于与图中不存在的各个边相关联的某些（部分）相关系数的消失。因此，高斯图形模型选择可以通过对关于消失（部分）相关系数的假设进行多次测试来执行。我们展示并分析了这种方法如何在控制不正确边缘包含的差错率的同时进行模型选择。
2008-02-05 math.ST stat.TH
Estimation of Gaussian graphs by model selection
本文从非渐近的角度研究了高斯图的模型选择估计问题。我们从R^p中的高斯律P_C的n个样本开始，并专注于n小于p的不利情况。为了估计P_C的条件依赖图，我们引入了一组候选图，然后通过最小化惩罚经验风险来选择其中之一。我们的主要结果评估的程序在非渐近设置的性能。我们特别注意我们可以处理的图的最大度D，它大约是n/（2 log p）。
2008-07-16 math.ST stat.TH
On the Information-theoretic Limits of Graphical Model Selection for Gaussian Time Series
考虑了基于有限长观测值的多元平稳离散时间高斯随机过程的条件独立图的推断问题。使用信息论的方法，我们推导出一个下界的错误概率的任何学习计划的底层进程CIG。这个界限，反过来，产生一个最小的所需的样本大小，这是必要的任何算法，无论其计算复杂性，可靠地选择真正的基础CIG。此外，通过分析一个简单的选择方案，我们表明，信息理论的限制可以实现的一个子类的过程具有稀疏CIG。我们不假设所观察到的过程的参数模型，但要求它有一个足够光滑的谱密度矩阵（SDM）。
2014-03-05 math.ST stat.TH
On The Asymptotic Efficiency of Selection Procedures for Independent Gaussian Populations
离散事件模拟和优化技术的领域促使研究人员调整经典的排名和选择（R&S）程序的设置中的人口数量很大。我们使用的见解，从极值理论，以揭示渐近性质的R&S程序。也就是说，我们推广的渐近结果罗宾斯和Siegmund关于选择从独立的高斯人口与已知的恒定方差的手段，选择一个子集的大小不同的情况下，一组给定的人口。此外，我们重新审视的问题，选择人口中的最高均值独立高斯人口未知，可能不同的方差。特别是，我们推导出Dudewicz和Dalal的和Rinott的程序的相对渐近效率，表明前者可以渐近优于一个乘法因子大于1，但这个因素可能会减少通过适当的选择参数。我们还使用我们的渐近结果表明，在两个程序的第一阶段的样本量应对数的人口数量。
2017-11-23 math.ST stat.TH
Estimator selection in the Gaussian setting
我们考虑的问题估计的平均值$f$的高斯向量$Y$与共同的未知方差$σ^{2}$的独立成分。我们的估计过程是基于估计量的选择。更确切地说，我们开始与一个任意的，可能是无限的集合$\FF$的估计$f$的基础上$Y$和相同的数据$Y$，目的是在$\FF$中选择一个估计最小的欧几里德风险。未对估计量进行任何假设，且其与$Y$的相关性可能未知。我们建立了一个非渐近风险界所选择的估计。作为特殊情况下，我们的方法允许处理的聚集和模型选择的问题，以及那些选择一个窗口和一个内核估计的回归函数，或调整参数中涉及的惩罚标准。当$\FF$由线性估计组成时，我们也得到了预言型不等式。为了说明，我们进行了两个模拟研究。一个目的是比较我们的程序交叉验证选择一个调整参数。另一个展示了如何在实践中实现我们的方法来解决变量选择问题。
2011-06-22 math.ST stat.TH
