Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland（昆士兰大学）；University of Caen（卡昂大学）；La Trobe University（拉筹伯大学）
混合专家模型及其基于期望最大化算法的极大似然估计（MLE）已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下，高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE，用于聚类和回归，并提出了一个$\ell_1$正则化的MLE，以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计，并利用BIC类标准来选择模型参数，包括稀疏调整超参数。仿真数据上的实验表明，与标准的期望最大化算法相比，所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Bootstrap inference after using multiple queries for model selection
在这项工作中，我们提供了Tian和Taylor（2015）的选择性CLT结果的改进，它允许通过调整选择的渐近高斯极限来在非参数设置中进行选择性推断。在一些规则性假设的随机化的密度，包括较重的尾巴比高斯满足例如逻辑斯谛分布，我们证明了选择性CLT持有没有任何假设的基础参数，允许罕见的选择事件。我们还显示了一个选择性的CLT结果为高斯随机化，虽然定量结果是定性不同的高斯随机化相比，较重的尾部的结果。此外，我们提出了这个检验统计量的自助版本，这是可证明的非参数分布族的渐近枢轴一致。这个结果可以解释为解决Leeb和Potscher（2006）的不可能性结果。我们描述了几种抽样方法，包括投影朗之万蒙特卡罗计算自举检验统计量和相应的置信区间有效后选择。我们的工作的应用程序包括有效的推理和采样工具后，运行各种模型选择算法，包括它们的组合成多个视图/查询框架。我们还提出了一种方法来做数据雕刻，通过重用第一阶段的数据中的信息，提供比经典的数据分裂更强大的测试。
2017-09-27 stat.ME
Covariate Selection Based on a Model-free Approach to Linear Regression with Exact Probabilities
本文对线性回归中的协变量选择问题给出了一种全新的方法。仅当协变量或一组协变量在最小二乘意义上优于由i.i.d.组成的相同数量的高斯协变量时，才包括该协变量或一组协变量。$N(0,1)$随机变量。高斯P值定义为高斯协变量更好的概率。它是根据β分布给出的，它是精确的，并且对所有数据都成立，使其成为无模型的。协变量选择过程仅需要高斯P值的截断值$α$：本文中的默认值为$α=0.01$。由此产生的程序非常简单，非常快，不过拟合，只需要最小二乘法。特别是没有正则化参数，没有数据分裂，没有使用模拟，没有收缩和没有后选择推理是必需的。本文包括模拟的结果，实际数据集的应用和定理的渐近行为下的标准线性模型。在这里，逐步过程的表现比我们所知道的任何其他过程都要好。提供R软件包{\it gausscov}。
2022-02-23 stat.ME
Covariate Selection Based on a Assumpton-free Approach to Linear Regression with Exact Probabilities
本文对线性回归中的协变量选择问题给出了一种全新的方法。仅当协变量或一组协变量在最小二乘意义上优于由i.i.d.组成的相同数量的高斯协变量时，才包括该协变量或一组协变量。$N(0,1)$随机变量。高斯P值定义为高斯协变量更好的概率。它是根据β分布给出的，它是精确的，对所有数据都成立。基于此的协变量选择程序仅需要高斯P值的截止值$α$：本文中的默认值为$α=0.01$。由此产生的程序非常简单，非常快，不过拟合，只需要最小二乘法。特别是没有正则化参数，没有数据分裂，没有使用模拟，没有收缩和没有后选择推理是必需的。本文包括模拟的结果，实际数据集的应用和定理的渐近行为下的标准线性模型。在这里，逐步程序比我们所知道的任何其他程序都要好。提供R软件包{ \it gausscov}。
2023-02-08 stat.AP stat.ME
Adaptive model selection method for a conditionally Gaussian semimartingale regression in continuous time
研究了具有条件高斯分布的一般平方可积〔的〕半鞅的相依噪声的连续时间回归模型中周期函数的稳健自适应有效估计问题。这种噪声的一个例子是非高斯的Ornstein-Uhlenbeck-Levy过程。提出了一种基于改进加权最小二乘估计的自适应模型选择方法。在一定的噪声分布条件下，证明了鲁棒风险的sharp oracle不等式，建立了模型选择过程的鲁棒有效性。给出了数值分析结果。
2018-11-11 math.ST stat.TH
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法，其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看，所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式，并指定条件的先验，这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Data-driven neighborhood selection of a Gaussian field
研究了格点上观测到的平稳高斯场X的非参数协方差估计。为了解决这个问题，最近引入了一个社区选择程序。该过程相当于通过惩罚方法选择邻域m，并估计具有邻域m的高斯马尔可夫随机场（GMRF）空间中X的协方差。这样的策略，以满足甲骨文不等式以及极大极小自适应性能。然而，它有几个缺点，这使得该方法难以在实践中应用。一方面，惩罚取决于一些未知量。另一方面，该过程仅针对环形晶格定义。目前的贡献是三方面的。提出了一种数据驱动的罚函数整定算法。此外，该程序被扩展到非环形晶格。最后通过数值算例验证了该方法的有效性。这些模拟表明，高斯马尔可夫随机场选择往往是一个很好的替代变差函数估计。
2009-09-02 math.ST stat.TH
General model selection estimation of a periodic regression with a Gaussian noise
本文研究了在具有未知相关函数的平稳加性高斯噪声的连续时间回归模型中周期函数的估计问题。提出了一种基于任意投影估计的通用模型选择方法，该方法不需要已知噪声相关函数。在较弱的噪声条件下，得到了二次风险（oracle不等式）的一个非渐近上界。对于Ornstein-Uhlenbeck噪声的风险上界是一致的冗余参数。在高斯白噪声情况下，与基于最小二乘估计（LSE）的方法相比，所构造的方法具有一些优点。证明了估计的渐近极小极大性。所提出的模型选择方案也扩展到基于离散数据的估计问题，适用于不能提供高频采样的情况。
2010-11-05 math.ST stat.TH
Estimation of Gaussian graphs by model selection
本文从非渐近的角度研究了高斯图的模型选择估计问题。我们从R^p中的高斯律P_C的n个样本开始，并专注于n小于p的不利情况。为了估计P_C的条件依赖图，我们引入了一组候选图，然后通过最小化惩罚经验风险来选择其中之一。我们的主要结果评估的程序在非渐近设置的性能。我们特别注意我们可以处理的图的最大度D，它大约是n/（2 log p）。
2008-07-16 math.ST stat.TH
On the Information-theoretic Limits of Graphical Model Selection for Gaussian Time Series
考虑了基于有限长观测值的多元平稳离散时间高斯随机过程的条件独立图的推断问题。使用信息论的方法，我们推导出一个下界的错误概率的任何学习计划的底层进程CIG。这个界限，反过来，产生一个最小的所需的样本大小，这是必要的任何算法，无论其计算复杂性，可靠地选择真正的基础CIG。此外，通过分析一个简单的选择方案，我们表明，信息理论的限制可以实现的一个子类的过程具有稀疏CIG。我们不假设所观察到的过程的参数模型，但要求它有一个足够光滑的谱密度矩阵（SDM）。
2014-03-05 math.ST stat.TH
Estimator selection in the Gaussian setting
我们考虑的问题估计的平均值$f$的高斯向量$Y$与共同的未知方差$σ^{2}$的独立成分。我们的估计过程是基于估计量的选择。更确切地说，我们开始与一个任意的，可能是无限的集合$\FF$的估计$f$的基础上$Y$和相同的数据$Y$，目的是在$\FF$中选择一个估计最小的欧几里德风险。未对估计量进行任何假设，且其与$Y$的相关性可能未知。我们建立了一个非渐近风险界所选择的估计。作为特殊情况下，我们的方法允许处理的聚集和模型选择的问题，以及那些选择一个窗口和一个内核估计的回归函数，或调整参数中涉及的惩罚标准。当$\FF$由线性估计组成时，我们也得到了预言型不等式。为了说明，我们进行了两个模拟研究。一个目的是比较我们的程序交叉验证选择一个调整参数。另一个展示了如何在实践中实现我们的方法来解决变量选择问题。
2011-06-22 math.ST stat.TH
Revisiting High Dimensional Bayesian Model Selection for Gaussian Regression
随着协变量数目的增加，回归问题的模型选择仍然是一个重要的问题，在理论和应用。模型选择一致性和均值结构重构依赖于贝叶斯因子学习率和模型复杂性惩罚之间的相互作用。在这项工作中，我们提出的结果Zellner-Siow先验的回归系数配对泊松模型的复杂性。我们发现，模型选择的一致性限制了真实模型的维数增加得太快。此外，我们表明，新的协变量的平均结构的额外贡献必须足够大，以克服复杂性惩罚。不同模型集的平均贝叶斯因子涉及从设计矩阵中选择列的随机变量。我们表明，这些随机变量有一个大的类没有时刻渐近，需要使用稳定的法律进行分析。我们推导出这些随机变量的吸引区域，并获得了控制错误发现的设计矩阵的条件。
2019-05-15 math.ST stat.TH
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题，即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的，在确定的组件的数量。提出了一种改进的期望最大化算法，它可以同时选择混合分量的个数和估计混合权重，即混合概率和高斯分布的未知参数。仿真和实际数据分析，以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展，配备了随机变量选择，也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性，即，如果重要变量的真实子集可以从数据中一致地学习。它在这里示出，变量的一致性确实可以实现与这样的模型，至少当真正的回归函数具有有限的平滑度，以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前，一个结果，可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
Bayes Factor Asymptotics for Variable Selection in the Gaussian Process Framework
虽然变量选择是现代统计研究中最受欢迎的领域之一，但与贝叶斯范式相比，它的大部分发展都发生在经典范式中。有些令人惊讶的是，这两种范式几乎完全集中在线性模型上，尽管现代研究真实复杂现象的进步带来了模型解放运动的巨大范围。在这篇文章中，我们研究了由高斯过程驱动的模型中的一般贝叶斯变量选择，这使我们能够以同样的方式处理线性，非线性和非参数模型，甚至与依赖设置相结合。我们考虑贝叶斯因子的变量选择路线，并在“大p，大n”的设置，甚至与p>>n，建立几乎必然指数收敛的贝叶斯因子适当温和的条件下，高斯过程框架中的一般渐近理论。固定p设置作为特殊情况包括在内。为了说明这一点，我们将我们的一般结果应用于线性回归中的变量选择，具有平方指数协方差函数的高斯过程模型，以及具有时变协变量的一阶自回归过程。我们还跟进了我们的理论研究，在上述回归环境中进行了大量的模拟实验，并在一个真实的核黄素数据中进行了变量选择，该数据由71个观测值组成，但有4088个协变量。为了实现贝叶斯因子的变量选择，我们提出了一种新颖有效的基于跨维变换的马尔可夫链蒙特卡罗算法，该算法在模拟和实际数据应用中发挥了重要作用。
2021-05-26 math.ST stat.ME stat.TH
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型，或更一般地说，高斯潜在森林模型具有费舍尔信息矩阵，该矩阵沿着有趣的子模型（即对应于子森林的模型）变得奇异。对于这些奇异点，我们计算真实的对数正则阈值（也称为随机复杂度或学习系数），这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息，最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下，真正的对数正则阈值可以使用多面体几何计算，我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中，我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Adaptive Random Matrices in Gaussian Bandits: Spectral Universality and Selection-Induced Outliers
Abstract Math Institute（抽象数学研究所）
本文研究高斯老虎机中自适应臂选择对观测谱的影响，证明在臂数对数次线性增长时谱收敛于Marchenko-Pastur定律，并揭示选择诱导的离群值与方向效应。
2026-09-28 cs.LG math.PR math.ST
Bayesian network marker selection via the thresholded graph Laplacian Gaussian prior
在许多研究领域中，在大规模网络中选择信息节点变得越来越重要。现有的方法大多只关注局部网络结构，对于大规模问题计算量大。在广义线性模型（GLM）框架下，提出了一种新的贝叶斯网络标记选择先验模型：广义图拉普拉斯高斯（TGLG）先验模型，该模型采用图拉普拉斯矩阵来表征全局网络结构中相邻标记之间的条件依赖关系.在较弱的条件下，我们证明了该模型在网络中边数和节点数不同的情况下具有后验一致性。我们还开发了一个大都市调整的朗之万算法（MALA）的有效后验计算，这是可扩展的大规模网络。我们说明了所提出的方法与现有的替代品相比，通过广泛的模拟研究和分析的乳腺癌基因表达数据集的癌症基因组图谱（TCGA）的优越性。
2018-09-29 math.ST stat.ME stat.TH
High-Dimensional Gaussian Graphical Model Selection: Walk Summability and Local Separation Criterion
Center for Pervasive Communications and Computing（普适通信与计算中心）；University of California, Irvine（加利福尼亚大学欧文分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Laboratory for Information and Decision Systems（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑高维高斯图模型选择问题。我们确定了一组图，其中存在一个有效的估计算法，该算法是基于阈值的经验条件协方差。在一组透明条件下，当样本数n=omega（J_{min} ^{-2} log p）时，我们建立了算法的结构一致性（或稀疏性），其中p是变量数，J_{min}是图形模型的最小（绝对）边势.稀疏性的充分条件是基于模型的行走可求和性的概念和基础图中稀疏的局部顶点分离器的存在。我们还得到了新的非渐近的必要条件所需的稀疏样本的数量。
2012-03-04 cs.LG math.ST stat.TH
Dimension adaptability of Gaussian process models with variable selection and projection
现在已知的是，配备有重新缩放的扩展高斯过程模型可以适应许多非参数贝叶斯分析中函数值参数的不同平滑度水平，提供对于真实函数所属的平滑度类而言是最优的（直到对数因子）后验收敛速度。该最佳速率还取决于函数的域的维度，并且可以通过将分析投射在不等于关于真实函数的任何信息的损失的较低维度子空间中来潜在地获得更快的收敛收敛速率。一般来说，这样的子空间不是先验已知的，但可以通过为模型配备变量选择或线性投影来探索。我们证明了，对于非参数回归，分类，密度估计和密度回归，配备变量选择或线性投影的重新缩放高斯过程模型提供了一个后验收敛速度是最佳的（对数因子）的最低维中，分析可以铸造没有任何信息的损失的真实功能。这种降维功能的理论探索出现新颖的贝叶斯非参数模型，或没有高斯过程。
2011-12-04 math.ST stat.ME stat.ML
Data driven time scale in Gaussian quasi-likelihood inference
我们研究了在高频下观察到的遍历扩散的参数估计。与以往的研究不同，我们假设采样步长是未知的，从而使传统的高斯拟似然不直接适用。在这种情况下，我们构造的估计模型参数和抽样步长在一个完全明确的方式，并证明它们是联合渐近正态分布。还得到了估计量的$L^{q}$ -有界性.此外，我们提出了Schwarz（BIC）型统计量的模型选择，并显示其模型选择的一致性。我们进行了一些数值实验，发现所观察到的有限样本性能很好地支持我们的理论研究结果。并提供了一个真实的数据示例。
2019-01-31 math.ST stat.TH
Trade-off between predictive performance and FDR control for high-dimensional Gaussian model selection
本文研究高维高斯线性回归中的变量选择，提出了一种超参数校准算法，以在控制预测风险的同时控制错误发现率，并验证了其有效性及对无序变量的扩展。
2024-06-28 math.ST stat.AP stat.ME
Model selection in the space of Gaussian models invariant by symmetry
我们考虑多变量中心高斯模型的随机变量$Z=(Z_1,\ldots, Z_p)$，不变的作用下的一个子群的排列组$\{1,\ldots, p\}$。利用实数域上对称群的表示论，得到了协方差参数$Σ$的最大似然估计的分布以及精度参数$K=Σ^{-1}$的Diaconis-Ylvisaker共轭先验的归一化常数的解析表达式.因此，我们可以在完全高斯模型类中进行贝叶斯模型选择，该完全高斯模型不受对称群的子群的作用的影响，我们也可以称之为完全RCOP模型。我们说明了我们的结果与玩具的尺寸$4$和几个例子循环群内的选择，包括一个高维的例子与$p=100$的例子。
2022-05-16 math-ph math.MP math.RT
A scalable quasi-Bayesian framework for Gaussian graphical models
本文研究了高维高斯图模型的贝叶斯估计。我们开发了Meinshausen和Buhlmann（2006）的邻域选择方法的准贝叶斯实现，用于估计高斯图模型。该方法产生的产品形式的准后验分布，可以有效地探索并行计算。我们推导出了拟后验分布的收缩率的非渐近界。结果表明，所提出的准后验分布以邻域选择中涉及的线性回归的最差收缩率的速率向真精度矩阵收缩.我们开发了一个用于近似计算的马尔可夫链蒙特卡罗算法，遵循Atchade（2015）的方法。我们说明了模拟研究的方法。结果表明，该方法可以拟合高斯图模型的规模与其他贝叶斯方法的图模型。
2015-12-25 math.ST stat.TH
Graphical Gaussian models associated to a homogeneous graph with permutation symmetries
我们考虑随机向量$(Z^1,\ldots, Z^p)$的多元中心高斯模型，其条件结构由齐次图描述，并且在置换子群的作用下是不变的。下面的文章关注的是当底层的条件依赖图已知时，有色图形高斯模型中的模型选择。我们推导出的精度参数的Diaconis-Ylvisaker共轭先验的归一化常数的解析表达式，并进行贝叶斯模型选择类的图形高斯模型不变的置换子群的行动。我们说明我们的结果与玩具的尺寸$5$的例子。
2022-09-21 math.RT math.ST stat.TH
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程，并给出了有效的后验计算算法。从理论上讲，软阈值高斯过程提供了大量的空间变化的系数，享受分段平滑，稀疏性和连续性，表征成像数据的重要特征的先验支持。此外，在一些温和的正则条件下，软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归，即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明，与现有的替代品的数值比较，并施加到脑电图（EEG）研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
Gaussian linear model selection in a dependent context
本文研究了非参数线性模型，当误差过程为相依高斯过程时。我们专注于通过模型选择方法的均值向量的估计。首先给出了罚函数的一般理论形式，保证了模型集合中的罚估计量满足一个预言不等式。然后，我们推导出一个惩罚形状涉及的协方差阵的误差，它可以选择成比例的尺寸时，误差过程是平稳的和短程相关的谱半径。然而，这种惩罚在某些情况下可能太粗糙，特别是当误差过程是长范围相关的时。在第二部分中，我们专注于固定设计的回归模型，假设误差过程是一个平稳的高斯过程。我们提出了一个模型选择过程，以估计平均函数通过分段多项式上的一个定期分区，当误差过程是短程依赖，长程依赖或反持续。我们提出了不同种类的处罚，这取决于内存的过程。对于每种情况下，建立一个自适应估计，并计算收敛速度。由于几组模拟，我们研究了所有类型的错误（短内存，长内存和反持久性错误）的这些不同的处罚的性能。最后，我们给出了我们的方法的应用程序，著名的尼罗河数据，这清楚地表明，必须考虑的误差过程的依赖类型。
2020-05-03 math.ST stat.AP stat.ME
Latent variable model selection for Gaussian conditional random fields
我们考虑的问题，学习条件高斯图模型中存在的潜变量。基于这一领域的最新进展，我们提出了一种方法，将条件马尔可夫随机场的参数分解为稀疏矩阵和低秩矩阵的和。我们推导出此估计的收敛界，并表明它是良好的行为，在高维制度以及“稀疏”（即能够恢复的图形结构）。然后，我们将展示如何使用近端梯度算法和半定规划技术来拟合数千个变量的模型。通过大量的模拟，我们说明了可识别性所需的条件，并表明，有广泛的情况下，该模型的表现明显优于其同行，例如，通过容纳更多的潜变量。最后，建议的方法被应用到两个数据集，包括遗传变异和代谢物水平的个人水平的数据。我们表明，我们的结果比其他方法更好地复制，并显示丰富的生物信号。
2017-03-04 math.ST stat.CO stat.ME
Block-diagonal covariance selection for high-dimensional Gaussian graphical models
KU Leuven（鲁汶大学）；Leuven Statistics Research Center (LStat)（鲁汶统计研究中心）；Université Paris Descartes（巴黎笛卡尔大学）；CNRS（法国国家科学研究中心）；Université Paris-Sud（巴黎南大学）；INRA（法国国家农业研究院）
高斯图形模型被广泛用于推断和可视化连续变量之间的依赖关系网络。然而，当样本量与变量数量相比较小时，很难推断该图。为了减少模型中需要估计的参数数量，我们提出了一种基于预言不等式和极大极小下界的强理论保证的非渐近模型选择方法。该模型的协方差阵近似为一个分块对角矩阵。通过对样本协方差阵进行阈值化来检测该矩阵的结构，其中使用斜率试探法来选择阈值。基于协方差阵的块对角结构，将估计问题分解为若干个独立的问题：然后在每个块中使用图形套索算法推断变量之间的依赖关系网络。该程序的性能示出了模拟数据。一个真正的基因表达数据集有限的样本量的应用程序也提出：降维允许注意力客观地集中在较小的基因子集之间的相互作用，导致更简约和可解释的模块化网络。
2016-09-29 cs.LG math.ST stat.ML
Robust Model Selection of Gaussian Graphical Models
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本文研究噪声污染下高斯图模型的稳健结构选择，刻画一般图不可避免的等价类，提出可恢复局部聚类与全局连接的算法，并给出高维有限样本保证与仿真验证。
2024-05-08 cs.LG math.ST stat.ML
A Bernstein-type inequality for suprema of random processes with applications to model selection in non-Gaussian regression
设$\pa{X_{t}}_{t\in T}$是一族由可数集$T$索引的实值中心随机变量。在本文的第一部分中，我们使用Talagrand（2005）中引入的一般链接设备建立上确界$Z=\sup_{t\in T}X_{t}$的偏差概率的指数界。与集中型不等式相比，这些界提供了在更弱的条件下保持$\pa{X_{t}}_{t\in T}$族的优势。本文的第二部分是面向统计。我们考虑回归设置$Y=f+\eps$，其中$f$是$\R^{n}$的未知向量，而$\eps$是一个随机向量，其分量是独立的，居中的，并允许在0的邻域内进行有限拉普拉斯变换。我们的目的是估计$f$的观测$Y$之间的一组线性子空间的$\R^{n}$的模型选择方法。我们提出的选择过程是基于最小化的惩罚标准的惩罚是校准通过使用本文的第一部分中建立的偏差范围。更确切地说，我们研究了当$t$在$\R^{n}$的线性子空间的单位球之间变化时，形式为$X_{t}=\sum_{i=1}^{n}t_{i}\eps_{i}$的随机变量的上确界。最后，我们证明了我们的估计满足一些预言型不等式适当的假设下的度量结构的线性空间的集合。
2009-09-10 math.PR math.ST stat.TH
Robust Bayesian variable selection with sub-harmonic priors
本文研究了一般球对称误差分布线性模型中的贝叶斯变量选择问题。我们提出了次谐波先验出现的Zellner的g-先验的贝叶斯因子是独立的基本误差分布的混合物的一类，只要它是在球对称类。由于这种不变性球对称误差分布，我们把我们的方法作为一个强大的贝叶斯变量选择方法。我们证明了我们的贝叶斯因子具有模型选择的一致性和连贯性。我们还开发了拉普拉斯近似贝叶斯因子的一些最近研究的混合物的g先验最近出现在文献中（包括我们自己的）的高斯误差。在每种情况下，这些近似值都由基于BIC的高斯贝叶斯因子乘以先验超参数的简单有理函数和相应模型的R^2给出。我们还扩展了模型选择的一致性为几个g先验贝叶斯因子方法高斯误差的整个类的球对称误差分布。此外，我们证明了我们的类的次谐波先验是唯一的在一个大类的混合物的g-先验在文献中研究的是强大的，在我们的意义上。模拟研究和两个真实数据集的分析表明，我们的鲁棒贝叶斯因子相对于BIC和其他混合的g先验方法的良好性能。
2013-03-11 math.ST stat.ME stat.TH
Scale Analysis and Shape Selection for the Generalized Gaussian Mechanism under Approximate Differential Privacy
Carleton University（卡尔顿大学）
本文针对近似差分隐私下的广义高斯机制，研究其尺度估计与形状选择，提出区间式形状搜索算法，优化形状参数可在保证隐私的同时提升效用、降低方差。
2026-09-01 math.ST stat.ME stat.TH
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM（越南胡志明市科学大学）；ARC Centre of Excellence for the Mathematical Analysis of Cellular System（细胞系统数学分析卓越研究中心）；School of Mathematical Sciences Queensland University of Technology（昆士兰理工大学数学科学学院）；Department of Statistics University of Michigan（密歇根大学统计学系）；Department of Statistics and Data Science University of Texas at Austin（德克萨斯大学奥斯汀分校统计学与数据科学系）
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法，可一致估计专家数量并实现最优收敛速率，避免训练多模型，优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Data-Driven Model Selections of Second-Order Particle Dynamics via Integrating Gaussian Processes with Low-Dimensional Interacting Structures
Great Bay University（大湾区大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出基于两个独立GP先验的非参数方法，以发现带位置与速度相互作用核的二阶粒子动力学，并通过可扩展性与核恢复理论分析，在最高248维鱼类运动数据上验证其优势。
2023-11-01 cs.LG cs.NA math.NA
