Group-wise shrinkage estimation in penalized model-based clustering
有限高斯混合模型提供了一个强大的和广泛使用的概率方法聚类多元连续数据。然而，这些模型的实际用途是危害在高维空间，在那里他们往往是过度参数化。因此，已经提出了不同的解决方案，通常依赖于矩阵分解或变量选择策略。最近，高斯图形模型和有限混合物之间的方法联系已经建立，铺平了道路，惩罚基于模型的聚类在大精度矩阵的存在。尽管如此，目前的方法隐含地假设类之间的稀疏性水平相似，不考虑各组变量之间的关联程度不同。我们克服了这一限制，推导出组明智的惩罚因子，自动执行下或过连接的估计图。该方法完全是数据驱动的，不需要额外的超参数规范。对合成数据和实际数据的分析表明了我们建议的有效性。
2022-05-12 stat.CO stat.ME
Shrinkage Tuning Parameter Selection in Precision Matrices Estimation
最近的文献提供了许多计算和建模方法的协方差阵估计的惩罚高斯图模型，但相对较少的研究已经进行了调整参数的选择。本文试图通过关注使用惩罚似然方法估计稀疏精度矩阵时的收缩参数选择问题来填补这一空白。在这方面，以前的方法通常使用K折交叉验证。在本文中，我们首先推导出的广义近似交叉验证调整参数的选择，这不仅是一个更有效的计算替代，但也实现了更小的误差率模型拟合相比，留一交叉验证。为了在精度矩阵中选择非零项的一致性，我们采用了贝叶斯信息准则，该准则可证明地可以识别高斯模型中的非零条件相关性。我们的模拟表明，这两个建议的选择器相比，留一交叉验证，十倍交叉验证和赤池信息准则的一般优越性。
2009-09-07 stat.ME
Grouping Priors and the Bayesian Elastic Net
在贝叶斯惩罚回归的文献中，回归系数的先验分布的两个主要选择是零均值高斯和拉普拉斯。虽然这两种方法都在数字和理论上进行了比较，但在现实生活中使用的指导仍然很少。我们提出了两个可行的解决方案，这个问题的先验分布的形式结合和拉普拉斯和高斯先验之间的妥协，分别。通过交叉验证，自动选择优化预测性能的先验。然后，我们证明了这些新的先验分布相对于拉普拉斯和高斯先验在模拟和实验环境中的改进性能。
2010-01-22 stat.ME
Constructing a simulation surrogate with partially observed output
针对带降维的高斯过程仿真代理模型需完整输出数据的问题，提出结合缺失值插补与协方差矩阵调整的新方法，可利用部分观测输出高效建模，在仿真和能量密度泛函模型校准案例中推理精度更优。
2023-04-19 stat.ME
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法，通过贝叶斯图形套索实现后验稳健性，并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
Locally Adaptive Bayes Nonparametric Regression via Nested Gaussian Processes
本文提出了一种嵌套高斯过程（nGP）作为贝叶斯非参数回归的局部自适应先验。通过一组随机微分方程（SDEs）指定，nGP对函数的$m$阶导数施加高斯过程先验。嵌套是通过包括局部瞬时均值函数来实现的，该局部瞬时均值函数是从另一个高斯过程中提取的，该过程诱导对局部变化平滑度的自适应性。我们讨论了再生核Hilbert空间的闭包对nGP先验的支持，并考虑了后验的理论性质。后验均值下的nGP事先被证明是相当于一个嵌套的惩罚平方和的最小值，涉及罚款的整体和局部粗糙度的功能。使用高效的马尔可夫链蒙特卡罗的后验推理，所提出的方法在模拟研究相比，几个替代方案，并可扩展到大量的数据，说明通过蛋白质组学应用。
2012-01-20 stat.ME
Controlling the flexibility of non-Gaussian processes through shrinkage priors
正态逆高斯（NIG）分布和广义非对称拉普拉斯（GAL）分布可以看作是高斯分布的偏斜和半重尾扩展。然后，由这些更灵活的噪声分布驱动的模型被视为更简单高斯模型的灵活扩展。推理过程往往高估了数据中的非高斯性程度，因此我们建议通过在推理框架中添加合理的先验来控制这些非高斯模型的灵活性，从而使模型向高斯性收缩。在我们的冒险，以获得合理的先验，我们还提出了一个新的直观的参数化的非高斯模型，并讨论如何有效地实现它们在$Stan$。该方法推导出一个通用类的非高斯模型，包括空间Matérn字段，自回归模型的时间序列，同时自回归模型的航空数据。通过模拟研究和地质统计学应用说明了结果，其中惩罚模型复杂性的先验知识被证明会导致更稳健估计并优先考虑高斯模型，同时如果有足够的证据，则允许非高斯性数据。
2022-10-29 stat.ME
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Joint Variable Selection of both Fixed and Random Effects for Gaussian Process-based Spatially Varying Coefficient Models
空间变系数（SVC）模型是一种空间数据的回归模型，其中协变量效应随空间而变化。如果有多个协变量，一个自然的问题是哪些协变量具有空间变化效应，哪些没有。针对基于高斯过程的SVC模型，提出了一种新的变量选择方法.它依赖于惩罚极大似然估计（PMLE），并允许变量选择相对于固定效应和高斯过程随机效应。我们验证了我们的方法在模拟研究以及现实世界的数据集。我们的新方法在模拟研究中表现出良好的选择性能。在实际数据应用中，我们提出的PMLE产生稀疏SVC模型，并实现了一个更小的信息标准比经典的MLE。在应用于实际数据的交叉验证中，我们表明，稀疏PML估计SVC模型与ML估计SVC模型在预测性能方面不相上下。
2021-02-11 stat.ME
A Hierarchical Bayesian Framework for Constructing Sparsity-inducing Priors
由于越来越多的回归和分类应用涉及高维数据，我们希望一些预测是不重要的，变量选择技术已成为统计学家之间越来越流行。在这种情况下，贝叶斯变量选择技术，涉及马尔可夫链蒙特卡罗探索的后验分布的模型可以是令人望而却步的计算昂贵的，所以已经注意到准贝叶斯方法，如最大后验概率（MAP）估计使用先验，诱导稀疏性，在这样的估计。我们专注于后一种方法，扩展到目前为止提出的层次结构，以提供贝叶斯解释和概括的最先进的惩罚优化方法，并同时提供一种自然的方式，包括在此框架内的参数先验信息。我们给出了如何使用这个层次结构来计算线性和逻辑斯谛回归的MAP估计以及高斯图形模型中的稀疏精度矩阵估计的例子。此外，一个自适应群套索方法推导出使用的框架。
2010-09-16 stat.CO stat.ME
Skew-Normal Posterior Approximations
许多近似贝叶斯推断方法假设一个特定的参数形式来近似后验分布。多变量高斯分布为这种方法提供了一个方便的密度;例子包括拉普拉斯，惩罚准似然，高斯变分和期望传播方法。不幸的是，这些都忽略了潜在的偏态的后验分布。我们提出了一个修改，占偏度，其中的关键统计的后验分布匹配，而不是一个多变量的偏态正态分布。进行了模拟研究和基准测试的组合，以比较这种偏态-正态匹配方法（作为独立近似和事后偏态调整）与现有高斯和偏态近似的性能。我们的经验表明，对于小尺寸和中等尺寸的情况下，偏态匹配可以比这些其他方法更准确。对于事后偏度调整，这在额外的计算时间上花费很少。
2023-02-16 stat.ME
Constructing Gaussian Processes via Samplets
University of Cologne（科隆大学）；Department of Mathematics and Computer Science（数学与计算机科学学院）
本论文针对低维大型数据集的高斯过程建模与最优模型选择挑战，提出一种基于 Samplet 的方法，将计算复杂度降至对数线性尺度，实现高效的最优回归。
2024-11-11 cs.LG cs.NA math.NA
Quadratic regression for functional response models
我们考虑的问题，建立一个回归模型的功能预测和功能的反应。我们将函数线性模型推广到二次模型，其中二次项也考虑了函数数据的自变量之间的相互作用。假设预测量和系数函数用基展开式表示，然后假设误差函数服从高斯过程，用惩罚似然法估计模型中的参数.蒙特卡罗模拟进行说明所提出的方法的有效性。最后，我们将所提出的方法应用于气象数据的分析，并对结果进行了探讨。
2018-07-02 stat.ME
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题，即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的，在确定的组件的数量。提出了一种改进的期望最大化算法，它可以同时选择混合分量的个数和估计混合权重，即混合概率和高斯分布的未知参数。仿真和实际数据分析，以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
Penalizing complexity priors for Bayesian inference of circular models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Pretoria（比勒陀利亚大学）
本文提出了一种在圆模型中选择超先验的框架，通过模拟研究和实际案例比较，引入了经过验证的惩罚复杂性先验，以解决圆分布参数先验选择中的挑战。
2026-04-06 stat.ME
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术，如贝叶斯套索和贝叶斯马蹄估计，最近在统计文献中受到了大量的关注。然而，在通用马尔可夫链蒙特卡罗平台（如STAN）之外，实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg，用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的，开源的，可用于MATLAB和R数值平台。
2016-12-20 stat.CO
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法，其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看，所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式，并指定条件的先验，这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程（GP）回归是一种灵活的非参数回归方法，可以自然量化不确定性。在许多应用中，响应和协变量的数量都很大，目标是选择与响应相关的协变量。对于这种设置，我们提出了一种新的，可扩展的算法，创造VGPR，它优化了惩罚GP对数似然的基础上的Vecchia GP近似，有序的条件近似从空间统计学，这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚，依次添加候选协变量的对数似然梯度的基础上，并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样，它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明，相对于现有的方法，改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models
Department of Industrial Engineering and Management Sciences Northwestern University（工业工程与管理科学系西北大学）；Department of Biostatistics University of Washington（生物统计学系华盛顿大学）；Department of Statistics University of Washington（统计学系华盛顿大学）
本文提出一种新的坐标下降算法来近似求解线性高斯模型下学习贝叶斯网络的$\ell_0$-惩罚极大似然估计器，证明了其渐近最优性和有限样本统计一致性，并在合成与真实数据上验证了近最优解和可扩展性。
2025-10-11 cs.LG stat.ML
Meta-Analysis Without Normality: Estimating the True Effect Distribution with Penalized Gaussian Mixtures
Department of Statistics and Data Science, Northwestern University（西北大学统计与数据科学系）
本文提出基于惩罚高斯混合的方法，用于在不假设正态分布的情况下估计真效应分布，适用于大规模异质数据集，提高尾部概率和密度估计的准确性。
2026-04-30 stat.ME
Nonparametric mixture of Gaussian graphical models
图模型已被广泛用于研究高维数据的复杂依赖结构，通常假设观测数据遵循齐次图模型。然而，观察通常来自不同的资源，并在现实世界的应用中具有异构隐藏的共性。因此，估计异质依赖关系，发现具有一定共性的子总体是非常重要的。在这项工作中，我们介绍了一种新的正则化估计方案学习非参数混合高斯图形模型，扩展了高斯图形模型和混合模型的方法和适用性。我们提出了一个统一的惩罚似然方法来有效地估计非参数函数参数和异构图形参数。我们进一步设计了一个有效的广义有效的期望最大化算法，以解决三个重大挑战：高维，非凸性，标签切换。在理论上，我们研究了我们提出的算法的算法收敛性和我们提出的估计的渐近性质。在数值上，我们展示了我们的方法在模拟研究和实际应用中的性能，以估计人类大脑功能的连接从ADHD成像数据，其中两个异质条件依赖性解释通过分析人口统计变量和现有的科学研究结果的支持。
2015-12-31 stat.ME stat.ML
On bayesian estimation and proximity operators
Univ Rennes（雷恩大学）；Inria（法国国家数字与信息技术研究所）；CNRS（法国国家科学研究中心）；IRISA（布列塔尼信息与自动化研究学院）；CMLA（计算、建模与应用数学实验室）；Ecole Normale Supérieure de Cachan, Université Paris-Saclay（巴黎萨克雷大学卡昂高等师范学校）
本文探讨了逆问题的两种解决方法，指出最大后验估计与最小均方误差估计之间的关系，并证明在特定噪声模型下，MMSE可通过惩罚最小二乘问题实现。
2026-03-23 eess.SP math.ST stat.TH
Learning Gaussian DAGs from Network Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
有向无环图（DAG）或贝叶斯网络的结构学习已经被广泛研究的假设下，数据是独立的。我们提出了一个新的高斯DAG模型的依赖数据，假设的观察是相关的，根据一个无向网络。在此模型下，我们开发了一种方法来估计DAG结构给定的拓扑排序的节点。所提出的方法联合估计贝叶斯网络和观测之间的相关性，通过优化的评分函数的基础上惩罚似然。我们证明了在一些温和的条件下，所提出的方法产生相合估计量后，一个迭代。大量的数值实验也表明，通过联合估计DAG结构和样本相关性，我们的方法实现了更高的精度在结构学习。在节点排序未知的情况下，通过对合成数据和真实数据的实验，证明了该算法能够估计样本间的相关性，并通过对相关数据的去相关处理，显著提高了传统DAG学习方法的性能.
2021-07-29 cs.LG stat.ML
Variational Gaussian Copula Inference
Duke University（杜克大学）
我们利用Copula构成一个统一的框架，构建和优化变分的建议，在分层贝叶斯模型。对于具有连续和非高斯隐变量的模型，我们提出了一种半参数和自动变分高斯copula方法，其中参数高斯copula族能够保持多元后验依赖性，并且基于Bernstein多项式的非参数变换在表征单变量边缘后验方面提供了足够的灵活性。
2016-05-18 cs.LG stat.CO stat.ML
Latent Gaussian Mixture Models for Nationwide Kidney Transplant Center Evaluation
移植后五年存活率是美国肾移植中心提供的护理质量的重要指标。为了提供对每个移植中心的公平评估，代表中心特定护理质量的效果以及患者水平的风险因素通常包括在风险调整模型中。在过去，中心效应已被建模为固定效应或高斯随机效应，有各种利弊。我们的数值分析表明，分布假设确实影响中心效应的预测，特别是当效果是极端的。为了弥合这两种方法之间的差距，我们建议将移植中心效应建模为具有有限高斯混合分布的潜在随机变量。这种潜在的高斯混合模型提供了一个方便的框架来研究移植中心之间的异质性。为了克服弱可识别性问题，我们建议使用惩罚似然方法估计潜在的高斯混合模型，并开发顺序的局部限制似然比检验，以确定高斯混合分布中的组件的数量。当筛选表现不佳或表现出色的移植中心时，拟合混合模型提供了控制错误发现率的方便手段。通过仿真和激励数据实例的分析，验证了该方法的性能。
2017-03-10 stat.AP
Physics-Information-Aided Kriging: Constructing Covariance Functions using Stochastic Simulation Models
Lehigh University（理海大学）；Intera（Intera公司）；University of Illinois（伊利诺伊大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出了一种新的高斯过程回归（GPR）方法：物理信息辅助克立格法（PhIK）。在标准的数据驱动克立格法中，未知的感兴趣的函数通常被视为一个高斯过程与假设的平稳协方差与超参数估计的数据。在PhIK中，我们根据可用随机模型的实现计算均值和协方差函数，例如，从随机偏微分方程解的实现。这种构造的高斯过程通常是非平稳的，并且不假定协方差函数的特定形式。我们的方法避免了数据驱动GPR方法中识别超参数的优化步骤。更重要的是，我们证明了一个确定性的线性算子的形式的物理约束，保证在由此产生的预测。我们还提供了一个误差估计，在保持物理约束时，误差包括在随机模型实现。为了减少获得随机模型实现的计算成本，我们提出了一个多级蒙特卡罗估计的均值和协方差函数。此外，我们提出了一个主动学习算法，指导额外的观察位置的选择。的效率和准确性的PhIK证明重建一个部分已知的修改后的Branin函数，研究三维传热问题和学习保守的示踪剂分布稀疏的浓度测量。
2021-11-15 cs.LG stat.ML
Variational Gaussian Approximation for Poisson Data
University College London（伦敦大学学院）；North Carolina State University（北卡罗来纳州立大学）
本文研究了泊松模型下的变分高斯近似，通过最小化KL散度推导出下界，并提出高效算法用于求解优化问题，同时讨论了降维和稀疏性以降低计算复杂度。
2017-09-18 cs.NA math.NA stat.CO
Spectral Bayesian Regression on the Sphere
Sapienza University of Rome（罗马第一大学）
本文提出了一种球面上非参数回归的贝叶斯方法，利用球谐基函数和各向同性高斯场先验，推导出后验分布和收缩速率，实现精确的几何内在惩罚最小二乘估计。
2026-01-28 math.PR math.ST stat.ML
Dynamic Chain Graph Models for Ordinal Time Series Data
本文介绍了高维非高斯时间序列数据网络推理的稀疏动态链图模型。所提出的方法参数化的精度矩阵，编码在一个固定的时间点的变量之间的时间片内的条件独立性，和一个自回归系数，包含动态条件独立性之间的相互作用的时间序列组件跨越连续的时间步。该模型是一个高斯copula向量自回归模型，它是用来模拟稀疏的相互作用，在一个高维设置。通过惩罚期望最大化算法实现估计。在本文中，我们使用一个有效的坐标下降算法来优化惩罚的对数似然与平滑剪切绝对偏差惩罚。我们在模拟和基因组数据集上展示了我们的方法。该方法在R包tsnetwork中实现。
2018-05-24 stat.ME
glmmPen: High Dimensional Penalized Generalized Linear Mixed Models
针对高维场景下GLMM固定与随机效应联合选择的难题，提出R包glmmPen，采用基于MCECM算法的惩罚GLMM框架，支持多种分布与惩罚函数，仿真及癌症研究应用验证了其有效性。
2024-04-16 stat.CO stat.ME
A unified approach to penalized likelihood estimation of covariance matrices in high dimensions
本文提出一种统一框架，将稀疏模式最大似然、l_1惩罚对数似然和岭正则化三种协方差矩阵估计方法结合，通过双惩罚项约束优化实现高效稳定的高维稀疏估计，并提供R包gicf。
2024-10-03 stat.ME
Constructing Large Nonstationary Spatio-Temporal Covariance Models via Compositional Warpings
理解和预测环境现象往往需要构建时空统计模型，这是典型的高斯过程。对高斯过程的一个常见假设是协方差平稳性，这在许多地球物理应用中是不现实的。在这篇文章中，我们介绍了一种受深度学习启发的方法，通过在扭曲的时空域上建模平稳过程来构建描述性的非平稳时空模型。我们使用的扭曲函数是使用几个简单的内射扭曲单元构造的，当通过组合进行组合时，可以引起复杂的扭曲。变形域上的平稳时空协方差函数导致原始域上的协方差非平稳性。稀疏线性代数方法用于在大数据设置中拟合模型时降低计算复杂度。我们表明，我们提出的非平稳时空模型可以捕捉协方差非平稳性在空间和时间，并提供更好的概率预测比传统的平稳模型在模拟研究和现实世界的数据集。
2023-03-16 stat.AP stat.CO stat.ME
Trade-off between predictive performance and FDR control for high-dimensional Gaussian model selection
本文研究高维高斯线性回归中的变量选择，提出了一种超参数校准算法，以在控制预测风险的同时控制错误发现率，并验证了其有效性及对无序变量的扩展。
2024-06-28 math.ST stat.AP stat.ME
Joint Functional Gaussian Graphical Models
函数图模型探索随机过程的依赖关系。这是通过从Karhunen-Loeve展开估计系数的精度矩阵来实现的。本文讨论了由相同随机过程组成并共享某些依赖结构的函数图的估计问题。通过估计一个图，我们将证明数据中不同子组的唯一性。通过估计每个亚组的不同图，我们将划分我们的样本量。相反，我们提出了一种方法，允许联合估计的图形，同时考虑到每个子组的内在差异。这是通过分级处罚实现的，首先在共同层面上处罚，然后在个人层面上处罚。我们开发了一种计算方法，我们的估计，处理与非凸性质的目标函数。我们比较了我们的方法与现有的一些不同的模拟场景的性能。我们将我们的方法应用于由酒精和非酒精组组成的EEG数据集，以构建大脑网络。
2021-10-13 math.ST stat.ME stat.TH
High-Dimensional Joint Estimation of Multiple Directed Gaussian Graphical Models
我们考虑的问题，联合估计多个相关的有向无圈图（DAG）模型的基础上，从每个图的高维数据。这个问题的动机是基于来自不同组织、发育阶段或疾病状态的基因表达数据来学习基因调控网络的任务。我们证明了在一定的正则性条件下，所提出的$\ell_0$ -惩罚极大似然估计在Frobenius范数下收敛于与数据生成分布一致的邻接矩阵，并且具有正确的稀疏性.特别是，我们表明，这种联合估计过程导致更快的收敛速度比估计每个DAG模型分别。作为一个推论，我们还获得了高维一致性的结果，从混合的观察和干预数据的因果推断。出于实用的目的，我们提出了\emph{jointGES}组成的贪婪等价搜索（GES），以估计所有DAG模型的联合，然后使用套索变量选择，以获得不同的DAG，我们分析了它的一致性保证。所提出的方法是通过模拟数据以及上皮性卵巢癌基因表达数据的分析。
2020-06-27 math.ST stat.ME stat.TH
