Efficient Neighborhood Selection for Gaussian Graphical Models
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了高斯图模型的邻域选择问题。我们提出了两个启发式算法：一个基于互信息检验的一般高斯图模型的前向-后向贪婪算法，和一个基于阈值的算法行走可求和高斯图模型。这两种算法被证明是结构上一致的，和有效的。数值结果表明，这两种算法都能很好地工作。
2015-09-22 cs.IT cs.LG math.IT
Addendum on the scoring of Gaussian directed acyclic graphical models
我们提供了一个修正的表达得分高斯有向非循环图形模型在盖格和Heckerman [安。30（2002）1414-1440]并讨论如何有效地评估得分。
2021-05-17 stat.ME stat.ML
Partially Linear Additive Gaussian Graphical Models
Princeton University（普林斯顿大学）；Charles H. Dyson School of Applied Economics and Management（查尔斯·H·戴森应用经济与管理学院）；University of Chicago（芝加哥大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个部分线性加性高斯图模型（PLA-GGM）的估计被观察到的混杂因素扭曲的随机变量之间的关联。模型参数估计使用$L_1$ -正则化最大伪轮廓似然估计（MapPLE），我们证明了$\sqrt{n}$ -稀疏。重要的是，我们的方法避免了参数约束的影响估计的图形模型结构上的混杂因素。从经验上讲，PLA-GGM适用于合成和真实世界的数据集，表现出优越的性能相比，竞争的方法。
2019-06-08 cs.LG stat.ML
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
神经元功能分组的知识可以揭示神经回路的结构，并且在许多类型的神经影像学研究中是有价值的。然而，通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此，以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中，我们提出了聚类高斯图形模型（GGM）和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法（ADMM）算法求解相应的凸优化问题。此外，我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
Learning Gaussian Graphical Models With Fractional Marginal Pseudo-likelihood
University of Helsinki（赫尔辛基大学）；Åbo Akademi University（奥博学术大学）
我们提出了一个贝叶斯近似推理方法来学习高斯图模型的依赖结构。使用伪似然，我们推导出一个分析表达式来近似的边缘可能性为任意的图形结构，而不调用任何假设的可分解性。大多数用于学习高斯图形模型的现有方法要么限于可分解的图，要么需要指定可能对学习结构产生重大影响的调谐参数。通过结合一个简单的稀疏诱导先验的图形结构与一个默认的参考先验的模型参数，我们得到了一个快速，易于应用的评分功能，即使是高维数据也能很好地工作。我们证明了我们的方法的良好性能，通过大规模的比较，对学习不可分解的高斯图形模型的领先方法。我们的方法提供了一个理论上的理由表明，它会产生一个相合估计量的图结构。
2016-02-25 cs.LG stat.ML
Clustering Gaussian Graphical Models
University of New Haven（纽黑文大学）
我们推导出一个有效的方法来执行聚类的节点直接从样本数据的高斯图形模型。节点根据其网络邻域的相似性进行聚类，边缘权重由偏相关定义。在有限数据的情况下，协方差矩阵将是秩亏的，我们能够利用矩阵因子，而不需要估计实际的协方差或精度矩阵。我们证明了从人类连接组计划的功能MRI数据的方法。给出了该算法的matlab实现。
2019-10-05 cs.LG stat.ML
Nonparametric mixture of Gaussian graphical models
图模型已被广泛用于研究高维数据的复杂依赖结构，通常假设观测数据遵循齐次图模型。然而，观察通常来自不同的资源，并在现实世界的应用中具有异构隐藏的共性。因此，估计异质依赖关系，发现具有一定共性的子总体是非常重要的。在这项工作中，我们介绍了一种新的正则化估计方案学习非参数混合高斯图形模型，扩展了高斯图形模型和混合模型的方法和适用性。我们提出了一个统一的惩罚似然方法来有效地估计非参数函数参数和异构图形参数。我们进一步设计了一个有效的广义有效的期望最大化算法，以解决三个重大挑战：高维，非凸性，标签切换。在理论上，我们研究了我们提出的算法的算法收敛性和我们提出的估计的渐近性质。在数值上，我们展示了我们的方法在模拟研究和实际应用中的性能，以估计人类大脑功能的连接从ADHD成像数据，其中两个异质条件依赖性解释通过分析人口统计变量和现有的科学研究结果的支持。
2015-12-31 stat.ME stat.ML
Learning Directed Graphical Models from Gaussian Data
Technical University of Munich（慕尼黑工业大学）
在本文中，我们介绍了一个新的有向图模型从高斯数据：高斯图形交互模型（GGIM）。该模型的发展来自于考虑图上的平稳高斯过程，并利用所得到的稳态协方差矩阵和表示相互作用图的拉普拉斯矩阵之间的方程。通过介绍概念上简单的理论，我们开发了新的模型，并提供解释的边缘在图形模型的统计措施。我们表明，当限制到无向图，代表GGIM的拉普拉斯矩阵是等价的标准逆协方差矩阵编码的条件依赖关系。此外，我们的方法导致一个自然的定义，在平稳高斯过程中的两个元素的定向条件独立。我们证明了学习稀疏GGIMs为给定的观察集的问题可以被框定为一个LASSO问题。通过与逆协方差估计问题的比较，我们证明了稀疏GGIM对应的协方差矩阵与$l_1$ -范数惩罚最大对数似然估计对应的协方差矩阵之差的一个界.最后，我们考虑了与稀疏有向条件依赖关系相关的GGIM学习问题。总之，新模型提出了一个新的角度对变量之间的直接关系，并显着扩展了最先进的高斯图形建模。
2020-11-18 cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University（东北大学）；Yamagata University（山形大学）
针对高斯图模型，提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外，我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Learning Gaussian Graphical Models with Latent Confounders
针对潜在混杂因子干扰高斯图模型结构推断的问题，本文探究了LVGGM与PCA+GGM两种推断策略的关联，提出融合二者优势的新方法，证明了PCA类方法的一致性与收敛速率，给出方法选用指导，并通过模拟和真实应用验证了有效性。
2023-07-24 stat.ME stat.ML
Sure Screening for Gaussian Graphical Models
我们提出了{图形确定筛选}，或GRASS，一个非常简单和计算效率高的筛选过程，用于恢复在高维设置中的高斯图形模型的结构。通过对样本协方差阵的元素进行阈值化，得到条件依赖图的GRASS估计。该方法具有一定的筛选性：GRASS估计的边缘集以很高的概率包含真实的边缘集。此外，以高概率控制估计边缘集的大小。我们为GRASS提供了一个阈值选择，可以控制预期的假阳性率。我们说明了GRASS在模拟研究和基因表达数据集上的性能，并表明在实践中，它与更复杂和计算要求更高的图形估计技术相比具有相当强的竞争力。
2014-07-29 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Graphical Nonconvex Optimization for Optimal Estimation in Gaussian Graphical Models
我们考虑学习高维高斯图模型的问题。图形套索是估计高斯图模型的最流行的方法之一。然而，它没有达到预言的收敛速度。本文提出了高斯图模型中最优估计的图非凸优化问题，并将其近似为一列凸规划。我们的建议是计算易处理的，并产生一个估计，实现了甲骨文的收敛速度。通过一个收缩性质，清楚地证明了使用凸规划的序列逼近引入的统计误差。使用稀疏模式的概念可以进一步提高收敛速度。所提出的方法，然后扩展到半参数图形模型。我们通过数值研究表明，所提出的估计优于其他流行的方法估计高斯图形模型。
2017-06-04 math.ST stat.ML stat.TH
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Robust estimation of tree structured Gaussian Graphical Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联合考虑高斯随机变量，其条件独立结构由图模型指定。如果我们观察变量的实现，我们可以计算协方差阵，众所周知，逆协方差阵的支持对应于图形模型的边缘。相反，假设我们只有噪声观测。如果每个节点上的噪声是独立的，我们可以计算协方差阵和一个未知对角线的和。这个和的逆（一般来说）是稠密的。我们要问：原来的独立结构还能恢复吗？我们解决这个问题的树结构的图形模型。我们证明了这个问题是不可识别的，但这种不可识别性仅限于一类候选树。我们进一步提出了额外的限制下，这个问题是可以识别的。最后，我们提供了一个O（n^3）算法来找到这个等价类的树。
2019-01-25 cs.LG stat.ML
Innovated scalable efficient estimation in ultra-large Gaussian graphical models
大规模的精度矩阵估计是非常重要的，但在许多当代应用恢复高斯图形模型的挑战。本文提出了一种新的估计大精度矩阵的可扩展有效估计（ISEE）方法。在新变换的启发下，将原问题转化为大协方差阵估计问题。该方法结合了高维稀疏建模和大协方差阵估计的最新进展。与现有的方法相比，我们的方法是可扩展的，可以处理更大的精度矩阵与简单的调整。在温和的正则条件下，我们建立了这个过程可以恢复潜在的图形结构与显着的概率，并提供有效的估计的链接强度。通过模拟和实际数据的例子证明了计算和理论的优势的过程。
2016-05-11 stat.ME stat.ML
Robust Gaussian Graphical Modeling with the Trimmed Graphical Lasso
高斯图形模型（GGM）是研究网络结构的常用工具。然而，许多现代应用，如基因网络发现和社会互动分析，往往涉及高维噪声数据与离群值或重尾比高斯分布。在本文中，我们提出了修剪图形套索的稳健估计的稀疏GGM。我们的方法通过隐式修剪机制来防止离群值，该机制类似于用于线性回归的流行的最小二乘修剪方法。我们提供了一个严格的统计分析，我们的估计在高维设置。相比之下，现有的方法用于鲁棒稀疏GGM估计缺乏统计保证。我们的理论结果得到了仿真和真实基因表达数据实验的补充，进一步证明了我们的方法的价值。
2015-10-28 stat.ML
Regularized Estimation of Piecewise Constant Gaussian Graphical Models: The Group-Fused Graphical Lasso
分段常数高斯图模型的时间演化精度矩阵编码了多变量时间序列的动态条件依赖结构。传统上，图形模型是在假设数据是从生成分布中相同提取的情况下估计的。引入稀疏性和稀疏差分诱导先验，我们放松这些假设，并提出了一种新的正则化M-估计，共同估计的图形和变点结构。由此产生的估计拥有的能力，因此有利于稀疏依赖结构和/或平滑地演变的图形结构，根据需要。此外，我们的方法扩展了目前的方法，允许估计的变化点，在系统中的多个依赖关系分组。提出了一种有效的结构估计算法。我们研究的经验恢复性能在一个合成的设置。分组变点估计的定性效果，然后证明通过应用该方法在两个现实世界的数据集。
2017-10-31 stat.CO stat.ME stat.ML
An Expectation Conditional Maximization approach for Gaussian graphical models
贝叶斯图模型是理解许多变量之间依赖关系的有用工具，特别是在具有外部先验信息的情况下。在高维环境中，可能的图的空间变得巨大，使得即使是最先进的贝叶斯随机搜索在计算上也不可行。我们提出了一个确定性的替代估计高斯和高斯copula图形模型使用期望条件最大化（ECM）算法，扩展EM方法从贝叶斯变量选择图形模型估计。我们表明，ECM方法可以快速后验探索下的混合先验序列，并可以将多个信息源。
2019-02-06 stat.ML
Partial Gaussian Graphical Model Estimation
Rutgers University（罗格斯大学）
本文研究了高斯图模型在高维经验观测下的部分估计问题。我们推导出一个凸公式，这个问题使用$\ell_1$正则化最大似然估计，这可以通过块坐标下降算法来解决。统计估计性能可以建立我们的方法。所提出的方法具有竞争力的经验性能相比，现有的方法，合成和真实数据集上的各种实验证明。
2012-09-28 cs.IT cs.LG math.IT
Private Adaptive Covariance Estimation via Gaussian Graphical Models
Manning College of Information and Computer Sciences（信息与计算机科学学院）
提出PACE-GGM，一种数据自适应的差分隐私协方差估计方法，通过将隐私预算集中在经验协方差矩阵信息量最大的条目上，并在每轮中选择近似差的条目进行高斯机制测量，然后通过最大熵重建目标重构完整协方差矩阵，从而在高维和低到中等隐私预算下显著降低估计误差。
2026-05-22 cs.LG stat.ML
Learning Gaussian Graphical Models Using Discriminated Hub Graphical Lasso
在Hub Graphical Lasso（HGL）的基础上，提出了一种基于先验信息的判别式Hub Graphical Lasso（DHGL）方法。我们在两种情况下应用这种新方法：已知枢纽和不知道枢纽。然后，我们比较DHGL与HGL使用几个性能指标。当一些枢纽已知时，我们总是可以通过DHGL比HGL更好地估计精度矩阵。在不知道枢纽节点的情况下，我们使用图形Lasso（GL）来提供枢纽节点的信息，发现在给定正确的先验信息时，DHGL的性能总是优于HGL，而在先验信息错误时，DHGL的性能几乎不会退化。
2017-05-17 stat.ML
Uniform Inference in High-Dimensional Gaussian Graphical Models
University of Hamburg（汉堡大学）；Hamburg Business School（汉堡商学院）；Massachusetts Institute of Technology（麻省理工学院）
图形模型已经成为一种非常流行的工具，用于表示大量变量之间的依赖关系，并且是表示因果结构的关键。我们提供的结果是统一的推理高维图形模型的目标参数$d$的数量可能远远大于样本量。当因果模型的某些特征或结构应该被恢复时，这是特别重要的。我们的研究结果突出了如何在高维设置的图形模型可以估计和恢复与现代机器学习方法在复杂的数据集。为了在许多目标参数上同时构造置信区域，滋扰函数的足够快的估计速率是至关重要的。在这种情况下，我们建立统一的估计率和稀疏性保证的平方根估计在随机设计下的近似稀疏性条件下，可能是独立的兴趣在高维的相关问题。我们还证明了在一个全面的模拟研究，我们的程序具有良好的小样本性能。
2018-12-03 cs.LG econ.EM stat.ME
Large-Scale Optimization Algorithms for Sparse Conditional Gaussian Graphical Models
研究了L1正则化条件高斯图模型的可扩展优化问题。条件高斯图模型是将高斯图模型推广到条件分布的一种模型，它可以对受条件输入变量影响的输出网络进行建模。虽然存在用于稀疏高斯图形模型估计的高度可扩展的优化方法，但是用于条件高斯图形模型的现有技术方法不够有效，并且更重要的是，由于非常大的问题的存储器约束而失败。在本文中，我们提出了一个新的优化过程的基础上，牛顿法，有效地迭代两个子问题，导致大幅改善计算时间相比，以前的方法。然后，我们将我们的方法扩展到内存约束下的大型问题，使用块坐标下降来限制内存使用，同时实现快速收敛。使用合成和基因组数据，我们证明了我们的方法可以在一台机器上在一天多一点的时间内高精度地解决一百万维的问题。
2015-12-26 stat.ML
On Sufficient Graphical Models
Pennsylvania State University（宾夕法尼亚州立大学）；Ewha Womans University（梨花女子大学）
本文提出一种基于非线性充分降维的充分图模型，用低维充分预测变量刻画条件独立性以避免维数灾难，并在非高斯高维场景下优于现有方法。
2023-07-10 cs.LG stat.ML
Learning Structural Changes of Gaussian Graphical Models in Controlled Experiments
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Bradley Department of Electrical and Computer Engineering（布拉德利电气与计算机工程系）
图模型在科学和工程研究中被广泛用于表示随机变量之间的条件独立结构。在许多受控实验中，环境变化或外部刺激往往会改变随机变量之间的条件依赖性，并可能在相应的图形模型中产生显着的结构变化。因此，能够从数据中检测这种结构变化是非常重要的，以便获得关于结构变化在哪里以及如何发生的新颖见解，并帮助系统适应新的环境。在这里，我们报告了一个有效的学习策略，使用基于l1正则化的凸优化提取高斯图模型中的结构变化。我们讨论的问题制定的性质，并介绍了一个有效的实现块坐标下降算法。我们证明了该方法的原理上的数值模拟实验，然后我们应用该算法的基因调控网络在不同的条件下建模，并获得有前途的，但生物学上合理的结果。
2012-03-15 cs.LG stat.ML
Learning Functional Graphs with Nonlinear Sufficient Dimension Reduction
Yonsei University（延世大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种基于非线性充分维度缩减的非参数函数图模型，通过避免维度灾难提高估计精度，并保留概率条件独立性作为边不存在的标准。
2026-01-22 stat.ME stat.ML
On the Statistical Efficiency of $\ell_{1,p}$ Multi-Task Learning of Gaussian Graphical Models
Purdue University（普渡大学）；Massachusetts Institute of Technology（麻省理工学院）；Stony Brook University（石溪大学）
在本文中，我们提出了$\ell_{1,p}$多任务结构学习高斯图形模型。我们分析了足够数量的样本的支持联盟和边缘符号的正确恢复。我们还分析了任何可能的方法，通过提供信息理论的下限所需的样本数量。我们比较了多任务学习与单任务学习的统计效率。对于实验，我们使用块坐标下降法，可证明收敛，并产生一系列的正定解。我们提供了实验验证合成数据以及两个公开的现实世界的数据集，包括功能磁共振成像和基因表达数据。
2015-10-24 cs.LG stat.ML
Exploration of the search space of Gaussian graphical models for paired data
University of Padova（帕多瓦大学）；CSIRO Agriculture and Food（联邦科学与工业研究组织农业与食品部）
针对配对数据的高斯图模型学习问题，提出孪生序构建分配格结构的模型空间，给出高效邻接计算规则以优化搜索效率，实现后向消去过程并通过仿真和脑fMRI数据验证有效性。
2024-04-15 cs.LG q-bio.NC stat.ME
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Inference of Multiscale Gaussian Graphical Model
Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry（巴黎-萨克雷大学，国家科学研究中心，欧very大学，欧very数学与建模实验室）
本文提出多尺度图Lasso方法，通过同时进行聚类与图推断提升网络可解释性，应用于基因组和微生物数据。
2026-03-23 cs.LG stat.ML
Multi-task Learning for Gaussian Graphical Regressions with High Dimensional Covariates
高斯图回归是一种强有力的方法，它可以对协变量的高斯图模型的精度矩阵进行回归，允许响应变量和协变量的数量远远超过样本量。模型拟合通常通过单独的节点式套索回归进行，忽略这些回归中的网络诱导结构。因此，错误率很高，特别是当节点数量很大时。我们提出了一个多任务学习估计拟合高斯图形回归模型，我们设计了一个跨任务组稀疏惩罚和任务内元素稀疏惩罚，分别管理活动协变量的稀疏性及其对图形的影响。对于计算，我们考虑一个有效的增广拉格朗日算法，它解决了子问题的半光滑牛顿法。对于理论，我们证明了基于多任务学习的估计的错误率比单独的节点式套索估计的错误率有很大的改善，因为跨任务惩罚借用了跨任务的信息。为了解决任务纠缠在一个复杂的相关结构的主要挑战，我们建立了一个新的尾部概率界相关的重尾（次指数）变量与任意相关结构，一个有用的理论结果本身。最后，我们的方法的效用是通过模拟以及应用到与脑癌患者的基因共表达网络研究证明。
2022-05-21 stat.ME stat.ML
False Discovery Rate Control for Gaussian Graphical Models via Neighborhood Screening
本文提出一种无需调参的逐节点变量选择图学习方法，通过邻域融合控制高斯图模型边选择的错误发现率，并在多种图拓扑实验中显著优于现有方法。
2024-01-18 cs.LG stat.ML
Inconsistency of cross-validation for structure learning in Gaussian graphical models
University of Chicago（芝加哥大学）
本文指出交叉验证在高斯图模型结构学习中存在固有局限性，通过有限样本界限证明其不一致性，并经模拟实验对比其他信息准则，强调超参数精确校准的重要性。
2023-12-28 cs.LG math.ST stat.ME
Gaussian Experts Selection using Graphical Models
University of Tuebingen（图宾根大学）
局部近似是将高斯过程（GP）扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性，聚合专家的预测。在专家之间施加\emph{conditional independence assumption}（CI）使得不同专家预测的聚合具有时间效率，但代价是不确定性量化较差。另一方面，建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤，我们大大降低了计算成本的聚集依赖的专家，同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术，使用稀疏精度矩阵编码专家之间的条件依赖关系，以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Optimal statistical decision for Gaussian graphical model selection
高斯图模型是高斯随机向量的依赖结构的图形表示。它被认为是生物信息学、差错控制码、语音语言、信息检索等不同应用领域的有力工具。高斯图模型选择是从给定大小的样本中识别高斯图模型的统计问题。文献中提出了不同的高斯图形模型选择方法。其中之一是基于考虑家庭的个人条件独立性测试。这种方法的应用导致了各种建设的多重检验统计过程的高斯图形模型选择。这些程序的一个重要特征是其对于给定样本量的误差率。在现有的文献中，非常注意控制错误的边缘包含（第一类错误）的错误率。然而，在图形模型选择中，考虑不正确边缘排除（第二类错误）的错误率也很重要。为了处理这个问题，我们考虑图形的模型选择问题的多重决策理论的框架。统计过程的质量是通过具有附加损失的风险函数来衡量的。附加损失允许考虑两种类型的误差。我们构建了一个奈曼结构的测试为个人的假设，并将它们结合起来，以获得一个多决策统计过程。我们表明，所得到的程序是最优的意义上，它最小化的线性组合的期望数量的I型和第二类错误的类无偏多个决策程序。
2017-01-09 stat.ML
Unsupervised Learning with Truncated Gaussian Graphical Models
Duke University（杜克大学）
高斯图形模型（GGM）被广泛用于统计建模，因为易于推断和正态分布在实际近似中的普遍使用。然而，由于高斯假设，它们也因其有限的建模能力而闻名。在本文中，我们介绍了一种新的变种GGM，放松高斯限制，但承认有效的推理。具体来说，我们施加一个二部结构的GGM和治理的隐变量截断正态分布。模型的非线性通过其与整流线性单元（ReLU）神经网络的连接来揭示。同时，由于截断法线的二分结构和吸引人的性质，我们能够有效地使用对比发散训练模型。我们考虑三个输出结构，占实值，二进制和计数数据。我们进一步将模型扩展到深度构造，并表明深度模型可用于整流器神经网络的无监督预训练。提供了大量的实验结果来验证所提出的模型，并证明其优于竞争模型。
2016-11-20 cs.LG stat.ML
Transfer learning for tensor Gaussian graphical models
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
张量高斯图模型（GGM），解释张量数据中的条件独立结构，在许多领域有重要的应用。然而，由于高昂的获取成本，单个研究中可用的张量数据往往有限。虽然相关研究可以提供更多的数据，但如何汇集这些异构数据仍然是一个悬而未决的问题。在本文中，我们提出了一个张量GGM的迁移学习框架，它充分利用了信息辅助域，即使存在非信息辅助域，受益于精心设计的数据自适应权重。我们的理论分析表明，大幅改善估计误差和变量选择一致性的目标域在更宽松的条件下，利用辅助域的信息。在合成张量图和脑功能连接网络数据上进行了大量的数值实验，结果表明所提出的方法具有令人满意的性能。
2022-11-17 cs.LG stat.ML
Learning of Tree-Structured Gaussian Graphical Models on Distributed Data under Communication Constraints
Sharif University of Technology（谢里夫理工大学）
在本文中，学习树结构的高斯图形模型从分布式数据。在我们的模型中，样本存储在一组分布式机器中，其中每台机器只能访问一个子集的功能。然后，中央机器负责基于从其他节点接收的消息来学习结构。我们提出了一套有效的沟通策略，理论上证明，传达足够的信息，可靠的学习的结构。特别是，我们的分析表明，即使每台机器只发送其本地数据样本的标志到中心节点，树结构仍然可以恢复高精度。我们在合成和真实世界数据集上的模拟结果表明，我们的策略在推断底层结构方面达到了预期的准确性，同时在通信上花费了少量预算。
2018-09-21 cs.LG stat.ML
GmGM: a Fast Multi-Axis Gaussian Graphical Model
University of Leeds（利兹大学）
本文提出GmGM模型，通过每轴仅一次特征分解同时学习共享轴的多张量稀疏图表示，实现数量级加速，适用于单细胞多组学等大型多模态数据。
2024-02-27 cs.LG stat.ML
Estimation of partially known Gaussian graphical models with score-based structural priors
Rice University（莱斯大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
本文提出一种融合图上先验信息的部分已知高斯图模型支持估计算法，利用退火朗之万扩散和图神经网络估计分数函数，从后验分布采样以提升估计性能。
2024-02-23 cs.LG stat.ML
Learning Latent Variable Gaussian Graphical Models
University of Michigan（密歇根大学）；Technicolor Research Center（特艺集团研究中心）
高斯图模型（GGM）已经广泛应用于从生物和金融数据到推荐系统的许多高维应用中。GGM中的稀疏性在统计和计算上都起着核心作用。不幸的是，真实世界的数据往往不适合稀疏的图形模型。在本文中，我们专注于一个家庭的潜变量高斯图形模型（LVGGM），该模型是有条件的稀疏给定的潜变量，但在一定程度上非稀疏。在LVGGM中，逆协方差矩阵具有低秩加稀疏结构，并且可以在正则化的极大似然框架中学习。在高维环境下，我们在温和的条件下得到了新的LVGGM的参数估计误差界。这些结果补充了现有的结构学习理论，并开辟了新的可能性，使用LVGGM的统计推断。
2014-06-10 cs.LG math.ST stat.ML
Clusterpath Gaussian Graphical Modeling
Department of Econometrics, Erasmus University Rotterdam（埃因霍温大学经济系）；Department of Quantitative Economics, Maastricht University（马斯特里赫特大学数量经济学系）
本文提出聚类路径高斯图模型(CGGM)，通过数据驱动的聚类方法解决高维变量下的图模型解释难题，通过凸优化问题实现变量分组，并在模拟和实际应用中展现优越性能。
2026-03-24 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Partial Separability and Functional Graphical Models for Multivariate Gaussian Processes
多元函数数据的协方差结构可能非常复杂，特别是如果多元维度很大，这使得将标准多元数据的统计方法扩展到函数数据设置具有挑战性。例如，高斯图形模型最近已被扩展到设置多元函数数据，通过应用多元方法截断基展开的系数。然而，与多变量数据相比，一个关键的困难是协方差算子是紧凑的，因此不可逆。在本文中的方法解决了一般问题的协方差建模的多元函数数据，特别是功能高斯图形模型。作为第一步，提出了一个新的概念的多元函数数据的协方差算子的可分性，称为部分可分性，导致一个新的Karhunen-Loève型扩展这样的数据。接下来，部分可分性结构被证明是特别有用的，以提供一个定义良好的功能高斯图形模型，可以确定与一系列的有限维图形模型，每个相同的固定尺寸。这促使一个简单而有效的估计程序，通过联合图形套索的应用。通过模拟和分析运动任务期间的功能性大脑连接来评估图形模型估计方法的经验性能。通过模拟和分析运动任务期间的功能性大脑连接来评估用于图形模型估计的方法的经验性能。
2022-01-04 math.ST stat.ME stat.ML
Maximum likelihood thresholds of Gaussian graphical models and graphical lasso
本研究针对高维高斯图模型，考察用 graphical lasso 在 n 个样本上选择并拟合模型时，n 达到对应图最大似然阈值的概率，并通过计算实验给出结果。
2023-12-05 math.ST stat.ML stat.TH
Nonlinear Statistical Learning with Truncated Gaussian Graphical Models
我们介绍了截断高斯图形模型（TGGM）作为一种新的框架设计统计模型的非线性学习。TGGM是一个高斯图模型（GGM），其中一个变量子集被截断为非负。截断变量被假定为潜在的，并整合出来，以诱导一个边际模型。我们证明了边际模型中的变量是非高斯分布的，它们的期望关系是非线性的。我们使用期望最大化的非线性模型的推理到一系列TGGM推理问题，其中每一个有效地解决了使用多元高斯分布的属性和数值方法。我们使用TGGM来设计用于非线性回归和分类的模型，这些模型的性能在广泛的基准数据集上得到了证明，并与最先进的竞争结果进行了比较。
2016-11-20 stat.ML
Learning Gaussian Graphical Models with Ordered Weighted L1 Regularization
McGill University（麦吉尔大学）
我们解决的任务，确定密集连接的多变量高斯随机变量的子集内的图形模型框架。我们提出了两个新的估计基于有序加权$\ell_1$（OWL）范数：1）图形OWL（GOWL）是一种惩罚似然方法，适用于OWL范数的精度矩阵的下三角分量。2)逐列图形OWL（ccGOWL）通过执行OWL正则化线性回归来估计精度矩阵。这两种方法可以同时识别高度相关的变量组，并控制所得精度矩阵的稀疏性。我们制定GOWL，它解决了一个复合优化问题，并建立估计有一个唯一的全局解。此外，我们证明了充分的分组条件的ccGOWL精度矩阵估计的每一列。我们提出了近似下降算法，以找到最佳的两个估计。对于存在组结构的合成数据，ccGOWL估计器需要显著减少的计算，并实现与最先进的估计器相似或更高的精度。定时比较，并展示了卓越的计算效率的ccGOWL。我们说明了分组性能的ccGOWL方法对癌症基因表达数据集和股票数据集。
2020-11-19 cs.LG stat.ML
High Dimensional Semiparametric Gaussian Copula Graphical Models
在本文中，我们提出了一个半参数的方法，命名为nonparanormal怀疑，有效和鲁棒的估计高维无向图模型。为了实现建模的灵活性，我们考虑了Liu等人（2009）提出的高斯Copula图形模型（或非超自然模型）。为了实现估计的鲁棒性，我们利用非参数基于秩的相关系数估计，包括斯皮尔曼的ρ和肯德尔的τ。在高维情况下，我们证明了非超常怀疑论者在图和参数估计中都达到了最优的参数收敛速度。这一令人欣喜的结果表明，高斯copula图形模型可以作为流行的高斯图形模型的安全替代品，即使数据是真正的高斯。除了理论分析，我们还进行了彻底的数值模拟，比较不同的估计，他们的图恢复性能在理想和嘈杂的设置。所提出的方法，然后应用于一个大规模的基因组数据集，以说明其经验的有用性。实现所提出的方法的R语言软件包可以在Comprehensive R Archive Network上获得：http：//cran。r-project.org/.
2012-07-27 stat.ML
Adaptive Lasso for High Dimensional Regression and Gaussian Graphical Modeling
我们证明了两阶段自适应Lasso过程（Zou，2006）对于线性和高斯图模型中的高维模型选择是一致的。我们的一致性条件比以前的工作中所完成的条件覆盖了更一般的情况：我们证明了限制特征值条件（Bickel等人，2008）对于稀疏结构估计也是足够的。
2009-03-13 math.ST stat.ML stat.TH
Transfer Learning in Large-scale Gaussian Graphical Models with False Discovery Rate Control
研究了高维高斯图模型（GGM）的迁移学习，目的是利用相似和相关辅助研究的数据来估计目标GGM。目标图和每个辅助图之间的相似性由发散矩阵的稀疏性来表征。一种估计算法，跨CLIME，提出并证明，以达到更快的收敛速度比最小最大速率在单一的研究设置。此外，一个去偏的trans-CLIME估计被引入，并证明是逐元素渐近正态的。它被用来构建一个多重检验过程的边缘检测与错误发现率控制。所提出的估计和多重检验程序在模拟中表现出优越的数值性能，并通过利用来自多个其他脑组织的基因表达来推断目标脑组织中的基因网络。观察到预测误差的显著减少和链路检测功率的显著增加。
2020-10-21 stat.ME stat.ML
Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes
University of Tuebingen（图宾根大学）
分布式高斯过程（Distributed Gaussian Process，DGP）是一种将GP扩展到大数据的流行方法，它将训练数据划分为若干子集，对每个子集执行局部推理，并将结果聚合以获得全局预测。为了组合局部预测，使用条件独立假设，这基本上意味着子集之间存在完美的多样性。虽然它使聚合易于处理，但在实践中经常违反它，并且通常产生很差的结果。在本文中，我们提出了一种新的方法来聚集高斯专家的预测高斯图模型（GGM）的目标聚集被定义为一个不可观测的潜变量和本地预测的观测变量。我们首先使用期望最大化（EM）算法估计潜变量和观测变量的联合分布。利用联合分布的精度矩阵对专家间的交互作用进行编码，并根据条件高斯分布的性质得到聚合预测。使用合成和真实数据集，我们的实验评估表明，我们的新方法优于其他国家的最先进的DGP方法。
2022-02-07 cs.DC cs.LG stat.ML
On perfectness in Gaussian graphical models
为了将图中的分离与分布中的条件独立性联系起来，知道图模型何时对于分布是完美的是必不可少的，这在从数据进行推断时尤其重要。当模型是完美的时，分布中的条件独立语句和图中的分离语句之间存在一一对应。以前的工作已经表明，几乎所有基于线性有向无圈图以及高斯链图的模型都是完美的，后者包含高斯图形模型（即，无向高斯模型）作为特例。然而，链图模型的复杂性导致了这个结果的证明，这是间接的，并且由于参数化这个通用类的复杂性而陷入困境。在本文中，我们直接接近的高斯图形模型的完美性问题，并提供了一个新的证明，通过一个更透明的参数化，几乎所有这样的模型是完美的。我们的方法是基于，并大大扩展，建设Lnnička和Matúnika显示存在一个完美的高斯分布的任何图形。
2019-09-03 cs.LG math.ST stat.ML
Learning Gaussian Graphical Models under Total Positivity via Spectral Graph Sparsification
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
本文提出了一种基于谱图稀疏化的高斯图模型学习方法Spectral-MTP2，通过总正性约束在保持模型准确性的同时生成更稀疏可解释的图结构。
2026-05-16 stat.ME stat.ML
