Symmetries in Directed Gaussian Graphical Models
我们定义高斯图形模型的有向无圈图与着色的顶点和边,称之为RDAG(限制有向无圈图)模型。如果两个顶点或边具有相同的颜色,则它们在模型中的参数必须相同。提出了一种算法来求RDAG模型的最大似然估计,并通过线性独立性条件证明了MLE的存在性。我们关系到一个图的属性,它的着色,需要的MLE存在和唯一的样本个数。我们还讨论了当RDAG模型等于一个相关的无向图形模型,并研究连接组和不变理论。我们提供的例子和模拟研究的好处RDAGs在无色的DAG。
2022-05-27 math.AG math.ST stat.TH
A scalable quasi-Bayesian framework for Gaussian graphical models
本文研究了高维高斯图模型的贝叶斯估计。我们开发了Meinshausen和Buhlmann(2006)的邻域选择方法的准贝叶斯实现,用于估计高斯图模型。该方法产生的产品形式的准后验分布,可以有效地探索并行计算。我们推导出了拟后验分布的收缩率的非渐近界。结果表明,所提出的准后验分布以邻域选择中涉及的线性回归的最差收缩率的速率向真精度矩阵收缩.我们开发了一个用于近似计算的马尔可夫链蒙特卡罗算法,遵循Atchade(2015)的方法。我们说明了模拟研究的方法。结果表明,该方法可以拟合高斯图模型的规模与其他贝叶斯方法的图模型。
2015-12-25 math.ST stat.TH
Stratified Gaussian Graphical Models
高斯图形模型代表了分析连续多变量系统的统计工具箱的支柱。然而,由于多元正态分布的内在属性,使用该模型族可能隐藏某些形式的上下文特定的独立性,这些独立性从应用的角度来看是自然考虑的。这种独立性在早期已经被引入,以将离散图形模型和贝叶斯网络推广到更灵活的模型族中。在这里,我们通过引入欧几里得空间的分层来适应高斯图形模型的上下文特定的独立性的想法,使得条件独立性可以在某些部分中保持,但在其他地方不存在。它表明,分层模型定义了一个弯曲的指数族,它保留了相当大的易处理的参数估计和模型选择。
2014-09-08 math.ST stat.TH
Graphical Nonconvex Optimization for Optimal Estimation in Gaussian Graphical Models
我们考虑学习高维高斯图模型的问题。图形套索是估计高斯图模型的最流行的方法之一。然而,它没有达到预言的收敛速度。本文提出了高斯图模型中最优估计的图非凸优化问题,并将其近似为一列凸规划。我们的建议是计算易处理的,并产生一个估计,实现了甲骨文的收敛速度。通过一个收缩性质,清楚地证明了使用凸规划的序列逼近引入的统计误差。使用稀疏模式的概念可以进一步提高收敛速度。所提出的方法,然后扩展到半参数图形模型。我们通过数值研究表明,所提出的估计优于其他流行的方法估计高斯图形模型。
2017-06-04 math.ST stat.ML stat.TH
Extended Bayesian Information Criteria for Gaussian Graphical Models
在逆协方差阵中具有稀疏性的高斯图模型在许多现代应用中具有重要意义。对于恢复的图形结构的问题,信息标准提供了有用的优化目标的算法搜索通过组的图形或其他方法,如图形套索,这是一种可能性惩罚技术的调整参数的选择。在本文中,我们建立了一个扩展的贝叶斯信息准则的一致性高斯图模型的情况下,变量的数量p和样本量n增长。与早期的工作相比,回归的情况下,我们的治疗允许增长的非零参数的数量在真正的模型,这是必要的,以覆盖连通图。我们证明了这个标准的性能与图形套索一起使用时,模拟数据,并验证该标准确实比交叉验证或普通贝叶斯信息标准时,p和非零参数q的数量都与n的规模更好。
2010-11-30 math.ST stat.TH
Identifiability of directed Gaussian graphical models with one latent source
研究了具有一个潜变量的有向高斯图模型的参数可辨识性。在我们考虑的场景中,潜变量是一个混淆因素,它形成了图的源节点,并且是所有其他节点的父节点,这些节点对应于观察到的变量。我们给出了一个图形条件,这是充分的雅可比矩阵的参数化映射是满秩的,这意味着参数化是一般有限到一个,有时也被称为局部可识别性的事实。我们还推导出一个图形的条件,是必要的,这样的可识别性。最后,我们给出了一个条件,在此条件下,一般参数的可识别性可以确定与一个子图的模型的可识别性。这些标准的力量进行评估,通过一个详尽的代数计算研究模型与4,5,和6个可观察的变量。
2015-05-07 math.ST stat.TH
Multiple Testing and Error Control in Gaussian Graphical Model Selection
图形模型为探索多元依赖模式提供了一个框架。图和统计模型之间的连接是通过识别具有观察到的变量的图的顶点,并将图中的边的模式转换为施加在变量的联合分布上的条件独立性的模式来实现的。聚焦高斯模型,我们回顾经典的图形模型。对于这些模型,定义的条件独立性等同于与图中不存在的各个边相关联的某些(部分)相关系数的消失。因此,高斯图形模型选择可以通过对关于消失(部分)相关系数的假设进行多次测试来执行。我们展示并分析了这种方法如何在控制不正确边缘包含的差错率的同时进行模型选择。
2008-02-05 math.ST stat.TH
Exact Inference on Gaussian Graphical Models of Arbitrary Topology using Path-Sums
本文给出了任意拓扑的高斯图模型上边缘点精确统计推断的路径和公式。路径和公式将每对变量之间的协方差表示为有限深度和宽度的分支连分数。我们的方法源于协方差阵的走和表示的无限项族的封闭形式求和。我们证明了对于协方差阵为正定的模型,路径和公式总是存在的,即~它对任意拓扑结构的可行走求和和不可行走求和图模型都是有效的。我们表明,树的图形模型的路径和制定是等价的高斯信念传播。我们还恢复,作为一个推论,现有的结果,使用行列式计算的协方差阵。我们表明,路径和制定是有效的逆协方差阵的任意分区。我们给出了详细的例子来证明我们的结果。
2014-10-27 math.ST stat.TH
PC algorithm for Gaussian copula graphical models
PC算法使用无环有向图的图形建模中的模型选择的条件独立性测试。在高斯模型中,条件独立性的测试通常基于皮尔逊相关性,并且在这种设置中已经获得了PC算法的高维一致性结果。我们证明,高维一致性进行到更广泛的类高斯copula或\textit{nonparanormal}模型时,使用基于秩的相关性措施。对于度有界的图,我们的结果与高斯结果一样强。在模拟中,“秩PC”算法对于正态数据的工作效果与“皮尔逊PC”算法一样好,对于非正态高斯copula数据的工作效果要好得多,而计算时间的增加可以忽略不计。污染数据的模拟表明,秩相关性也可以比其他鲁棒估计在以前的工作中考虑的基础分布不属于nonparanormal家庭。
2012-07-01 math.ST stat.TH
Positivity for Gaussian graphical models
高斯图模型是联合正态随机变量的参数统计模型,其依赖结构由图确定。在以前的工作中,我们介绍了跋涉分离,它给出了一个充要条件和充分条件的图形时,一个子行列式为零的所有协方差阵属于高斯图形模型。在这里,我们扩展这个结果,给出明确的取消免费公式的非零子行列式的扩展。
2012-10-01 math.CO math.ST stat.TH
Uniformly most powerful unbiased test for conditional independence in Gaussian graphical model
高斯浓度图的模型选择是基于成对条件独立性的多重检验。在实际应用中,偏相关检验被广泛应用。然而,目前还不知道是否偏相关测试是最强大的成对条件独立性测试。这个问题在论文中得到了回答。得到了Neymann结构的一致最强无偏检验。结果表明,该检验可简化为通常的偏相关检验。这意味着偏相关检验是一致最有效的无偏检验。
2016-10-02 math.ST stat.TH
Graphical methods for efficient likelihood inference in Gaussian covariance models
在图形建模中,有向图对用图的顶点标识的随机变量之间的边缘独立性进行编码。我们展示了如何将一个双有向图转换成一个最大的祖先图,(i)表示与原始双有向图相同的独立结构,(ii)最小化满足(i)的所有祖先图中箭头的数量。这里,祖先图的箭头数是有向边数加上双向边数的两倍。在高斯模型中,这种构造可用于似然函数的更有效的迭代最大化,并确定何时最大似然估计等于经验对应值。
2008-03-25 math.ST stat.TH
Maximum likelihood thresholds of Gaussian graphical models and graphical lasso
本研究针对高维高斯图模型,考察用 graphical lasso 在 n 个样本上选择并拟合模型时,n 达到对应图最大似然阈值的概率,并通过计算实验给出结果。
2023-12-05 math.ST stat.ML stat.TH
Adaptive Lasso for High Dimensional Regression and Gaussian Graphical Modeling
我们证明了两阶段自适应Lasso过程(Zou,2006)对于线性和高斯图模型中的高维模型选择是一致的。我们的一致性条件比以前的工作中所完成的条件覆盖了更一般的情况:我们证明了限制特征值条件(Bickel等人,2008)对于稀疏结构估计也是足够的。
2009-03-13 math.ST stat.ML stat.TH
Multiple Changepoint Estimation in High-Dimensional Gaussian Graphical Models
我们考虑了多元时间序列中同时识别变点和图形依赖结构的正则化估计的一致性。传统上,高斯图形模型(GGM)的估计是在i.i.d设置中执行的。最近,这种模型已经扩展到允许分布的变化,但只有在变点是已知的先验。在这项工作中,我们研究了组融合图形套索(GFGL),它用L1惩罚惩罚部分相关性,同时诱导块平滑随着时间的推移来检测多个变化点。我们提出了一个证明的一致性的估计,无论是在变点,在每个部分的图形模型的结构。
2017-12-15 math.ST stat.ME stat.TH
An explicit link between graphical models and Gaussian Markov random fields on metric graphs
本文建立度量图上高斯马尔可夫随机场与高斯图模型的显式对应,证明顶点限制分布忠实于邻域图,并据此推出一般度量图上不存在兼具马尔可夫性与各向同性的高斯随机场。
2025-01-07 math.PR math.ST stat.TH
Nested Covariance Determinants and Restricted Trek Separation in Gaussian Graphical Models
有向图模型指定随机变量集合之间的噪声函数关系。在高斯情况下,每个这样的模型对应于正定协方差阵的半代数集.该集合是通过参数化给出的,并且已经进行了大量的工作来获得多项式(不)等式方面的隐式描述。隐式描述揭示了诸如参数识别、模型等价和基于约束的统计推断等问题。对于由有向无圈图给出的模型,它表示所有相关变量都被观察到的设置,有一个完整的理论:所有条件独立关系都可以通过图形$d$ -分离找到,并且足以用于隐式描述。然而,当某些变量是隐藏的(或者换句话说,未观察到或潜在的)时,情况就复杂得多了。我们考虑与混合图相关的模型,通过相关误差项捕获隐藏变量的影响。跋涉分离的概念解释了这种模型中的协方差阵何时具有低秩子矩阵,并推广了$d$ -分离。然而,在许多情况下,例如臭名昭著的Verma图,定义图形模型的多项式不是行列式的,因此不能用$d$ -分离或trek-separation来解释。在本文中,我们表明,这些限制往往对应于嵌套的行列式的消失,可以用图形解释的概念限制跋涉分离。
2018-07-19 math.ST stat.TH
Proof of a Conjecture of Drton, Sturmfels and Sullivant on the maximum likelihood degree of the Gaussian graphical model of a cycle
本文通过计算环的高斯图模型极大似然度的精确值,证实了Drton, Sturmfels和Sullivant提出的猜想。
2025-03-04 math.AG math.PR math.ST
Covariance estimation in decomposable Gaussian graphical models
图模型是一种使用图表示和利用分布中先验条件独立结构的框架。在高斯情况下,这些模型与逆协方差(浓度)矩阵的稀疏性直接相关,并且允许以较低的计算复杂性改进协方差估计。我们认为浓度估计的均方误差(MSE)为目标,在一个特殊类型的模型称为分解。这种模式包括,例如,众所周知的带状结构和其他情况下遇到的实践。我们的第一个贡献是推导和分析的最小方差无偏估计(MVUE)在可分解的图形模型。我们提供了一个简单的封闭形式的MVUE的解决方案,并比较它与经典的最大似然估计(MLE)的性能和复杂性。接下来,我们将著名的Stein无偏风险估计(SURE)扩展到图形模型。使用SURE,我们证明了MVUE的MSE总是小于或等于偏置MLE的MSE,并且MVUE本身由其他方法主导。此外,我们建议使用的SURE作为一个建设性的机制,获得新的协方差估计。类似于经典的极大似然估计,我们提出的所有估计都有简单的封闭形式的解决方案,但在MSE显着减少的结果。
2009-03-06 math.ST stat.TH
Gaussian graphical models with toric vanishing ideals
高斯图模型是正定协方差阵锥的半代数子集。它们广泛应用于自然科学、计算生物学和许多其他领域。计算模型的消失理想给了我们一个隐式的模型描述。本文从\cite{BS n CU}出发,求解了Sturmfels和Uhler的两个解.特别是,我们描述了这些图的消失理想的高斯图形模型生成的程度$1$和$2$。这些结果是高斯图模型,其理想是复曲面理想,所得到的图是完全图的$1$ -团和。
2020-09-18 math.AG math.CO math.ST
A skew Gaussian decomposable graphical model
本文提出了一种新的可分解的图形模型,以适应斜高斯图形模型。我们通过一个可分解的图对多元闭斜向正态随机向量的分量之间的条件独立结构进行编码,使得精度矩阵中的零非对角元素的模式对应于给定图的缺失边。我们提出的条件,保证适当的后验分布下的标准无信息的先验均值向量和精度矩阵,和一个适当的偏度参数的先验。的参数的可识别性进行了研究,通过仿真研究。最后,我们将我们的方法应用于两个数据集。
2013-09-20 math.ST stat.ME stat.TH
On the Information-theoretic Limits of Graphical Model Selection for Gaussian Time Series
考虑了基于有限长观测值的多元平稳离散时间高斯随机过程的条件独立图的推断问题。使用信息论的方法,我们推导出一个下界的错误概率的任何学习计划的底层进程CIG。这个界限,反过来,产生一个最小的所需的样本大小,这是必要的任何算法,无论其计算复杂性,可靠地选择真正的基础CIG。此外,通过分析一个简单的选择方案,我们表明,信息理论的限制可以实现的一个子类的过程具有稀疏CIG。我们不假设所观察到的过程的参数模型,但要求它有一个足够光滑的谱密度矩阵(SDM)。
2014-03-05 math.ST stat.TH
On the maximum likelihood degree for Gaussian graphical models
该研究重新探讨高斯图模型的似然几何,证明ML-degree在诱导子图上单调,补全n≥4时第n环ML-degree大于1的论证以完善有理MLE的图模型刻画,还验证了Drton等人的环ML-degree猜想公式为正确下界。
2024-10-09 math.AG math.ST stat.TH
Latent Gaussian and Hüsler--Reiss Graphical Models with Golazo Penalty
本文提出用灵活的 Golazo 惩罚统一推广潜在高斯与 Hüsler–Reiss 图模型的结构学习,可涵盖自适应 lasso、正依赖约束和预定稀疏模式,并开发算法在模拟与真实数据上验证。
2025-02-04 math.ST stat.ME stat.TH
Statistical Inference on High Dimensional Gaussian Graphical Regression Models
针对高维高斯图回归中统计推断未被探索的问题,提出基于多任务学习器的去偏估计量,通过新型投影技术降低计算成本,证明其渐近正态性可支撑有效统计推断,模拟和脑癌基因数据分析验证了实用性。
2024-11-03 math.ST stat.ME stat.TH
Sullivant-Talaska ideal of the cyclic Gaussian Graphical Model
本文解决了Sturmfels和Uhler关于循环图高斯图模型簇的素理想生成的猜想,并提出了适用于具有根初始理想的一大类理想的一般性方法。
2023-08-10 math.AC math.AG math.CO
Partial correlation hypersurfaces in Gaussian graphical models
我们推导出一个组合充分条件的偏相关超曲面的参数空间的有向高斯图形模型是非奇异的,并推测这个条件是否可以用于算法学习的图形。由于在任意数目顶点上的完全DAG的情况下满足该条件,该结果意味着对Lin-Uhler-Sturmfels-Bühlmann提出的问题的肯定回答。
2018-09-21 math.AG math.CO math.ST
High Dimensional Gaussian Graphical Regression Models with Covariates
虽然高斯图模型已被广泛应用于许多科学领域,相对有限的进展已取得联系图结构的外部协变量。我们提出了一个高斯图回归模型,它回归的平均值和精度矩阵的高斯图模型的协变量。在共表达数量性状基因座(QTL)研究的背景下,我们的方法可以确定遗传变异和临床状况如何调节受试者级别的网络结构,并恢复群体级别和受试者级别的基因网络。我们的框架鼓励协变量对均值和精度矩阵的影响稀疏。特别是对于精度矩阵,我们规定同时稀疏,即,组稀疏性和元素稀疏性,分别对有效协变量及其对网络边缘的影响。我们首先在已知均值参数的情况下建立变量选择一致性,然后在均值未知依赖于外部协变量的情况下建立更具挑战性的变量选择一致性,并在这两种情况下建立估计精度参数的$\ell_2$收敛速度和选择一致性。我们提出的方法的实用性和有效性证明,通过模拟研究和应用程序与脑癌患者的共表达QTL研究。
2022-01-29 math.ST stat.ME stat.TH
Asymptotically Normal and Efficient Estimation of Covariate-Adjusted Gaussian Graphical Model
提出了一种无调谐的方法来估计协变量调整的高斯图模型。对于每个有限子图,该估计是渐近正态的和有效的。因此,可以获得每个边缘的置信区间。该方法通过对子图或边的并行估计,实现简单,计算效率高。我们进一步应用渐近正态性的结果,通过边缘自适应阈值进行支持恢复。这种支持度恢复过程称为ANTAC,代表调整协变量后保持不变的渐近正态估计。在一系列的模拟研究中,ANTAC优于文献中的其他方法。我们应用ANTAC使用eQTL数据集来识别基因-基因相互作用。与CAMPE相比,我们的结果具有更好的可解释性和准确性。
2013-09-23 math.ST stat.ME stat.TH
Exponential decay of pairwise correlation in Gaussian graphical models with an equicorrelational one-dimensional connection pattern
我们考虑高斯图形模型与等相关和一维条件独立图。我们发现,成对相关性衰减指数作为距离的函数。我们还提供了一个限制时,变量的数量趋于无穷大,并量化有限和无限的情况下之间的差异。
2020-11-30 cond-mat.stat-mech math-ph math.MP
Symmetrically colored Gaussian graphical models with toric vanishing ideal
本文研究RCOP着色高斯图模型,证明其在块图上的协方差矩阵空间中具有环面性质,并描述了相应的Markov基,同时揭示了其组合结构与Jordan代数的联系。
2022-11-05 math.AG math.CO math.ST
Learning Latent Variable Gaussian Graphical Models
University of Michigan(密歇根大学);Technicolor Research Center(特艺集团研究中心)
高斯图模型(GGM)已经广泛应用于从生物和金融数据到推荐系统的许多高维应用中。GGM中的稀疏性在统计和计算上都起着核心作用。不幸的是,真实世界的数据往往不适合稀疏的图形模型。在本文中,我们专注于一个家庭的潜变量高斯图形模型(LVGGM),该模型是有条件的稀疏给定的潜变量,但在一定程度上非稀疏。在LVGGM中,逆协方差矩阵具有低秩加稀疏结构,并且可以在正则化的极大似然框架中学习。在高维环境下,我们在温和的条件下得到了新的LVGGM的参数估计误差界。这些结果补充了现有的结构学习理论,并开辟了新的可能性,使用LVGGM的统计推断。
2014-06-10 cs.LG math.ST stat.ML
Partial Separability and Functional Graphical Models for Multivariate Gaussian Processes
多元函数数据的协方差结构可能非常复杂,特别是如果多元维度很大,这使得将标准多元数据的统计方法扩展到函数数据设置具有挑战性。例如,高斯图形模型最近已被扩展到设置多元函数数据,通过应用多元方法截断基展开的系数。然而,与多变量数据相比,一个关键的困难是协方差算子是紧凑的,因此不可逆。在本文中的方法解决了一般问题的协方差建模的多元函数数据,特别是功能高斯图形模型。作为第一步,提出了一个新的概念的多元函数数据的协方差算子的可分性,称为部分可分性,导致一个新的Karhunen-Loève型扩展这样的数据。接下来,部分可分性结构被证明是特别有用的,以提供一个定义良好的功能高斯图形模型,可以确定与一系列的有限维图形模型,每个相同的固定尺寸。这促使一个简单而有效的估计程序,通过联合图形套索的应用。通过模拟和分析运动任务期间的功能性大脑连接来评估图形模型估计方法的经验性能。通过模拟和分析运动任务期间的功能性大脑连接来评估用于图形模型估计的方法的经验性能。
2022-01-04 math.ST stat.ME stat.ML
High-Dimensional Gaussian Graphical Model Selection: Walk Summability and Local Separation Criterion
Center for Pervasive Communications and Computing(普适通信与计算中心);University of California, Irvine(加利福尼亚大学欧文分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Laboratory for Information and Decision Systems(信息与决策系统实验室);Massachusetts Institute of Technology(麻省理工学院)
我们考虑高维高斯图模型选择问题。我们确定了一组图,其中存在一个有效的估计算法,该算法是基于阈值的经验条件协方差。在一组透明条件下,当样本数n=omega(J_{min} ^{-2} log p)时,我们建立了算法的结构一致性(或稀疏性),其中p是变量数,J_{min}是图形模型的最小(绝对)边势.稀疏性的充分条件是基于模型的行走可求和性的概念和基础图中稀疏的局部顶点分离器的存在。我们还得到了新的非渐近的必要条件所需的稀疏样本的数量。
2012-03-04 cs.LG math.ST stat.TH
High-dimensional covariance estimation based on Gaussian graphical models
无向图通常用于描述高维分布。在稀疏性条件下,可以使用$\ell_1$ -惩罚方法来估计图。我们提出并研究了以下方法。我们结合了多元回归方法的阈值和改装的想法:首先,我们推断一个稀疏的无向图形模型结构,通过阈值之间的许多$\ell_1$ -范数惩罚回归函数,然后我们估计协方差阵和它的逆使用极大似然估计。我们证明了在适当的条件下,这种方法产生一致的估计的图形结构和快速收敛速度的操作和Frobenius范数的协方差阵及其逆。我们还得到了一个明确的界的库尔贝克-莱布勒散度。
2011-06-22 math.ST stat.ML stat.TH
On perfectness in Gaussian graphical models
为了将图中的分离与分布中的条件独立性联系起来,知道图模型何时对于分布是完美的是必不可少的,这在从数据进行推断时尤其重要。当模型是完美的时,分布中的条件独立语句和图中的分离语句之间存在一一对应。以前的工作已经表明,几乎所有基于线性有向无圈图以及高斯链图的模型都是完美的,后者包含高斯图形模型(即,无向高斯模型)作为特例。然而,链图模型的复杂性导致了这个结果的证明,这是间接的,并且由于参数化这个通用类的复杂性而陷入困境。在本文中,我们直接接近的高斯图形模型的完美性问题,并提供了一个新的证明,通过一个更透明的参数化,几乎所有这样的模型是完美的。我们的方法是基于,并大大扩展,建设Lnnička和Matúnika显示存在一个完美的高斯分布的任何图形。
2019-09-03 cs.LG math.ST stat.ML
A Bayesian approach for partial Gaussian graphical models with sparsity
我们探索各种贝叶斯方法来估计部分高斯图形模型。我们的分层结构能够处理单输出以及多输出线性回归,在小或高维,通过预测和响应之间的部分相关性(直接链接),通过与每个设置对应的尖峰和板先验,强制执行无稀疏性,稀疏性,组稀疏性或甚至稀疏组稀疏性的双水平选择。适应性和全球收缩也纳入贝叶斯建模的直接联系。现有的模型选择一致性的结果是重新制定坚持我们的稀疏和组稀疏设置,提供了理论保证下的一些技术假设。吉布斯采样器的开发和仿真研究表明,我们的模型,这给非常有竞争力的结果,特别是在支持恢复的效率。最后,研究了一个真实的数据集。
2021-12-13 math.ST stat.ME stat.TH
On model misspecification and KL separation for Gaussian graphical models
我们建立了两个多元高斯分布之间的KL分歧的界限,在相应的图形模型的边缘集之间的汉明距离。我们表明,KL分歧是有界的一个常数,当图形不同的至少一个边缘,这基本上是最严格的可能的界限,因为类的图形存在的边缘差异增加,但KL分歧仍然有界的一个常数以上。作为KL下限的自然推论,我们还通过最大似然估计建立了正确模型选择的样本量要求。我们的研究结果严格的概念,它是必不可少的估计高斯图形模型的边缘结构准确,以近似的真实分布接近精度。
2015-04-03 cs.IT math.IT math.ST
An empirical $G$-Wishart prior for sparse high-dimensional Gaussian graphical models
在高斯图模型中,精度矩阵中的零元素决定了依赖结构,因此估计稀疏精度矩阵并由此学习该底层结构是一个重要且具有挑战性的问题。我们提出了一个经验版本的$G$ -Wishart先验稀疏精度矩阵,先验模式是由数据以适当的方式通知。与图结构上的先验配对,获得相同的边缘后验分布,其采取两个$G$ -Wishart归一化常数的比率的形式。我们表明,这个比例可以很容易地和准确地计算使用拉普拉斯近似,从而导致快速和有效的后验采样,即使在高维。数值结果表明,所提出的方法的优越性能,在速度和精度方面,在各种设置,并提供了理论支持的形式后浓度率定理。
2019-12-09 math.ST stat.ME stat.TH
Geometry of maximum likelihood estimation in Gaussian graphical models
本文从几何角度研究了高斯图模型中的极大似然估计。一个代数消除准则允许我们找到精确的下界的观测数,以确保最大似然估计(MLE)存在的概率为1。这适用于二部图、网格和有色图。我们还研究了ML度,我们提出了一个图的第一个实例,其中MLE存在的概率为1,即使观察的数量等于树宽。
2012-05-29 math.AG math.OC math.ST
Third-Order Moment Varieties of Linear Non-Gaussian Graphical Models
本文从代数统计的角度研究线性非高斯图模型。这些是非循环因果模型,其中每个变量都是其直接原因和独立噪声的线性组合。基础有向因果图可以通过位于相应模型中的所有随机向量的二阶和三阶矩的集合唯一地识别。我们的重点是找到一个给定的图的这些时刻之间的代数关系。我们表明,当图是一个多树这些关系形成一个环面理想。我们构造了图中2-treks和3-treks的显式treks矩阵。它们的项是协方差和三阶矩,它们的2-子项从理论上定义了我们的模型集。此外,我们证明了它们的2-子式也生成模型的消失理想。最后,我们描述了三阶矩的多面体和隐变量模型的理想。
2021-12-20 math.AG math.ST stat.TH
High-dimensional Gaussian Graphical Model Testing for Long-Memory Time Series
University of Chicago(芝加哥大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对长记忆高维时间序列,提出数据自适应的条件独立性检验统计量,建立有限样本高斯近似界,采用块自助法,并应用于fMRI数据分析脑功能连接。
2026-11-06 math.ST stat.ME stat.ML
ROCKET: Robust Confidence Intervals via Kendall's Tau for Transelliptical Graphical Models
无向图模型广泛用于生物和社会科学中,以编码变量之间的条件独立模式,其中两个节点$a$和$b$之间不存在边指示在控制所有其他测量变量之后,相对应的两个变量$X_a$和$X_b$被认为是条件独立的。在高斯情况下,条件独立性对应于精度矩阵$Ω$(协方差阵$Σ$的逆)中的零项。真实数据往往表现出严重的尾部变量之间的依赖性,这不能被常用的高斯或非paranormal(高斯copula)图形模型捕捉。在本文中,我们研究了transelliptical模型,椭圆copula模型,广义高斯和nonparanormal模型的分布更广泛的家庭。我们提出了火箭方法,它构造了一个估计的$Ω_{ab}$,我们证明是渐近正常的温和的假设下。从经验上讲,ROCKET在实现对模拟数据的准确推断方面优于非超自然模型和高斯模型。我们还比较了这三种方法的实际数据(每日股票收益率),并发现火箭估计是唯一的方法,其行为在子样本同意的分布理论预测。
2017-09-01 cs.LG math.ST stat.TH
Trek separation for Gaussian graphical models
高斯图模型是正定协方差阵锥的半代数子集。低秩子矩阵对应于随机变量集合上条件独立约束的推广。我们给出了一个精确的图论表征时的协方差阵的子矩阵有小秩的一般类的混合图,其中包括有向无环和无向图作为特殊情况。我们新的Trek分离准则推广了熟悉的$d$ -分离准则。证明是基于跋涉规则,由此产生的矩阵分解和经典的代数组合定理的道路多项式的行列式的扩展。
2010-10-04 math.CO math.ST stat.ML
Faithlessness in Gaussian graphical models
研究高斯有向无环图模型中附加额外条件独立性陈述的蕴含问题,利用代数技术完整刻画了蕴含具有图性质的条件,并为近似偏相关蕴含问题提供了图解法。
2024-04-24 math.AC math.CO math.ST
Sequential change-point detection in high-dimensional Gaussian graphical models
Institute for Mathematics and its Applications, University of Minnesota(明尼苏达大学数学及其应用研究所);University of Florida(佛罗里达大学);University of Michigan(密歇根大学)
高维分段平稳图模型代表了一个通用的类建模时变网络出现在不同的应用领域,包括生物学,经济学和社会科学。最近的工作是离线检测和估计稀疏图形模型的拓扑结构中的状态变化。然而,在线设置仍然在很大程度上未被开发,尽管其高度相关的传感器网络和其他工程监控系统,以及金融市场的应用。为此,这项工作介绍了一种新的可扩展的在线算法检测未知数量的突变的逆协方差阵的稀疏高斯图形模型的小延迟。该算法是基于监测网络中的所有节点的条件对数似然,并可以扩展到一个大类的连续和离散的图形模型。我们还研究了我们的程序在一定的温和的正则条件下的图的大小,稀疏水平,样本数,和前和后的网络拓扑结构的变化的渐近性质。合成和真实数据的数值工作说明了所提出的方法在众多实验设置的计算和统计效率方面的良好性能。
2018-06-20 cs.LG math.ST stat.ML
Inconsistency of cross-validation for structure learning in Gaussian graphical models
University of Chicago(芝加哥大学)
本文指出交叉验证在高斯图模型结构学习中存在固有局限性,通过有限样本界限证明其不一致性,并经模拟实验对比其他信息准则,强调超参数精确校准的重要性。
2023-12-28 cs.LG math.ST stat.ME
Learning Linear Non-Gaussian Graphical Models with Multidirected Edges
The University of British Columbia(英属哥伦比亚大学)
本文提出了一种新的方法来学习给定观测数据的线性非高斯结构方程模型的底层非循环混合图。我们建立在王和Drton提出的算法,我们表明,可以通过学习{ \em多向边},而不是只有定向和双向的增加隐藏变量结构的恢复模型。当两个以上的观测变量有一个隐藏的共同原因时,就会出现多向边。我们检测到存在这样的隐藏的原因,通过寻找高阶累积量和利用多跋涉规则。我们的方法恢复正确的结构时,底层图是一个无弓无环混合图与潜在的多有向边。
2020-10-11 cs.LG math.ST stat.ML
Learning Gaussian Graphical Models via Multiplicative Weights
Khoury College of Computer Sciences(科瑞计算机学院);Northeastern University(东北大学);National University of Singapore(新加坡国立大学)
马尔可夫随机场中的图形模型选择是统计学和机器学习中的一个基本问题。两个特别突出的模型,伊辛模型和高斯模型,在很大程度上并行开发使用不同的(虽然往往相关)的技术,并建立了严格的样本复杂性界限的几个实用算法。在本文中,我们采用了Klivans和Meka最近提出的算法(FOCS,2017),基于乘法权重更新的方法,从Ising模型到高斯模型,通过对算法及其分析进行非平凡的修改。该算法具有与文献中的其他算法类似的样本复杂度界,在$m$样本和$p$节点的情况下具有较低的运行时间$O(mp^2)$,并且可以以在线方式实现。
2020-02-25 cs.IT cs.LG math.IT
Learning Some Popular Gaussian Graphical Models without Condition Number Bounds
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校)
高斯图模型在机器学习、自然科学和社会科学中有着广泛的应用。在应用它们的大多数设置中,观察到的样本数量远远小于维度,并且它们被假设为稀疏的。虽然有各种算法(例如Graphical Lasso,CLIME)可以证明用对数数量的样本恢复图结构,但它们假设各种条件,要求精度矩阵在某种意义上是良好条件的。在这里,我们给出了第一个多项式时间算法学习有吸引力的GGMs和行走可求和的GGMs与对数数量的样本,没有任何这样的假设。特别是,我们的算法可以容忍变量之间的强依赖关系。我们的结构恢复行走可求和GGM的结果是来自一个更一般的结果,有效的稀疏线性回归行走可求和模型,没有任何规范的依赖关系。我们补充我们的结果与实验表明,许多现有的算法失败,即使在一些简单的设置,有很长的依赖链,而我们没有。
2020-03-09 cs.DS cs.LG math.ST