Partial Separability and Functional Graphical Models for Multivariate Gaussian Processes
多元函数数据的协方差结构可能非常复杂,特别是如果多元维度很大,这使得将标准多元数据的统计方法扩展到函数数据设置具有挑战性。例如,高斯图形模型最近已被扩展到设置多元函数数据,通过应用多元方法截断基展开的系数。然而,与多变量数据相比,一个关键的困难是协方差算子是紧凑的,因此不可逆。在本文中的方法解决了一般问题的协方差建模的多元函数数据,特别是功能高斯图形模型。作为第一步,提出了一个新的概念的多元函数数据的协方差算子的可分性,称为部分可分性,导致一个新的Karhunen-Loève型扩展这样的数据。接下来,部分可分性结构被证明是特别有用的,以提供一个定义良好的功能高斯图形模型,可以确定与一系列的有限维图形模型,每个相同的固定尺寸。这促使一个简单而有效的估计程序,通过联合图形套索的应用。通过模拟和分析运动任务期间的功能性大脑连接来评估图形模型估计方法的经验性能。通过模拟和分析运动任务期间的功能性大脑连接来评估用于图形模型估计的方法的经验性能。
2022-01-04 math.ST stat.ME stat.ML
A Bayesian approach for partial Gaussian graphical models with sparsity
我们探索各种贝叶斯方法来估计部分高斯图形模型。我们的分层结构能够处理单输出以及多输出线性回归,在小或高维,通过预测和响应之间的部分相关性(直接链接),通过与每个设置对应的尖峰和板先验,强制执行无稀疏性,稀疏性,组稀疏性或甚至稀疏组稀疏性的双水平选择。适应性和全球收缩也纳入贝叶斯建模的直接联系。现有的模型选择一致性的结果是重新制定坚持我们的稀疏和组稀疏设置,提供了理论保证下的一些技术假设。吉布斯采样器的开发和仿真研究表明,我们的模型,这给非常有竞争力的结果,特别是在支持恢复的效率。最后,研究了一个真实的数据集。
2021-12-13 math.ST stat.ME stat.TH
An empirical $G$-Wishart prior for sparse high-dimensional Gaussian graphical models
在高斯图模型中,精度矩阵中的零元素决定了依赖结构,因此估计稀疏精度矩阵并由此学习该底层结构是一个重要且具有挑战性的问题。我们提出了一个经验版本的$G$ -Wishart先验稀疏精度矩阵,先验模式是由数据以适当的方式通知。与图结构上的先验配对,获得相同的边缘后验分布,其采取两个$G$ -Wishart归一化常数的比率的形式。我们表明,这个比例可以很容易地和准确地计算使用拉普拉斯近似,从而导致快速和有效的后验采样,即使在高维。数值结果表明,所提出的方法的优越性能,在速度和精度方面,在各种设置,并提供了理论支持的形式后浓度率定理。
2019-12-09 math.ST stat.ME stat.TH
Graphical Models and Exponential Families
Microsoft Research(微软研究院);Technion(以色列理工学院)
我们提供了一个分类的图形模型,根据其表示为指数族的子族。无隐变量的无向图模型是线性指数族(LEF),无隐变量的有向无环图模型和链图,包括具有多个局部分布族的贝叶斯网络,是弯曲指数族(CEF),而具有隐变量的图模型是分层指数族(SEF)。SEF是满足边界条件的CEF的有限并集。此外,我们说明了如何可以自动生成的独立性和非独立性约束的分布上的可观察变量隐含的贝叶斯网络的隐变量。这些结果的模型选择的相关性进行检查。
2013-01-30 cs.LG stat.ML
Accelerating Bayesian Structure Learning in Sparse Gaussian Graphical Models
高斯图模型是学习变量之间条件独立结构的相关工具。在这类模型中,贝叶斯结构学习通常通过图空间上的搜索算法来完成。满足图形约束的精度矩阵的共轭先验是著名的G-Wishart。有了这个先验,搜索算法中的转移概率需要评估G-Wishart的先验归一化常数的比率。在中到高维中,这个比率通常使用基于采样的方法来近似,作为搜索算法中计算昂贵的更新。到目前为止,计算这个比率一直是一个主要的计算瓶颈。我们克服了这个问题,表示一个搜索算法,在该算法中,归一化常数的比例进行了显式的封闭形式近似。在我们的搜索算法中使用这种近似,在不牺牲结构学习精度的情况下,显著提高了结构学习的可扩展性。我们研究的条件下,近似是有效的。我们还评估了我们的方法与模拟研究的有效性。我们表明,新的搜索算法与我们的近似优于国家的最先进的方法在计算效率和准确性。我们工作的实现可以在R包BDgraph中找到。
2021-07-16 math.ST stat.ME stat.ML
An Expectation Conditional Maximization approach for Gaussian graphical models
贝叶斯图模型是理解许多变量之间依赖关系的有用工具,特别是在具有外部先验信息的情况下。在高维环境中,可能的图的空间变得巨大,使得即使是最先进的贝叶斯随机搜索在计算上也不可行。我们提出了一个确定性的替代估计高斯和高斯copula图形模型使用期望条件最大化(ECM)算法,扩展EM方法从贝叶斯变量选择图形模型估计。我们表明,ECM方法可以快速后验探索下的混合先验序列,并可以将多个信息源。
2019-02-06 stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University(东北大学);Yamagata University(山形大学)
针对高斯图模型,提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外,我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Gaussian graphical modeling for spectrometric data analysis
受光谱数据分析的启发,我们引入了一个高斯图形模型来学习红外吸收光谱的频带之间的依赖结构。通过B-样条基扩展和高斯图形模型被假定为平滑系数的先验规范,以诱导其精度矩阵的稀疏性,光谱被建模为连续的函数数据。进行贝叶斯推断以同时平滑曲线并估计功能域的部分之间的条件独立结构。将该模型应用于草莓酱的红外吸收光谱分析。
2021-07-03 stat.ME
Efficient sampling of Gaussian graphical models using conditional Bayes factors
高斯图形模型的贝叶斯估计已被证明是具有挑战性的,因为高斯精度矩阵上的共轭先验分布,G-Wishart分布,具有双重难以处理的分区函数。最近的发展提供了一种直接从G-Wishart分布中采样的方法,这使得模型选择算法比以前更有效。尽管如此,估计高斯图形模型与少数几个变量仍然是一个几乎不可行的任务。在这里,我们提出了两种新的算法,使用直接采样器更有效地近似高斯图形模型的后验分布。第一种算法使用条件贝叶斯因子在Metropolis-Hastings框架中比较模型。第二种算法是基于连续时间马尔可夫过程。我们表明,这两种算法都大大快于国家的最先进的替代品。最后,我们展示了如何使用算法可以同时估计结构和功能连接之间的皮层下的大脑区域,使用静息态功能磁共振成像。
2014-09-09 q-bio.NC stat.ME
Learning Gaussian Graphical Models With Fractional Marginal Pseudo-likelihood
University of Helsinki(赫尔辛基大学);Åbo Akademi University(奥博学术大学)
我们提出了一个贝叶斯近似推理方法来学习高斯图模型的依赖结构。使用伪似然,我们推导出一个分析表达式来近似的边缘可能性为任意的图形结构,而不调用任何假设的可分解性。大多数用于学习高斯图形模型的现有方法要么限于可分解的图,要么需要指定可能对学习结构产生重大影响的调谐参数。通过结合一个简单的稀疏诱导先验的图形结构与一个默认的参考先验的模型参数,我们得到了一个快速,易于应用的评分功能,即使是高维数据也能很好地工作。我们证明了我们的方法的良好性能,通过大规模的比较,对学习不可分解的高斯图形模型的领先方法。我们的方法提供了一个理论上的理由表明,它会产生一个相合估计量的图结构。
2016-02-25 cs.LG stat.ML
Nonparametric mixture of Gaussian graphical models
图模型已被广泛用于研究高维数据的复杂依赖结构,通常假设观测数据遵循齐次图模型。然而,观察通常来自不同的资源,并在现实世界的应用中具有异构隐藏的共性。因此,估计异质依赖关系,发现具有一定共性的子总体是非常重要的。在这项工作中,我们介绍了一种新的正则化估计方案学习非参数混合高斯图形模型,扩展了高斯图形模型和混合模型的方法和适用性。我们提出了一个统一的惩罚似然方法来有效地估计非参数函数参数和异构图形参数。我们进一步设计了一个有效的广义有效的期望最大化算法,以解决三个重大挑战:高维,非凸性,标签切换。在理论上,我们研究了我们提出的算法的算法收敛性和我们提出的估计的渐近性质。在数值上,我们展示了我们的方法在模拟研究和实际应用中的性能,以估计人类大脑功能的连接从ADHD成像数据,其中两个异质条件依赖性解释通过分析人口统计变量和现有的科学研究结果的支持。
2015-12-31 stat.ME stat.ML
Graphical Gaussian Process Models for Highly Multivariate Spatial Data
对于多变量空间高斯过程(GP)模型,互协方差函数的常规规范没有利用相关变量间图来确保变量之间的过程级条件独立性。这是不期望的,特别是对于高度多变量的设置,其中流行的交叉协方差函数(诸如多变量Matérn)遭受“维数灾难”,因为参数的数量和浮点运算在变量的数量中分别以二次和三次顺序按比例增加。我们提出了一类多变量的“图形高斯过程”,使用一种称为“拼接”的一般结构,从图形中提取交叉协方差函数,并确保变量之间的过程级条件独立性。对于Matérn函数族,拼接产生多变量GP,其单变量分量是Matérn GP,并且符合由图形模型指定的过程级条件独立性。对于高度多变量设置和可分解的图形模型,拼接提供了大量的计算增益和参数降维。我们展示了图形Matérn GP的实用性,以联合建模高度多元的空间数据,使用模拟的例子和应用程序的空气污染建模。
2021-11-18 stat.ME
Fast Bayesian inference in large Gaussian graphical models
尽管主要的方法的发展,贝叶斯推断高斯图形模型仍然具有挑战性的高维由于巨大的规模的模型空间。本文提出了一种通过假设的多重检验来推断变量间的边际和条件独立结构的方法。具体而言,我们在高斯共轭模型下引入封闭形式的贝叶斯因子来评估变量之间的边际和条件独立性的零假设。它们对所有变量对的计算都非常有效,从而使我们能够解决具有数千个节点的大型问题。此外,我们从贝叶斯因子的零分布中推导出精确的尾概率。这些允许使用任何多重性校正程序来控制错误边缘包含的错误率。我们证明了所提出的方法,图形模型选择各种模拟的例子,以及从癌症基因组图谱的大型基因表达数据集。
2018-04-06 stat.ME
Approximate Bayesian estimation in large coloured graphical Gaussian models
分布式估计方法最近被用来计算大型图形高斯模型精度矩阵的最大似然估计。我们的目的,在本文中,是给贝叶斯估计的精度矩阵的大型图形高斯模型,此外,对称性约束所施加的基础图形是彩色的。我们将精度矩阵的样本后验均值作为我们的估计。我们研究它的渐近行为下,经常渐近制度时,变量p是固定的,双渐近制度下,当p和n都增长到无穷大。我们特别表明,当局部模型的参数的数量是一致有界的,标准的收敛速度,我们得到的渐近一致性,在Frobenius范数,我们的精度矩阵的估计相比,以及在当前文献中的速率的最大似然估计。
2016-05-26 stat.ME
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Network-based clustering with mixtures of L1-penalized Gaussian graphical models: an empirical investigation
University of Warwick(华威大学);The Netherlands Cancer Institute(荷兰癌症研究所)
在许多应用中,多元样本可能在条件独立性或网络结构水平上隐藏先前未被识别的异质性。例如,在癌症生物学中,疾病亚型可能在分子组分之间的亚型特异性相互作用方面不同。然后,子类型发现和估计的子类型特定的网络提出了重要的和相关的挑战。为了实现这样的分析,我们提出了一个混合模型,其组成部分是稀疏高斯图形模型。这将基于模型的聚类和图形化建模结合在一起,可以同时估计集群分配和集群特定的网络。我们进行估计的L1处罚的框架内,并调查了几个具体的处罚制度。我们提出了经验的模拟数据的结果,并提供了一般的建议,制定和使用的L1处罚高斯图形模型的混合物。
2013-01-10 cs.LG stat.ME stat.ML
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen(格罗宁根大学)
本文研究了基于高斯混合图模型(GGMM)的异构数据网络重构问题。众所周知,由于大量的变量与可能性的简并性,在这种情况下的参数估计是具有挑战性的。作为一种解决方案,我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数,从而导致更好的可识别性和变量选择。我们使用的期望最大化(EM)算法,其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下,惩罚极大似然(PML)估计是相容的.我们通过模拟展示了PML估计的性能,并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes
University of Tuebingen(图宾根大学)
分布式高斯过程(Distributed Gaussian Process,DGP)是一种将GP扩展到大数据的流行方法,它将训练数据划分为若干子集,对每个子集执行局部推理,并将结果聚合以获得全局预测。为了组合局部预测,使用条件独立假设,这基本上意味着子集之间存在完美的多样性。虽然它使聚合易于处理,但在实践中经常违反它,并且通常产生很差的结果。在本文中,我们提出了一种新的方法来聚集高斯专家的预测高斯图模型(GGM)的目标聚集被定义为一个不可观测的潜变量和本地预测的观测变量。我们首先使用期望最大化(EM)算法估计潜变量和观测变量的联合分布。利用联合分布的精度矩阵对专家间的交互作用进行编码,并根据条件高斯分布的性质得到聚合预测。使用合成和真实数据集,我们的实验评估表明,我们的新方法优于其他国家的最先进的DGP方法。
2022-02-07 cs.DC cs.LG stat.ML
Bayesian inference for general Gaussian graphical models with application to multivariate lattice data
我们介绍了有效的马尔可夫链蒙特卡罗方法的推断和模型确定的多元和矩阵变量高斯图形模型。我们的框架是基于G-Wishart先验的精度矩阵与图,可以是可分解或不可分解的。我们扩展我们的抽样算法,一类新的条件自回归模型的稀疏估计在多元格数据,特别强调空间数据的分析。这些模型在估计跨结果的相关性结构和空间相关性结构方面具有很大的灵活性,从而允许自适应平滑和空间自相关参数。我们的方法使用模拟和现实世界的例子,包括癌症死亡率监测的应用程序进行说明。
2010-05-21 stat.ME
Bayesian model selection approach for colored graphical Gaussian models
我们考虑了一类有色图形高斯模型,通过在贝叶斯框架下对精度矩阵施加对称性约束而得到。精度矩阵上的先验分布是着色的$G$ -Wishart先验,其是Diaconis-Ylvisaker共轭先验。在本文中,我们开发了一个计算效率高的模型搜索算法,结合线性回归与双可逆跳马尔可夫链蒙特卡罗(MCMC)方法。后者是估计表示为两个竞争模型的后验概率之比的Bayes因子。我们还建立了基于贝叶斯因子的模型选择过程的渐近一致性。我们的程序避免了计算上不可能的穷举搜索。我们的方法与模拟和现实世界中的应用程序与蛋白质信号数据集。
2020-04-02 stat.ME
Bayesian Gaussian Copula Graphical Modeling for Dupuytren Disease
Dupuytren病是一种病因不明的纤维增生性疾病,通常会进展并最终导致受影响手指的永久性挛缩。在本文中,我们提供了一个计算效率的贝叶斯框架,发现潜在的风险因素,并调查哪些手指共同受到影响。我们的贝叶斯方法是基于高斯copula图形模型,这是一个潜在的方式来发现潜在的条件独立结构的变量在多元混合数据。特别地,我们将半参数高斯copula与扩展秩似然相结合,适用于分析具有任意边缘分布的多元混合数据。对于图结构学习,我们构造了一个计算效率高的搜索算法,这是一个跨维MCMC算法的基础上的生灭过程。此外,为了使我们的统计方法易于其他研究人员使用,我们已经在C++中实现了我们的方法,并与R软件接口,作为R软件包BDgraph,可在线使用。
2015-09-15 stat.AP
Learning Functional Graphs with Nonlinear Sufficient Dimension Reduction
Yonsei University(延世大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种基于非线性充分维度缩减的非参数函数图模型,通过避免维度灾难提高估计精度,并保留概率条件独立性作为边不存在的标准。
2026-01-22 stat.ME stat.ML
Learning Gene Regulatory Networks with High-Dimensional Heterogeneous Data
高斯图形模型是一种广泛使用的工具,用于学习基因调控网络与高维基因表达数据。用于高斯图形模型的大多数现有方法假设数据是均匀的,即,所有样本都是从单个高斯分布中抽取的。然而,对于许多实际问题,数据是异构的,可能包含一些子组或来自不同的资源。本文提出用混合高斯图模型对异质数据进行建模,并应用插补一致性算法,结合$ψ$学习算法,估计混合模型的参数,将样本聚类到不同的子组中。一个集成的高斯图形网络是跨子组学习的,以及插补一致性算法的迭代。所提出的方法相比,现有的方法学习混合高斯图形模型,以及其他一些方法开发的同质数据,如图形拉索,nodewise回归和$ψ$学习。数值结果表明,该方法在参数估计、聚类识别和网络构建等方面都具有优越性。数值结果也表明了所提出的方法的通用性:它可以适用于均匀数据没有显着的伤害。
2018-05-07 stat.ME
Gaussian Experts Selection using Graphical Models
University of Tuebingen(图宾根大学)
局部近似是将高斯过程(GP)扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性,聚合专家的预测。在专家之间施加\emph{conditional independence assumption}(CI)使得不同专家预测的聚合具有时间效率,但代价是不确定性量化较差。另一方面,建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤,我们大大降低了计算成本的聚集依赖的专家,同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术,使用稀疏精度矩阵编码专家之间的条件依赖关系,以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Estimation of partially known Gaussian graphical models with score-based structural priors
Rice University(莱斯大学);King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出一种融合图上先验信息的部分已知高斯图模型支持估计算法,利用退火朗之万扩散和图神经网络估计分数函数,从后验分布采样以提升估计性能。
2024-02-23 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT(麻省理工学院)
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布,给定相应的数据集。任意分布的条件独立结构可以表示为无向图(或马尔可夫随机场),但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布,从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的,因为它可以加速推理,改进采样方法,并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接,确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Learning non-Gaussian graphical models via Hessian scores and triangular transport
Massachusetts Institute of Technology(麻省理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
无向概率图模型表示随机变量集合的条件依赖性或马尔可夫性。了解这种图形模型的稀疏性对于建模多变量分布和有效地执行推理是有价值的。虽然从数据中学习图结构的问题已经被广泛研究了某些参数分布族,但大多数现有的方法都无法一致地恢复非高斯数据的图结构。在这里,我们提出了一个学习连续和非高斯分布的马尔可夫结构的算法。为了表征条件独立性,我们引入了一个分数的基础上,从联合对数密度集成Hessian信息,我们证明了这个分数上限的条件互信息的一般类的分布。为了计算分数,我们的算法SING使用由三角运输图引起的确定性耦合来估计密度,并迭代地利用图中的稀疏结构来揭示图中的稀疏性。对于某些非高斯数据集,我们表明,我们的算法恢复的图形结构,即使有偏见的近似密度。在其他例子中,我们应用SING来学习具有局部相互作用的混沌动力系统的状态之间的依赖关系。
2023-02-25 cs.LG stat.CO stat.ML
Bayesian Analysis of Nonparanormal Graphical Models Using Rank-Likelihood
高斯图形模型,假设感兴趣的变量共同遵循具有稀疏精度矩阵的多元正态分布,已被用于研究变量之间的内在依赖性,但正态假设在许多设置中可能是限制性的。非超常图模型是高斯图模型的半参数推广,假设变量仅在某些未知的平滑单调变换后才遵循高斯图模型。我们认为贝叶斯方法的nonparanormal图形模型使用的秩似然保持不变的单调变换下,从而避免了需要把一个先验的变换函数。在转换变量的基础精度矩阵上,我们考虑了其Cholesky分解的马蹄先验,并使用有效的后验吉布斯抽样方案。我们提出了一个后验一致性结果的精度矩阵的基础上基于秩的似然。我们通过模拟研究研究所提出的方法的数值性能,并将其应用于一个真实的数据集。
2019-04-17 stat.ME
Bayesian Inference for Single-factor Graphical Models
University of Washington(华盛顿大学)
本文提出单因子图模型的贝叶斯推断方法,通过MCMC算法处理相关残差,并扩展至分类变量及多数据集,以捕捉时空关联和条件依赖结构。
2025-10-15 stat.ME
Exploration of the search space of Gaussian graphical models for paired data
University of Padova(帕多瓦大学);CSIRO Agriculture and Food(联邦科学与工业研究组织农业与食品部)
针对配对数据的高斯图模型学习问题,提出孪生序构建分配格结构的模型空间,给出高效邻接计算规则以优化搜索效率,实现后向消去过程并通过仿真和脑fMRI数据验证有效性。
2024-04-15 cs.LG q-bio.NC stat.ME
An empirical Bayes procedure for the selection of Gaussian graphical models
提出了一种新的可分解图高斯模型的模型确定方法。贝叶斯范式的使用,并为每个给定的图形,超逆Wishart先验分布的协方差阵被认为是。这种先验分布依赖于超参数。众所周知,模型的后验分布对这些超参数的规格是敏感的,并且没有完全令人满意的方法被注册。为了避免这个问题,我们建议采用经验贝叶斯策略,即使用数据确定超参数值的策略。通常,超参数被固定到它们的极大似然估计。为了计算这些极大似然估计,我们提出了一个马尔可夫链蒙特卡罗版本的随机逼近期望最大化算法。此外,我们在图空间中引入了一个新的采样方案,改进了Armstrong等人(2009)的添加和删除建议。我们说明了这种新方案的效率在模拟和真实数据集。
2011-05-23 stat.CO
Using Bayesian latent Gaussian graphical models to infer symptom associations in verbal autopsies
混合类型变量之间的学习依赖关系在各种科学环境中提供了见解,并且是统计学中研究得很好的问题。然而,现有的方法通常依赖于大量的高质量数据来准确地学习关联。在本文中,我们开发了一种方法,用于科学设置,其中学习依赖结构是必不可少的,但数据是稀疏的,有很高的比例缺失值。具体来说,我们的工作是基于调查的死因评估,称为口头尸检(VA)。我们提出了一种贝叶斯方法来表征依赖关系,使用潜在的高斯图形模型,将信息先验的变量的边缘分布。我们证明了这些信息可以提高依赖结构的估计,特别是在训练数据很少的情况下。我们表明,我们的方法可以集成到现有的概率死因分配算法,并提高模型性能,同时恢复症状之间的依赖模式,可以在未来的数据收集中提供有效的问卷设计。
2019-07-24 stat.AP
A Loss-Based Prior for Gaussian Graphical Models
高斯图模型在遗传学、金融学、统计物理学等领域发挥着重要作用。它们是一种强大的建模工具,可以描述感兴趣的变量之间的关系。从贝叶斯的角度来看,随机性有两个来源:一个与多变量分布和可能使模型参数化的数量有关,另一个与底层图$G$有关,相当于描述所考虑模型的条件独立结构。在本文中,我们提出了一个先验的G的基础上的两个损失分量。一个考虑信息的损失,将在选择错误的图形,而第二个惩罚大量的边缘,有利于稀疏。我们说明了模拟数据和真实数据集上的先验,并将结果与文献中使用的$G$上的其他先验进行比较。此外,我们提出了一个默认的选择,以及讨论如何可以校准,以反映现有的先验信息。
2020-04-18 stat.ME
Robust Bayesian Model Selection for Variable Clustering with the Gaussian Graphical Model
变量聚类对于解释性分析很重要。然而,只有少数专门的方法与高斯图形模型的变量聚类已经提出。甚至更严重的是,由于噪声导致的微小的不显著的偏相关性可以在例如使用贝叶斯信息准则(BIC)进行评估时显著地改变聚类结果。在这项工作中,我们试图解决这个问题,提出了一个贝叶斯模型,占可以忽略不计的小,但不一定为零,偏相关。基于我们的模型,我们建议使用边际似然来评估变量聚类结果。为了解决棘手的计算的边际似然,我们提出了两种解决方案:一个基于变分近似,另一个基于MCMC。仿真数据的实验表明,该方法是类似的准确BIC在无噪声设置,但有噪声的偏相关时,准确得多。此外,在真实数据上,所提出的方法提供了直观合理的聚类结果,这在使用BIC或其扩展时并不总是如此。
2018-06-15 stat.AP stat.CO stat.ML
Gaussian Graphical Models: An Algebraic and Geometric Perspective
高斯图形模型在自然科学、社会科学和经济学中广泛使用,以图形的形式对感兴趣的变量之间的统计关系进行建模。在这里,我们提供了一个教学介绍高斯图形模型和审查最近的结果极大似然估计这样的模型。在整个过程中,我们强调了高斯图形模型的丰富的代数和几何属性,并解释了这些属性与凸优化的关系,并最终导致对最大似然估计(MLE)的存在性和算法计算MLE的见解。
2017-07-13 math.ST stat.TH
Multiple testing with optimal individual tests in Gaussian graphical model selection
考虑高斯图模型选择问题。浓度图的识别是基于个体检验的多决策过程。构造了最优无偏个体检验。最优检验等价于样本偏相关检验。并将联合多重决策过程与标准过程进行了比较。
2016-04-23 math.ST stat.TH
Graphical Nonconvex Optimization for Optimal Estimation in Gaussian Graphical Models
我们考虑学习高维高斯图模型的问题。图形套索是估计高斯图模型的最流行的方法之一。然而,它没有达到预言的收敛速度。本文提出了高斯图模型中最优估计的图非凸优化问题,并将其近似为一列凸规划。我们的建议是计算易处理的,并产生一个估计,实现了甲骨文的收敛速度。通过一个收缩性质,清楚地证明了使用凸规划的序列逼近引入的统计误差。使用稀疏模式的概念可以进一步提高收敛速度。所提出的方法,然后扩展到半参数图形模型。我们通过数值研究表明,所提出的估计优于其他流行的方法估计高斯图形模型。
2017-06-04 math.ST stat.ML stat.TH
Identifiability of directed Gaussian graphical models with one latent source
研究了具有一个潜变量的有向高斯图模型的参数可辨识性。在我们考虑的场景中,潜变量是一个混淆因素,它形成了图的源节点,并且是所有其他节点的父节点,这些节点对应于观察到的变量。我们给出了一个图形条件,这是充分的雅可比矩阵的参数化映射是满秩的,这意味着参数化是一般有限到一个,有时也被称为局部可识别性的事实。我们还推导出一个图形的条件,是必要的,这样的可识别性。最后,我们给出了一个条件,在此条件下,一般参数的可识别性可以确定与一个子图的模型的可识别性。这些标准的力量进行评估,通过一个详尽的代数计算研究模型与4,5,和6个可观察的变量。
2015-05-07 math.ST stat.TH
Estimation of means in graphical Gaussian models with symmetries
研究了由有色图表示的具有对称性限制的无向图高斯模型的均值可估性问题。从以前的研究中,我们划分的变量成组的顶点,其相应的手段被限制为相同的。我们找到一个充要条件的分区,以确保平等的最大似然估计和最小二乘估计的平均值。
2012-07-23 math.ST stat.TH
Multiple Testing and Error Control in Gaussian Graphical Model Selection
图形模型为探索多元依赖模式提供了一个框架。图和统计模型之间的连接是通过识别具有观察到的变量的图的顶点,并将图中的边的模式转换为施加在变量的联合分布上的条件独立性的模式来实现的。聚焦高斯模型,我们回顾经典的图形模型。对于这些模型,定义的条件独立性等同于与图中不存在的各个边相关联的某些(部分)相关系数的消失。因此,高斯图形模型选择可以通过对关于消失(部分)相关系数的假设进行多次测试来执行。我们展示并分析了这种方法如何在控制不正确边缘包含的差错率的同时进行模型选择。
2008-02-05 math.ST stat.TH
Exact Inference on Gaussian Graphical Models of Arbitrary Topology using Path-Sums
本文给出了任意拓扑的高斯图模型上边缘点精确统计推断的路径和公式。路径和公式将每对变量之间的协方差表示为有限深度和宽度的分支连分数。我们的方法源于协方差阵的走和表示的无限项族的封闭形式求和。我们证明了对于协方差阵为正定的模型,路径和公式总是存在的,即~它对任意拓扑结构的可行走求和和不可行走求和图模型都是有效的。我们表明,树的图形模型的路径和制定是等价的高斯信念传播。我们还恢复,作为一个推论,现有的结果,使用行列式计算的协方差阵。我们表明,路径和制定是有效的逆协方差阵的任意分区。我们给出了详细的例子来证明我们的结果。
2014-10-27 math.ST stat.TH
PC algorithm for Gaussian copula graphical models
PC算法使用无环有向图的图形建模中的模型选择的条件独立性测试。在高斯模型中,条件独立性的测试通常基于皮尔逊相关性,并且在这种设置中已经获得了PC算法的高维一致性结果。我们证明,高维一致性进行到更广泛的类高斯copula或\textit{nonparanormal}模型时,使用基于秩的相关性措施。对于度有界的图,我们的结果与高斯结果一样强。在模拟中,“秩PC”算法对于正态数据的工作效果与“皮尔逊PC”算法一样好,对于非正态高斯copula数据的工作效果要好得多,而计算时间的增加可以忽略不计。污染数据的模拟表明,秩相关性也可以比其他鲁棒估计在以前的工作中考虑的基础分布不属于nonparanormal家庭。
2012-07-01 math.ST stat.TH
Uniformly most powerful unbiased test for conditional independence in Gaussian graphical model
高斯浓度图的模型选择是基于成对条件独立性的多重检验。在实际应用中,偏相关检验被广泛应用。然而,目前还不知道是否偏相关测试是最强大的成对条件独立性测试。这个问题在论文中得到了回答。得到了Neymann结构的一致最强无偏检验。结果表明,该检验可简化为通常的偏相关检验。这意味着偏相关检验是一致最有效的无偏检验。
2016-10-02 math.ST stat.TH
Graphical methods for efficient likelihood inference in Gaussian covariance models
在图形建模中,有向图对用图的顶点标识的随机变量之间的边缘独立性进行编码。我们展示了如何将一个双有向图转换成一个最大的祖先图,(i)表示与原始双有向图相同的独立结构,(ii)最小化满足(i)的所有祖先图中箭头的数量。这里,祖先图的箭头数是有向边数加上双向边数的两倍。在高斯模型中,这种构造可用于似然函数的更有效的迭代最大化,并确定何时最大似然估计等于经验对应值。
2008-03-25 math.ST stat.TH
Positivity for Gaussian graphical models
高斯图模型是联合正态随机变量的参数统计模型,其依赖结构由图确定。在以前的工作中,我们介绍了跋涉分离,它给出了一个充要条件和充分条件的图形时,一个子行列式为零的所有协方差阵属于高斯图形模型。在这里,我们扩展这个结果,给出明确的取消免费公式的非零子行列式的扩展。
2012-10-01 math.CO math.ST stat.TH
Maximum likelihood thresholds of Gaussian graphical models and graphical lasso
本研究针对高维高斯图模型,考察用 graphical lasso 在 n 个样本上选择并拟合模型时,n 达到对应图最大似然阈值的概率,并通过计算实验给出结果。
2023-12-05 math.ST stat.ML stat.TH
Lattices of Graphical Gaussian Models with Symmetries
为了使图形高斯模型的可行的建模工具时,变量的数量超过了观察,模型类的地方平等的限制浓度或偏相关先前已在文献中介绍。模型可以用顶点着色图和边着色图表示。对模型选择方法的需求使得理解模型类的结构成为当务之急。我们确定了四个模型类,形成完全格的模型包含,这使他们有资格的爱德华-Havránek模型选择程序。两个类最适合于相应的模型搜索。我们得到一个明确的搜索算法,其中之一,并提供了一个模型搜索的例子。
2011-09-19 math.ST stat.TH
Adaptive Lasso for High Dimensional Regression and Gaussian Graphical Modeling
我们证明了两阶段自适应Lasso过程(Zou,2006)对于线性和高斯图模型中的高维模型选择是一致的。我们的一致性条件比以前的工作中所完成的条件覆盖了更一般的情况:我们证明了限制特征值条件(Bickel等人,2008)对于稀疏结构估计也是足够的。
2009-03-13 math.ST stat.ML stat.TH
Multiple Changepoint Estimation in High-Dimensional Gaussian Graphical Models
我们考虑了多元时间序列中同时识别变点和图形依赖结构的正则化估计的一致性。传统上,高斯图形模型(GGM)的估计是在i.i.d设置中执行的。最近,这种模型已经扩展到允许分布的变化,但只有在变点是已知的先验。在这项工作中,我们研究了组融合图形套索(GFGL),它用L1惩罚惩罚部分相关性,同时诱导块平滑随着时间的推移来检测多个变化点。我们提出了一个证明的一致性的估计,无论是在变点,在每个部分的图形模型的结构。
2017-12-15 math.ST stat.ME stat.TH
Nested Covariance Determinants and Restricted Trek Separation in Gaussian Graphical Models
有向图模型指定随机变量集合之间的噪声函数关系。在高斯情况下,每个这样的模型对应于正定协方差阵的半代数集.该集合是通过参数化给出的,并且已经进行了大量的工作来获得多项式(不)等式方面的隐式描述。隐式描述揭示了诸如参数识别、模型等价和基于约束的统计推断等问题。对于由有向无圈图给出的模型,它表示所有相关变量都被观察到的设置,有一个完整的理论:所有条件独立关系都可以通过图形$d$ -分离找到,并且足以用于隐式描述。然而,当某些变量是隐藏的(或者换句话说,未观察到或潜在的)时,情况就复杂得多了。我们考虑与混合图相关的模型,通过相关误差项捕获隐藏变量的影响。跋涉分离的概念解释了这种模型中的协方差阵何时具有低秩子矩阵,并推广了$d$ -分离。然而,在许多情况下,例如臭名昭著的Verma图,定义图形模型的多项式不是行列式的,因此不能用$d$ -分离或trek-separation来解释。在本文中,我们表明,这些限制往往对应于嵌套的行列式的消失,可以用图形解释的概念限制跋涉分离。
2018-07-19 math.ST stat.TH
Covariance estimation in decomposable Gaussian graphical models
图模型是一种使用图表示和利用分布中先验条件独立结构的框架。在高斯情况下,这些模型与逆协方差(浓度)矩阵的稀疏性直接相关,并且允许以较低的计算复杂性改进协方差估计。我们认为浓度估计的均方误差(MSE)为目标,在一个特殊类型的模型称为分解。这种模式包括,例如,众所周知的带状结构和其他情况下遇到的实践。我们的第一个贡献是推导和分析的最小方差无偏估计(MVUE)在可分解的图形模型。我们提供了一个简单的封闭形式的MVUE的解决方案,并比较它与经典的最大似然估计(MLE)的性能和复杂性。接下来,我们将著名的Stein无偏风险估计(SURE)扩展到图形模型。使用SURE,我们证明了MVUE的MSE总是小于或等于偏置MLE的MSE,并且MVUE本身由其他方法主导。此外,我们建议使用的SURE作为一个建设性的机制,获得新的协方差估计。类似于经典的极大似然估计,我们提出的所有估计都有简单的封闭形式的解决方案,但在MSE显着减少的结果。
2009-03-06 math.ST stat.TH
On the Information-theoretic Limits of Graphical Model Selection for Gaussian Time Series
考虑了基于有限长观测值的多元平稳离散时间高斯随机过程的条件独立图的推断问题。使用信息论的方法,我们推导出一个下界的错误概率的任何学习计划的底层进程CIG。这个界限,反过来,产生一个最小的所需的样本大小,这是必要的任何算法,无论其计算复杂性,可靠地选择真正的基础CIG。此外,通过分析一个简单的选择方案,我们表明,信息理论的限制可以实现的一个子类的过程具有稀疏CIG。我们不假设所观察到的过程的参数模型,但要求它有一个足够光滑的谱密度矩阵(SDM)。
2014-03-05 math.ST stat.TH
An explicit link between graphical models and Gaussian Markov random fields on metric graphs
本文建立度量图上高斯马尔可夫随机场与高斯图模型的显式对应,证明顶点限制分布忠实于邻域图,并据此推出一般度量图上不存在兼具马尔可夫性与各向同性的高斯随机场。
2025-01-07 math.PR math.ST stat.TH
Proof of a Conjecture of Drton, Sturmfels and Sullivant on the maximum likelihood degree of the Gaussian graphical model of a cycle
本文通过计算环的高斯图模型极大似然度的精确值,证实了Drton, Sturmfels和Sullivant提出的猜想。
2025-03-04 math.AG math.PR math.ST