We introduce block-tree graphs as a framework for deriving efficient algorithms on graphical models. We define block-tree graphs as a tree-structured graph where each node is a cluster of nodes such that the clusters in the graph are disjoint. This differs from junction-trees, where two clusters connected by an edge always have at least one common node. When compared to junction-trees, we show that constructing block-tree graphs is faster, and finding optimal block-tree graphs has a much smaller search space. Applying our block-tree graph framework to graphical models, we show that, for some graphs, e.g., grid graphs, using block-tree graphs for inference is computationally more efficient than using junction-trees. For graphical models with boundary conditions, the block-tree graph framework transforms the boundary valued problem into an initial value problem. For Gaussian graphical models, the block-tree graph framework leads to a linear state-space representation. Since exact inference in graphical models can be computationally intractable, we propose to use spanning block-trees to derive approximate inference algorithms. Experimental results show the improved performance in using spanning block-trees versus using spanning trees for approximate estimation over Gaussian graphical models.
SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples
National University of Singapore(新加坡国立大学)
我们考虑学习伊辛树模型时,从节点的观察是由独立的,但不相同分布的噪声与未知的统计损坏。Katiyar等人(2020)表明,虽然无法恢复精确的树结构,但可以恢复部分树结构;即属于包含真树的等价类的结构。本文对Katiyar et al.(2020)进行了系统的改进。首先,我们提出了一个新的不可能的结果,通过推导出的部分恢复所需的样本数的界限。第二,我们推导出一个显着改善的样本复杂度的结果,其中的最小相关$ρ_{\min}$的依赖是$ρ_{\min}^{-8}$,而不是$ρ_{\min}^{-24}$。最后,我们提出了对称几何平均(SGA),一个更强大的统计算法的部分树恢复。我们提供了各种树的误差指数分析和广泛的数值结果,以表明SGA的样本复杂度明显优于Katiyar等人的算法。SGA可以很容易地扩展到高斯模型,并通过数值实验表明,同样优越。
Block-diagonal covariance selection for high-dimensional Gaussian graphical models
KU Leuven(鲁汶大学);Leuven Statistics Research Center (LStat)(鲁汶统计研究中心);Université Paris Descartes(巴黎笛卡尔大学);CNRS(法国国家科学研究中心);Université Paris-Sud(巴黎南大学);INRA(法国国家农业研究院)
Testing properties of trees in graphical models with covariance queries
IMTECH and Departament de Matemàtiques, Universitat Politècnica de Catalunya, Barcelona, Spain and Department of Economics and Business, Pompeu Fabra University, Barcelona, Spain(IMTECH 和 巴塞罗那理工大学数学系及巴塞罗那庞培法华大学经济与商业系,西班牙巴塞罗那);LPSM, Sorbonne Université, 4 Place Jussieu, 75005 Paris, France(巴黎索邦大学LPSM,法国巴黎,4 Place Jussieu, 75005);ICREA, Pg. Lluís Companys 23, 08010 Barcelona, Spain(ICREA,西班牙巴塞罗那Lluís Companys 23号,08010;巴塞罗那庞培法华大学经济与商业系,西班牙巴塞罗那;巴塞罗那经济学院);Department of Economics and Business, Pompeu Fabra University, Barcelona, Spain(巴塞罗那庞培法华大学经济与商业系,西班牙巴塞罗那;巴塞罗那经济学院);Barcelona School of Economics;Department of Economics and Business, Pompeu Fabra University, Barcelona, Spain;Barcelona School of Economics
Nuance Communications(Nuance通信公司);John von Neumann Institute(冯·诺依曼研究所);Vietnam National University(越南国家大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
Exact and approximate inference in graphical models: variable elimination and beyond
INRA(法国国家农业研究院);INRA UR 875 MIAT(法国国家农业研究院UR 875 MIAT研究所);INRA UMR 1202(法国国家农业研究院UMR 1202研究所);AgroParisTech(巴黎高等农业学院);UM R518 MIA(UM R518 MIA研究所);Institute of Fundamental Sciences, Massey University(梅西大学基础科学研究所)
包括大量异质变量(例如计数、二进制、连续、偏斜连续等数据类型)的“混合数据”在不同领域中普遍存在,例如基因组学和蛋白质组学、成像遗传学、国家安全、社交网络和互联网广告。在统计建模这样的混合数据联合有限的努力,部分是因为缺乏计算上顺从的多变量分布,可以捕捉不同类型的这种混合变量之间的直接依赖关系。在本文中,我们解决这个问题,通过引入一类新的块有向马尔可夫随机场(BDMRFs)。使用Yang et al.(2012)的节点条件单变量指数族的基本构建块,我们引入了一类混合条件随机场分布,然后根据块定向无圈图以形成我们的块定向马尔可夫随机场(BDMRF)类。因此,BDMRF下的马尔可夫独立图结构具有有向边和无向边。我们引入这些分布存在的条件下,是规范化的,研究我们的模型的几个实例,并提出可扩展的惩罚条件似然估计与统计保证恢复底层网络结构。模拟以及从下一代测序表达数据和突变数据中学习混合基因组网络的应用证明了我们方法的多功能性。
Learning partial correlation graphs and graphical models by covariance queries
ICREA(加泰罗尼亚研究与高级研究所);Pompeu Fabra University(庞培法布拉大学);Barcelona School of Economics(巴塞罗那经济学院);LIRMM(蒙彼利埃计算机科学与微电子实验室);CNRS(法国国家科学研究中心);Université de Montpellier(蒙彼利埃大学);University of Gothenburg(哥德堡大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)