Log-concave density estimation in undirected graphical models
本文提出了一种在无向图模型中对数凹密度估计的方法，通过有限维凸优化问题求解MLE，并探讨了其存在性、唯一性和自洽性条件。
2022-06-10 math.ST stat.CO stat.ME
Bayesian Learning in Undirected Graphical Models: Approximate MCMC algorithms
无向图模型中的贝叶斯学习|计算参数和预测量的后验分布是非常困难的。我们猜想，对于一般的无向模型，有没有听话的MCMC（马尔可夫链蒙特卡罗）计划给出正确的平衡分布参数。虽然这种棘手性，由于分区函数，是熟悉的那些执行参数优化，贝叶斯学习的后验分布在无向模型参数尚未探索，并提出了新的挑战。我们提出了几个近似MCMC计划和测试充分观察的二元模型（玻尔兹曼机）的一个小的冠心病数据集和较大的人工系统。虽然近似必须在模型上表现良好，但它们与抽样方案的相互作用也很重要。基于变分平均场近似的采样器通常表现不佳，使用循环传播、简短采样和随机动力学的更先进的方法导致可接受的参数后验。最后，我们展示了这些技术上的马尔可夫随机场的隐变量。
2012-07-11 cs.LG stat.ML
Adversarially-learned Inference via an Ensemble of Discrete Undirected Graphical Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无向图模型是随机变量联合概率分布的紧凑表示。为了解决感兴趣的推理任务，可以使用经验风险最小化来训练任意拓扑的图形模型。然而，为了解决在训练过程中没有看到的推理任务，这些模型（EGM）通常需要重新训练。相反，我们提出了一个推理不可知的对抗训练框架，它产生了一个无限大的图形模型（AGM）集合。该集成被优化以在GAN框架内生成数据，并且使用这些模型的有限子集来执行推理。AGM与EGM在推理任务上执行并行计算，后者是专门为之优化的。最重要的是，与EGM相比，AGM对看不见的推理任务表现出更好的泛化能力，以及像GibbsNet和VAEAC这样允许任意条件反射的深度神经架构。最后，AGM允许快速数据采样，与EGM的Gibbs采样竞争。
2020-10-22 cs.CV cs.LG stat.ML
Model Selection in Undirected Graphical Models with the Elastic Net
随机场中的结构学习由于其在遥感、计算生物学、自然语言处理、蛋白质网络和社会网络分析等领域的难度和重要性而引起了相当大的关注。我们考虑的问题估计的概率图结构与高斯马尔可夫随机场（GMRF），伊辛模型和Potts模型，通过扩展以前的工作$l_1$正则化邻域估计，包括弹性网$l_1+l_2$罚款。此外，我们展示了数值证据，边缘密度在图形恢复过程中发挥了作用。最后，我们介绍了一种新的方法，通过利用成对邻域联合估计来增强邻域估计。
2011-11-02 stat.ML stat.OT
Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables
Vicarious AI；MIT（麻省理工学院）
概率图模型（PGMs）提供了一种紧凑的知识表示，可以以灵活的方式进行查询：在学习一次图模型的参数后，可以在测试时回答新的概率查询，而无需重新训练。然而，当使用具有隐变量的无向PGMS时，除了最简单的模型之外，两个误差源通常在所有模型中复合：（a）学习误差（计算分区函数和积分隐变量都是棘手的）;和（b）预测误差（精确推断也是棘手的）。在这里，我们介绍了查询训练（QT），一种学习PGM的机制，该机制针对与之配对的近似推理算法进行了优化。最终的PGM是一个更差的数据模型（通过似然性来衡量），但它被调整为针对给定的推理算法产生更好的边缘。与以前的作品不同，我们的方法保留了原始PGM的查询灵活性：在测试时，我们可以估计任何部分证据的任何变量的边际。我们通过实验证明，QT可用于学习具有隐藏变量的具有挑战性的8连接网格马尔可夫随机场，并且当在多个数据集的三个无向模型上进行测试时，它始终优于最先进的AdVIL。
2021-02-26 cs.LG stat.ML
High-dimensional covariance estimation based on Gaussian graphical models
无向图通常用于描述高维分布。在稀疏性条件下，可以使用$\ell_1$ -惩罚方法来估计图。我们提出并研究了以下方法。我们结合了多元回归方法的阈值和改装的想法：首先，我们推断一个稀疏的无向图形模型结构，通过阈值之间的许多$\ell_1$ -范数惩罚回归函数，然后我们估计协方差阵和它的逆使用极大似然估计。我们证明了在适当的条件下，这种方法产生一致的估计的图形结构和快速收敛速度的操作和Frobenius范数的协方差阵及其逆。我们还得到了一个明确的界的库尔贝克-莱布勒散度。
2011-06-22 math.ST stat.ML stat.TH
PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models
University of Notre Dame（圣母大学）
我们提出了一种自适应噪声增强（PANDA）技术来正则化无向图模型的估计和构造。PANDA迭代优化目标函数，给出噪声增强数据，直到收敛，以实现模型参数的正则化。增强噪声可以设计成各种正则化效果的图估计，如桥（包括套索和脊）、弹性网、自适应套索、SCAD惩罚等，还可以实现群套索和融合脊。我们研究了噪声增强损失函数的尾界，并建立了噪声增强损失函数及其最小值几乎必然分别收敛于预期的惩罚损失函数及其最小值。在广义线性模型中，利用PANDA方法得到了正则化参数的渐近分布，并在此基础上进行了参数的推断和变量选择.我们在模拟研究中显示了PANDA在构建不同类型的图方面的非劣性能，并将PANDA应用于自闭症谱系障碍数据构建混合节点图。我们还表明，通过PANDA正则化参数估计的渐近分布的基础上的推理实现名义或接近名义的覆盖率，是更有效的，相比一些现有的后选择程序。在计算上，PANDA可以很容易地在实现GLM的软件中编程，而无需采用复杂的优化技术。
2019-05-21 cs.LG stat.ML
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学，以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的，但它们很少使用，因为它们需要双重棘手的蒙特卡罗采样。在这里，我们开发了一个框架，可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI，离散无向模型的变分推断算法，避免了双重棘手的MCMC和近似的分区函数。第二个是淡出，一个重新参数化方法的变分推断稀疏诱导先验，捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现，这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
Distributed Parameter Estimation in Probabilistic Graphical Models
本文给出了无向概率图模型的分布参数估计的基本理论结果。在局部估计相合的条件下，给出了这类模型的复合似然分解的一般条件，保证了分布估计的全局相合性。
2014-06-11 stat.ML
High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data
Technical University of Munich（慕尼黑工业大学）；German Center for Neurodegenerative Diseases（德国神经退行性疾病中心）；University of Cambridge（剑桥大学）
针对复杂混合类型变量数据，本文基于经典相关性思想在潜在高斯连接框架下提出灵活可扩展的高维无向图模型学习方法，并通过模拟和 UK Biobank 数据验证了其有效性。
2024-02-14 cs.LG stat.ME stat.ML
A U-statistic Approach to Hypothesis Testing for Structure Discovery in Undirected Graphical Models
图模型中的结构发现是确定图的拓扑结构，该图编码模型中所有变量的联合分布的条件独立性质。对于某些类别的概率分布，当且仅当精度矩阵中的相应项为非零时，两个变量之间存在边。对于精密度矩阵的有限样本估计，接近零的条目可能是由于低样本效应，或由于变量之间的实际关联;这两种情况不容易区分。%Fisher基于高斯分布的精度矩阵中条目分布的参数近似值提供了假设检验，但这可能无法提供非高斯分布的$p$值的有效上限。关于这个主题的许多相关工作考虑可能不适用于感兴趣的数据样本的限制性分布或稀疏性假设，并且直接估计一般分布的精度矩阵估计的不确定性仍然具有挑战性。因此，我们利用$U$ -统计量的结果，并将其应用于协方差阵。通过概率约束的协方差阵的失真，我们可以应用外尔定理约束的精度矩阵的失真，产生一个保守的，但声音的测试阈值比以前的作品中考虑的更广泛的一类分布。由此产生的测试，使一个回答与统计意义的边缘是否存在于图中，收敛结果是已知的广泛的分布。计算复杂度在样本量中是线性的，使得能够将测试应用于计算时间成为限制因素的大数据样本。我们实验验证的正确性和可扩展性的多变量分布的竞争测试的分布假设导致低估的假阳性率的测试。相比之下，所提出的测试仍然健全，有望成为一个有用的工具，假设检验的各种现实世界的问题。
2016-04-06 math.ST stat.ML stat.TH
Duality in Graphical Models
图形模型已被证明是表示随机变量的高维系统的强大工具。这种模型的一个例子是无向图，其中缺少边表示两个随机变量之间的条件独立性。另一个例子是双向图，其中边的缺失编码成对的边缘独立性。这两类图模型都被广泛研究，虽然它们被认为是彼此对偶的，但除了少数情况外，这种对偶性还没有被彻底研究。在本文中，我们演示了如何无向和双向模型之间的对偶可以用来运输一类图形模型的结果，以一种透明的方式的对偶模型。我们继续应用这种技术来扩展以前现有的结果，以及证明新的，在三个重要的领域。首先，我们讨论了无向和双向模型的两两和全局马尔可夫性，使用pseudographoid和反向pseudographoid规则，这是较弱的条件比通常使用的交集和组合规则。其次，我们调查这些pseudographoid和反向pseudographoid规则的背景下，概率分布，在这个过程中使用的对偶概念。对偶性使我们能够快速地将它们与更熟悉的交集和组合属性联系起来。第三，也是最后，我们运用二元论的方法来理解忠实的含义，这反过来又导致了一个更一般的形式的存在的结果。
2013-10-09 math.PR stat.ML
The huge Package for High-dimensional Undirected Graph Estimation in R
Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
我们描述了一个R包命名为巨大的，它提供了易于使用的功能，估计高维无向图的数据。该软件包实现了文献中的最新结果，包括Friedman等人（2007），Liu等人（2009，2012）和Liu等人（2010）。与现有的图估计软件包glasso相比，巨大的软件包提供了额外的功能：（1）它不是使用Fortan，而是用C编写的，这使得代码更易于移植和修改;（2）除了拟合高斯图模型外，它还提供了拟合高维半参数高斯copula模型的功能;（3）增加了与数据相关的模型选择、数据生成、图形可视化等功能;（5）该软件包允许用户应用无损和有损筛选规则来按比例放大大规模问题，从而在计算和统计效率之间进行权衡。
2020-06-26 cs.LG math.OC stat.ML
Causal Effect Identification in Acyclic Directed Mixed Graphs and Gated Models
Linköping University（林雪平大学）
我们引入了一个新的图形模型，包括可能有向，无向和双向边，但没有定向循环的图形。我们表明，这些模型是适合于表示因果模型的附加误差项。我们提供了一组充分的图形标准识别任意因果效应时，新的模型包含有向和无向的边缘，但没有双向边缘。我们还提供了一个必要的和充分的图形标准的因果关系的影响，一个单一的变量上的其他变量的识别。此外，我们开发了一种精确的算法，通过答案集编程从观察和干预数据中学习新模型。最后，我们介绍了门控模型的因果效应识别，一个新的家庭的图形模型，利用上下文特定的独立性，以确定额外的因果效应。
2017-05-28 cs.AI stat.ML
IPF for Discrete Chain Factor Graphs
Nijmegen University（奈梅亨大学）
迭代比例拟合（IPF）与EM相结合，通常用作无向图模型中似然最大化的算法。在本文中，我们提出了两个迭代算法，推广IPF。第一个是离散链因子图中的似然最大化，我们将其定义为一类广泛的离散变量模型，包括无向图模型和贝叶斯网络，但也包括链图和S形信念网络。第二个是标准无向模型和贝叶斯网络中的条件似然最大化。在这两种算法中，迭代步骤都以封闭形式表示。数值模拟表明，该算法是有竞争力的最先进的方法。
2012-12-12 cs.AI cs.LG stat.ML
High-dimensional Graphical Model Search with gRapHD R Package
本文介绍了R包gRapHD的高维无向图形模型的有效选择。该软件包提供了用于选择树、森林和可分解模型的工具，这些工具最小化了AIC或BIC等信息标准，并显示了模型的独立图。它也有一些有用的工具来分析图形结构。它支持使用离散、连续或同时使用两种类型的变量。
2010-09-22 stat.CO stat.ML
Learning Undirected Graphs in Financial Markets
我们从金融市场数据的角度研究了拉普拉斯结构约束下无向图模型的学习问题。我们发现，拉普拉斯约束有意义的物理解释相关的市场指数因子和股票之间的条件相关性。这些解释导致了一套准则，用户在估计金融市场中的图形时应该知道。此外，我们还提出了学习无向图的算法，这些无向图可以解释金融数据固有的程式化事实和任务，如非平稳性和股票聚类。
2020-11-09 q-fin.CP q-fin.ST stat.ML
Inference of Multiscale Gaussian Graphical Model
Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry（巴黎-萨克雷大学，国家科学研究中心，欧very大学，欧very数学与建模实验室）
本文提出多尺度图Lasso方法，通过同时进行聚类与图推断提升网络可解释性，应用于基因组和微生物数据。
2026-03-23 cs.LG stat.ML
Analysis of Thompson Sampling for Graphical Bandits Without the Graphs
The Ohio State University（俄亥俄州立大学）；Tulane University（杜兰大学）
我们研究多臂强盗问题与图形反馈，其中决策者被允许观察所选择的动作的相邻动作，在设置中的图形可能会随着时间的推移而变化，从来没有完全透露给决策者。我们发现，当反馈图是无向的，原始的汤普森采样达到最佳的（对数因子内）遗憾$\tilde{O}\left(\sqrt{β_0(G)T}\right)$在时间范围$T$，其中$β_0(G)$是潜在的图形的平均独立数。据我们所知，这是第一个结果表明，原来的汤普森采样是最佳的图形土匪在无向设置。在有向环境下，本文还给出了一个稍弱的后悔限.为了填补这一空白，我们提出了一个变种的汤普森采样，达到最佳的遗憾，在有向设置内的对数因子。这两种算法都可以有效地实现，并且在任何时候都不需要反馈图的知识。
2018-05-23 cs.AI cs.LG stat.ML
Active Learning Algorithms for Graphical Model Selection
Carnegie Mellon University（卡内基梅隆大学）
近年来，从数据中学习高维图模型的结构的问题受到了相当大的关注。在许多应用中，如传感器网络和蛋白质组学，同时从所有涉及的变量中获取样本通常是昂贵的。例如，这可能涉及大量传感器的同步或大量蛋白质的标记。为了解决这个重要的问题，我们开始研究一个新的图形模型选择问题，其目标是优化的标量样本的总数，通过允许收集的样本，只有子集的变量。我们提出了一个通用的图形化模型选择的反馈是用来指导采样的程度高的顶点，而获得的低程度的只有很少的样本的范例。我们实例化这个框架与两个特定的主动学习算法，其中一个使温和的假设，但计算昂贵，而另一个是计算效率更高，但需要更强的（但标准）的假设。而被动算法的样本复杂性通常是图的最大程度的函数，我们表明，我们的算法的样本复杂性是可证明的较小，它取决于一个新的本地复杂性的措施，这是类似于图的平均程度。最后，我们通过模拟证明了我们的框架的有效性。
2016-04-07 cs.IT cs.LG math.IT
Trek separation for Gaussian graphical models
高斯图模型是正定协方差阵锥的半代数子集。低秩子矩阵对应于随机变量集合上条件独立约束的推广。我们给出了一个精确的图论表征时的协方差阵的子矩阵有小秩的一般类的混合图，其中包括有向无环和无向图作为特殊情况。我们新的Trek分离准则推广了熟悉的$d$ -分离准则。证明是基于跋涉规则，由此产生的矩阵分解和经典的代数组合定理的道路多项式的行列式的扩展。
2010-10-04 math.CO math.ST stat.ML
Profile Graphical Models
Institute of Applied Statistics, Johannes Kepler University Linz（林茨约翰·开普勒大学应用统计研究所）；Harvard-MIT Center for Regulatory Science, Harvard Medical School（哈佛-麻省理工学院监管科学中心，哈佛医学院）；Depart. of Statistics, Computer Science, Applications “G. Parenti”, University of Florence（佛罗伦萨大学“G. 帕伦蒂”统计学、计算机科学与应用系）
本文提出轮廓图模型，用于表示外部因素如何影响多变量变量的依赖结构，通过贝叶斯方法和EM算法实现高效推断，并通过蛋白质网络数据展示其在捕捉个体差异方面的优势。
2026-03-30 stat.CO stat.ME stat.ML
Measures of Variability for Bayesian Network Graphical Structures
贝叶斯网络的结构包括大量关于数据的概率分布的信息，这些信息在给定一些一般分布假设的情况下是唯一确定的。因此，研究其变异性是非常重要的，它可以用来比较不同的学习算法的性能，并衡量任何弧的任意子集的强度。在本文中，我们将介绍一些描述性统计和相应的参数和蒙特卡罗测试的无向图的贝叶斯网络的结构，建模为一个多变量的伯努利随机变量。一个简单的数值例子和一些结构学习算法在小样本上的性能比较将说明它们的使用。
2011-12-06 math.ST stat.ME stat.ML
Efficient proximal gradient algorithms for joint graphical lasso
我们考虑从稀疏数据中学习无向图模型。虽然已经提出了几种有效的算法，图形套索（GL），交替方向法的乘法器（ADMM）是主要的方法，采取有关联合图形套索（JGL）。我们提出了近端梯度程序，有和没有一个回溯选项的JGL。这些程序是一阶的，相对简单，子问题的解决有效地在封闭的形式。进一步证明了JGL问题解的有界性和算法中的迭代次数。数值结果表明，所提出的算法可以达到较高的精度和准确度，其效率是竞争的最先进的算法。
2021-07-16 math.OC stat.ML
Structure Learning in Graphical Modeling
图形模型是与节点对应于感兴趣变量的图相关联的统计模型。图的边缘反映变量之间允许的条件依赖性。图形模型承认计算方便的因式分解属性，长期以来一直是一个有价值的工具，易于处理的多元分布建模。最近，从基因表达数据重建基因调控网络等应用推动了结构学习的重大进展，即估计模型的图形。我们回顾了其中的一些进展，并讨论了方法，如无向图形模型（或马尔可夫随机场）的图形套索和邻域选择，以及PC算法和基于分数的搜索方法有向图形模型（或贝叶斯网络）。我们进一步审查扩展，考虑到潜在变量和异构数据源的影响。
2016-06-07 stat.ME stat.ML
Maximum Margin Bayesian Networks
University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
我们考虑学习贝叶斯网络分类器的问题，最大限度地提高了marginover一组分类变量。我们发现，这个问题是贝叶斯网络比无向图形模型，如最大利润马尔可夫网络更难。主要的困难是贝叶斯网络中的参数必须满足无向图模型不需要遵守的附加规范化约束。这些额外的约束使优化任务复杂化。尽管如此，我们得到了一个有效的训练算法，解决了贝叶斯网络拓扑结构的范围内的最大保证金训练问题，并收敛到任意网络拓扑结构的近似解。实验结果表明，当有向图结构编码相关知识时，该方法可以在马尔可夫网络上表现出更好的泛化性能。在实践中，训练技术允许将表示为定向（因果）模型的先验知识与最先进的判别学习方法相结合。
2012-07-04 cs.LG stat.ML
Adaptive Inferential Method for Monotone Graph Invariants
我们考虑无向图模型推理的问题。在许多应用中，不是完美地恢复未知图结构，而是更现实的目标是推断一些图不变量（例如，最大度、连通子图的数目、孤立节点的数目）。本文提出了一种新的推理框架，用于无向图模型下的多重假设检验和未知图不变量的置信区间的构造。与完美图恢复相比，我们的方法需要明显较弱的条件。本文的主要贡献有两点：（1）在方法论上，我们提出了一种基于单调图不变量（在边增加的情况下不减的不变量）的skip-down算法来检验嵌套的多个假设。我们进一步表明，相同的跳下算法也提供了有效的置信区间的目标图不变。(ii)从理论上证明了所得到的置信区间的长度是最优的，并且对未知的信号强度是自适应的。我们还证明了通用的下界为各种不变量的置信区间长度。合成模拟和脑成像数据集上的数值结果说明了所提出的方法的实用性。
2017-07-28 math.ST stat.ML stat.TH
Efficient adjustment sets in causal graphical models with hidden variables
Universidad Torcuato Di Tella（托尔克瓦托·迪·泰莱大学）；University of California, Berkeley（加州大学伯克利分校）；CONICET（阿根廷国家科学技术研究委员会）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
本文研究含隐变量因果图下动态治疗方案的协变量调整集选择，证明相关方差比较准则的适用性，提出最优调整集的存在条件与多项式时间求解算法，基于无向图顶点割的偏序建立其与估计量方差的对应关系。
2020-05-26 cs.AI math.ST stat.ML
Characterizing and Identifying Separable Graphical Models
University of Washington（华盛顿大学）；University College London（伦敦大学学院）
本文引入可分离图与本质可分离图，刻画了混合图中缺失边与分离集的关系，并给出了分离等价性的图论和分离性特征，最后提出识别等价类的算法。
2026-07-02 cs.LG math.ST stat.ML
Exact Bayesian inference for off-line change-point detection in tree-structured graphical models
本文研究了多变量时间序列的变点检测问题。观测值的多变量分布应该遵循一个图形模型，其图形和参数随时间的突变而变化。我们证明，它是可能的执行精确的贝叶斯推断，只要一个认为是一个简单的类的无向图称为生成树作为可能的结构。然后，我们能够整合的图形和分割空间在同一时间结合经典的动态规划与代数结果有关的生成树。特别是，我们表明，数量，如后验分布的变化点或后边缘概率随时间的推移，可以有效地获得。我们说明了我们的研究结果的合成和实验数据来自生物学和神经科学。
2016-06-16 stat.ML
On perfectness in Gaussian graphical models
为了将图中的分离与分布中的条件独立性联系起来，知道图模型何时对于分布是完美的是必不可少的，这在从数据进行推断时尤其重要。当模型是完美的时，分布中的条件独立语句和图中的分离语句之间存在一一对应。以前的工作已经表明，几乎所有基于线性有向无圈图以及高斯链图的模型都是完美的，后者包含高斯图形模型（即，无向高斯模型）作为特例。然而，链图模型的复杂性导致了这个结果的证明，这是间接的，并且由于参数化这个通用类的复杂性而陷入困境。在本文中，我们直接接近的高斯图形模型的完美性问题，并提供了一个新的证明，通过一个更透明的参数化，几乎所有这样的模型是完美的。我们的方法是基于，并大大扩展，建设Lnnička和Matúnika显示存在一个完美的高斯分布的任何图形。
2019-09-03 cs.LG math.ST stat.ML
Inconsistency of cross-validation for structure learning in Gaussian graphical models
University of Chicago（芝加哥大学）
本文指出交叉验证在高斯图模型结构学习中存在固有局限性，通过有限样本界限证明其不一致性，并经模拟实验对比其他信息准则，强调超参数精确校准的重要性。
2023-12-28 cs.LG math.ST stat.ME
Graphical Fermat's Principle and Triangle-Free Graph Estimation
我们考虑高维分布的无向无三角形图的估计问题。无三角形图是一个丰富的图族，除了3-团之外，它还可以有任意的圈结构。对于推理的易处理性，我们提出了一个图形费马的原则，规范的分布家庭。这样的原则强制存在一个依赖于分布的伪度量，使得任何两个节点的距离小于具有包括这两个节点的测地线路径的其他两个节点的距离。在这个原则的指导下，我们证明了一个贪婪的策略是能够恢复真正的图。所得到的算法只需要一个成对的距离矩阵作为输入，计算效率甚至比计算最小生成树。我们考虑在不同的设置下，包括离散和非参数分布族的图估计问题。彻底的数值结果，以说明所提出的方法的实用性。
2015-04-23 stat.ML
Lower Bounds on Active Learning for Graphical Model Selection
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院 (EPFL)）
我们考虑估计与马尔可夫随机场相关的底层图的问题，增加的扭曲，解码算法可以迭代地选择哪些节点的子集根据以前的样本进行采样，从而导致主动学习设置。考虑到伊辛和高斯模型，我们提供了算法独立的下界内的类度有界图的高概率恢复。我们的主要结果是极小极大的下限的主动设置相匹配的最佳已知的下限的被动设置，这反过来又被称为紧在几种情况下的利益。我们的分析是基于Fano的不等式，随着新的互信息界的主动学习设置，和限制图集成的应用。虽然我们认为合奏是类似或相同的被动设置中使用的，我们需要不同的分析技术，一个关键的挑战是绑定的互信息量与观察到的节点子集，而不是完整的意见。
2017-02-07 cs.IT cs.LG cs.SI
Markov Missing Graph: A Graphical Approach for Missing Data Imputation
该研究提出基于无向图的马尔可夫缺失图（MMG）缺失数据插补框架，结合可用信息原则确立可识别性，构建PAI下的插补风险最小化学习范式，建立相关理论并通过模拟与真实阿尔茨海默病数据验证有效性。
2025-09-03 math.ST stat.ME stat.ML
Gaussian Experts Selection using Graphical Models
University of Tuebingen（图宾根大学）
局部近似是将高斯过程（GP）扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性，聚合专家的预测。在专家之间施加\emph{conditional independence assumption}（CI）使得不同专家预测的聚合具有时间效率，但代价是不确定性量化较差。另一方面，建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤，我们大大降低了计算成本的聚集依赖的专家，同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术，使用稀疏精度矩阵编码专家之间的条件依赖关系，以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Gemini: Graph estimation with matrix variate normal instances
无向图可以用来描述矩阵变量分布。在本文中，我们开发了新的方法来估计图形结构和基本参数，即行和列协方差矩阵和逆协方差阵从矩阵变量数据。在稀疏条件下，我们证明了一个能够恢复的图形和协方差阵与一个单一的随机矩阵的矩阵变量正态分布。我们的方法扩展，适当的适应，一般设置复制可用。我们建立了一致性，并获得了在运营商和Frobenius规范的收敛速度。我们表明，有复制将允许一个估计更复杂的图形结构，并实现更快的收敛速度。我们提供的模拟证据表明，我们可以恢复图形结构，以及估计的精度矩阵，理论预测。
2014-05-23 math.ST stat.ML stat.TH
Fair Community Detection and Structure Learning in Heterogeneous Graphical Models
Department of Electrical Engineering and Computer Science, University of Michigan（电气工程与计算机科学系，密歇根大学）
本文提出了一种基于ℓ₁正则化的伪似然方法，用于在异质图模型中实现公平的社区检测和结构学习。
2026-02-20 cs.LG stat.ML
False Discovery Rate Control for Gaussian Graphical Models via Neighborhood Screening
本文提出一种无需调参的逐节点变量选择图学习方法，通过邻域融合控制高斯图模型边选择的错误发现率，并在多种图拓扑实验中显著优于现有方法。
2024-01-18 cs.LG stat.ML
Reading Dependencies from Covariance Graphs
Linköping University（林雪平大学）
概率分布$p$的协方差图（也称为双向图）是无向图$G$，其中两个节点相邻当且仅当它们对应的随机变量在$p$中略微相关。本文在假设$p$满足图的性质以及弱传递性和组合性的前提下，给出了从$p$中读取依赖关系的一个图判据.我们证明了该图判据在一定意义下是合理的和完备的。我们认为，我们的假设并没有太多的限制。例如，所有正则高斯概率分布都满足它们。
2012-06-26 cs.AI math.ST stat.ML
A Graphical Model Formulation of Collaborative Filtering Neighbourhood Methods with Fast Maximum Entropy Training
Australian National University（澳大利亚国立大学）；NICTA
用于协同过滤的项目邻域方法在项目集合上学习加权图，其中每个项目都连接到它最相似的项目。然后，用户对项目的评级的预测由相邻项目的评级给出，通过它们的相似性加权。本文提出了一种新的邻域方法，我们称之为项目字段，从而形成一个无向图形模型的项目图。由此产生的预测规则是一个简单的推广的经典方法，它考虑到非局部信息的图形，允许其最好的结果时，使用显着较少的边缘比其他邻域方法。提出了一种基于Bethe近似的快速近似最大熵训练方法，该方法采用简单的梯度上升过程。当在Movielens数据集上使用预先计算的充分统计数据时，我们的方法比最大似然方法快两个数量级。
2012-06-18 cs.IR cs.LG stat.ML
Tensor Variable Elimination for Plated Factor Graphs
Uber AI Labs（优步人工智能实验室）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
大量的机器学习算法可以归结为因子图上的变量消除。虽然因子图为这些算法提供了一个统一的符号，但与有向图形模型的板图相比，它们并没有提供一种紧凑的方式来表达重复的结构。为了利用有效的张量代数的图形与板的变量，我们推广无向因子图，以镀因子图和变量消除张量变量消除算法，直接在镀因子图。此外，我们推广的复杂性界的基础上树宽和刻画类的电镀因子图的推理是听话的。作为一个应用程序，我们将张量变量消除到Pyro概率编程语言中，以便在具有重复结构的离散潜变量模型中进行精确推理。我们验证我们的方法与实验有向和无向图形模型，包括应用程序的复调音乐建模，动物运动建模和潜在的情感分析。
2019-05-17 cs.LG stat.ML
A Review of Learning with Deep Generative Models from Perspective of Graphical Modeling
Tsinghua University（清华大学）；August 24, 2026（2026年8月24日）
本文旨在对深度生成模型（DGMs）的学习进行综述，这是机器学习和更广泛的人工智能中高度活跃的领域。这篇评论并不意味着是一个教程，但在必要时，我们提供了完整的自包含的派生。这次审查有两个特点。首先，虽然有不同的角度来分类DGM，我们选择从图形建模的角度来组织这篇综述，因为有向DGM和无向DGM的学习方法是根本不同的。其次，我们区分模型定义和模型学习算法，因为不同的学习算法可以应用于解决同一模型上的学习问题，而一种算法可以应用于学习不同的模型。因此，我们将模型定义和模型学习分开，更强调审查，区分和连接不同的学习算法。我们还讨论了有前途的未来研究方向。
2019-03-27 cs.LG stat.ML
Stability Approach to Regularization Selection (StARS) for High Dimensional Graphical Models
估计高维图模型的一个挑战性问题是以数据依赖的方式选择正则化参数。标准技术包括$K$ -折交叉验证（$K$ -CV）、赤池信息准则（AIC）和贝叶斯信息准则（BIC）。虽然这些方法在低维问题上效果很好，但它们不适合高维环境。在本文中，我们提出了StARS：一个新的基于稳定性的方法来选择正则化参数的高维推理无向图。该方法有一个明确的解释：我们使用最少的正则化，同时使图稀疏和随机采样下的可复制。这种解释基本上不需要任何条件。在温和的条件下，我们表明，StARS是部分稀疏的图估计：即具有高概率，所有的真正的边缘将被包括在选定的模型，即使当图的大小与样本量发散。从经验上讲，StARS的性能进行了比较与国家的最先进的模型选择程序，包括$K$ -CV，AIC和BIC，在合成数据和一个真正的微阵列数据集。StARS优于所有这些竞争程序。
2010-06-16 stat.ML
Learning Directed Graphical Models from Gaussian Data
Technical University of Munich（慕尼黑工业大学）
在本文中，我们介绍了一个新的有向图模型从高斯数据：高斯图形交互模型（GGIM）。该模型的发展来自于考虑图上的平稳高斯过程，并利用所得到的稳态协方差矩阵和表示相互作用图的拉普拉斯矩阵之间的方程。通过介绍概念上简单的理论，我们开发了新的模型，并提供解释的边缘在图形模型的统计措施。我们表明，当限制到无向图，代表GGIM的拉普拉斯矩阵是等价的标准逆协方差矩阵编码的条件依赖关系。此外，我们的方法导致一个自然的定义，在平稳高斯过程中的两个元素的定向条件独立。我们证明了学习稀疏GGIMs为给定的观察集的问题可以被框定为一个LASSO问题。通过与逆协方差估计问题的比较，我们证明了稀疏GGIM对应的协方差矩阵与$l_1$ -范数惩罚最大对数似然估计对应的协方差矩阵之差的一个界.最后，我们考虑了与稀疏有向条件依赖关系相关的GGIM学习问题。总之，新模型提出了一个新的角度对变量之间的直接关系，并显着扩展了最先进的高斯图形建模。
2020-11-18 cs.LG stat.ML
The Graphical Lasso: New Insights and Alternatives
Stanford University（斯坦福大学）
图形套索\citep{FHT2007a}是一种用于学习无向高斯图形模型中的结构的算法，使用$\ell_1$正则化来控制精度矩阵${\BΘ}={\BΣ}^{-1}$ \citep{BGA2008,yuan_lin_07}中的零点数量。{ \texttt R}软件包\GL \ \citep{FHT2007a}很受欢迎，速度很快，允许用户针对不同的调优参数值高效地构建模型路径。\GL \的收敛可能很棘手;收敛的精度矩阵可能不是估计的协方差的倒数，并且偶尔会在热启动时无法收敛。在本文中，我们解释了这种行为，并提出了新的算法，似乎优于\GL。通过研究“正规方程”，我们看到，\GL \是解决的{ \em对偶}的图形套索惩罚的可能性，通过块坐标上升;一个结果，也可以在\cite{BGA2008}。在该对偶中，估计的目标是协方差矩阵$\BΣ$，而不是精度矩阵$\BΘ$。我们提出了类似的原始算法\PGL \和\DPGL，也通过块坐标下降，其中$\BΘ$是优化目标。我们研究所有这些算法，特别是不同的方法来解决他们的坐标子问题。我们得出结论，从几个角度来看，\DPGL \更优越。
2012-08-07 cs.LG stat.ML
Learning to Discover Sparse Graphical Models
我们考虑从观测数据中发现无向图模型的结构。从少数例子中推断可能的结构是一项复杂的任务，通常需要制定先验知识和复杂的推理程序。流行的方法依赖于估计精度矩阵的惩罚极大似然。然而，在这些方法中，结构恢复是数据拟合项的间接结果，惩罚可能难以适应特定领域的知识，并且推理在计算上要求很高。相比之下，生成从具有期望结构属性的图产生的数据的训练样本可能更容易。我们在这里建议利用后一种信息源作为训练数据来学习一个函数，该函数由神经网络参数化，该神经网络将经验协方差阵映射到估计的图结构。学习这个函数有两个好处：它隐式地对所需的结构或稀疏性属性进行建模，以形成合适的先验，并且它可以针对边缘结构发现的特定问题进行定制，而不是最大化数据可能性。应用这个框架，我们发现我们在合成数据上训练的可学习的图发现方法推广得很好：识别合成数据和真实数据中的相关边缘，在训练时完全未知。我们发现，在遗传学，脑成像和模拟数据，我们获得的性能一般优于分析方法。
2017-08-03 stat.ML
Learning non-Gaussian graphical models via Hessian scores and triangular transport
Massachusetts Institute of Technology（麻省理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
无向概率图模型表示随机变量集合的条件依赖性或马尔可夫性。了解这种图形模型的稀疏性对于建模多变量分布和有效地执行推理是有价值的。虽然从数据中学习图结构的问题已经被广泛研究了某些参数分布族，但大多数现有的方法都无法一致地恢复非高斯数据的图结构。在这里，我们提出了一个学习连续和非高斯分布的马尔可夫结构的算法。为了表征条件独立性，我们引入了一个分数的基础上，从联合对数密度集成Hessian信息，我们证明了这个分数上限的条件互信息的一般类的分布。为了计算分数，我们的算法SING使用由三角运输图引起的确定性耦合来估计密度，并迭代地利用图中的稀疏结构来揭示图中的稀疏性。对于某些非高斯数据集，我们表明，我们的算法恢复的图形结构，即使有偏见的近似密度。在其他例子中，我们应用SING来学习具有局部相互作用的混沌动力系统的状态之间的依赖关系。
2023-02-25 cs.LG stat.CO stat.ML
Mixed Graphical Models for Causal Analysis of Multi-modal Variables
University of Pittsburgh School of Medicine（匹兹堡大学医学院）；Joint Carnegie Mellon University-University of Pittsburgh PhD Program in Computational Biology（卡内基梅隆大学与匹兹堡大学计算生物学联合博士项目）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
图因果模型是知识发现的重要工具，因为它既可以表示变量之间的因果关系，也可以表示数据上的多元概率分布。一旦学习，因果图可以用于分类，特征选择和假设生成，同时揭示潜在的因果网络结构，从而允许对数据进行任意似然查询。然而，目前用于学习稀疏有向图的算法通常被设计为仅处理一种类型的数据（仅连续或仅离散），这限制了它们对包括混合类型变量的大类多模态生物数据集的适用性。为了解决这个问题，我们开发了新的方法，修改和结合现有的方法找到无向图的方法找到有向图。这些混合方法不仅速度更快，而且在各种参数设置和数据集大小下都比单独的有向图估计方法表现得更好。在这里，我们描述了一个新的条件独立性测试学习有向图在混合数据类型，我们比较性能不同的图学习策略的合成数据。
2017-04-09 cs.AI stat.ML
Gauges, Loops, and Polynomials for Partition Functions of Graphical Models
University of Arizona（亚利桑那大学）；Skolkovo Institute of Technology（斯科尔科沃科学技术研究院）；Wayne State University（韦恩州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
图形模型表示多变量且通常未归一化的概率分布。计算归一化因子（称为分区函数）是与多个统计和优化应用相关的主要推理挑战。该问题是一个指数的复杂性相对于变量的数量。在本文中，为了近似PF，我们考虑多图模型，其中二元变量和多变量因子分别与无向多图的边和节点相关联。我们提出了一种新的分析和计算方法，结合规范函数的技术，从真正的稳定多项式领域的技术。我们表明，规范函数有一个自然的多项式表示的规范/变量与边缘的多重图。此外，它可以用来通过一系列变换来恢复配分函数，从而允许吸引人的代数和图形解释。在代数上，序列中的一个步骤包括在与边缘相关联的规范上应用微分算子。从图形上讲，该序列被解释为重复消除边缘，从而导致具有相同分区函数的大小递减图上的模型序列。即使在序列模型中计算因子的复杂度随着消除的边的数量呈指数增长，如果原始因子具有该属性，则与新因子相关联的多项式保持双稳定。此外，我们证明了序列中的置信传播估计不会减少，每个下界的分区函数。
2020-08-28 cs.LG math-ph math.MP
Student Copula Markov Networks
School of Statistics and Actuarial Science, University of the Witwatersrand（统计学与精算科学学院，威特沃特斯兰德大学）；Department of Mathematics, Alioune Diop University of Bambey（数学系，班贝阿里乌恩·迪奥普大学）
本文针对非高斯数据，基于Copula密度建立无向概率图模型的pairwise Markov性质表征，推导学生Copula马尔可夫网络的必要条件，提出ECM算法并通过模拟验证其参数估计与图结构恢复的有效性。
2026-10-15 cs.LG stat.ME stat.ML
Active Inference and Epistemic Value in Graphical Models
Eindhoven University of Technology（埃因霍温理工大学）；Nested Mind Solutions（嵌套思维解决方案公司）；GN Hearing Benelux BV（GN听力比荷卢有限公司）
自由能原理（FEP）假设生物体感知并与其环境相互作用，以最小化相对于其环境的生成模型的变分自由能（VFE）。根据FEP对策略（未来控制序列）的推理被称为主动推理（AIF）。AIF文献描述了导致认知（信息寻求）行为的政策规划的多个VFE目标。然而，大多数目标具有有限的建模灵活性。本文从约束贝特自由能（CBFE）的角度来探讨认知行为。至关重要的是，CBFE的变分优化可以用自由形式生成模型的消息传递来表示。CBFE背后的关键直觉是，我们对预测的结果施加点质量约束，这明确地编码了智能体将在未来进行观察的假设。我们解释CBFE的目标，其组成的行为驱动器。然后，我们说明所产生的行为的CBFE的规划和互动与模拟的T型迷宫环境。T型迷宫任务的模拟说明了CBFE代理如何表现出认知驱动，并积极地提前计划，以应对预测结果的影响。与EFE代理相比，CBFE代理在更多的环境场景中产生预期奖励。我们的结论是，CBFE优化消息传递提出了一个一般的机制，认知AIF在自由形式的生成模型。
2022-03-07 cs.LG cs.NE stat.ML
High-dimensional Functional Graphical Model Structure Learning via Neighborhood Selection Approach
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）；Department of Data Sciences and Operations, Marshall School of Business, University of Southern California（南加州大学马歇尔商学院数据科学与运营系）
针对高维函数型数据的条件独立结构建模需求，提出基于函数对函数回归的邻域选择法估计高斯函数图模型结构，兼具计算效率与统计一致性，还给出了降维用函数基的选择准则与实用方案。
2024-01-26 cs.LG stat.ME stat.ML
