Bayesian learning of forest and tree graphical models
University of Bristol（布里斯托大学）
在高斯图模型结构的贝叶斯学习中，通常将注意力限制在某些类别的图上，并通过使用MCMC或诸如随机鸟枪搜索（SSS）的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布，特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木，和系统存储这些图，以便很容易选择移动到相邻的图形。实验表明，当真实图是树或稀疏图时，带有树的SSS表现良好。在某些情况下，树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测，但需要大范围的概率。森林上的MCMC不能很好地混合，树木上的MCMC比SSS慢。(For更长的摘要见论文。）
2021-08-31 cs.LG stat.ML
Graphical Models as Block-Tree Graphs
我们引入块树图作为一个框架，用于导出图形模型上的高效算法。我们将块树图定义为树结构图，其中每个节点是节点的簇，使得图中的簇是不相交的。这与连接树不同，在连接树中，由边连接的两个集群总是至少有一个公共节点。当连接树相比，我们表明，构建块树图是更快的，找到最佳的块树图有一个小得多的搜索空间。将我们的块树图框架应用于图形模型，我们表明，对于某些图，例如，使用块树图进行推理的网格图在计算上比使用连接树更有效。对于具有边界条件的图形模型，块树图框架将边值问题转化为初值问题。对于高斯图形模型，块树图框架导致线性状态空间表示。由于图形模型的精确推理在计算上是难以处理的，我们建议使用生成块树来推导近似推理算法。实验结果表明，改进的性能，在使用生成块树与使用生成树近似估计高斯图形模型。
2010-11-13 cs.IT math.IT math.PR
Nonparametric Latent Tree Graphical Models: Inference, Estimation, and Structure Learning
树结构图模型在表达变量间的长范围或层次依赖关系方面具有很强的能力，在计算机科学和统计学的各个领域得到了广泛的应用。然而，现有的参数估计、推理和结构学习方法主要依赖于高斯或离散假设，这在许多应用中受到限制。在本文中，我们提出了新的非参数方法的基础上再生核希尔伯特空间嵌入的分布，可以恢复潜在的树结构，估计参数，并进行推理高维连续和非高斯变量。所提出的方法的有用性说明了彻底的数值结果。
2014-01-16 stat.ML
PAC-learning bounded tree-width Graphical Models
University of Washington（华盛顿大学）
我们表明，一类树宽最多为k的强连接图形模型可以适当有效地PAC学习Kullback-Leibler发散。以前解决这个问题的方法，如Chow（[1]）和Ho gen（[7]）的方法已经表明，通过将其简化为组合优化问题，该类是PAC可学习的。然而，对于k > 1，这个问题是NP完全的（[15]），因此除非P=NP，否则这些方法将花费指数级的时间。我们的方法显着不同，从这些，因为它首先试图找到近似的条件独立解决（多项式许多）子模块优化问题，然后使用动态规划制定相结合的近似条件独立的信息，以获得一个图形模型与底层图的树的宽度指定。这给了我们一个有效的（多项式时间的随机变量的数量）PAC-学习算法，它只需要多项式数量的样本的真实分布，只有多项式的运行时间。
2012-07-11 cs.DS cs.LG stat.ML
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。这个任务将是棘手的，没有任何限制所考虑的图，所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样，我们专注于精确的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。为了这个目的，我们限制了一组考虑图的混合物的生成树。我们调查的条件下，先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下，我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明，我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
Exact Bayesian inference for off-line change-point detection in tree-structured graphical models
本文研究了多变量时间序列的变点检测问题。观测值的多变量分布应该遵循一个图形模型，其图形和参数随时间的突变而变化。我们证明，它是可能的执行精确的贝叶斯推断，只要一个认为是一个简单的类的无向图称为生成树作为可能的结构。然后，我们能够整合的图形和分割空间在同一时间结合经典的动态规划与代数结果有关的生成树。特别是，我们表明，数量，如后验分布的变化点或后边缘概率随时间的推移，可以有效地获得。我们说明了我们的研究结果的合成和实验数据来自生物学和神经科学。
2016-06-16 stat.ML
Composing graphical models with neural networks for structured representations and fast inference
我们提出了一个通用的建模和推理框架，该框架将概率图模型与深度学习方法组合在一起，并结合了它们各自的优势。我们的模型家族用神经网络观测模型增强了潜变量的图形结构。对于推理，我们扩展变分自编码器使用图形模型近似分布与识别网络输出共轭电位。这些模型的所有组件都是通过一个目标同时学习的，从而提供了一个可扩展的算法，该算法利用了随机变分推断、自然梯度、图形模型消息传递和重新参数化技巧。我们说明了这个框架与几个例子模型和应用程序的小鼠行为表型。
2017-07-07 stat.ML
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Tree-based Node Aggregation in Sparse Graphical Models
高维图形模型通常使用正则化来估计，其目的是减少网络中的边数。在这项工作中，我们展示了如何通过聚合图形模型的节点来生成更简单的网络。我们开发了一种新的凸正则化方法，称为树聚合图形套索或标签套索，估计图形模型，边缘稀疏和节点聚合。通过利用树形式的边信息以数据驱动的方式执行聚合，该边信息编码节点相似性并促进对所得聚合节点的解释。我们提供了一个有效的实现的标签套索，通过使用局部自适应交替方向方法的乘数，并说明我们的建议的实际优势，在模拟和金融和生物学中的应用。
2021-01-29 econ.EM stat.ME stat.ML
Learning High-Dimensional Mixtures of Graphical Models
UC Irvine（加州大学欧文分校）；Microsoft Research New England（微软新英格兰研究院）
我们考虑离散图形模型的混合物的无监督估计，其中对应于混合物成分的类变量是隐藏的，并且观察到的变量上的每个混合物成分可以具有潜在的不同的马尔可夫图结构和参数。我们提出了一种新的方法来估计的混合物成分，我们的输出是一个树混合模型，作为一个很好的近似底层图形模型的混合物。我们的方法是有效的，当联合图，这是混合成分的马尔可夫图的联合，有稀疏的顶点之间的任何一对观察变量的分离器。这包括树混合和有界度图的混合。对于这样的模型，我们证明了我们的方法正确地恢复联盟图结构和树结构对应的混合成分的最大似然树近似。对于$p$ -变量图形模型的$r$ -组分混合物，我们的方法的样本和计算复杂度为$\poly(p, r)$。我们进一步扩展我们的结果的情况下，工会图有稀疏的本地分离器之间的任何一对观察到的变量，如混合物的局部树状图，和混合物成分的相关性衰减的制度。
2012-06-30 cs.AI cs.LG stat.ML
Unbiased Learning of Deep Generative Models with Structured Discrete Representations
University of California, Irvine（加州大学尔湾分校）
本文提出新算法优化结构化变分自编码器，首次实现其处理缺失数据多模态不确定性，并实现无偏自然梯度计算，使SVAE在时间序列基准上表现竞争力且学习可解释离散表示。
2023-11-14 cs.LG stat.ML
Exact Asymptotics for Learning Tree-Structured Graphical Models with Side Information: Noiseless and Noisy Samples
National University of Singapore（新加坡国立大学）
给定边信息，伊辛树结构的图形模型是均匀的，没有外部字段，我们推导出精确的渐近学习其结构从独立绘制的样本。我们的研究结果，利用概率工具从理论上的强大偏差，完善大偏差（误差指数）的结果谭，Anandkumar，童，和Willsky [IEEE trans.日，57（3）：1714- 1735，2011]，并严格改进Bresler和Karzand [Ann. Statist.，2020年]。此外，我们将我们的结果扩展到随机噪声中观察样本的情况。在这种情况下，我们证明了它们严格改进了Nikolakakis，Kalogerias和Sarwate的最近结果[Proc. AISTATS，1771- 1782，2019]。我们的理论结果表明，与实验结果的样本量小到几百。
2020-05-09 cs.IT cs.LG math.IT
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology（格拉茨工业大学）
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法，据此提出能够自动适应给定模型的自由能近似，并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data
Dipartimento di Informatica - Università di Pisa（比萨大学信息学系）
本文介绍了两个新的聚合函数编码的结构知识，从树结构的数据。它们利用Canonical和Tensor-Train分解来产生富有表现力的上下文聚合，同时限制模型参数的数量。最后，我们定义了两个新的神经递归模型的树利用这样的聚合功能，我们测试它们的两个树分类任务，显示出所提出的模型的优势时，树outdegree增加。
2020-08-13 cs.LG stat.ML
Distributionally Robust Graphical Models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在许多结构化预测问题中，变量之间的复杂关系是使用图形结构来复杂定义的。最流行的图形预测方法-概率图形模型和大裕度方法-有其独特的优点，但也有显着的缺点。条件随机场（CRF）是Fisher一致的，但它们不允许将定制的损失度量集成到它们的学习过程中。大利润模型，如结构化支持向量机（SSVM），具有灵活性，以纳入定制的损失指标，但缺乏费舍尔一致性保证。我们提出了对抗性图形模型（AGM），一种分布鲁棒的方法，用于构建一个预测器，该预测器对于使用图形结构定义的一类数据分布具有鲁棒性。我们的方法既具有将定制的损失指标纳入其设计的灵活性，又具有Fisher一致性的统计保证。我们提出了精确的学习和预测算法AGM的时间复杂度类似于现有的图形模型，并显示了我们的方法与实验的实际好处。
2018-11-07 cs.AI cs.LG stat.ML
Graphical Model Sketch
Adobe Research（Adobe研究院）；Rutgers（罗格斯大学）；TTI（丰田技术研究院）
结构化的高基数数据出现在许多领域，对建模和推理都提出了重大挑战。图形模型是一种流行的建模结构化数据的方法，但它们不适合高基数变量。count-min（CM）草图是一种在高基数数据中估计概率的流行方法，但它不能很好地扩展到几个变量之外。在这项工作中，我们汇集了图形模型和计数草图的想法，并提出和分析了几种方法来估计结构化的高基数数据流的概率。我们近似的关键思想是使用图形模型的结构，并通过“草图”近似估计其因子，该草图使用随机投影对高基数变量进行散列。我们的近似是计算效率和它们的空间复杂度是独立的变量的基数。我们的误差界是乘法和显着改善后的CM草图，一个国家的最先进的方法来估计流中的概率。我们评估我们的近似合成和现实世界的问题，并报告了一个数量级的改进CM草图。
2016-07-18 cs.DS cs.LG stat.ML
Learning Latent Tree Graphical Models
我们研究的问题，学习一个潜在的树图形模型的样本只能从一个子集的变量。我们提出了两个一致的和计算效率高的算法学习最小潜在树，即没有任何冗余的隐藏节点的树。与许多现有方法不同，观察到的节点（或变量）不限于叶节点。我们的第一个算法，递归分组，通过使用所谓的信息距离识别兄弟组递归地构建潜在树。这项工作的主要贡献之一是我们的第二个算法，我们称之为CLINICAL。CLIENT从一个预处理过程开始，在这个过程中，在观察到的变量上构造一棵树。这个全局步骤将在真实潜在树中可能彼此接近的观察到的节点分组，从而指导对小得多的变量子集的后续递归分组（或等效过程）。这导致对潜在树的更准确和更有效的学习。我们还提出了正则化版本的算法，学习潜在的树近似的任意分布。我们提出的算法进行广泛的数值实验，如隐马尔可夫模型和星图的各种潜在的树图形模型，其他方法进行比较。此外，我们证明了我们的方法在现实世界的数据集上的适用性，通过建模的依赖结构的每月股票收益率在标准普尔指数和20个新闻组数据集的话。
2010-09-14 cs.IT math.IT stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples
National University of Singapore（新加坡国立大学）
我们考虑学习伊辛树模型时，从节点的观察是由独立的，但不相同分布的噪声与未知的统计损坏。Katiyar等人（2020）表明，虽然无法恢复精确的树结构，但可以恢复部分树结构;即属于包含真树的等价类的结构。本文对Katiyar et al.（2020）进行了系统的改进。首先，我们提出了一个新的不可能的结果，通过推导出的部分恢复所需的样本数的界限。第二，我们推导出一个显着改善的样本复杂度的结果，其中的最小相关$ρ_{\min}$的依赖是$ρ_{\min}^{-8}$，而不是$ρ_{\min}^{-24}$。最后，我们提出了对称几何平均（SGA），一个更强大的统计算法的部分树恢复。我们提供了各种树的误差指数分析和广泛的数值结果，以表明SGA的样本复杂度明显优于Katiyar等人的算法。SGA可以很容易地扩展到高斯模型，并通过数值实验表明，同样优越。
2021-01-22 cs.IT cs.LG math.IT
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania（宾夕法尼亚大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）；University of Maryland Medical Center（马里兰大学医学中心）
加法模型，例如由梯度提升产生的，以及全交互模型，例如分类和回归树（CART），是广泛使用的算法，这些算法在很大程度上被孤立地研究。我们表明，这些模型存在于一个频谱，揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术，称为树结构的提升，用于创建一个单一的决策树，并表明，这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下，通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用（如医学）所需的预测性能，但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树，这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
A deep-structured fully-connected random field model for structured inference
University of Waterloo（滑铁卢大学）
为了结构化推理的目的，在使用全连接的图形模型和深度结构化的图形模型方面已经有了很大的兴趣。然而，完全连接和深度结构化的图形模型在很大程度上是独立探索的，这两个概念的统一有待探索。统一这两种模型的一个根本挑战是处理计算复杂性。在这项研究中，我们调查的可行性，统一的全连接和深层结构化的模型在计算上易于处理的方式结构化推理的目的。为了实现这一点，我们引入了一个深结构的全连接随机场（DFRF）模型，该模型集成了一系列放置在状态层之间的中间稀疏自动编码层，以显着降低计算复杂度。图像分割的问题被用来说明使用DFRF的结构化推理的可行性，在计算上易于处理的方式。在这项研究中的结果表明，它是可行的，以计算上易于处理的方式来解决结构化推理问题，如图像分割，统一的全连接和深层结构化的模型。
2015-05-27 cs.IT cs.LG math.IT
Testing properties of trees in graphical models with covariance queries
IMTECH and Departament de Matemàtiques, Universitat Politècnica de Catalunya, Barcelona, Spain and Department of Economics and Business, Pompeu Fabra University, Barcelona, Spain（IMTECH 和 巴塞罗那理工大学数学系及巴塞罗那庞培法华大学经济与商业系，西班牙巴塞罗那）；LPSM, Sorbonne Université, 4 Place Jussieu, 75005 Paris, France（巴黎索邦大学LPSM，法国巴黎，4 Place Jussieu, 75005）；ICREA, Pg. Lluís Companys 23, 08010 Barcelona, Spain（ICREA，西班牙巴塞罗那Lluís Companys 23号，08010；巴塞罗那庞培法华大学经济与商业系，西班牙巴塞罗那；巴塞罗那经济学院）；Department of Economics and Business, Pompeu Fabra University, Barcelona, Spain（巴塞罗那庞培法华大学经济与商业系，西班牙巴塞罗那；巴塞罗那经济学院）；Barcelona School of Economics；Department of Economics and Business, Pompeu Fabra University, Barcelona, Spain；Barcelona School of Economics
本文研究高维图模型下树结构的性质测试，设计了基于子二次查询数量的随机测试方法，针对叶子数、最大度、典型距离和直径等属性提出显式查询复杂度界限。
2026-05-15 cs.LG math.ST stat.ML
Exact and approximate inference in graphical models: variable elimination and beyond
INRA（法国国家农业研究院）；INRA UR 875 MIAT（法国国家农业研究院UR 875 MIAT研究所）；INRA UMR 1202（法国国家农业研究院UMR 1202研究所）；AgroParisTech（巴黎高等农业学院）；UM R518 MIA（UM R518 MIA研究所）；Institute of Fundamental Sciences, Massey University（梅西大学基础科学研究所）
概率图模型提供了一个强大的框架来解释变量之间的依赖结构，它被表示为一个图。然而，变量之间的依赖性可能使推理任务变得棘手。在本文中，我们审查技术利用图结构的精确推理，借用优化和计算机科学。它们建立在变量消除的原则上，其复杂性由变量消除的顺序以复杂的方式决定。图的所谓树宽表征了这种算法的复杂性：低树宽的图可以被有效地处理。因此，我们说明的第一个信息是，对于图模型中的推理，变量的数量不是限制因素，在转向近似方法之前，值得检查树宽。我们展示了如何利用算法提供的树宽的上限，以获得一个“好”的消除顺序，使执行精确的推理。第二个信息是，当树宽太大时，与变量消除原理相关的近似推理算法，如循环置信传播和变分方法，可以得到准确的结果，同时比蒙特卡洛方法耗时少得多。我们说明了在遗传连锁分析和计算机视觉的推理问题的基准，以及在耦合隐马尔可夫模型的隐变量恢复在这篇文章中审查的技术。
2018-03-12 cs.AI cs.LG stat.ML
Spectral neighbor joining for reconstruction of latent tree models
Yale University（耶鲁大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在多个科学应用中的一个常见假设是，观察到的数据的分布可以通过潜在树图形模型来建模。一个重要的例子是进化树遗传学，它模拟了一组观察到的生物体的进化谱系。给定树的叶子上的随机变量的一组独立实现，一个关键的挑战是推断底层的树拓扑。在这项工作中，我们开发了光谱邻居连接（SNJ），一种新的方法来恢复潜在树图形模型的结构。给定一个包含所有观测变量对之间的相似性度量的矩阵，SNJ计算观测变量组之间的凝聚力的谱度量。我们证明了SNJ是一致的，并推导出一个充分条件，从估计的相似矩阵正确的树恢复。结合这一条件与相似性矩阵上的测量结果的浓度，我们约束了恢复树的高概率所需的样本数。我们说明通过广泛的模拟相比，其他几种重建方法，SNJ需要更少的样本，以准确地恢复大量的树叶或长边的树。
2020-09-23 cs.LG stat.ML
A Junction Tree Framework for Undirected Graphical Model Selection
Rice University（莱斯大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
无向图模型是在无向图G* 上定义的联合概率分布，其中图中的顶点索引了随机变量的集合，而边对随机变量之间的条件独立关系进行编码。无向图模型选择（UGMS）问题是在给定无向图模型的观测值的情况下，对图G* 进行估计。本文提出了一个框架，用于将UGMS问题分解为多个子问题的集群和子集的分离器在一个联合树。使用包含G* 中的边的超集的图来构造连接树。我们强调了UGMS使用连接树的三个主要特性。首先，可以使用不同的正则化参数或不同的UGMS算法来学习图的不同部分。这是可能的，因为我们识别的子问题可以相互独立地解决。第二，在一定条件下，基于联合树的UGMS算法可以产生一致的结果与较少的观察比现有算法的通常要求。第三，我们的理论和实验结果都表明，连接树框架在寻找图中的最弱边方面比现有方法做得更好。该性质是第一和第二性质两者的结果。最后，我们注意到，我们的框架是独立的UGMS算法的选择，可以用作包装周围的标准UGMS算法更准确的图估计。
2013-12-02 cs.AI cs.IT math.IT
Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization
ESAT-PSI, KU Leuven, Belgium（比利时鲁汶大学ESAT-PSI实验室）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们在优化基准函数以及神经网络模型压缩问题上演示了我们的方法，实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-06-21 cs.LG stat.ML
Contrastive Structured Anomaly Detection for Gaussian Graphical Models
高斯图模型（GGM）是分析复杂系统中变量之间的条件依赖关系的概率工具。因此，在GGM的结构演化中找到变点对于检测由GGM建模的底层系统中的异常是至关重要的。为了检测GGM中的结构异常，我们考虑估计相应的高斯分布的精度矩阵的变化的问题。我们采取两步的方法来解决这个问题：-（i）估计一个背景精度矩阵使用系统的观察，从过去没有任何异常，以及（ii）估计一个前景精度矩阵使用滑动时间窗口异常监测期间。我们的主要贡献是在估计的前景精度使用一种新的对比逆协方差估计过程。为了准确地只学习GGM的结构变化，我们最大化惩罚的对数似然，其中惩罚是被估计的前景精度和已经学习的背景精度之间的差异的$l_1$范数。我们修改了交替方向乘子法（ADMM）稀疏逆协方差估计算法进行对比估计的前景精度矩阵。我们的模拟GGM数据的结果表明，显着改善的精度和召回检测GGM的结构变化，相比非对比滑动窗口基线。
2016-05-02 stat.ML
Learning the hub graphical Lasso model with the structured sparsity via an efficient algorithm
School of Mathematics, Southwest Jiaotong University（西南交通大学数学学院）；School of Computer and Computing Science, Zhejiang University City College（浙江大学城市学院计算机与计算科学学院）；Engineering Systems and Design, Singapore University of Technology and Design（新加坡科技设计大学工程系统与设计）
针对高维数据下带 hub 节点图模型拟合的计算难题，提出两阶段算法，结合 ADMM 与基于 SSN 的 ALM 挖掘稀疏结构，在保证高估计质量的同时大幅节省执行时间。
2025-05-02 cs.LG cs.NA math.NA
Variational Message Passing with Structured Inference Networks
最近将深度模型与概率图模型相结合的努力在提供灵活的模型方面很有希望，这些模型也很容易解释。我们提出了一个变分消息传递算法的变分推断在这样的模型。我们做了三个贡献。首先，我们提出了结构化的推理网络，它将图形模型的结构纳入变分自动编码器（VAE）的推理网络中。其次，我们建立条件下，这样的推理网络，使快速摊销推理类似于VAE。最后，我们推导出一个变分的消息传递算法进行有效的自然梯度推理，同时保持摊销推理的效率。通过同时启用深度结构化模型的结构化，摊销和自然梯度推理，我们的方法简化和推广了现有的方法。
2018-06-14 stat.ML
Graphical Models: An Extension to Random Graphs, Trees, and Other Objects
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们考虑扩展的图形模型随机图，树，和其他对象。为了做到这一点，多变量随机变量的许多基本概念（例如，边际变量、吉布斯分布、马尔可夫性）必须扩展到其他数学对象;正如我们将要讨论的那样，如果我们对给定对象有一个一致的、完整的投影系统，这种扩展是可能的。每个投影定义一个边际随机变量，允许指定它们之间的独立性假设。此外，这些独立性可以用这些边际变量的一个小子集（我们称之为原子变量）来指定，从而允许通过有向图来紧凑地表示独立性。投影还定义了因子，投影对象空间上的函数，因此投影族定义了分布的一组可能的因子分解;这些可以用无向图来表示。图模型中使用的不变性对于学习分布是必不可少的，不仅是多变量随机变量，而且是其他对象。当它们被应用于随机图和随机树时，结果是一类通用的模型，适用于广泛的问题，包括那些图和树具有复杂的边缘结构的问题。这些模型不需要像随机图的文献中那样以固定数量的顶点为条件，并且可以用于属性与顶点和边相关联的问题。对于图，应用包括分子建模、神经网络和关系现实世界场景;对于树，应用包括传染病建模、细胞融合、语言结构和视觉场景中对象的结构。许多经典模型都是这一框架的具体实例。
2017-05-05 cs.AI cs.SI stat.ML
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University（波士顿大学）；Draper（德雷珀实验室）
许多常见的顺序数据源（如源代码和自然语言）都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成，从而产生序列中标记的层次排序。这种结构编码了高度的句法信息，使其成为解决语法纠正等问题的理想方法。然而，很少有工作已经做了开发神经网络，可以操作和利用树结构的数据。在本文中，我们提出了树转换器\textemdash{}，一种新的神经网络架构，旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上，我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面，我们取得了与最复杂的最先进系统相当的结果，在CoNLL 2014基准测试中获得了$10\%$召回率的改善，并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Lifted Tree-Reweighted Variational Inference
Nuance Communications（Nuance通信公司）；John von Neumann Institute（冯·诺依曼研究所）；Vietnam National University（越南国家大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
我们分析高度对称的图形模型，如一阶概率模型所产生的变分推理。我们首先表明，对于这些图形模型，树重新加权变分目标本身的一个紧凑的解除制定，可以更有效地解决比标准的TRW制定地面图形模型。与早期关于提升置信传播的工作相比，我们的公式导致了提升边缘推理的凸优化问题，并提供了分区函数的上界。我们提供了两种方法来提高解除TRW上限。第一个是一种方法，用于有效地计算最大生成树的高度对称图，它可以用来优化TRW边的出现概率。第二个是一种方法，用于收紧放松的边缘多面体使用提升循环不等式和新的可交换的集群一致性约束。
2014-06-19 cs.AI stat.ML
Robust Model Selection of Gaussian Graphical Models
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本文研究噪声污染下高斯图模型的稳健结构选择，刻画一般图不可避免的等价类，提出可恢复局部聚类与全局连接的算法，并给出高维有限样本保证与仿真验证。
2024-05-08 cs.LG math.ST stat.ML
Structured Multi-Label Biomedical Text Tagging via Attentive Neural Tree Decoding
University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Northeastern University（东北大学）
我们提出了一个模型，用于标记非结构化文本，其中任意数量的术语来自树结构词汇表（即，本体）。我们将其视为序列到序列学习的特殊情况，其中解码器从本体树的根结点开始，并递归地选择扩展子节点作为输入文本、当前节点和潜在解码器状态的函数。在我们的实验中，所提出的方法优于国家的最先进的方法的重要任务，自动分配MeSH术语的生物医学摘要。
2018-10-02 cs.IR cs.LG stat.ML
Dynamic Trees: A Structured Variational Method Giving Efficient Propagation Rules
动态树是树结构信念网络的混合。它们解决了固定树网络的一些问题，但代价是使精确推理变得难以处理。为此，使用了诸如采样或平均场方法之类的近似方法。然而，平均场近似假设在节点状态上的分解分布。这样的分布在后验中看起来很不协调，因为节点在前验中高度相关。在这里，使用结构化变分方法，其中非证据节点的后验分布本身由动态树近似。事实证明，这种形式可以灵活有效地使用。其结果是一组更新规则，可以通过网络传播信息，以获得完整的变分近似和相关的边缘。该规则比平均场方法更有效，在推理的定量和定性方面都有明显的改进。计算的边缘给出了更好的近似后比一个小玩具问题上的循环传播。
2013-01-16 cs.AI cs.LG stat.ML
An Introduction to Conditional Random Fields
通常我们希望预测大量的变量，这些变量相互依赖，也依赖于其他观察到的变量。结构化预测方法本质上是分类和图形建模的组合，将图形模型对多变量数据进行复杂建模的能力与分类方法使用大量输入特征集执行预测的能力相结合。本教程介绍了条件随机场，一种流行的结构化预测概率方法。CRF在自然语言处理、计算机视觉和生物信息学中有着广泛的应用。我们描述的推理和参数估计的CRF，包括实施大规模CRF的实际问题的方法。我们并不假设您已经具备图形建模的知识，因此本教程旨在对各种领域的从业者有用。
2010-11-17 stat.ML
Latent Factor Analysis of Gaussian Distributions under Graphical Constraints
当总体协方差矩阵$Σ_x$具有一个附加的潜在图形约束，即潜在星形拓扑时，研究了凸优化问题约束最小迹因子分析（CMTFA）解空间的代数结构.特别地，我们已经证明了CMTFA可以有秩$ 1 $或秩$ n-1 $解决方案，并且在两者之间没有任何东西。秩$ 1 $解的特殊情况对应于只有一个潜在变量捕获可观测量之间的所有依赖关系的情况，从而产生星形拓扑。我们发现了$Σ_x$的CMTFA解的秩$ 1 $和秩$n- 1$解的显式条件。作为建立更一般的高斯树的基本尝试，我们已经找到了多个集群的必要和充分条件，每个集群具有秩$ 1 $ CMTFA解决方案，以满足最小概率组合在一起，以建立一个高斯树。为了支持我们的分析结果，我们提出了一些数字证明我们的工作的贡献的有用性。
2020-01-11 cs.IT cs.LG math.IT
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Generative Modeling via Tree Tensor Network States
University of Chicago（芝加哥大学）
在本文中，我们提出了一个密度估计框架的基础上树张量网络状态。所提出的方法包括确定树的拓扑结构与Chow-Liu算法，并获得一个线性方程组，通过素描技术定义的张量网络组件。为了考虑包含循环的图形模型，开发了草图功能的新选择。样本的复杂性保证，并进一步证实了数值实验。
2022-09-03 cs.LG quant-ph stat.ML
Multivariate Varying-Coefficient BART with Graphical Horseshoe Priors
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出多变量变系数BART框架，用独立BART集成建模非线性系数曲面，图形马蹄先验捕捉残差稀疏依赖，并证明后验收缩率。
2026-06-27 math.ST stat.ME stat.ML
Model Approximation Using Cascade of Tree Decompositions
University of Hawaii at Manoa（夏威夷大学马诺阿分校）
在本文中，我们提出了一个通用的，多级框架的图形模型近似使用级联模型，如树。特别是，我们期待在高斯分布的线性变换树模型的协方差矩阵近似的问题。这是一种分解协方差矩阵的新方法。在这里，我们提出了一种算法，它采用了Cholesky分解方法来计算分解矩阵，从而可以近似一个简单的图形模型，使用级联的Cholesky分解的树近似变换。Cholesky分解使我们能够实现一个树结构因子图在每个级联阶段的算法，这有利于使用的消息传递算法，因为近似的图形相比，原始的图形具有较少的循环。整个图是因子图的级联，每个因子图是一棵树。这是近似模型的不同视角，并且可以在这个整体图上使用诸如高斯置信传播之类的算法。在这里，我们提出的理论结果，保证所提出的模型近似使用级联树分解的收敛性。在模拟中，我们查看合成数据和真实数据，并通过比较KL分歧来衡量拟议框架的性能。
2018-08-10 cs.IT cs.LG math.IT
TreeQN and ATreeC: Differentiable Tree-Structured Models for Deep Reinforcement Learning
University of Oxford（牛津大学）
将深度无模型强化学习无模型强化学习与在线规划相结合是建立在深度强化学习成功基础上的一种有前途的方法。事实证明，在先验已知过渡模型的环境中，使用前瞻树的在线规划是成功的。然而，在需要从数据中学习过渡模型的复杂环境中，学习模型的缺陷限制了它们在规划中的实用性。为了解决这些挑战，我们提出了TreeQN，这是一种可微分的递归树结构模型，可以作为深度RL中任何具有离散动作的价值函数网络的替代品。TreeQN通过在学习的抽象状态空间中递归地应用转换模型来动态地构建树，然后使用树备份来聚合预测的奖励和状态值以估计Q值。我们还提出了ATreeC，这是一个演员-评论家变体，它用softmax层增强了TreeQN，形成了一个随机策略网络。这两种方法都是端到端训练的，因此学习的模型在树中的实际使用中得到了优化。我们发现，TreeQN和ATreeC在推箱子任务上的表现优于n步DQN和A2 C，以及在多个Atari游戏上的n步DQN和价值预测网络（Oh et al. 2017）。此外，我们提出了消融研究，证明了不同的辅助损失对学习过渡模型的影响。
2018-03-08 cs.AI cs.LG cs.NE
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Learning partial correlation graphs and graphical models by covariance queries
ICREA（加泰罗尼亚研究与高级研究所）；Pompeu Fabra University（庞培法布拉大学）；Barcelona School of Economics（巴塞罗那经济学院）；LIRMM（蒙彼利埃计算机科学与微电子实验室）；CNRS（法国国家科学研究中心）；Université de Montpellier（蒙彼利埃大学）；University of Gothenburg（哥德堡大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们研究的问题，恢复大高斯图形模型的结构，或更一般地说，偏相关图。在高维问题中，存储整个样本协方差阵的成本往往太高。我们提出了一个新的输入模型，其中可以查询的协方差阵的单个条目。我们证明了它是可能的，以较低的查询和计算复杂性恢复逆协方差阵的支持。我们的算法工作在一个政权时，这种支持是由树状图，更一般地说，小树宽的图形。我们的研究结果表明，对于大类的图，相应的偏相关图的结构可以确定得更快，甚至比计算经验的协方差阵。
2021-10-12 cs.DS cs.LG math.ST
Tree-Structured Stick Breaking Processes for Hierarchical Data
许多数据自然地由未观察到的层次结构建模。在本文中，我们提出了一个灵活的非参数先验未知的数据层次。该方法使用嵌套的断棒过程，以允许无限的宽度和深度的树，其中数据可以生活在任何节点，是无限可交换的。人们可以将我们的模型视为提供无限混合物，其中组件具有对应于树下进化扩散的依赖结构。通过使用棒断裂方法，我们可以应用基于切片抽样的马尔可夫链蒙特卡罗方法进行贝叶斯推断，并从树木的后验分布进行模拟。我们将我们的方法应用于图像的层次聚类和文本数据的主题建模。
2010-06-05 stat.ME stat.ML
