De novo construction of polyploid linkage maps using discrete graphical models
连锁图谱用于确定负责性状和疾病的基因的位置。新的测序技术为大幅增加遗传标记的密度创造了机会。这种革命性的技术进步带来了新的挑战，如创建高密度连锁图谱。目前基于成对重组分数的多重检验方法在高维环境中的能力不足，并且不容易扩展到多倍体物种。我们建议通过稀疏高斯Copula或非超自然怀疑论方法使用图形模型构建连锁图。连锁群（LG），通常是染色体，和每个LG中的标记的顺序是通过推断基因组中大量标记之间的条件独立关系来确定的。通过模拟，我们说明了我们的地图构建方法的实用性，并将其性能与其他可用的方法进行比较，无论是当数据是干净的，不包含缺失的观察，当数据包含基因分型错误，是不完整的。我们将所提出的方法应用于两个基因型数据集：大麦和马铃薯二倍体和多倍体人口，分别。我们的综合图谱构建方法充分利用剂量SNP数据来构建任何双亲二倍体和多倍体物种的连锁图谱。我们已经在R包netgwas中实现了该方法。
2018-04-02 q-bio.GN q-bio.MN q-bio.PE
Nonparanormal Graph Quilting with Applications to Calcium Imaging
针对钙成像数据非高斯且存在块缺失的问题，提出基于高斯copula图模型的nonparanormal Graph Quilting方法，提供了边恢复理论保证并验证了其优越性。
2023-05-22 stat.ME stat.ML
Combinatorial Inference for Graphical Models
我们提出了一个新的家庭的组合推理问题的图形模型。与主要关注点估计或参数测试的经典统计推断不同，组合推断旨在测试底层图的全局结构。例子包括测试图的连通性，是否存在一定大小的循环，或者图的最大度。首先，我们发展了一个统一的理论，一个大家庭的组合推理问题的基本限制。我们提出了新的概念，包括结构包装和缓冲区熵来表征组合图结构的复杂性如何影响相应的极大极小下界。另一方面，我们提出了一系列新颖实用的结构测试算法来匹配下界。我们提供了全面的数值结果，合成图形模型和大脑网络来说明这些方法的实用性。
2018-02-13 math.ST stat.ML stat.TH
Tensor Graphical Model: Non-convex Optimization and Statistical Inference
我们考虑的估计和推理的图形模型，其特征在于高维张量值数据的依赖结构。为了便于估计与张量的每种方式相对应的精度矩阵，我们假设数据服从张量正态分布，其协方差具有Kronecker乘积结构。在这个模型的估计和推理的一个关键挑战是，它的惩罚极大似然估计涉及最小化非凸目标函数的事实。为了解决这个问题，本文做了两个贡献：（i）尽管这个估计问题的非凸性，我们证明了交替最小化算法，迭代估计每个稀疏精度矩阵，同时固定其他，达到一个最佳的统计收敛速度的估计。(ii)我们提出了一个去偏的统计推断程序来测试的真实支持的稀疏精度矩阵的假设，并采用它来测试越来越多的假设与错误发现率（FDR）的控制。建立了检验统计量的渐近正态性和FDR控制程序的一致性。我们的理论结果得到了全面的数值研究的支持，我们在自闭症谱系障碍的神经成像研究和用户广告点击分析方面的实际应用带来了新的科学发现和商业见解。所提出的方法被编码到一个公开可用的R包Tlasso。
2019-02-25 stat.ME stat.ML
Inference on the Change Point for High Dimensional Dynamic Graphical Models
本文给出了动态演化图模型变点参数的一个估计，并在高维尺度下得到了变点参数的渐近分布。为了获得后一个结果，我们建立了所提出的估计表现出$O_p(ψ^{-2})$收敛速率，其中$ψ$表示变化点之前和之后的图形模型参数之间的跳跃大小。此外，它保留了足够的适应性对插件的图形模型参数的估计。我们的渐近分布的形式下的消失和非零制度的跳跃大小的大小的特点。具体地说，在前一种情况下，它对应于一个负漂移不对称的双边布朗运动的argmax，而在后一种情况下，一个负漂移不对称的双边随机游动，其增量取决于图形模型的分布的argmax。易于实现的算法提供了估计的变化点和合成数据评估其性能。所提出的方法进一步说明了RNA测序的微生物组数据及其在年轻人和老年人之间的变化。
2021-02-21 math.ST stat.ME stat.ML
Statistical inference using debiased group graphical lasso for multiple sparse precision matrices
针对共享稀疏模式的多高斯图模型，该研究分析组图拉索的估计性质，构建渐近高斯的去偏估计量以实现跨总体精度矩阵的统计推断，并验证了中等高维下的一致性及实用价值。
2025-10-06 math.ST stat.AP stat.TH
Simultaneous Inference for Pairwise Graphical Models with Generalized Score Matching
概率图模型为网络中节点间的依赖关系建模提供了一个灵活而简洁的框架。关于图形模型的参数估计和一致模型选择有大量的文献。然而，在许多应用中，科学家们也有兴趣量化与估计参数和选定的模型，目前的文献还没有彻底解决的不确定性。基于广义Hyvärinen评分规则，提出了一种新的两两图模型边缘参数的统计推断估计. Hyvärinen评分规则在无法以封闭形式有效获得归一化常数的情况下特别有用，这是图形模型（包括Ising模型和截断高斯图形模型）的常见问题。我们的估计允许我们执行一般图形模型的统计推断，而现有的工作主要集中在高斯图形模型的统计推断，找到归一化常数是计算上容易处理的。在温和的条件下，通常假设在文献中的一致性估计，我们证明了我们提出的估计是$\sqrt{n}$ -一致和渐近正态，这使我们能够构建置信区间，并建立假设检验的边缘参数。此外，我们展示了我们所提出的方法可以应用于测试假设，同时涉及大量的模型参数。我们说明了我们的估计的有效性，通过广泛的模拟研究，收集不同的数据生成过程。
2020-05-10 stat.ME
Inference in high-dimensional graphical models
我们提供了一个选定的方法和理论的概述估计和推理的边权重在高维有向和无向高斯图形模型。对于无向图形模型，提供了两种主要的显式构造：一种基于最大化联合似然的全局方法（图形Lasso），另一种基于顺序应用Lasso来估计每个节点的邻域的局部（逐节点）方法。所提出的估计导致边缘权重的置信区间和边缘结构的恢复。我们评估他们的经验表现在一个广泛的模拟研究。该方法的理论保证是在相对于样本量和规则性条件的稀疏条件下实现的。对于有向无环图，当有向无圈图是可识别的时，我们应用类似的思想来构造边权重的置信区间。
2018-01-25 math.ST stat.ME stat.TH
Selective Inference in Graphical Models via Maximum Likelihood
KU Leuven（鲁汶大学）；University of Michigan（密歇根大学）
该研究针对图套索推断边值函数时缺乏统计保证的问题，提出带随机化的选择性推断方法，通过条件最大似然实现有效区间估计与假设检验，效果优于数据拆分。
2026-08-26 stat.AP stat.CO stat.ME
Statistical Inference on High Dimensional Gaussian Graphical Regression Models
针对高维高斯图回归中统计推断未被探索的问题，提出基于多任务学习器的去偏估计量，通过新型投影技术降低计算成本，证明其渐近正态性可支撑有效统计推断，模拟和脑癌基因数据分析验证了实用性。
2024-11-03 math.ST stat.ME stat.TH
Exact Inference on Gaussian Graphical Models of Arbitrary Topology using Path-Sums
本文给出了任意拓扑的高斯图模型上边缘点精确统计推断的路径和公式。路径和公式将每对变量之间的协方差表示为有限深度和宽度的分支连分数。我们的方法源于协方差阵的走和表示的无限项族的封闭形式求和。我们证明了对于协方差阵为正定的模型，路径和公式总是存在的，即~它对任意拓扑结构的可行走求和和不可行走求和图模型都是有效的。我们表明，树的图形模型的路径和制定是等价的高斯信念传播。我们还恢复，作为一个推论，现有的结果，使用行列式计算的协方差阵。我们表明，路径和制定是有效的逆协方差阵的任意分区。我们给出了详细的例子来证明我们的结果。
2014-10-27 math.ST stat.TH
Joint Estimation and Inference for Data Integration Problems based on Multiple Multi-layered Gaussian Graphical Models
高通量技术的快速发展已经使得能够从生物或疾病过程生成跨越多个层的数据，如基因组学、蛋白质组学或代谢组学数据，并且进一步涉及多个来源，如疾病亚型或实验条件。在这项工作中，我们提出了一个通用的统计框架的基础上高斯图形模型的水平（即跨条件或亚型）和垂直（即跨不同的层包含数据的分子室）整合信息在这样的数据集。我们首先将多层问题分解为一系列两层问题。对于每个两层问题，我们将下层节点的结果建模为依赖于该层中其他节点以及上层中所有节点的结果。我们使用邻域选择和组惩罚回归的组合来获得所有模型参数的稀疏估计。在此之后，我们开发了一个去偏置技术和渐近分布的层间有向边权重，利用已经计算的邻域选择系数的节点在上层。随后，我们建立全球和同时测试这些边的权重的程序。所提出的方法的性能进行评估的合成和真实的数据。
2022-01-21 math.ST stat.ME stat.ML
Graphical Models and Efficient Inference Methods for Multivariate Phase Probability Distributions
本文提出一个基于成对指数族分布的概率建模框架，结合Chow-Liu算法和interaction screening等高效推断方法，解决了复杂系统中多元相位关系的统计假设检验与推断难题，为探索类波现象等系统的复杂时空动力学提供了新范式。
2025-05-30 cs.IT math.IT math.ST
High Dimensional Semiparametric Latent Graphical Model for Mixed Data
图形模型是对多变量随机变量建模的常用工具。虽然存在许多方便的多变量分布，如连续数据的高斯分布，但存在离散变量或连续变量和离散变量的组合的混合数据在统计建模中提出了新的挑战。本文提出了一种适用于二元和混合数据的半参数模型--潜高斯Copula模型。假设观测的二进制数据是通过对一个满足高斯copula分布或非paranormal分布的潜变量进行二分而得到的。假设隐变量为多元高斯分布的隐高斯模型是该模型的一个特例。提出了一种新的基于秩的方法，用于潜在图估计和潜在主成分分析。从理论上讲，所提出的方法实现了相同的收敛速度的精度矩阵估计和特征向量估计，如果观察到的潜在变量。在相似条件下，建立了图结构恢复和特征选择对前导特征向量的一致性。所提出的方法的性能进行数值评估，通过模拟研究，并说明了我们的方法的使用遗传数据集。
2014-04-29 stat.ML
Application of fused graphical lasso to statistical inference for multiple sparse precision matrices
本文利用融合图套索（FGL）方法同时估计多个总体的多个精度矩阵。FGL模型中的套索惩罚是对精度矩阵稀疏性的约束，并且对来自不同组的两个精度矩阵的适度惩罚抑制了多个组之间的相似结构。在高维情形下，给出了FGL估计的一个预言不等式，这是建立中心极限律所必需的。本文不仅研究了精度矩阵的点估计问题，而且研究了多个精度矩阵元素的线性组合的假设检验问题。受Jankova a和van de Geer的启发[用于高维逆协方差估计的置信区间，Electron. J. Stat. 9（1）（2015）1205-1229.]，为了实现统计推断，研究了一种去偏技术以获得一个新的具有已知分布的相容估计，我们将统计推断问题推广到多总体，并提出了去偏FGL估计。给出了相应的去偏FGL估计量的渐近性质。仿真研究表明，所提出的测试工程以及在高维的情况下。
2023-03-02 math.ST stat.TH
A Formal Graphical Inference Framework for Combining Effect Size with Statistical Significance: Application to Multivariate and Functional Linear Models
Faculty of Agriculture and Technology, University of South Bohemia（南波希米亚大学农业与技术学院）；Natural Resources Institute Finland (Luke)（芬兰自然资源研究所（Luke））；University of Helsinki（赫尔辛基大学）
提出一种结合效应量与统计显著性的形式化图形推断框架，基于重采样和全局包络，实现强FWER控制，并应用于多元和函数线性模型。
2026-10-08 stat.CO stat.ME
Statistical Inference for Hüsler-Reiss Graphical Models Through Matrix Completions
本文提出Hüsler-Reiss精度矩阵，通过矩阵补全实现图结构极值模型的稀疏参数化，并给出首个一致估计器，结合结构学习可联合推断图与参数，应用于航班延误和河流流量数据。
2023-10-13 stat.ME
Graphical Models of Entangled Missingness
针对依赖数据中的缺失问题，提出基于图建模的纠缠缺失因果推断框架，区分三种纠缠类型并给出识别结果，同时扩展了现有缺失数据方法。
2023-04-04 stat.ME
Composing graphical models with neural networks for structured representations and fast inference
我们提出了一个通用的建模和推理框架，该框架将概率图模型与深度学习方法组合在一起，并结合了它们各自的优势。我们的模型家族用神经网络观测模型增强了潜变量的图形结构。对于推理，我们扩展变分自编码器使用图形模型近似分布与识别网络输出共轭电位。这些模型的所有组件都是通过一个目标同时学习的，从而提供了一个可扩展的算法，该算法利用了随机变分推断、自然梯度、图形模型消息传递和重新参数化技巧。我们说明了这个框架与几个例子模型和应用程序的小鼠行为表型。
2017-07-07 stat.ML
Nonparametric Latent Tree Graphical Models: Inference, Estimation, and Structure Learning
树结构图模型在表达变量间的长范围或层次依赖关系方面具有很强的能力，在计算机科学和统计学的各个领域得到了广泛的应用。然而，现有的参数估计、推理和结构学习方法主要依赖于高斯或离散假设，这在许多应用中受到限制。在本文中，我们提出了新的非参数方法的基础上再生核希尔伯特空间嵌入的分布，可以恢复潜在的树结构，估计参数，并进行推理高维连续和非高斯变量。所提出的方法的有用性说明了彻底的数值结果。
2014-01-16 stat.ML
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。这个任务将是棘手的，没有任何限制所考虑的图，所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样，我们专注于精确的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。为了这个目的，我们限制了一组考虑图的混合物的生成树。我们调查的条件下，先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下，我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明，我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
Communication-efficient Distributed Estimation and Inference for Transelliptical Graphical Models
我们提出了通信效率的分布估计和推理方法的transelliptical图形模型，在高维制度的椭圆分布的半参数扩展。详细地，所提出的方法将从transelliptical图形模型生成的尺寸为$N$的$d$维数据分布到$m$工作机器中，并且基于尺寸为$n=N/m$的数据来估计每个工作机器上的潜在精度矩阵。然后，它对工作机器上的本地估计器进行去偏，并将它们发送回主机。最后，在主机器上，通过平均和硬阈值来聚集去偏局部估计器。我们表明，聚合估计达到相同的统计率的集中式估计的基础上的所有数据，提供的机器的数量满足$m \lesssim \min\{N\log d/d,\sqrt{N/(s^2\log d)}\}$，其中$s$是在潜在精度矩阵的每一列中的非零条目的最大数量。值得注意的是，我们的算法和理论可以直接应用于高斯图模型，高斯copula图模型和椭圆图模型，因为它们都是transelliptical图模型的特殊情况。在合成数据上的彻底实验支持了我们的理论。
2016-12-29 stat.ML
Inference Networks for Sequential Monte Carlo in Graphical Models
我们引入了一种新的方法摊销推理有向图模型通过学习启发式近似随机逆，专门设计用于作为建议分布在序贯蒙特卡罗方法。我们描述了一个程序，用于构建和学习一个结构化的神经网络，它代表了一个逆因式分解的图形模型，导致在一个条件密度估计，作为输入的特定值的观察到的随机变量，并返回一个近似的潜变量的分布。该识别模型可以在执行推理之前离线学习，独立于任何特定的数据集。这些网络的输出可用作自动学习的高质量建议分布，以加速各种问题设置的序贯蒙特卡罗。
2018-03-07 stat.ML
Exact Bayesian inference for off-line change-point detection in tree-structured graphical models
本文研究了多变量时间序列的变点检测问题。观测值的多变量分布应该遵循一个图形模型，其图形和参数随时间的突变而变化。我们证明，它是可能的执行精确的贝叶斯推断，只要一个认为是一个简单的类的无向图称为生成树作为可能的结构。然后，我们能够整合的图形和分割空间在同一时间结合经典的动态规划与代数结果有关的生成树。特别是，我们表明，数量，如后验分布的变化点或后边缘概率随时间的推移，可以有效地获得。我们说明了我们的研究结果的合成和实验数据来自生物学和神经科学。
2016-06-16 stat.ML
Nonlinear Statistical Learning with Truncated Gaussian Graphical Models
我们介绍了截断高斯图形模型（TGGM）作为一种新的框架设计统计模型的非线性学习。TGGM是一个高斯图模型（GGM），其中一个变量子集被截断为非负。截断变量被假定为潜在的，并整合出来，以诱导一个边际模型。我们证明了边际模型中的变量是非高斯分布的，它们的期望关系是非线性的。我们使用期望最大化的非线性模型的推理到一系列TGGM推理问题，其中每一个有效地解决了使用多元高斯分布的属性和数值方法。我们使用TGGM来设计用于非线性回归和分类的模型，这些模型的性能在广泛的基准数据集上得到了证明，并与最先进的竞争结果进行了比较。
2016-11-20 stat.ML
Variational Message Passing with Structured Inference Networks
最近将深度模型与概率图模型相结合的努力在提供灵活的模型方面很有希望，这些模型也很容易解释。我们提出了一个变分消息传递算法的变分推断在这样的模型。我们做了三个贡献。首先，我们提出了结构化的推理网络，它将图形模型的结构纳入变分自动编码器（VAE）的推理网络中。其次，我们建立条件下，这样的推理网络，使快速摊销推理类似于VAE。最后，我们推导出一个变分的消息传递算法进行有效的自然梯度推理，同时保持摊销推理的效率。通过同时启用深度结构化模型的结构化，摊销和自然梯度推理，我们的方法简化和推广了现有的方法。
2018-06-14 stat.ML
Efficient Localized Inference for Large Graphical Models
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Dartmouth（达特茅斯学院）
我们提出了一个新的本地化推理算法，在大型图形模型的相关衰减属性回答边缘化查询。给定一个查询变量和一个大的图形模型，我们在目标模型中的查询变量周围的局部区域中定义一个小得多的模型，以便可以准确地近似查询变量的边缘分布。我们引入了两个近似误差界的基础上Dobrushin的比较定理，并应用我们的界限，以获得一个贪婪的扩展算法，有效地指导选择的邻居节点的本地化推理。我们在各种数据集上验证了我们的理论界限，并证明了我们的本地化推理算法可以为大型图形模型提供快速准确的近似。
2017-10-28 cs.LG stat.ML
Heron Inference for Bayesian Graphical Models
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（信息通信研究院）
贝叶斯图模型在许多应用领域中已被证明是从真实世界数据中发现不确定性和因果结构的有力工具。目前的推理方法主要遵循计算复杂性和预测精度之间的不同类型的权衡。在光谱的一端，变分推理方法在计算效率方面表现良好，而在另一端，吉布斯采样方法在实践中被认为是相对准确的预测。在本文中，我们扩展了现有的吉布斯抽样方法，并提出了一个新的确定性苍鹭推理（苍鹭）的家庭贝叶斯图模型。除了对非平凡可分布性的支持之外，Heron的另一个好处是它不仅能够让我们轻松地评估收敛状态，而且还可以大大提高运行效率。我们评估苍鹭对标准的崩溃吉布斯采样器和国家的最先进的状态增强方法在推理著名的图形模型。使用公开的真实数据的实验结果表明，苍鹭显着优于基线方法推断贝叶斯图形模型。
2018-02-19 cs.LG stat.ML
Selective Inference and Learning Mixed Graphical Models
Stanford University（斯坦福大学）
本文研究了现代统计学中的两个问题。首先，我们研究选择性推理，或在查看数据后选择的假设推理。激励应用是对套索选择的回归系数的推断。我们提出的条件选择方法，允许有效的选择性推理，并研究其应用的套索，和其他几个选择算法。在第二部分中，我们考虑了连续变量和离散变量上的成对图模型的结构学习问题。我们提出了一个新的成对模型的图形模型，连续和离散变量，是服从结构学习。在以前的工作中，作者考虑了高斯图模型的结构学习和离散模型的结构学习。我们的方法是这两条线的工作的混合情况下的一个自然的概括。惩罚计划涉及一种新的对称使用组套索规范，并遵循自然从一个特定的参数化模型。我们提供的条件下，我们的估计是模型选择一致的高维制度。
2015-06-30 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Neural Variational Inference and Learning in Undirected Graphical Models
Stanford University（斯坦福大学）
机器学习中的许多问题都自然地用无向图模型的语言来表达。在这里，我们提出了黑盒学习和推理算法的无向模型，优化变分近似模型的对数似然。我们的方法的核心是由函数q参数化的对数配分函数的上界，我们将其表示为灵活的神经网络。我们的界限使得有可能在学习过程中跟踪的分区函数，以加快采样，并通过一个统一的变分推理框架训练广泛的一类混合有向/无向模型。我们在几个流行的生成式建模数据集上实证证明了我们的方法的有效性。
2017-11-16 cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Graphical model inference: Sequential Monte Carlo meets deterministic approximations
Uppsala University（乌普萨拉大学）；Linköping University（林雪平大学）；University of Jyväskylä（于韦斯屈莱大学）
概率图模型（PGMs）中的近似推理可以分为确定性方法和基于蒙特卡罗的方法。前者通常可以提供准确和快速的推论，但通常与难以量化的偏见有关。后者享有渐近一致性，但可能遭受高计算成本。在本文中，我们提出了一种弥合确定性和随机推理之间的差距。具体来说，我们提出了一个有效的序贯蒙特卡罗（SMC）算法的PGM，它可以利用确定性推理方法的输出。虽然普遍适用，我们明确地表明，这可以做到与循环的信念传播，期望传播，和拉普拉斯近似。由此产生的算法可以被视为与这些方法相关的偏差的后校正，事实上，数值结果显示出明显的改善基线确定性方法，以及在“平原”SMC。
2019-01-08 cs.LG stat.ML
Adversarially-learned Inference via an Ensemble of Discrete Undirected Graphical Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无向图模型是随机变量联合概率分布的紧凑表示。为了解决感兴趣的推理任务，可以使用经验风险最小化来训练任意拓扑的图形模型。然而，为了解决在训练过程中没有看到的推理任务，这些模型（EGM）通常需要重新训练。相反，我们提出了一个推理不可知的对抗训练框架，它产生了一个无限大的图形模型（AGM）集合。该集成被优化以在GAN框架内生成数据，并且使用这些模型的有限子集来执行推理。AGM与EGM在推理任务上执行并行计算，后者是专门为之优化的。最重要的是，与EGM相比，AGM对看不见的推理任务表现出更好的泛化能力，以及像GibbsNet和VAEAC这样允许任意条件反射的深度神经架构。最后，AGM允许快速数据采样，与EGM的Gibbs采样竞争。
2020-10-22 cs.CV cs.LG stat.ML
Inference of Multiscale Gaussian Graphical Model
Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry（巴黎-萨克雷大学，国家科学研究中心，欧very大学，欧very数学与建模实验室）
本文提出多尺度图Lasso方法，通过同时进行聚类与图推断提升网络可解释性，应用于基因组和微生物数据。
2026-03-23 cs.LG stat.ML
Statistical inference with probabilistic graphical models
École Normale Supérieure（巴黎高等师范学院）；Université Paris Diderot（巴黎狄德罗大学）；Tokyo Institute of Technology（东京工业大学）；Massachusetts Institute of Technology（麻省理工学院）
这些是Devavrat Shah在秋季学校“统计物理，优化，推理和消息传递算法”的演讲笔记，该讲座于2013年9月30日星期一在法国Les Houches举行，直到2013年10月11日星期五。该学校由UPMC和ENS Paris的Florent Krzakala，La Sapienza Roma的Federico Ricci-Tersenghi，CEA Saclay和CNRS的Lenka Zdeborova以及Politecnico Torino的Riccardo Zecchina组织。Devavrat Shah（麻省理工学院）的这个讲座涵盖了推理和学习的基础知识。它解释了推理问题如何在称为图形模型的结构中表示。然后解释和推导了置信传播算法的理论基础。这堂课为消息传递算法的推广和应用做好准备。
2014-09-17 cs.LG stat.ML
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式，在此形式下，精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用，我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题，制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
Combining Generative and Discriminative Models for Hybrid Inference
University of Amsterdam（阿姆斯特丹大学）；University of Tübingen（图宾根大学）
图形模型是数据生成过程的结构化表示。对随机变量进行推理的传统方法是在该图模型中进行推理。然而，在许多情况下，生成过程只是更复杂的真实数据生成过程的一个差的近似，导致次优估计。然而，生成过程的微妙之处在于数据本身，我们可以“学会推断”，也就是说，学会从观察到解释性潜在变量的直接映射。在这项工作中，我们提出了一个混合模型，结合图形推理与学习的逆模型，我们在一个图形神经网络的结构，而迭代算法作为一个整体制定为一个经常性的神经网络。通过使用交叉验证，我们可以自动平衡图形推理与学习推理所执行的工作量。我们将我们的想法应用于卡尔曼滤波器，时间序列的高斯隐马尔可夫模型，并显示，除其他外，我们的模型可以更准确地估计一个嘈杂的混沌洛伦兹吸引子的轨迹比学习或图形推理孤立运行。
2019-10-30 cs.LG stat.ML
Domain Adaptation as a Problem of Inference on Graphical Models
Carnegie Mellon University（卡内基梅隆大学）；University of Melbourne（墨尔本大学）；Unisound AI Lab（优必选人工智能实验室）
本文关注数据驱动的无监督领域自适应，其中预先不知道联合分布如何跨域变化，即，数据分布的哪些因素或模块保持不变或跨域改变。为了开发一种多源域领域自适应的自动化方法，我们提出使用图形模型作为一种紧凑的方式来编码联合分布的变化特性，它可以从数据中学习，然后将领域自适应视为图形模型上的贝叶斯推理问题。这样的图形模型区分分布的恒定和变化模块，并指定跨域的变化的属性，其用作变化模块的先验知识，用于导出目标域中的目标变量$Y$的后验。这提供了领域自适应的端到端框架，其中可以直接并入关于联合分布如何改变的附加知识（如果可用的话）以改进图形表示。我们将讨论如何基于容差的领域自适应可以放在这个保护伞下。在合成数据和真实数据上的实验结果证明了所提出的领域自适应框架的有效性。该代码可在https://github.com/mgong2/DA_Infer上获得。
2020-10-23 cs.LG stat.ML
Inference in Graphical Models via Semidefinite Programming Hierarchies
图模型中的最大后验概率（MAP）推理相当于求解图结构的组合优化问题。流行的推理算法，如置信传播（BP）和广义置信传播（GBP）是密切相关的线性规划（LP）松弛的Sherali-Adams层次。尽管这些算法的流行，它是很好地理解，基于半定规划（SDP）的平方和（SOS）层次结构可以提供优越的保证。不幸的是，对于具有$n$顶点的图的SOS松弛需要求解具有$n^{Θ(d)}$变量的SDP，其中$d$是层次结构中的度。在实践中，对于$d\ge 4$，这种方法不能扩展超过几十个变量。在本文中，我们提出了二进制SDP松弛MAP推理使用SOS层次结构的两个创新集中在计算效率。首先，与BP及其变体类似，我们只在图模型中引入与相邻区域相对应的决策变量。其次，我们使用非凸的Burer-Monteiro风格的方法来解决所得到的SDP，并开发了一个顺序舍入程序。我们证明，由此产生的算法可以在几分钟内解决数万个变量的问题，并优于BP和GBP的实际问题，如图像去噪和伊辛自旋眼镜。最后，对于特定的图形类型，我们建立了一个充分条件，所提出的部分SOS松弛的紧密性。
2017-09-19 cs.DS stat.ML
Finding Non-overlapping Clusters for Generalized Inference Over Graphical Models
图形模型使用图形来复杂地捕获随机变量集合之间的随机依赖性。对图形模型的推断对应于找到给定联合概率分布的边际概率分布。在一般情况下，这是计算上棘手的，这导致了寻找有效的近似推理算法的追求。我们提出了一个框架，广义推理的图形模型，可以用作包装器，以提高近似推理算法的估计。而不是应用推理算法的原始图，我们应用推理算法的块图，定义为一个图中的节点是从原始图的节点的非重叠集群。这将导致节点集群的边际估计，我们进一步边际化以获得每个节点的边际估计。我们提出的块图构造算法是简单，高效的，和动机的观察，近似推理是更准确的图与较长的周期。我们提出了广泛的数值模拟，说明我们的块图框架与各种推理算法（例如，libDAI软件包中的那些）。这些模拟显示了我们的框架提供的改进。
2012-03-18 cs.IT math.IT stat.ML
A Generalized Loop Correction Method for Approximate Inference in Graphical Models
University of Alberta（阿尔伯塔大学）
置信传播（BP）是概率图模型中最流行的推理方法之一。BP保证为树结构返回正确的答案，但对于循环图形模型可能不正确或不收敛。近年来，提出了几种新的基于空腔分布的近似推理算法。这些方法可以通过合并BP消息之间的依赖性来考虑循环的影响。或者，基于区域的近似（导致诸如广义置信传播的方法）通过考虑变量的小集群内的相互作用来改进BP，从而将这些集群内的小循环考虑在内。本文介绍了一种方法，广义环路校正（GLC），受益于这两种类型的环路校正。我们展示了GLC如何与这两个家庭的推理方法，然后提供经验证据表明，GLC有效地工作在一般情况下，可以显着更准确的校正方案。
2012-06-18 cs.AI cs.LG stat.ML
Graphical-model based estimation and inference for differential privacy
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
许多隐私机制通过噪声测量来揭示关于数据分布的高级信息。通常使用此信息来估计新查询的答案。在这项工作中，我们提供了一种方法来解决这个估计问题，有效地使用图形模型，这是特别有效的分布时，是高维的，但测量是在低维边缘。我们表明，我们的方法是更有效的比现有的估计技术的隐私文献，它可以提高许多国家的最先进的机制的准确性和可扩展性。
2019-01-26 cs.CR cs.LG stat.ML
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University（汉阳大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；University of Toronto（多伦多大学）；Uber ATG Toronto（优步先进技术集团多伦多分部）；Vector Institute（向量研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构，但执行这些推理通常是困难的。消息传递算法（如置信传播）是在利用图结构的同时在相关变量之间传播证据的自然方式，但当条件依赖图包含循环时，这些算法可能会遇到困难。在这里，我们使用图神经网络（GNNs）来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后，我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性，并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
Learning and Inference in Hilbert Space with Quantum Graphical Models
Georgia Tech（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
量子图模型（QGM）是对经典图模型的推广，它采用量子力学中不确定性推理的形式。与经典的图形模型不同，QGM用复希尔伯特空间中的密度矩阵表示不确定性。Hilbert空间嵌入（HSE）也推广了Hilbert空间中的贝叶斯推断。我们调查QGM和HSE之间的联系，并表明，和规则和贝叶斯规则QGM是等价的核和规则在HSE和Nadaraya-Watson核回归的一个特殊情况下，分别。我们证明了这些操作可以被核化，并利用这些见解提出了一个隐藏量子马尔可夫模型（HSE-HQMM）的希尔伯特空间嵌入模型的动态。我们目前的实验结果表明，HSE-HQNN与最先进的模型，如LSTM和PSRNN在几个数据集上具有竞争力，同时还提供了一种非参数方法，用于在连续值特征上保持概率分布。
2018-10-29 cs.LG quant-ph stat.ML
Non-approximate Inference for Collective Graphical Models on Path Graphs via Discrete Difference of Convex Algorithm
NTT Service Evolution Laboratories（NTT服务进化研究所）；NTT Communication Science Laboratories（NTT通信科学研究所）
根据多个人的数据计算的汇总计数数据的重要性继续增加。集体图模型（CGM）是一种分析聚合数据的概率方法。CGM中最重要的操作之一是在给定观测值下对未观测变量的最大后验概率（MAP）推断。由于一般CGM的MAP推理问题已被证明是NP困难的，已经提出了一种解决近似问题的方法。然而，这种方法有两个主要缺点。首先，当计数表中的值很小时，解的质量会恶化，因为近似变得不准确。其次，由于连续松弛被应用，输出的完整性约束被违反。为了解决这些问题，本文提出了一种新的方法，地图推理的路径图上的CGM。首先，我们表明，MAP推理问题可以制定为一个（非线性）最小成本流问题。然后，我们应用凸差分算法（DCA），这是一种通用的方法来最小化表示为凸函数和凹函数之和的函数。在我们的算法中，DCA中的重要子程序可以有效地计算最小凸成本流算法。实验结果表明，该方法比传统的方法输出更高的质量的解决方案。
2021-02-18 cs.LG stat.ML
Robust Graphical Modeling with t-Distributions
The University of Chicago（芝加哥大学）
事实证明，图形高斯模型是探索基于多元数据的网络结构的有用工具。基因表达研究的应用程序已经产生了很大的兴趣，在这些模型，并由此产生的最新进展包括拟合方法的发展，涉及惩罚的似然函数。在本文中，我们提倡使用的多元t和相关的分布图更强大的推理。特别是，我们证明了惩罚似然推断结合EM算法的应用提供了一个简单的和计算效率高的方法来选择模型的t分布的情况下。
2014-08-09 cs.LG stat.ML
Probabilistic Discriminative Learning with Layered Graphical Models
Technical University of Munich（慕尼黑工业大学）；Bosch Center for Artificial intelligence（博世人工智能中心）
概率图模型传统上以其在生成建模中的成功而闻名。在这项工作中，我们提倡分层图形模型（LGM）的概率判别学习。为此，我们设计了与神经网络（NN）非常相似的LGM，也就是说，它们具有深层的层次结构和层之间的卷积或局部连接。配备了张量化截断变分推理，我们的LGM可以通过主流深度学习框架（如PyTorch）上的反向传播进行有效训练。为了处理连续值输入，我们使用一个简单而有效的软箝位策略进行有效的推理。通过对MNIST和FashionMNIST数据集上的图像分类进行广泛的实验，我们证明了LGM能够实现与类似架构的NN相当的竞争结果，同时保持透明的概率建模。
2019-01-31 cs.LG stat.ML
Delta-AI: Local objectives for amortized inference in sparse graphical models
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
研究人员提出Δ-AI算法，利用PGM稀疏性实现局部信用分配，基于GFlowNets风格损失实现离策略训练且加速，在合成PGM和稀疏因子结构隐变量模型上验证其有效性。
2026-09-01 cs.LG stat.ML
Semiparametric Inference For Causal Effects In Graphical Models With Hidden Variables
Williams College（威廉姆斯学院）；Emory University（埃默里大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
研究了隐变量有向无环图因果模型中因果效应的辨识理论。然而，相应的算法未得到充分利用，由于估计的识别泛函，他们的输出的复杂性。在这项工作中，我们弥合了识别和估计涉及单一治疗和单一结果的人群水平因果效应之间的差距。我们推导出基于影响函数的估计，表现出双重的鲁棒性，在一个大类的隐变量DAG的治疗满足一个简单的图形标准，这一类包括模型产生的调整和前门泛函作为特殊情况下的识别效果。我们还提供了必要和充分的条件下，一个隐藏的变量DAG的统计模型是非参数饱和，并意味着没有观察到的数据分布的等式约束。此外，我们推导出一类重要的隐变量DAG，这意味着观察到的数据分布观测等价（等式约束）充分观察到的DAG。在这些类别的DAG，我们推导出估计，实现半参数的有效性界限的目标感兴趣的治疗满足我们的图形标准。最后，我们提供了一个健全的和完整的识别算法，直接产生一个基于权重的估计策略，任何可识别的影响，隐藏变量因果模型。
2022-10-13 cs.LG stat.ML
Pen and Paper Exercises in Machine Learning
University of Edinburgh（爱丁堡大学）
这是一个机器学习中的纸笔练习的集合。这些练习涉及以下主题：线性代数，优化，有向图模型，无向图模型，图模型的表达能力，因子图和消息传递，隐马尔可夫模型的推理，基于模型的学习（包括ICA和非规范化模型），采样和蒙特卡洛集成，以及变分推理。
2022-06-27 cs.LG stat.ML
High-Dimensional Inference for Cluster-Based Graphical Models
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
现代的应用程序，其中一个构造图形模型的基础上，非常大量的功能，本文介绍了一类新的基于聚类的图形模型，其中变量聚类应用作为一个初始步骤，减少特征空间的维数。我们采用模型辅助聚类，其中的集群包含的功能，是类似于相同的未观察到的潜在变量。两种不同的基于聚类的高斯图形模型被认为是：潜变量图，对应于与未观察到的潜变量相关联的图形模型，和聚类平均图，对应于聚类平均的特征向量。我们的研究表明，基于似然推理的潜图，以前没有分析，是分析上难以处理的。我们的主要贡献是发展和分析的替代估计和推理策略，为不可观测的潜在向量$Z$的精度矩阵。我们用一个适当的经验风险函数来代替数据的可能性，这个函数可以专门用于潜在的图形模型和更简单但分析不足的聚类平均图形模型。由此得到的估计可以用于图结构上的推理，例如边缘强度或模式恢复。推论是基于与所考虑的条件独立图相关联的精度矩阵的逐项估计的渐近极限。同时考虑到聚类步骤引起的不确定性，我们建立了Berry-Esseen中心极限定理的建议估计。值得注意的是，虽然集群估计自适应的数据，中心极限定理的条目的估计图证明在相同的条件下，人们将使用如果集群是已知的.
2020-06-08 cs.LG math.ST stat.ML
Uniform Inference in High-Dimensional Gaussian Graphical Models
University of Hamburg（汉堡大学）；Hamburg Business School（汉堡商学院）；Massachusetts Institute of Technology（麻省理工学院）
图形模型已经成为一种非常流行的工具，用于表示大量变量之间的依赖关系，并且是表示因果结构的关键。我们提供的结果是统一的推理高维图形模型的目标参数$d$的数量可能远远大于样本量。当因果模型的某些特征或结构应该被恢复时，这是特别重要的。我们的研究结果突出了如何在高维设置的图形模型可以估计和恢复与现代机器学习方法在复杂的数据集。为了在许多目标参数上同时构造置信区域，滋扰函数的足够快的估计速率是至关重要的。在这种情况下，我们建立统一的估计率和稀疏性保证的平方根估计在随机设计下的近似稀疏性条件下，可能是独立的兴趣在高维的相关问题。我们还证明了在一个全面的模拟研究，我们的程序具有良好的小样本性能。
2018-12-03 cs.LG econ.EM stat.ME
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
PGMax是一个开源Python包，用于（a）轻松地将离散概率图形模型（PGM）指定为因子图;以及（b）在JAX中自动运行高效和可扩展的循环置信传播（LBP）。PGMax支持具有易处理因子的一般因子图，并利用GPU等现代加速器进行推理。与现有的替代方案相比，PGMax获得了更高质量的推理结果，推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互，开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
