Permutation-based Inference for Variational Learning of Directed Acyclic Graphs
CSIRO’s Data61(CSIRO的数据61部门);UNSW Sydney(新南威尔士大学悉尼分校);Statistics Program, KAUST(KAUST统计学项目);CSIRO’s Environment(CSIRO的环境部门)
PIVID通过变分推理和连续松弛方法,高效推断有向无环图结构,优于现有方法,在准确性和不确定性之间取得更好平衡。
2026-02-16 cs.LG stat.ML
Penalized Estimation of Directed Acyclic Graphs From Discrete Data
贝叶斯网络是一类流行的图形模型,其结构由有向无环图(DAG)给出。然而,从离散或分类数据中学习贝叶斯网络特别具有挑战性,因为参数空间很大,并且难以搜索稀疏结构。在这篇文章中,我们开发了一个最大惩罚似然方法来解决这个问题。而不是常用的多项分布,我们模型的条件分布的一个节点给定其父母的多logit回归,其中一个边缘参数化的一组系数向量与虚拟变量编码的节点的水平。为了得到一个稀疏的DAG,采用了一个群范数惩罚,并开发了一个分块坐标下降算法,以最大限度地提高受惩罚的似然无环约束的DAG。当介入数据可用时,我们的方法构造一个因果网络,其中有向边表示因果关系。我们将我们的方法应用到各种模拟和真实的数据集。结果表明,我们的方法是非常有竞争力的,与许多现有的方法相比,在DAG估计从干预和高维观测数据。
2018-02-02 stat.ME stat.ML
D-VAE: A Variational Autoencoder for Directed Acyclic Graphs
Washington University in St. Louis(圣路易斯华盛顿大学)
图结构化数据在现实世界中非常丰富。有向无环图是机器学习研究者特别感兴趣的一类图,许多机器学习模型都是在有向无环图上实现的,包括神经网络和贝叶斯网络。在本文中,我们研究了DAG的深度生成模型,并提出了一种新的DAG变分自编码器(D-VAE)。为了将DAG编码到潜在空间中,我们利用图神经网络。我们提出了一个异步的消息传递计划,允许编码的DAG上的计算,而不是使用现有的同步消息传递计划来编码本地图结构。我们证明了我们提出的DVAE的有效性,通过两个任务:神经结构搜索和贝叶斯网络结构学习。实验表明,我们的模型不仅产生新颖和有效的DAG,但也产生了一个光滑的潜在空间,有利于搜索DAG具有更好的性能,通过贝叶斯优化。
2019-10-29 cs.LG stat.ML
cyclinbayes: Bayesian Causal Discovery with Linear Non-Gaussian Directed Acyclic and Cyclic Graphical Models
Texas A&M University(德克萨斯农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
cyclinbayes通过贝叶斯方法实现线性非高斯有向无环和有环图模型的因果发现,提供全面的不确定性量化和高效的MCMC算法。
2026-02-24 stat.CO
Learning directed acyclic graphs via bootstrap aggregating
概率图模型是概率分布的图形表示。图模型在生物学、社会科学、语言学、神经科学等领域有着广泛的应用。在本文中,我们提出了有向无环图(DAG)学习通过自举聚集。所提出的过程被命名为DAGBag。具体而言,首先基于数据的自举重新采样来学习DAG的集合,然后通过最小化到整个集合的总体距离来导出聚合DAG。一个家庭的度量的基础上的结构汉明距离定义的DAG(一个给定的节点集)的空间,并用于聚合。在高维低样本量的情况下,由于噪声的过拟合,在一个数据集上学习的图通常具有过多的假阳性边缘。聚合通过方差减少克服了过拟合,从而大大减少了误报。我们还开发了一个有效的实现的爬山搜索算法的DAG学习,这使得该方法的计算竞争力的高维政权。DAGBag过程在R包dagbag中实现。
2014-06-09 stat.CO stat.ME stat.ML
Hierarchical Multivariate Directed Acyclic Graph Auto-Regressive (MDAGAR) models for spatial diseases mapping
疾病分布图是流行病学家用来评估疾病率的地理差异和从空间模式中识别潜在环境风险因素的重要统计工具。这种地图依赖于区域汇总数据的空间模型,其中相邻区域往往表现出与距离较远的区域相似的结果。我们贡献的文献多变量疾病映射,其中涉及多个(两个或两个以上)疾病在每个地区的测量。我们的目标是从每种疾病的空间自相关中解开多种疾病之间的关联。我们开发了多变量有向非循环图形自回归(MDAGAR)模型,以适应空间和疾病间的依赖性。分层结构赋予灵活性和丰富性,空间自相关性和疾病间关系的可解释性,以及计算简便性,但取决于癌症建模的顺序。为了避免这一点,我们演示了如何贝叶斯模型选择和平均跨订单很容易实现使用桥采样。我们比较了我们的方法与竞争对手使用模拟研究,并提出了一个应用程序,多个癌症映射使用的数据从监测,流行病学和最终结果(SEER)计划。
2021-02-04 stat.ME
A Bayesian Nonparametric Stochastic Block Model for Directed Acyclic Graphs
针对含顶点层级排序的有向无环图场景,本文扩展了随机块模型(SBM),提出纳入拓扑排序作为未知参数的贝叶斯非参数SBM,可从数据中学习层级排序与潜在块数量,避免块数估计偏差,并通过文献计量学真实数据集验证了方法。
2025-08-12 stat.CO stat.ME
A Prior Distribution over Directed Acyclic Graphs for Sparse Bayesian Networks
本文的主要贡献是在有向无环图上提出了一种新的先验分布,它赋予稀疏图更大的权值。此分布适用于结构化贝叶斯网络,其中结构由有序块模型给出。也就是说,图的节点是属于类别(或块)的对象;块具有自然顺序。两个对象之间的关系的存在由箭头表示,从较低类别的对象到较高类别的对象。这里考虑的模型在Kemp et al.(2004)中针对关系数据进行了介绍,并在Mansinghka et al.(2006)中扩展到多变量数据。这里给出的图结构的先验有一个明确的公式。图的每一层中的节点的数量遵循Hoppe Ewens瓮模型。我们考虑图的节点表示随机变量的情况,其联合概率分布沿DAG分解。我们描述了蒙特卡罗计划,找到最佳的后验结构给定的数据矩阵和比较的性能与Mansinghka等人。(2006年),也与均匀的先验。
2015-04-25 stat.ML
Bayesian Covariate-Dependent Quantile Directed Acyclic Graphical Models for Individualized Inference
提出贝叶斯协变量依赖分位数DAG模型qDAGx,利用参数扩展马蹄先验实现大规模变量下的个体化网络结构推断,克服均值回归局限,在精准医学中成功推断肺癌患者特异性的蛋白质相互作用网络。
2023-05-22 stat.ME
Differentiable Bayesian Structure Learning with Acyclicity Assurance
本研究提出一种整合拓扑排序知识的新方法,严格约束图的无环性,降低推理复杂度,并在模拟和真实数据实验中优于相关贝叶斯评分方法。
2023-09-06 cs.LG stat.ML
Minimal sufficient causation and directed acyclic graphs
最小充分因果关系的概念被纳入有向无圈图因果框架。这样做允许在因果有向无圈图上的充分原因和最小充分原因的图形表示,同时保持因果有向无圈图的所有性质。这反过来又在因果关系的两个主要概念之间提供了一个明确的理论联系:一个基于反事实,另一个基于对因果关系的更机械的理解。所发展的理论可以用来得出关于变量之间的条件协方差的符号的结论。
2009-06-09 math.ST stat.TH
On the number and size of Markov equivalence classes of random directed acyclic graphs
本文研究了均匀随机有向无环图的 Markov 等价类,利用塔分解证明了等价类与图的比值趋于正常数,且典型等价类大小有界并具有超多项式尾部。
2024-09-28 math.CO math.PR math.ST
Identifying causal effects in maximally oriented partially directed acyclic graphs
本文针对最大定向部分有向无环图(MPDAGs)提出充分必要的因果识别准则,推广了 g-公式和截断因子分解公式,并阐明其优于仅充分的广义调整准则。
2025-07-21 math.ST stat.TH
Consistency Guarantees for Greedy Permutation-Based Causal Inference Algorithms
有向无环图模型(DAG模型)被广泛用于表示复杂的因果系统。由于从数据中学习这种模型的基本任务是NP难的,标准方法是在有向无圈图或有向无圈图的马尔可夫等价类的空间上进行贪婪搜索。由于$p$节点上的有向无圈图的空间和马尔可夫等价类的相关空间都比置换的空间大得多,因此需要考虑基于置换的贪婪搜索。在这里,我们提供了第一个一致性保证,统一的和高维的,一个贪婪的基于置换的搜索。这种搜索对应于一个类似单纯形的算法操作的permutohedron,称为DAG associahedron的子多面体的边图。这个多面体中的每个顶点都与一个有向无圈图相关联,因此与一个符合有向无圈图排序的排列集合相关联。在多面体的边缘上执行行走,最大化相关联的有向无圈图的稀疏性。我们通过模拟和真实的数据表明,这种排列搜索与目前的方法是有竞争力的。
2021-06-08 math.ST stat.TH
Matrix representations and independencies in directed acyclic graphs
对于一个有向无圈图,有两个已知的标准来决定是否任何特定的条件独立性声明是隐含的所有分布,根据给定的图的因式分解。这两个标准都是基于图中的特殊类型的路径。它们被称为分离准则,因为在图论意义上,只要条件集是分离集,独立性就成立。我们介绍并讨论了一种替代方法,使用二进制矩阵表示的图形中,零表示独立的声明。一个矩阵条件示出给一个新的路径分离的标准,并相当于前两个路径标准。
2009-04-02 math.ST stat.TH
Estimating high-dimensional directed acyclic graphs with the PC-algorithm
我们认为PC算法Spirtes等。等人(2000)用于估计具有相应高斯分布的非常高维无环有向图(DAG)的骨架。PC算法对于具有许多节点(即变量)的稀疏问题在计算上是可行的,并且它具有自动实现高计算效率作为真实底层DAG的稀疏度的函数的吸引人的性质。我们证明了非常高维,稀疏DAG的算法的一致性,其中节点的数量允许快速增长的样本量n,快速为O(n^a)的任何0<a<无穷大。稀疏性假设是相当小的,仅要求DAG中的邻域的阶数低于样本量n。我们经验证明的PC算法模拟数据,并认为该算法是相当不敏感的选择,其单一的调谐参数。
2005-10-20 math.ST stat.TH
On statistical and causal models associated with acyclic directed mixed graphs
本文综述无环有向混合图(ADMGs)的多种解释,论证噪声扩展(NE)模型应作为默认解释,因其具备完备性且不依赖特定潜变量假设,并批判了常见的潜变量DAG解释。
2026-11-17 math.ST stat.TH
Jointly interventional and observational data: estimation of interventional Markov equivalence classes of directed acyclic graphs
在许多应用程序中,我们有观察和(随机)干预数据。我们提出了一个高斯似然框架联合建模的不同的数据类型,基于全球参数组成的有向无圈图(DAG)和相应的边缘权重和误差方差。由于参数的全局性质,极大似然估计是合理的,每个干预只有一个或几个数据点。我们证明了BIC标准的一致性,用于估计干预性的马尔可夫等价类的DAG,这是小于的观测模拟,由于增加部分可识别性的干预数据。这种改进的可识别性直接影响到更严格的界限推断因果关系的影响。除了方法和理论推导,我们提出了实证结果,从真实和模拟数据。
2013-03-13 math.ST stat.ME stat.TH
Markovian acyclic directed mixed graphs for discrete data
无环有向混合图(ADMG)是包含有向边($\rightarrow$)和双向边($\leftrightarrow$)的图,其约束是没有有向边的环。这样的图可以用于表示由在其观察到的边缘上包含隐变量的DAG模型引起的条件独立性结构。与ADMG相关的马尔可夫模型只是服从全局马尔可夫性的分布集,通过简单的路径准则(m-分离)给出。首先,我们提出了一个分解标准的马尔可夫模型的特点,推广了著名的递归分解的DAG。对于有限离散随机变量的情况,我们也提供了一个简单的条件概率的模型参数化,并表征其变异依赖。我们证明了诱导模型是光滑的。因此,离散变量的马尔可夫ADMG模型是曲线指数分布族。
2014-08-14 math.ST stat.ME stat.TH
$\ell_0$-penalized maximum likelihood for sparse directed acyclic graphs
考虑了高维稀疏有向无环图模型(或等价的高斯结构方程模型)的结构和参数的正则化极大似然估计问题.我们发现,$\ell_0$惩罚的最大似然估计的DAG具有约相同数量的边缘的最小边缘I-MAP(DAG与最小数量的边缘代表的分布),它收敛于Frobenius范数。我们允许节点数p远大于样本量n,但假设稀疏条件,并且真实DAG的任何表示至少具有高于噪声水平的非零边缘权重的固定比例。我们的研究结果不依赖于忠实性假设,也不依赖于限制性强忠实性条件,这是基于条件独立性测试的方法,如PC算法所需的。
2013-05-09 math.ST stat.TH
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图(DAG)通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中,其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的,而且两个有向图在观测上可能是等价的。当节点表现出自然排序时,估计有向图的问题就归结为估计网络结构的问题。在本文中,我们提出了一种惩罚似然方法,直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚,提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时,两种惩罚的变量选择一致性。我们表明,虽然套索只能一致地估计真实的网络在严格的假设下,自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较,替代方法在模拟,以及真实的,数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Identifiability of the minimum-trace directed acyclic graph and hill climbing algorithms without strict local optima under weakly increasing error variances
本文证明在弱递增误差方差下,高斯线性结构方程模型中的真实DAG可辨识为最小迹DAG,并证明R2R邻域爬山算法无严格局部最优,而其他等大小邻域算法表现次优。
2025-08-07 math.ST stat.CO stat.ML
Characterization and Greedy Learning of Interventional Markov Equivalence Classes of Directed Acyclic Graphs
有向无环图(DAG)编码相同的马尔可夫性,即相同的条件独立关系的多变量观测分布的调查,有着悠久的传统,存在许多算法的模型选择和结构学习的马尔可夫等价类。在本文中,我们扩展了马尔可夫等价的DAG的概念的情况下,所产生的多个干预实验的干预分布。我们发现,在合理的假设下,干预实验,干预马尔可夫等价定义了一个更精细的划分的DAG比观察马尔可夫等价,从而提高了因果模型的可识别性。我们给出了一个图论标准的两个DAG是马尔可夫等价的干预下,并表明,每个干预马尔可夫等价类可以,类似于观察的情况下,唯一表示的链图称为干预本质图(也称为CPDAG在观察的情况下)。这些是用于从介入数据中获得结构学习的贪婪等价搜索算法的推广的关键见解。这种新的算法进行了评估,在模拟研究。
2012-09-26 cs.DM math.ST stat.ME
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了一族正则化的基于分数的估计器,用于学习多维正态分布的有向无环图(DAG)的结构,并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化,而无需假设先验知识的变量排序。这些结果适用于各种实际情况,允许任意的非退化协方差结构以及许多流行的正则化,包括MCP,SCAD,$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型,这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题,建立统一的控制超指数家庭的邻里与高斯分布。然后,我们应用这些结果来研究基于分数的DAG估计的统计特性,学习因果DAG,并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
Learning high-dimensional directed acyclic graphs with latent and selection variables
ETH Zürich(苏黎世联邦理工学院);University of Washington(华盛顿大学)
我们考虑的问题,学习因果信息之间的随机变量在有向无环图(DAG)时,允许任意多的潜在和选择变量。FCI(快速因果推断)算法已明确设计,以推断条件独立性和因果信息,在这样的设置。然而,FCI是计算上不可行的大型图。因此,我们提出了新的RFCI算法,这是比FCI快得多。在某些情况下,RFCI的输出信息量稍少,特别是在条件独立性信息方面。然而,我们证明了RFCI输出中的任何因果信息在渐近极限下都是正确的。我们还定义了一类图上的FCI和RFCI的输出是相同的。我们证明了FCI和RFCI在稀疏高维环境中的一致性,并在仿真中证明了算法的估计性能非常相似。所有软件都在R-package pcalg中实现。
2012-05-29 cs.LG math.ST stat.ME