Learning a directed acyclic graph with additive heteroscedastic errors
Center for Data Science, Zhejiang University(浙江大学数据科学中心);School of Statistics, University of Minnesota(明尼苏达大学统计学院);Department of Statistics, University of Virginia(弗吉尼亚大学统计学系);Department of Statistics, Iowa State University(爱荷华州立大学统计学系)
针对结构方程模型中的加性异方差误差,提出基于异方差性的因果方向识别方法,并设计迭代算法RESQUE,通过条件尺度系数在不同分位数上的不变性递归识别汇节点,理论保证拓扑顺序和图结构的恢复。
2026-05-26 stat.ME
$\ell_0$-penalized maximum likelihood for sparse directed acyclic graphs
考虑了高维稀疏有向无环图模型(或等价的高斯结构方程模型)的结构和参数的正则化极大似然估计问题.我们发现,$\ell_0$惩罚的最大似然估计的DAG具有约相同数量的边缘的最小边缘I-MAP(DAG与最小数量的边缘代表的分布),它收敛于Frobenius范数。我们允许节点数p远大于样本量n,但假设稀疏条件,并且真实DAG的任何表示至少具有高于噪声水平的非零边缘权重的固定比例。我们的研究结果不依赖于忠实性假设,也不依赖于限制性强忠实性条件,这是基于条件独立性测试的方法,如PC算法所需的。
2013-05-09 math.ST stat.TH
Smoothed Nested Testing on Directed Acyclic Graphs
本文研究了当假设具有逻辑嵌套结构时的多重假设检验问题。当一个假设嵌套在另一个假设中时,如果内部假设为假,则外部假设必须为假。我们模型的嵌套结构作为一个有向无环图,包括链和树图作为特殊情况。图中的每个节点都是一个假设,拒绝一个节点也需要拒绝它的所有祖先。我们提出了一个通用的框架调整节点级检验统计量使用已知的逻辑约束。在这个框架内,我们研究了一个平滑过程,结合每个节点及其所有的后代,形成一个更强大的统计。我们证明了一个广泛的类的平滑策略可以使用现有的选择程序来控制familywise错误率,错误发现率,或错误发现率,只要原始的检验统计量是独立的空值。当零统计量不是独立的,但来自正相关的正常观测,我们证明控制所有三个错误率时,平滑方法是算术平均的观测。模拟和应用到一个真实的生物数据集表明,平滑导致大量的功率增益。
2021-03-15 stat.ME
Deep Q-Learning for Directed Acyclic Graph Generation
Cardiff University(卡迪夫大学)
我们提出了一种使用深度强化学习,特别是深度Q学习来生成有向无环图(DAG)的方法。生成具有特定结构的图在各种应用领域都是一项重要而具有挑战性的任务,然而目前大多数图生成方法生成的图都是无向边图。我们证明,这种方法是能够生成DAG的拓扑结构和节点类型满足指定的标准,在高度稀疏的奖励环境。
2019-06-05 cs.LG stat.ML
Hyperbolic Disk Embeddings for Directed Acyclic Graphs
LAPRAS Inc.(LAPRAS公司)
获得结构数据的连续表示,例如有向无环图(DAG),在机器学习和人工智能中受到了关注。然而,嵌入复杂的DAG,其中节点的祖先和后代都呈指数增长是困难的。为了解决这个问题,我们开发了Disk Embeddings,这是一个将DAG嵌入到准度量空间中的框架。现有的最先进的方法,顺序嵌入和双曲蕴涵锥,盘嵌入在欧氏空间和球的实例分别。此外,我们提出了一种新的方法双曲盘嵌入处理指数增长的关系。我们的实验结果表明,我们的磁盘嵌入模型优于现有的方法,特别是在复杂的DAG以外的树。
2019-05-15 cs.LG stat.ML
Characterizing Distribution Equivalence and Structure Learning for Cyclic and Acyclic Directed Graphs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
定义非循环有向因果图模型之间等价性的主要方法是基于因果模型可以生成的分布中的条件独立关系,即马尔科夫等价性。然而,众所周知,当因果结构中允许循环时,条件独立性可能不是两个结构等价的合适概念,因为它不能反映分布中对识别底层结构有用的所有信息。在本文中,我们提出了一个一般的,统一的概念,等价的线性高斯因果有向图模型,无论它们是循环的或非循环的。在我们提出的等价定义中,如果两个结构可以生成相同的数据分布集,则它们是等价的。我们还提出了一个较弱的概念,称为准等价等价,我们表明是从观测数据的可识别性的程度。我们提出了分析以及图形的方法来表征两个结构的等价性。此外,我们提出了一个基于分数的方法来学习的结构从观测数据,成功地处理了非循环和循环结构。
2020-07-02 cs.LG stat.ML
Kernel-Based Differentiable Learning of Non-Parametric Directed Acyclic Graphical Models
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出基于再生核希尔伯特空间和偏导数稀疏正则化的非参数因果发现方法,采用对数行列式无环约束,并通过RKHS-DAGMA程序验证其性能。
2024-08-20 cs.LG stat.ML
DAGSurv: Directed Acyclic Graph Based Survival Analysis Using Deep Neural Networks
IIIT Delhi(德里印度信息技术学院);IIIT Guwahati(古瓦哈提印度信息技术学院)
观察性生存数据的因果结构提供了关于协变量与至事件发生时间之间关系的关键信息。我们从信息理论的信源编码参数的动机,并表明,将知识的有向无环图(DAG)可以是有益的,如果采用合适的源编码器。作为一个可能的源编码器在这种情况下,我们推导出一个变分推理为基础的条件变分自编码器的因果结构化生存预测,我们称之为DAGSurv。我们说明了DAGSurv在低维和高维合成数据集以及METABRIC和GBSG等真实数据集上的性能。我们证明了所提出的方法优于其他生存分析基线,如Cox比例风险,DeepSurv和Deephit,这些基线忽略了数据实体之间的潜在因果关系。
2021-11-02 cs.LG stat.ML
Permutation-based Inference for Variational Learning of Directed Acyclic Graphs
CSIRO’s Data61(CSIRO的数据61部门);UNSW Sydney(新南威尔士大学悉尼分校);Statistics Program, KAUST(KAUST统计学项目);CSIRO’s Environment(CSIRO的环境部门)
PIVID通过变分推理和连续松弛方法,高效推断有向无环图结构,优于现有方法,在准确性和不确定性之间取得更好平衡。
2026-02-16 cs.LG stat.ML
ProDAG: Projected Variational Inference for Directed Acyclic Graphs
University of Technology Sydney(技术大学悉尼大学);CSIRO’s Data61(CSIRO数据61);University of New South Wales(新南威尔士大学)
ProDAG通过投影变分推断框架,在DAG学习中实现更准确的结构推断和不确定性量化。
2026-02-06 cs.LG stat.ML
A Bregman Method for Structure Learning on Sparse Directed Acyclic Graphs
CNRS(法国国家科学研究中心);ENS Paris(巴黎高等师范学院);Inria(法国国家信息与自动化研究所)
我们提出了一种Bregman近似梯度方法,用于线性结构因果模型的结构学习。虽然问题是非凸的,具有高曲率,实际上是NP-难的,但Bregman梯度方法允许我们通过测量高度非线性内核的平滑度来抵消曲率的至少一部分影响。这允许该方法进行更长的步骤并显著提高收敛性。每次迭代都需要求解Bregman近似步骤,该步骤是凸的,并且对于我们特定的内核选择是有效可解的。我们在各种合成和真实数据集上测试我们的方法。
2020-11-05 cs.LG stat.ML
Identification In Missing Data Models Represented By Directed Acyclic Graphs
Johns Hopkins University(约翰斯·霍普金斯大学);Harvard T. H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
缺失数据是数据分析中普遍存在的问题,导致数据集包含目标分布的删失实现。使用删失观测数据推断目标分布的许多方法依赖于表示为关于有向非循环图的因子分解的缺失数据模型。在本文中,我们认为这类模型内的目标分布的可识别性,并表明,迄今为止提出的最一般的识别策略保留了显着的差距,因为它们无法识别广泛的一类可识别的分布。为了解决这一差距,我们提出了一种新的算法,显着推广的ID算法中使用的操作类型,在因果推断的背景下,以获得识别。
2019-06-29 cs.LG stat.ML
Efficient Learning of Quadratic Variance Function Directed Acyclic Graphs via Topological Layers
City University of Hong Kong(香港城市大学);Xiamen University(厦门大学);Shanghai University of Finance and Economics(上海财经大学)
有向无环图(DAG)模型被广泛用于描述随机变量之间的因果关系。本文研究一类特殊的非高斯DAG模型,其中每个节点的条件方差在给定其父节点的情况下是其条件均值的二次函数。这类非高斯DAG模型相当灵活,并且允许许多流行的分布作为特例,包括泊松分布、二项式分布、几何分布、指数分布和Gamma分布。为了方便学习,我们引入了一个新的概念,拓扑层,并开发了一个有效的DAG学习算法。它首先以层次化的方式重建拓扑层,然后恢复不同层节点之间的有向边,这比文献中大多数现有算法需要更少的计算量。通过大量的仿真实例以及对两个真实数据集的应用,包括NBA球员统计数据和阿里巴巴化妆品销售数据,验证了该方法的优越性。
2021-11-01 cs.LG stat.ML
Contextual Directed Acyclic Graphs
University of New South Wales(新南威尔士大学);CSIRO’s Data61(联邦科学与工业研究组织Data61)
本文提出用带稀疏无环投影层的神经网络将个体上下文特征映射为DAG,并给出可扩展算法、收敛保证与解析梯度,实验证明其能在现有方法失效时恢复真实的上下文特定图结构。
2024-02-20 cs.LG stat.ML
Learning linear non-Gaussian directed acyclic graph with diverging number of nodes
City University of Hong Kong(香港城市大学);Shanghai University of Finance and Economics(上海财经大学)
无环模型,通常被描述为一个有向无环图(DAG),已被广泛用于表示收集的节点之间的方向因果关系。在这篇文章中,我们提出了一种有效的方法来学习高维情况下的线性非高斯DAG,其中噪声可以是任何连续的非高斯分布。这与大多数现有的DAG学习方法形成鲜明对比,这些方法假设高斯噪声和额外的方差假设以获得精确的DAG恢复。该方法利用拓扑层的新概念来促进DAG学习。特别是,我们表明,拓扑层可以准确地重建在一个自下而上的方式,在每一层中的节点之间的父子关系也可以建立一致。更重要的是,所提出的方法不需要在DAG学习的文献中广泛假设的忠诚或父母忠诚假设。它的优势也得到了各种模拟示例中与一些流行竞争对手的数值比较以及COVID-19全球传播的实际应用的支持。
2021-11-01 cs.LG stat.ML
Labeled Directed Acyclic Graphs: a generalization of context-specific independence in directed graphical models
Åbo Akademi University(奥布学术大学);KTH Royal Institute of Technology(瑞典皇家理工学院);University of Helsinki(赫尔辛基大学)
我们引入了一类新的标记有向无环图(LDAG)模型的有限集的离散变量。LDAG概括了早期的提议,允许节点的条件概率分布中的局部结构,使得不受限制的标签集确定对于给定上下文可以从底层有向无环图(DAG)中删除哪些边。这些模型的几个属性的推导,包括推广的马尔可夫等价类的概念。LDAG的有效贝叶斯学习通过引入模型参数的Dirichlet先验的基于LDAG的因式分解来实现,使得可以解析地计算边际似然。此外,我们开发了一种新的先验分布的模型结构,可以适当地惩罚模型的标签复杂性。一个不可逆的马尔可夫链蒙特卡罗算法结合贪婪爬山方法被用来说明LDAG模型的有用属性的真实和合成的数据集。
2013-10-04 cs.AI cs.LG stat.ML
D-VAE: A Variational Autoencoder for Directed Acyclic Graphs
Washington University in St. Louis(圣路易斯华盛顿大学)
图结构化数据在现实世界中非常丰富。有向无环图是机器学习研究者特别感兴趣的一类图,许多机器学习模型都是在有向无环图上实现的,包括神经网络和贝叶斯网络。在本文中,我们研究了DAG的深度生成模型,并提出了一种新的DAG变分自编码器(D-VAE)。为了将DAG编码到潜在空间中,我们利用图神经网络。我们提出了一个异步的消息传递计划,允许编码的DAG上的计算,而不是使用现有的同步消息传递计划来编码本地图结构。我们证明了我们提出的DVAE的有效性,通过两个任务:神经结构搜索和贝叶斯网络结构学习。实验表明,我们的模型不仅产生新颖和有效的DAG,但也产生了一个光滑的潜在空间,有利于搜索DAG具有更好的性能,通过贝叶斯优化。
2019-10-29 cs.LG stat.ML
Unfaithful Probability Distributions in Binary Triple of Causality Directed Acyclic Graph
Beihang University(北京航空航天大学)
本文在三元二元因果有向无环图(DAG)结构中构造了若干不忠实于Robins等人(2003)所描述的因果DAG的概率分布例子,并给出了具有多重独立性与条件独立性的一般不忠实概率分布。
2025-01-30 cs.AI cs.LG stat.ML
Supplement to "Reversible MCMC on Markov equivalence classes of sparse directed acyclic graphs"
这份补充材料包括三个部分:一些初步结果,四个例子,一个实验,三个新的算法,和所有的证明结果的文件“可逆MCMC对马尔可夫等价类的稀疏有向无环图”。
2013-08-10 math.CO stat.ML
Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture
University of California, San Diego(加州大学圣地亚哥分校)
该研究揭示任意有向无环图架构的前馈神经网络在宽度(输入层和第一层外神经元最小入度)趋于无穷时会线性化,明确了其底层数学结构,推广了相关标准架构的研究。
2023-06-07 cs.LG math.OC stat.ML
Exact Estimation of Multiple Directed Acyclic Graphs
研究了多个相关有向无环图模型的结构估计问题。基于最近的发展,在精确估计的DAG使用整数线性规划(ILP),我们提出了一个ILP方法联合估计多个DAG,不需要在每个DAG中的顶点共享一个共同的顺序。此外,我们还允许DAG之间的(可能未知的)依赖结构。模拟数据和fMRI数据从多个科目的结果。
2014-11-12 stat.ML
Efficient Learning by Directed Acyclic Graph For Resource Constrained Prediction
Boston University(波士顿大学);Systems & Technology Research(系统与技术研究公司)
我们研究的问题,减少测试时的收购成本的分类系统。我们的目标是学习决策规则,根据需要为每个示例自适应地选择传感器,以进行自信的预测。我们将我们的系统建模为有向无环图(DAG),其中内部节点对应于传感器子集,每个节点的决策函数选择是否获取新的传感器或使用可用的测量进行分类。这个问题可以很自然地作为训练数据上的经验风险最小化提出。而不是联合优化这样一个高度耦合的和非凸的问题在所有的决策节点,我们提出了一个有效的算法,动态规划的动机。我们通过将全局目标简化为一系列成本敏感的学习问题来学习DAG中的节点策略。我们的方法是计算效率高,并已证明保证收敛到一个固定的架构的最佳系统。此外,我们提出了一个扩展映射到我们的DAG架构与大量的传感器的其他预算学习问题,并证明经验性能超过国家的最先进的算法组成的数据的几个和许多传感器。
2015-10-26 cs.LG stat.ML
Identifiability of Generalized Hypergeometric Distribution (GHD) Directed Acyclic Graphical Models
University of Seoul(首尔大学)
我们引入了一类新的可识别的DAG模型,其中每个节点的条件分布属于一个家庭的广义超几何分布(GHD)。广义超几何分布族包括许多离散分布,如二项分布、贝塔二项分布、负二项分布、泊松分布、超泊松分布等等。我们证明,如果数据来自新的一类DAG模型,可以完全识别图结构。我们进一步提出了一个可靠的多项式时间算法,从大量的数据恢复的图形。我们通过理论结果和数值实验表明,我们的算法是统计上一致的,在高维设置(p>n),如果图的入度是有界的,并优于国家的最先进的DAG学习算法。
2019-10-16 cs.LG stat.ML
Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for Neural Networks
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文用非线性加权有向无环图统一描述全连接网络、ResNet和DenseNet,并将总体风险误差分析扩展到DenseNet,证明在温和条件下可获得与输入维度无关的先验估计。
2021-12-06 cs.LG stat.ML
Entropic Inequality Constraints from $e$-separation Relations in Directed Acyclic Graphs with Hidden Variables
Johns Hopkins University(约翰斯·霍普金斯大学);Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Gdańsk(格但斯克大学);International Centre for Theory of Quantum Technologies(国际量子技术理论中心)
含有隐变量的有向无环图(DAG)经常被用来刻画系统中变量之间的因果关系。当某些变量不可观测时,DAG意味着对观测变量分布的一组非常复杂的约束。在这项工作中,我们提出了熵不等式约束隐含的$e$分离关系的隐变量DAG离散观测变量。这些约束可以直观地理解为遵循这样的事实,即沿着因果路径传递信息的变量的能力受到它们的熵的限制;例如,在极端情况下,具有熵的变量$0$可以不传递信息。我们展示了如何使用这些约束从观察到的数据分布中了解真正的因果模型。此外,我们提出了一种称为最小中间熵的因果影响的措施,并证明它可以增强传统的措施,如平均因果效应。
2023-02-22 cs.LG stat.ML
Learning Directed Acyclic Graphs from Partial Orderings
University of Washington(华盛顿大学)
本文研究了在变量具有部分因果排序的条件下学习有向无环图(DAGs)结构的问题,提出了一种利用部分排序的通用估计框架,并为低维和高维问题提供了高效算法,数值研究验证了其优势。
2024-03-24 cs.LG stat.ME stat.ML
Addendum on the scoring of Gaussian directed acyclic graphical models
我们提供了一个修正的表达得分高斯有向非循环图形模型在盖格和Heckerman [安。30(2002)1414-1440]并讨论如何有效地评估得分。
2021-05-17 stat.ME stat.ML
A Characterization of Markov Equivalence Classes for Directed Acyclic Graphs with Latent Variables
不同的有向无环图(DAG)可能是马尔可夫等价的,因为它们在观测变量之间具有相同的条件独立关系。Meek(1995)通过提出一组方向规则来表征DAG的马尔可夫等价类(没有潜在变量),该方向规则可以正确地识别马尔可夫等价类中所有DAG共享的所有箭头方向,给定该类的成员。对于具有潜在变量的DAG模型,最大祖先图(MAG)提供了一种简洁的表示,便于模型搜索。早期的工作(阿里等人,2005年)已经确定了一套方向规则,足以构建所有箭头共同的马尔可夫等价类的MAG。在本文中,我们提供了额外的规则足以构造所有共同的尾巴。我们最终与一组定位规则的声音和完整的识别跨马尔可夫等价类的MAG,这是特别有用的因果推断的共性。
2012-06-20 cs.LG stat.ME stat.ML
Integer Programming for Learning Directed Acyclic Graphs from Continuous Data
University of Washington(华盛顿大学);Northwestern University(西北大学)
从数据中学习有向无环图(DAG)在理论和实践上都是一项具有挑战性的任务,因为可能的DAG的数量与节点的数量成超指数关系。在本文中,我们研究了从连续观测数据中学习最优DAG的问题。我们投这个问题的数学规划模型的形式,它可以自然地将一个超级结构,以减少可能的候选DAG的集合。我们使用惩罚负对数似然评分函数与$\ell_0$和$\ell_1$正则化,并提出了一个新的混合整数二次优化(MIQO)模型,称为分层网络(LN)制定。LN公式是一个紧凑的模型,它享有作为紧的最佳连续松弛值的更强,但更大的配方在温和的条件下。计算结果表明,所提出的配方优于现有的数学公式和规模比现有的算法,可以解决相同的问题,只有$\ell_1$正则化。特别是,LN制定明显优于现有的方法在计算时间方面需要找到一个最佳的DAG在一个稀疏的超结构的存在。
2019-04-23 cs.DM cs.LG stat.ML
Stable Causal Discovery via Directed Acyclic Graph Aggregation
Yau Mathematical Sciences Center, Tsinghua University(丘成桐数学科学中心,清华大学);Department of Statistics, University of Virginia(弗吉尼亚大学统计系);Dr. Bing Zhang Department of Statistics, University of Kentucky(肯塔基大学张炳章统计系)
本文提出DAGgr模型平均框架,通过聚合多个候选DAG以获得稳定表示,利用外样本预测似然加权候选图,并通过边重要性评分阈值规则保证聚合图的无环性,通过理论分析和实验验证其有效性。
2026-05-18 stat.ME stat.ML
Causal Effect Identification in Acyclic Directed Mixed Graphs and Gated Models
Linköping University(林雪平大学)
我们引入了一个新的图形模型,包括可能有向,无向和双向边,但没有定向循环的图形。我们表明,这些模型是适合于表示因果模型的附加误差项。我们提供了一组充分的图形标准识别任意因果效应时,新的模型包含有向和无向的边缘,但没有双向边缘。我们还提供了一个必要的和充分的图形标准的因果关系的影响,一个单一的变量上的其他变量的识别。此外,我们开发了一种精确的算法,通过答案集编程从观察和干预数据中学习新模型。最后,我们介绍了门控模型的因果效应识别,一个新的家庭的图形模型,利用上下文特定的独立性,以确定额外的因果效应。
2017-05-28 cs.AI stat.ML
Alternative Markov and Causal Properties for Acyclic Directed Mixed Graphs
Linköping University(林雪平大学)
我们扩展Anderson-Madigan-Perlman链图(i)放松半有向无环约束,使只有有向循环是禁止的,(ii)允许任何一对节点之间的两个边缘。我们引入全球,并下令当地和成对的马尔可夫性的新模型。我们证明了严格正概率分布的这些性质的等价性。我们还表明,当随机变量是连续的,新的模型可以解释为系统的结构方程与相关的错误。这使我们能够适应珍珠的做演算。最后,我们描述了一种精确的算法,通过答案集编程从观察和干预数据中学习新模型。
2016-02-19 cs.AI stat.ML
Penalized Estimation of Directed Acyclic Graphs From Discrete Data
贝叶斯网络是一类流行的图形模型,其结构由有向无环图(DAG)给出。然而,从离散或分类数据中学习贝叶斯网络特别具有挑战性,因为参数空间很大,并且难以搜索稀疏结构。在这篇文章中,我们开发了一个最大惩罚似然方法来解决这个问题。而不是常用的多项分布,我们模型的条件分布的一个节点给定其父母的多logit回归,其中一个边缘参数化的一组系数向量与虚拟变量编码的节点的水平。为了得到一个稀疏的DAG,采用了一个群范数惩罚,并开发了一个分块坐标下降算法,以最大限度地提高受惩罚的似然无环约束的DAG。当介入数据可用时,我们的方法构造一个因果网络,其中有向边表示因果关系。我们将我们的方法应用到各种模拟和真实的数据集。结果表明,我们的方法是非常有竞争力的,与许多现有的方法相比,在DAG估计从干预和高维观测数据。
2018-02-02 stat.ME stat.ML
A Prior Distribution over Directed Acyclic Graphs for Sparse Bayesian Networks
本文的主要贡献是在有向无环图上提出了一种新的先验分布,它赋予稀疏图更大的权值。此分布适用于结构化贝叶斯网络,其中结构由有序块模型给出。也就是说,图的节点是属于类别(或块)的对象;块具有自然顺序。两个对象之间的关系的存在由箭头表示,从较低类别的对象到较高类别的对象。这里考虑的模型在Kemp et al.(2004)中针对关系数据进行了介绍,并在Mansinghka et al.(2006)中扩展到多变量数据。这里给出的图结构的先验有一个明确的公式。图的每一层中的节点的数量遵循Hoppe Ewens瓮模型。我们考虑图的节点表示随机变量的情况,其联合概率分布沿DAG分解。我们描述了蒙特卡罗计划,找到最佳的后验结构给定的数据矩阵和比较的性能与Mansinghka等人。(2006年),也与均匀的先验。
2015-04-25 stat.ML
Formulas for Counting the Sizes of Markov Equivalence Classes of Directed Acyclic Graphs
有向无环图的马尔可夫等价类的大小在度量因果学习的不确定性和复杂性方面起着重要的作用。一个马尔可夫等价类可以用一个本质图来表示,它的无向子图决定了这个类的大小。在本文中,我们发展了一种方法,推导出计算公式的马尔可夫等价类的大小。本文首先引入了核图的概念。所关注的马尔可夫等价类的大小是给定其核心图的顶点数的多项式。然后,我们讨论了多项式的递归和显式公式,并提供了一个算法,通过符号计算得到的大小公式,对于任何给定的核心图。所提出的大小公式推导揭示了马尔可夫等价类的大小与其表示图之间的关系,并使大小计数有效,即使当基本图包含非稀疏无向子图。
2016-10-23 cs.DM stat.ML
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了一族正则化的基于分数的估计器,用于学习多维正态分布的有向无环图(DAG)的结构,并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化,而无需假设先验知识的变量排序。这些结果适用于各种实际情况,允许任意的非退化协方差结构以及许多流行的正则化,包括MCP,SCAD,$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型,这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题,建立统一的控制超指数家庭的邻里与高斯分布。然后,我们应用这些结果来研究基于分数的DAG估计的统计特性,学习因果DAG,并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图(DAG)通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中,其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的,而且两个有向图在观测上可能是等价的。当节点表现出自然排序时,估计有向图的问题就归结为估计网络结构的问题。在本文中,我们提出了一种惩罚似然方法,直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚,提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时,两种惩罚的变量选择一致性。我们表明,虽然套索只能一致地估计真实的网络在严格的假设下,自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较,替代方法在模拟,以及真实的,数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Learning directed acyclic graphs via bootstrap aggregating
概率图模型是概率分布的图形表示。图模型在生物学、社会科学、语言学、神经科学等领域有着广泛的应用。在本文中,我们提出了有向无环图(DAG)学习通过自举聚集。所提出的过程被命名为DAGBag。具体而言,首先基于数据的自举重新采样来学习DAG的集合,然后通过最小化到整个集合的总体距离来导出聚合DAG。一个家庭的度量的基础上的结构汉明距离定义的DAG(一个给定的节点集)的空间,并用于聚合。在高维低样本量的情况下,由于噪声的过拟合,在一个数据集上学习的图通常具有过多的假阳性边缘。聚合通过方差减少克服了过拟合,从而大大减少了误报。我们还开发了一个有效的实现的爬山搜索算法的DAG学习,这使得该方法的计算竞争力的高维政权。DAGBag过程在R包dagbag中实现。
2014-06-09 stat.CO stat.ME stat.ML
Identifiability of the minimum-trace directed acyclic graph and hill climbing algorithms without strict local optima under weakly increasing error variances
本文证明在弱递增误差方差下,高斯线性结构方程模型中的真实DAG可辨识为最小迹DAG,并证明R2R邻域爬山算法无严格局部最优,而其他等大小邻域算法表现次优。
2025-08-07 math.ST stat.CO stat.ML
Reversible MCMC on Markov equivalence classes of sparse directed acyclic graphs
图形模型是一种流行的统计工具,用于表示相关或因果的复杂系统。统计等价的因果或有向图模型被称为属于马尔可夫等价类。描述和理解这些类的空间是非常有趣的。然而,与目前已知的算法,在这样的类的采样是唯一可行的图形与少于约20个顶点。在本文中,我们设计可逆的不可约马尔可夫链的马尔可夫等价类的空间,提出了一个完美的运营商,确定的马尔可夫链的转移。本文提出的马尔可夫链的平稳分布具有封闭形式,易于计算。具体来说,我们构造了一个具体的完美集稀疏马尔可夫等价类的运营商通过引入适当的条件,对每个可能的运营商。给出了有效生成马尔可夫链的算法及其加速版本,并研究了具有数千个顶点的稀疏有向无环图(DAG)的马尔可夫等价类的性质.我们通过实验发现,在大多数稀疏DAG的马尔可夫等价类中,(1)大多数边是有向的,(2)大多数无向子图是小的,(3)这些无向子图的数量随着顶点的数量近似线性地增长。本文包含补充arXiv:1303.0632,http://dx.doi.org/10.1214/13-AOS1125SUPP
2014-01-27 cs.DM stat.ME stat.ML