$\ell_0$-penalized maximum likelihood for sparse directed acyclic graphs
考虑了高维稀疏有向无环图模型（或等价的高斯结构方程模型）的结构和参数的正则化极大似然估计问题.我们发现，$\ell_0$惩罚的最大似然估计的DAG具有约相同数量的边缘的最小边缘I-MAP（DAG与最小数量的边缘代表的分布），它收敛于Frobenius范数。我们允许节点数p远大于样本量n，但假设稀疏条件，并且真实DAG的任何表示至少具有高于噪声水平的非零边缘权重的固定比例。我们的研究结果不依赖于忠实性假设，也不依赖于限制性强忠实性条件，这是基于条件独立性测试的方法，如PC算法所需的。
2013-05-09 math.ST stat.TH
Parameter Estimation in DAGs from Incomplete Data via Optimal Transport
Monash University（莫纳什大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；VinAI Research（VinAI研究院）
针对从不完整数据中估计概率有向图模型参数的难题，提出基于最优传输视角的通用框架，无需对潜在变量后验做不切实际假设或变分近似，能有效恢复真实参数并在下游任务中表现优异。
2024-06-01 cs.LG cs.SI
Jointly interventional and observational data: estimation of interventional Markov equivalence classes of directed acyclic graphs
在许多应用程序中，我们有观察和（随机）干预数据。我们提出了一个高斯似然框架联合建模的不同的数据类型，基于全球参数组成的有向无圈图（DAG）和相应的边缘权重和误差方差。由于参数的全局性质，极大似然估计是合理的，每个干预只有一个或几个数据点。我们证明了BIC标准的一致性，用于估计干预性的马尔可夫等价类的DAG，这是小于的观测模拟，由于增加部分可识别性的干预数据。这种改进的可识别性直接影响到更严格的界限推断因果关系的影响。除了方法和理论推导，我们提出了实证结果，从真实和模拟数据。
2013-03-13 math.ST stat.ME stat.TH
Learning Gaussian DAG Models without Condition Number Bounds
EECS Department MIT（MIT电子工程与计算机科学系）；Data Science Institute Columbia University（哥伦比亚大学数据科学研究所）
本文研究等方差假设下有向高斯图模型拓扑学习问题，提出一种样本复杂度不依赖协方差矩阵条件数的恢复算法，并给出几乎匹配的上下界，刻画了该问题的真实样本复杂度。
2025-11-08 cs.LG
Probabilistic DAG Search
University of Tübingen（图宾根大学）；Microsoft Research（微软研究院）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
令人兴奋的当代机器学习问题最近被描述为树搜索的经典形式--最著名的是围棋。有趣的是，这些顺序决策问题背后的状态空间通常是一个比树更一般的潜在结构。在这项工作中，我们开发了一个概率框架，利用搜索空间的潜在结构，从而在整个搜索树共享信息。该方法是基于联合高斯模型中的近似推理的组合，探索的问题的一部分，和未探索的部分，实行了减少特设的复杂性的抽象。我们凭经验发现我们的算法相比，有利的现有的非概率的替代品，井字游戏和特征选择应用。
2021-06-16 cs.AI cs.LG
Testing Directed Acyclic Graph via Structural, Supervised and Generative Adversarial Learning
London School of Economics and Political Science（伦敦政治经济学院）；University of California at Berkeley（加州大学伯克利分校）
本文提出一种基于神经网络的DAG假设检验方法，允许非线性关联和时间相关数据，并提供了渐近保证，通过模拟和大脑连接网络分析验证了有效性。
2023-05-23 cs.LG stat.ML
Symmetries in Directed Gaussian Graphical Models
我们定义高斯图形模型的有向无圈图与着色的顶点和边，称之为RDAG（限制有向无圈图）模型。如果两个顶点或边具有相同的颜色，则它们在模型中的参数必须相同。提出了一种算法来求RDAG模型的最大似然估计，并通过线性独立性条件证明了MLE的存在性。我们关系到一个图的属性，它的着色，需要的MLE存在和唯一的样本个数。我们还讨论了当RDAG模型等于一个相关的无向图形模型，并研究连接组和不变理论。我们提供的例子和模拟研究的好处RDAGs在无色的DAG。
2022-05-27 math.AG math.ST stat.TH
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图（DAG）模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来，各种先验已经开发了贝叶斯推断在DAG模型，但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中，我们考虑了灵活的和一般的类，这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下，当变量p随样本量样本量n以适当的次指数速率增长时，我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Partial Gaussian Graphical Model Estimation
Rutgers University（罗格斯大学）
本文研究了高斯图模型在高维经验观测下的部分估计问题。我们推导出一个凸公式，这个问题使用$\ell_1$正则化最大似然估计，这可以通过块坐标下降算法来解决。统计估计性能可以建立我们的方法。所提出的方法具有竞争力的经验性能相比，现有的方法，合成和真实数据集上的各种实验证明。
2012-09-28 cs.IT cs.LG math.IT
Consistent DAG selection for Bayesian causal discovery under general error distributions
针对非高斯误差下的线性SEM因果结构学习问题，提出贝叶斯层次模型，刻画DAG分布等价类，证明采用非标准先验可实现后验DAG选择一致性，并通过示例与模拟验证。
2025-08-01 math.ST stat.ME stat.ML
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
High-dimensional learning of linear causal networks via inverse covariance estimation
我们建立了一个新的框架，统计估计的有向无环图（DAG）时，数据生成的线性，可能是非高斯结构方程模型。我们的框架由两部分组成：（1）从逆协方差阵的支持推断道德化图;（2）在与道德化图一致的DAG中选择最佳得分图。我们表明，当误差方差是已知的或估计到足够接近的精度，真正的DAG是唯一的最小值的分数计算使用加权平方l_2损失。我们的人口水平的结果有影响的线性SEM的可识别性时，误差协方差被指定为一个常数倍。在统计方面，我们建立严格的条件，我们的两部分算法的高维一致性，定义在真正的DAG和下一个最佳候选人之间的“差距”。最后，我们证明了当道德化图的树宽有界时，动态规划可以用来在线性时间内选择最优DAG。
2013-11-14 math.ST stat.ML stat.TH
Colored Gaussian directed acyclic graphical models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）；Technical University of Munich（慕尼黑工业大学）
本文提出彩色高斯有向无环图模型（BPEC-DAGs），通过聚类节点直接原因到社区中，增强了因果推断能力，并证明了结构可识别性。
2025-11-07 math.ST stat.TH
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了一族正则化的基于分数的估计器，用于学习多维正态分布的有向无环图（DAG）的结构，并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化，而无需假设先验知识的变量排序。这些结果适用于各种实际情况，允许任意的非退化协方差结构以及许多流行的正则化，包括MCP，SCAD，$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型，这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题，建立统一的控制超指数家庭的邻里与高斯分布。然后，我们应用这些结果来研究基于分数的DAG估计的统计特性，学习因果DAG，并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图（DAG）通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中，其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的，而且两个有向图在观测上可能是等价的。当节点表现出自然排序时，估计有向图的问题就归结为估计网络结构的问题。在本文中，我们提出了一种惩罚似然方法，直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚，提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时，两种惩罚的变量选择一致性。我们表明，虽然套索只能一致地估计真实的网络在严格的假设下，自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较，替代方法在模拟，以及真实的，数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Deep Gaussian Processes on Directed Acyclic Graphs
University of Warwick（华威大学）；Unilink Software Ltd（Unilink软件有限公司）
研究有向无环图上函数组合的相关问题，提出深度高斯过程，通过理论研究其行为，给出结构化变分近似，经实证验证，在多个任务中取得先进性能，能恢复低保真贡献并具有模拟器层次结构的可解释性。
2026-11-10 cs.LG math.ST stat.CO
Parameter Priors for Directed Acyclic Graphical Models and the Characterization of Several Probability Distributions
我们开发了简单的方法来构建参数先验模型之间的选择有向无环图（DAG）模型。特别是，我们引入了几个假设，允许建设的参数先验大量的DAG模型从一个小的评估。然后，我们提出了一种方法，直接计算每个DAG模型的边际似然给定一个随机样本，没有丢失的意见。我们将这种方法应用于高斯DAG模型，它包括一组递归的线性回归模型。我们证明了完全高斯DAG模型的唯一参数先验满足我们的假设是正态Wishart分布。我们的分析是基于以下新的Wishart分布的特征：让$W$是一个$n \times n$，$n \ge 3$，正定对称随机变量矩阵和$f(W)$是一个pdf的$W$。那么，f $(W)$是Wishart分布当且仅当对于$W$的每个块划分$W_{11},W_{12}, W'_{12}, W_{22}$，$W_{11} - W_{12} W_{22}^{-1} W'_{12}$独立于$\{W_{12},W_{22}\}$。还提供了正态和正态Wishart分布的类似表征。
2021-06-29 cs.LG math.ST stat.ML
High-Dimensional Joint Estimation of Multiple Directed Gaussian Graphical Models
我们考虑的问题，联合估计多个相关的有向无圈图（DAG）模型的基础上，从每个图的高维数据。这个问题的动机是基于来自不同组织、发育阶段或疾病状态的基因表达数据来学习基因调控网络的任务。我们证明了在一定的正则性条件下，所提出的$\ell_0$ -惩罚极大似然估计在Frobenius范数下收敛于与数据生成分布一致的邻接矩阵，并且具有正确的稀疏性.特别是，我们表明，这种联合估计过程导致更快的收敛速度比估计每个DAG模型分别。作为一个推论，我们还获得了高维一致性的结果，从混合的观察和干预数据的因果推断。出于实用的目的，我们提出了\emph{jointGES}组成的贪婪等价搜索（GES），以估计所有DAG模型的联合，然后使用套索变量选择，以获得不同的DAG，我们分析了它的一致性保证。所提出的方法是通过模拟数据以及上皮性卵巢癌基因表达数据的分析。
2020-06-27 math.ST stat.ME stat.TH
Greedy equivalence search for nonparametric graphical models
University of Chicago（芝加哥大学）
针对一般非参数 DAG 模型缺乏一致性理论的问题，本文利用非参数贝叶斯进展构建模型检验方法，证明了贪婪等价搜索（GES）在满足马尔可夫分解平滑条件的一般 DAG 模型族上的一致性。
2024-06-25 cs.LG math.ST stat.ML
Estimating high-dimensional directed acyclic graphs with the PC-algorithm
我们认为PC算法Spirtes等。等人（2000）用于估计具有相应高斯分布的非常高维无环有向图（DAG）的骨架。PC算法对于具有许多节点（即变量）的稀疏问题在计算上是可行的，并且它具有自动实现高计算效率作为真实底层DAG的稀疏度的函数的吸引人的性质。我们证明了非常高维，稀疏DAG的算法的一致性，其中节点的数量允许快速增长的样本量n，快速为O（n^a）的任何0<a<无穷大。稀疏性假设是相当小的，仅要求DAG中的邻域的阶数低于样本量n。我们经验证明的PC算法模拟数据，并认为该算法是相当不敏感的选择，其单一的调谐参数。
2005-10-20 math.ST stat.TH
Consistent Bayesian causal discovery for structural equation models with equal error variances
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）
本文提出一种贝叶斯DAG选择方法，在假设高斯SEM和相等误差方差的情况下，利用关键性质证明该方法在无需额外分布假设下一致恢复真实图结构。
2026-03-23 math.ST stat.ME stat.ML
Partial correlation hypersurfaces in Gaussian graphical models
我们推导出一个组合充分条件的偏相关超曲面的参数空间的有向高斯图形模型是非奇异的，并推测这个条件是否可以用于算法学习的图形。由于在任意数目顶点上的完全DAG的情况下满足该条件，该结果意味着对Lin-Uhler-Sturmfels-Bühlmann提出的问题的肯定回答。
2018-09-21 math.AG math.CO math.ST
High dimensional Bayesian inference for Gaussian directed acyclic graph models
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）；York University（约克大学）；Stanford University（斯坦福大学）
针对固定父节点排序的高斯DAG模型，构建修正Cholesky参数的共轭贝叶斯推断框架，推导闭式后验量与兼容DAG的选择方法，通过模拟和实例验证并说明局限。
2026-08-23 math.ST stat.OT stat.TH
Algebraic Methods of Classifying Directed Graphical Models
有向无环图模型（DAG）通常用于描述概率分布族中的常见结构特性。本文讨论的问题分类DAG的同构。通过考虑高斯密度，问题简化为验证某些代数簇的相等性。计算这些品种的方程的问题已经提出了以前在文献中。在这里，它表明，最自然的方法增加了虚假的成分与奇异的主要未成年人，证明了一个猜想Sullivant。这个特征被用来建立同构的代数判据，并提供一个随机算法来检验这个判据。结果应用于产生一个列表的同构类的树模型的4，5，和6个节点。最后，一些证据表明，投射DAG品种包含有用的信息，在这个意义上说，他们的相对嵌入是密切相关的有效推理。
2014-12-23 cs.IT math.IT math.ST
Identifiability of the minimum-trace directed acyclic graph and hill climbing algorithms without strict local optima under weakly increasing error variances
本文证明在弱递增误差方差下，高斯线性结构方程模型中的真实DAG可辨识为最小迹DAG，并证明R2R邻域爬山算法无严格局部最优，而其他等大小邻域算法表现次优。
2025-08-07 math.ST stat.CO stat.ML
Vecchia Gaussian Processes: on probabilistic and statistical properties
Bocconi University（博科尼大学）；the University of Hong Kong（香港大学）
本文研究了Vecchia近似在Matérn高斯过程中的概率和统计性质，提出固定基数的父集选择方法，并证明了非参数回归模型中后验收缩的最优速率。
2026-03-11 math.ST stat.ME stat.TH
Technical appendix to "Adaptive estimation of stationary Gaussian fields"
这是“平稳高斯场的自适应估计”的技术附录。我们提出了几个证据，已跳过的主要文件。
2009-08-30 math.ST stat.TH
Parameter estimation for SDEs related to stationary Gaussian processes
本文研究一般平稳高斯场泛函的部分和的中心极限定理和非中心极限定理。我们应用所得结果研究了与平稳高斯过程有关的随机微分方程的漂移参数估计问题。
2015-01-20 math.PR math.ST stat.TH
Estimation error for blind Gaussian time series prediction
我们解决的问题的盲预测的高斯时间序列。为此，我们构建了一个投影算子，通过将经验协方差估计插入投影仪的Schur补分解来构建。然后使用该运算符计算预测值。给出了估计的收敛速度。
2011-07-05 math.ST stat.ME stat.TH
