Integer Programming for Learning Directed Acyclic Graphs from Non-identifiable Gaussian Models
本文研究从连续观测数据中学习有向无环图的问题，提出一种混合整数规划框架，克服现有方法无法保证最优性及依赖同方差假设的缺点，可处理异方差噪声，并通过数值实验验证其优越性和鲁棒性。
2025-04-02 stat.ME stat.ML
AdaPS-LiNGAM: Adaptive Predecessor Selection for Linear Non-Gaussian Acyclic Models under Small-Sample Settings
Artificial Intelligence Laboratory, Fujitsu Limited（富士通有限公司人工智能实验室）
针对小样本下线性非高斯无环模型因果发现困难，提出AdaPS-LiNGAM方法，通过自适应选择稀疏前驱子集重构残差，实现准确且稳健的因果结构恢复。
2026-10-08 cs.LG stat.ML
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center（理化学研究所人工智能项目中心）；Shiga University（滋贺大学）
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据，Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程，并表明当数据数量足够大时，他们的模型是可识别的。然而，连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法，或者将所有连续数据离散化，然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时，可能会丢失重要信息。在本文中，我们定义了一个新的混合因果模型，它包括连续和离散变量。该模型假设：（1）连续变量的值是其父变量加上非高斯噪声的线性函数，以及（2）每个离散变量是逻辑变量，其分布参数取决于其父变量的值。此外，我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构，而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
Causal discovery of linear non-Gaussian acyclic models in the presence of latent confounders
RIKEN（理化学研究所）；Shiga University（滋贺大学）
从受潜在混杂因素影响的数据中发现因果关系是一个重要而困难的挑战。基于因果函数模型的方法还没有被用来呈现变量的关系受到潜在的混杂因素，而一些基于约束的方法可以呈现它们。本文提出了一种基于因果函数模型的方法，称为重复因果发现（RCD）发现的因果结构的观察变量的潜在混杂因素的影响。RCD重复推断少量观察变量之间的因果关系，并确定这些关系是否受到潜在混杂因素的影响。RCD最终产生因果图，其中双向箭头指示具有相同潜在混杂因素的变量对，并且有向箭头指示不受相同潜在混杂因素影响的变量对的因果方向。使用模拟数据和真实世界数据的实验验证结果证实，RCD是有效的，在识别潜在的混杂因素和观察变量之间的因果关系的方向。
2020-11-04 cs.LG stat.ML
DirectLiNGAM: A direct method for learning a linear non-Gaussian structural equation model
结构方程模型和贝叶斯网络已被广泛用于分析连续变量之间的因果关系。在这种框架中，线性非循环模型通常用于对变量的数据生成过程进行建模。最近，它表明，使用非高斯识别的完整结构的线性非循环模型，即，变量及其连接强度的因果排序，而不使用关于网络结构的任何先验知识，这不是传统方法的情况。然而，现有的估计方法基于迭代搜索算法，并且可能不会在有限数量的步骤中收敛到正确的解。在本文中，我们提出了一个新的直接方法来估计因果排序和连接强度的基础上非高斯。与以前的方法相比，我们的算法不需要算法参数，并保证收敛到正确的解决方案在一个小的固定数量的步骤，如果数据严格遵循的模型。
2011-04-07 stat.ML
Causal inference of brain connectivity from fMRI with $ψ$-Learning Incorporated Linear non-Gaussian Acyclic Model ($ψ$-LiNGAM)
Tulane University（杜兰大学）；University of Nebraska Medical Center（内布拉斯加大学医学中心）；Mind Research Network（心智研究网络）；Georgia State University（佐治亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
功能连接（FC）已经成为通过识别大脑网络相互作用以及最终这些相互作用如何产生认知来理解大脑功能的主要手段。FC的一个流行定义是通过测量大脑区域之间的统计关联。然而，这可能是有问题的，因为关联只能提供空间联系，而不能提供感兴趣区域之间的因果互动。因此，有必要研究它们之间的因果关系。有向无环图（DAG）模型在FC研究中得到了广泛应用，但常常遇到样本量有限、变量数目多（即高维问题）等问题，导致计算困难和收敛性问题。因此，DAG模型的使用是有问题的，其中DAG模型的识别通常是非确定性多项式时间困难（NP-困难）的。为此，我们提出了一个$ψ$学习纳入线性非高斯非循环模型（$ψ$ -LiNGAM）。我们使用的关联模型（$ψ$ -学习），以促进因果推断和模型的工作，特别是高维的情况下。仿真结果表明，该方法在检测图的结构和方向方面比现有的几种方法具有更好的鲁棒性和准确性。然后，我们将其应用于从公开的费城神经发育队列（PNC）获得的静息状态fMRI（rsfMRI）数据，以研究认知差异，其中包括855名8-22岁的个体。其中，我们已经确定了三种类型的枢纽结构：在枢纽，出枢纽和和枢纽，分别对应于接收，发送和中继信息的中心。我们还发现了16对最重要的因果流。其中几个结果已被证实具有生物学意义。
2020-06-16 cs.LG stat.ML
Bayesian Discovery of Linear Acyclic Causal Models
Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
从非干预性数据中自动发现因果关系的方法最近受到了广泛关注。线性非循环因果模型（递归结构方程模型）是一种广泛使用且易于理解的模型族。对于高斯数据，两种基于约束的方法（Spirtes等人，一九九三年; Pearl，2000年）（输出一个单一的等价类）和基于贝叶斯评分的方法（Geiger和Heckerman，1994年）（为等价类分配相对评分）。相反，能够利用数据中的非高斯性的所有当前方法（Shimizu等人，2006; Hoyer等人，2008）总是只返回一个图或一个等价类，因此根本无法表达输出的确定性程度。在本文中，我们开发了一个贝叶斯评分为基础的方法，能够利用非高斯估计线性非循环因果模型时，我们的经验表明，至少在非常适度的规模的网络，其准确性是一样好或优于现有的方法。我们提供了一个完整的代码包（在R），实现所有的算法，并执行所有的分析提供的文件，并希望这将进一步应用这些方法来解决因果推断问题。
2012-05-09 cs.LG stat.ME stat.ML
Efficient Learning of Quadratic Variance Function Directed Acyclic Graphs via Topological Layers
City University of Hong Kong（香港城市大学）；Xiamen University（厦门大学）；Shanghai University of Finance and Economics（上海财经大学）
有向无环图（DAG）模型被广泛用于描述随机变量之间的因果关系。本文研究一类特殊的非高斯DAG模型，其中每个节点的条件方差在给定其父节点的情况下是其条件均值的二次函数。这类非高斯DAG模型相当灵活，并且允许许多流行的分布作为特例，包括泊松分布、二项式分布、几何分布、指数分布和Gamma分布。为了方便学习，我们引入了一个新的概念，拓扑层，并开发了一个有效的DAG学习算法。它首先以层次化的方式重建拓扑层，然后恢复不同层节点之间的有向边，这比文献中大多数现有算法需要更少的计算量。通过大量的仿真实例以及对两个真实数据集的应用，包括NBA球员统计数据和阿里巴巴化妆品销售数据，验证了该方法的优越性。
2021-11-01 cs.LG stat.ML
A Bayesian incorporated linear non-Gaussian acyclic model for multiple directed graph estimation to study brain emotion circuit development in adolescence
Tulane University（杜兰大学）；University of Nebraska Medical Center（内布拉斯加大学医学中心）；Mind Research Network（心智研究网络）；Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)（三机构神经影像与数据科学转化研究中心（TReNDS））；Georgia State University（佐治亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
情绪感知对情感和认知发展至关重要，这涉及分布式大脑回路。情绪识别的能力始于婴儿期，并在整个童年和青春期继续发展。了解大脑情绪回路的发展可能有助于我们解释在青春期观察到的情绪变化。我们先前的研究描绘了从儿童晚期到成年早期在情绪识别任务中大脑功能连接（FC）的轨迹。在这项工作中，我们努力加深我们的理解，从关联到因果关系。我们提出了一个贝叶斯结合线性非高斯非循环模型（BiLiNGAM），它将我们以前的关联模型纳入先验估计管道。特别是，它可以联合估计多个有向无环图（DAG）的多个年龄组在不同的发展阶段。仿真结果表明，在各种设置下，特别是当样本量较小（高维情况）时，性能更稳定，更准确。然后，我们应用于费城神经发育队列（PNC）的真实数据分析。这包括855名8-22岁的人，他们被分为五个不同的青少年阶段。我们的网络分析揭示了与情绪相关的模块内和模块间连接的发展，并确定了几个与情绪相关的枢纽。我们进一步将枢纽分为两种类型：内枢纽和外枢纽，作为接收和分发信息的中心。还发现了一些独特的发展枢纽结构和群体特异性模式。我们的发现有助于对人类大脑中情绪发展的因果关系进行理解。
2020-06-16 cs.LG q-bio.NC stat.ML
Deep Gaussian Processes on Directed Acyclic Graphs
University of Warwick（华威大学）；Unilink Software Ltd（Unilink软件有限公司）
研究有向无环图上函数组合的相关问题，提出深度高斯过程，通过理论研究其行为，给出结构化变分近似，经实证验证，在多个任务中取得先进性能，能恢复低保真贡献并具有模拟器层次结构的可解释性。
2026-11-10 cs.LG math.ST stat.CO
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来，在各个领域积累了大量的观测数据，并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性，提出了一种线性非高斯非循环模型（LiNGAM）来估计变量的数据生成过程。然而，如果存在潜在类，则估计的结果可能有偏差。在本文中，我们首先回顾LiNGAM，其扩展模型，以及LiNGAM的贝叶斯框架中的估计过程。然后，我们提出了一个新的贝叶斯估计过程，解决了这个问题。
2014-08-02 stat.ML
Identifiability of Gaussian structural equation models with equal error variances
我们考虑结构方程模型中的变量可以写为一个函数，他们的父母和噪声项，这是假设为联合独立。对应于每个结构方程模型，存在描述变量之间关系的有向无环图。在具有线性函数的高斯结构方程模型中，假设忠实性，图只能从联合分布识别到马尔可夫等价类。在这项工作中，我们证明了充分的可识别性，如果所有的噪声变量具有相同的方差：有向无环图可以从联合高斯分布恢复。我们的结果对因果推断有直接的影响：如果数据遵循具有等误差方差的高斯结构方程模型，并假设所有变量都被观测到，则因果结构只能从观测数据中推断出来。我们提出了一个统计方法和算法，利用我们的理论研究结果。
2013-08-28 math.ST stat.ML stat.TH
Learning Linear Non-Gaussian Graphical Models with Multidirected Edges
The University of British Columbia（英属哥伦比亚大学）
本文提出了一种新的方法来学习给定观测数据的线性非高斯结构方程模型的底层非循环混合图。我们建立在王和Drton提出的算法，我们表明，可以通过学习{ \em多向边}，而不是只有定向和双向的增加隐藏变量结构的恢复模型。当两个以上的观测变量有一个隐藏的共同原因时，就会出现多向边。我们检测到存在这样的隐藏的原因，通过寻找高阶累积量和利用多跋涉规则。我们的方法恢复正确的结构时，底层图是一个无弓无环混合图与潜在的多有向边。
2020-10-11 cs.LG math.ST stat.ML
Discovering causal structures in binary exclusive-or skew acyclic models
The Institute of Scientific and Industrial Research, Osaka University（大阪大学产业科学研究所）；Graduate School of Science, Osaka University（大阪大学研究生院）；Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
在给定的数据集中发现观测变量之间的因果关系是统计学和人工智能研究的主要课题。最近，一些技术，发现一个可识别的因果结构已被探索的基础上观察到的数据分布的非高斯性。然而，其中大多数仅限于连续数据。在本文中，我们提出了一种新的因果模型的二进制数据，并提出了一种新的方法来获得一个可识别的因果结构的基础上偏伯努利分布的外部噪声的数据。实验评估表明，人工和现实世界的数据集的优异性能。
2012-02-14 cs.LG stat.ML
Characterizing Distribution Equivalence and Structure Learning for Cyclic and Acyclic Directed Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
定义非循环有向因果图模型之间等价性的主要方法是基于因果模型可以生成的分布中的条件独立关系，即马尔科夫等价性。然而，众所周知，当因果结构中允许循环时，条件独立性可能不是两个结构等价的合适概念，因为它不能反映分布中对识别底层结构有用的所有信息。在本文中，我们提出了一个一般的，统一的概念，等价的线性高斯因果有向图模型，无论它们是循环的或非循环的。在我们提出的等价定义中，如果两个结构可以生成相同的数据分布集，则它们是等价的。我们还提出了一个较弱的概念，称为准等价等价，我们表明是从观测数据的可识别性的程度。我们提出了分析以及图形的方法来表征两个结构的等价性。此外，我们提出了一个基于分数的方法来学习的结构从观测数据，成功地处理了非循环和循环结构。
2020-07-02 cs.LG stat.ML
Parameter identification in linear non-Gaussian causal models under general confounding
Technical University of Munich（慕尼黑工业大学）
本文提出了一种在一般混杂情况下线性非高斯因果模型中参数识别的图示标准及算法，解决了潜在变量模型的可识别性问题。
2026-03-04 stat.ME stat.ML
Causal Discovery in a Binary Exclusive-or Skew Acyclic Model: BExSAM
Institute of Scientific and Industrial Research, Osaka University（大阪大学产业科学研究所）；Graduate School of Science, Osaka University（大阪大学理学研究科）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
在给定的数据集中发现观测变量之间的因果关系是统计学和人工智能研究的主要目标。最近，一些技术，发现一个独特的因果模型已被探索的基础上观察到的数据分布的非高斯性。然而，其中大多数仅限于连续数据。在本文中，我们提出了一种新的因果模型的二进制数据，并提出了一种有效的新方法来推导唯一的因果模型下的偏态分布的外部二进制噪声的给定的二进制数据集。实验评估表明，人工和现实世界的数据集的优异性能。
2014-01-22 cs.LG stat.ML
Coarsening Linear Non-Gaussian Causal Models with Cycles
Department of Technology, Management and Economics, Technical University of Denmark（技术、管理与经济系，丹麦技术大学）；Department of Mathematical Sciences, University of Copenhagen（数学科学系，哥本哈根大学）
本文提出在线性非高斯模型中放松高维无环性假设，通过低维因果DAG恢复因果结构，并证明其在观测等价类中的代表性。
2026-11-10 cs.AI cs.LG stat.ML
Causal Discovery with Continuous Additive Noise Models
我们考虑从观测联合分布学习因果有向无环图的问题。人们可以使用这些图来预测干预实验的结果，而这些实验的数据往往是不可用的。我们表明，如果观测分布遵循一个结构方程模型与加性噪声结构，有向无环图成为可识别的分布在温和的条件下。这构成了一个有趣的替代传统的方法，假设忠诚和识别图的马尔可夫等价类，从而留下一些边缘无向。我们提供了实用的算法，许多样本，RESIT（回归与后续独立性测试）和两种方法的基础上的独立性得分。我们证明了RESIT在人口环境中是正确的，并提供了一个经验评估。
2014-04-06 stat.ML
Learning Linear Non-Gaussian Polytree Models
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Imperial College London（帝国理工学院）
在图形因果发现的背景下，我们适应线性非高斯非循环模型（LiNGAM）的通用框架，提出新的算法来有效地学习图是多叉树。我们的方法结合了周-刘算法，首先学习无向树结构，与新的计划，以定向的边缘。定向计划评估的数据生成分布的时刻之间的代数关系，计算成本低。我们为我们的方法建立了高维一致性结果，并在数值实验中比较了不同的算法版本。
2022-08-13 cs.LG stat.ML
Causal discovery of linear acyclic models with arbitrary distributions
Carnegie Mellon University（卡内基梅隆大学）；University of Helsinki（赫尔辛基大学）；Osaka University（大阪大学）
数据分析的一个重要任务是发现观测变量之间的因果关系。对于连续值数据，线性非循环因果模型通常用于建模数据生成过程，并且此类模型的推断是一个研究得很好的问题。然而，现有的方法具有显著的局限性。基于条件独立性的方法（Spirtes et al. 1993; Pearl 2000）无法区分独立性等效模型，而纯粹基于独立成分分析的方法（Shimizu et al. 2006）不适用于部分高斯数据。在本文中，我们概括并结合了这两种方法，以产生一种能够在许多情况下学习模型结构的方法，对于这些情况，以前的方法提供的答案要么是不正确的，要么不是尽可能的信息。当两个不同的模型代表同一个分布家族时，我们给出了精确的图形条件，并通过全面的模拟实证证明了我们方法的强大功能。
2012-06-13 cs.AI cs.LG stat.ML
Joint Estimation of Multiple Dependent Gaussian Graphical Models with Applications to Mouse Genomics
高斯图模型被广泛用于表示随机变量之间的条件依赖关系。在本文中，我们提出了一种新的估计数据所产生的一组高斯图形模型，本身是依赖的。一个激励性的例子是对来自同一个体的多个组织上收集的基因表达进行建模：在这里，多变量结果不仅受到特定组织水平上的依赖性的影响，而且还受到整个身体水平上的依赖性的影响;假设图之间独立的现有方法在这种情况下不适用。为了估计多个依赖图，我们将问题分解为两个图形层：系统层，其影响所有结果，从而诱导交叉图依赖，以及类别特定层，其表示图特定的变化。我们提出了一个图形EM技术，估计两层联合，建立估计的一致性和选择稀疏性的估计，并通过模拟确认EM方法优于一个简单的一步方法。我们将我们的技术应用于小鼠基因组学数据，并获得生物学上合理的结果。
2016-08-30 stat.ML
Learning Bayesian Networks through Birkhoff Polytope: A Relaxation Method
Texas A&M University（德州农工大学）
我们建立了一个新的框架，学习有向无环图（DAG）时，数据生成的高斯，线性结构方程模型。它由两部分组成：（1）引入置换矩阵作为正则化高斯对数似然中的新参数来表示变量排序;以及（2）给定排序，通过逆协方差阵的稀疏Cholesky因子来估计DAG结构。对于置换矩阵估计，我们提出了一种松弛技术，避免了NP-难的组合问题的顺序估计。给定一个排序，一个稀疏的乔莱斯基因子估计使用循环coordinatewise下降算法，逐行并行。我们的框架恢复DAG，而不需要昂贵的验证的非循环约束或枚举可能的父集。我们建立了数值收敛的算法，和一致性的Cholesky因子估计变量的顺序是已知的。通过几个模拟和宏观经济数据集，我们研究了所提出的方法的范围和性能。
2021-07-04 cs.LG stat.ML
Joint Hierarchical Gaussian Process Model with Application to Forecast in Medical Monitoring
提出了一种新的纵向预测外推方法。采用分层高斯过程模型结合非线性种群变化和个体对过去的记忆进行预测。通过分层设计使预测误差最小化。该方法进一步扩展到连续测量和生存事件的联合建模。基线风险、协变量和联合效应可方便地在该分层结构中建模。估计和推理是在完全贝叶斯框架下使用客观和收缩先验来实现的。仿真研究表明，该模型在潜在估计、相关性检测方面具有较强的鲁棒性，预测精度较高。该模型与囊性纤维化（CF）患者的医疗监测数据进行说明。在肺功能的测量和急性呼吸事件的记录中获得估计和预测。关键词：外推，联合模型，纵向模型，分层高斯过程，囊性纤维化，医学监测
2014-08-22 stat.ME stat.ML
GaussDetect-LiNGAM:Causal Direction Identification without Gaussianity test
Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国）
GaussDetect-LiNGAM通过利用噪声高斯性与残差独立性的等价性，无需高斯性检验即可实现因果方向识别，提升因果推断的效率和实用性。
2025-12-03 cs.LG stat.ML
Causal Discovery for Linear DAGs with Dependent Latent Variables via Higher-order Cumulants
Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）；Institute for Liberal Arts and Sciences, Kyoto University（京都大学文科理科研究所）
针对含相关隐变量的线性非高斯因果发现难题，提出利用高阶累积量识别LvLiNGAM中因果DAG的新算法，经模拟与真实数据验证有效。
2025-10-16 cs.LG stat.ML
Variational Inference of Joint Models using Multivariate Gaussian Convolution Processes
University of Michigan（密歇根大学）
提出基于多元高斯卷积过程和Cox模型的非参数预后框架，通过变分推断同时估计参数，降低计算复杂度并防止过拟合，在合成与真实数据上优于两阶段推断方法。
2019-03-09 cs.LG stat.ML
Copula Adapted Directed Acyclic Graph for Cluster Representation of Biomedical Data
Old Dominion University（奥多明尼昂大学）；North Carolina Agricultural and Technical State University（北卡罗来纳农业技术州立大学）
针对生物医学数据中标签缺失和复杂依赖问题，提出CopDAG框架，结合copula模型与DAG因果发现，在16个数据集上聚类性能领先。
2026-09-16 cs.LG stat.CO stat.ML
Joint Optimization and Variable Selection of High-dimensional Gaussian Processes
California Institute of Technology（加州理工学院）；Eindhoven University of Technology（埃因霍温理工大学）；ETH Zurich（苏黎世联邦理工学院）
通过噪声观测最大化高维非凸函数是一个众所周知的难题，但在许多应用中都会出现。在本文中，我们通过将未知函数建模为高维高斯过程（GP）分布的样本来应对这一挑战。假设未知函数只依赖于几个相关变量，我们证明了联合变量选择和GP优化是可能的。我们为我们的算法提供了强有力的性能保证，限制了变量选择的样本复杂度，并提供了累积遗憾界限。我们进一步提供了经验证据，我们的算法在几个基准优化问题的有效性。
2012-06-27 cs.LG stat.ML
Joint Gaussian Graphical Model Estimation: A Survey
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
来自复杂系统的图通常在域之间共享部分底层结构，同时保留单独的特征。因此，识别共同结构可以揭示潜在的信号，例如，当应用于科学发现或临床诊断时。此外，越来越多的证据表明，跨域的共享结构提高了图的估计能力，特别是对于高维数据。然而，构建一个联合估计器来提取公共结构可能比看起来更复杂，这通常是由于数据源之间的数据异质性。这份手稿调查最近的工作联合高斯图形模型的统计推断，确定模型结构，适合各种数据生成过程。在不同的数据生成过程下的仿真实现与模型的选择进行了详细的讨论。
2022-04-04 cs.LG stat.ME stat.ML
Consistent Bayesian causal discovery for structural equation models with equal error variances
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）
本文提出一种贝叶斯DAG选择方法，在假设高斯SEM和相等误差方差的情况下，利用关键性质证明该方法在无需额外分布假设下一致恢复真实图结构。
2026-03-23 math.ST stat.ME stat.ML
Discovery of non-gaussian linear causal models using ICA
HIIT Basic Research Unit（赫尔辛基信息技术研究所基础研究单元）；University of Helsinki（赫尔辛基大学）；Osaka University（大阪大学）
近年来，已经提出了几种方法来从非实验数据中发现因果结构（Spirtes et al. 2000; Pearl 2000）。此类方法对数据生成过程做出各种假设，以便于从纯粹的观测数据中识别它。继续这条研究路线，我们展示了如何发现连续值数据的完整因果结构，假设（a）数据生成过程是线性的，（b）没有未观察到的混杂因素，（c）干扰变量具有非零方差的非高斯分布。该解决方案依赖于使用被称为独立成分分析（ICA）的统计方法，并且不需要任何预先指定的变量时间排序。我们提供了一个完整的Matlab软件包来执行这种LiNGAM分析（线性非高斯非循环模型的缩写），并使用人工生成的数据证明了该方法的有效性。
2012-07-04 cs.LG cs.MS stat.ML
Optimal estimation of Gaussian DAG models
University of Chicago（芝加哥大学）
研究了从观测数据中学习高斯有向无圈图（DAG）的最优样本复杂度。我们的主要结果建立了极小极大最优样本复杂性学习的线性高斯DAG模型的结构在两个设置的兴趣：1）在等方差下，没有知识的真实顺序，和2）对于一般的线性模型给定的知识的顺序。在这两种情况下，样本复杂度都是$n\asymp q\log(d/q)$，其中$q$是父节点的最大数量，$d$是节点的数量。我们进一步与学习（无向）高斯图模型的经典问题进行比较，表明在等方差假设下，这两个问题具有相同的最优样本复杂度。换句话说，至少对于具有相等误差方差的高斯模型，学习有向图模型在统计上并不比学习无向图模型更困难。我们的研究结果也扩展到更一般的识别假设以及亚高斯误差。
2022-03-20 cs.AI cs.LG math.ST
A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia（弗吉尼亚大学）
在高维（大$p$）环境下，针对多个相关任务（大$K$）联合估计多个稀疏高斯图模型（sGGM）是一项重要的任务.大多数以前的研究多个sGGM的联合估计依赖于惩罚对数似然估计，涉及昂贵和困难的非光滑优化。我们提出了一种新的方法，FASJEM为\underline{fa} st和\underline{s}可伸缩的\underline{j}点结构- \underline{e}估计的\underline{m}多sGGM在大规模。作为第一个使用Elementary Estimate框架的联合sGGM研究，我们的工作有三个主要贡献：（1）我们通过可并行的入口方式求解FASJEM。(2)我们选择了一个近似算法来优化FASJEM。这提高了从$O(Kp^3)$到$O(Kp^2)$的计算效率，并减少了从$O(Kp^2)$到$O(K)$的存储器需求。(3)我们从理论上证明了FASJEM实现了一致的估计与$O(\log(Kp)/n_{tot})$的收敛速度。在几个合成数据集和四个真实世界的数据集上，FASJEM在准确性、计算复杂性和内存成本方面比基线有了显着的改进。
2018-03-20 cs.LG cs.PF stat.ML
