Bayesian Discovery of Linear Acyclic Causal Models
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
从非干预性数据中自动发现因果关系的方法最近受到了广泛关注。线性非循环因果模型(递归结构方程模型)是一种广泛使用且易于理解的模型族。对于高斯数据,两种基于约束的方法(Spirtes等人,一九九三年; Pearl,2000年)(输出一个单一的等价类)和基于贝叶斯评分的方法(Geiger和Heckerman,1994年)(为等价类分配相对评分)。相反,能够利用数据中的非高斯性的所有当前方法(Shimizu等人,2006; Hoyer等人,2008)总是只返回一个图或一个等价类,因此根本无法表达输出的确定性程度。在本文中,我们开发了一个贝叶斯评分为基础的方法,能够利用非高斯估计线性非循环因果模型时,我们的经验表明,至少在非常适度的规模的网络,其准确性是一样好或优于现有的方法。我们提供了一个完整的代码包(在R),实现所有的算法,并执行所有的分析提供的文件,并希望这将进一步应用这些方法来解决因果推断问题。
2012-05-09 cs.LG stat.ME stat.ML
High dimensional Bayesian inference for Gaussian directed acyclic graph models
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);York University(约克大学);Stanford University(斯坦福大学)
针对固定父节点排序的高斯DAG模型,构建修正Cholesky参数的共轭贝叶斯推断框架,推导闭式后验量与兼容DAG的选择方法,通过模拟和实例验证并说明局限。
2026-08-23 math.ST stat.OT stat.TH
A Prior Distribution over Directed Acyclic Graphs for Sparse Bayesian Networks
本文的主要贡献是在有向无环图上提出了一种新的先验分布,它赋予稀疏图更大的权值。此分布适用于结构化贝叶斯网络,其中结构由有序块模型给出。也就是说,图的节点是属于类别(或块)的对象;块具有自然顺序。两个对象之间的关系的存在由箭头表示,从较低类别的对象到较高类别的对象。这里考虑的模型在Kemp et al.(2004)中针对关系数据进行了介绍,并在Mansinghka et al.(2006)中扩展到多变量数据。这里给出的图结构的先验有一个明确的公式。图的每一层中的节点的数量遵循Hoppe Ewens瓮模型。我们考虑图的节点表示随机变量的情况,其联合概率分布沿DAG分解。我们描述了蒙特卡罗计划,找到最佳的后验结构给定的数据矩阵和比较的性能与Mansinghka等人。(2006年),也与均匀的先验。
2015-04-25 stat.ML
Estimating Causal Direction and Confounding of Two Discrete Variables
Caltech(加州理工学院)
我们提出了一种方法来分类两个离散变量之间的因果关系,只给变量的联合分布,承认该方法是受固有的基线误差。我们假设因果系统是非循环的,但我们确实允许隐藏的共同原因。我们的算法的前提是,概率分布$P(C)$的原因$C$是独立的概率分布$P(E\mid C)$的因果机制。虽然我们的分类器是用平坦超先验的贝叶斯假设训练的,但我们对我们的测试数据不做这种假设。这项工作连接到最近的事态发展的因果模型的可识别性在连续变量的假设下的“独立机制”。在http://vision.caltech.edu/~kchalupk/code.html上可以找到复制我们所有实验的经过仔细注释的Python笔记本。
2016-11-04 cs.AI cs.LG stat.ML
Ordering-Based Search: A Simple and Effective Algorithm for Learning Bayesian Networks
Stanford University(斯坦福大学)
贝叶斯网络(BN)的基本任务之一是从数据中学习网络结构。BN学习问题是NP难的,因此标准的解决方案是启发式搜索。已经提出了许多方法来完成这项任务,但只有极少数优于贪婪的爬山禁忌列表的基线,而且,许多提出的算法是相当复杂,难以实现。在本文中,我们提出了一个非常简单和易于实现的方法来解决这个任务。我们的方法是基于一个众所周知的事实,即最好的网络(有界度)与给定的节点排序一致,可以非常有效地找到。因此,我们提出了一个搜索空间的结构,但在空间上的排序,选择每个排序的最佳网络与它相一致。这个搜索空间是小得多,使更多的全球搜索步骤,有一个较低的分支因子,并避免昂贵的非循环检查。我们目前的结果,该算法的合成和真实的数据集,评估网络的得分发现和运行时间。我们表明,基于排序的搜索优于标准基线,并与最近的算法,更难实现的竞争力。
2012-07-04 cs.AI cs.LG stat.ML
Learning Directed Acyclic Graphs from Partial Orderings
University of Washington(华盛顿大学)
本文研究了在变量具有部分因果排序的条件下学习有向无环图(DAGs)结构的问题,提出了一种利用部分排序的通用估计框架,并为低维和高维问题提供了高效算法,数值研究验证了其优势。
2024-03-24 cs.LG stat.ME stat.ML
Bayesian joint inference for multiple directed acyclic graphs
在许多应用程序中,数据通常来自可能共享相似特征的多个组。同时对多个组进行建模的联合估计方法可能比分别估计每个组中的参数更有效。本文基于有向无环图,研究了数据的依赖结构,提出了一种多图贝叶斯联合推理方法。为了鼓励所有组之间的相似依赖结构,采用马尔可夫随机场先验。我们建立了联合选择一致性的分数后验在高维,联合推理的好处下,共同支持的假设。这是多个有向无环图联合估计的第一个贝叶斯方法。所提出的方法的性能证明使用模拟研究,它表明,我们的联合推理优于其他竞争对手。我们将我们的方法应用于fMRI数据,同时推断多个脑功能网络。
2020-08-14 stat.ME
DirectLiNGAM: A direct method for learning a linear non-Gaussian structural equation model
结构方程模型和贝叶斯网络已被广泛用于分析连续变量之间的因果关系。在这种框架中,线性非循环模型通常用于对变量的数据生成过程进行建模。最近,它表明,使用非高斯识别的完整结构的线性非循环模型,即,变量及其连接强度的因果排序,而不使用关于网络结构的任何先验知识,这不是传统方法的情况。然而,现有的估计方法基于迭代搜索算法,并且可能不会在有限数量的步骤中收敛到正确的解。在本文中,我们提出了一个新的直接方法来估计因果排序和连接强度的基础上非高斯。与以前的方法相比,我们的算法不需要算法参数,并保证收敛到正确的解决方案在一个小的固定数量的步骤,如果数据严格遵循的模型。
2011-04-07 stat.ML
Partial Order MCMC for Structure Discovery in Bayesian Networks
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所HIIT);University of Helsinki(赫尔辛基大学)
提出了一种新的估计贝叶斯网络结构特征后验概率的马尔可夫链蒙特卡罗方法。该方法从节点上的偏序的后验分布中抽取样本;对于每个采样的偏序,精确计算感兴趣的条件概率。我们给出的分析和实证结果表明,新方法的优越性相比,以前的方法,样本无论是有向无环图或线性订单的节点。
2012-02-14 cs.LG stat.ML
Bayesian estimation for conditional probabilities associated to directed acyclic graphs: study of hospitalization of severe influenza cases
本文提出基于Dirichlet-多项分布贝叶斯推断与模拟技术的有向无环图概率估计框架,用于建模重症流感住院患者的转移路径,以量化不确定性并优化医院资源规划与临床决策。
2025-04-08 stat.AP
Priors on exchangeable directed graphs
有向图出现在网络的统计建模中,当顶点的排序无关紧要时,交换是一个自然的假设。对于可交换的无向图,有一个深入的结构理论,它通过被称为有向图子的可测量对象扩展到有向情况。使用有向图,我们首先展示了如何构建可交换有向图的模型,包括特殊情况下,如比赛,线性排序,有向无圈图,和偏序。然后,我们将展示如何构建先验的有向图通过无限关系有向图模型(di-planar),一个新的贝叶斯非参数块模型可交换的有向图,并证明推理合成数据。
2016-12-16 math.ST stat.ME stat.ML
Learning Gaussian DAGs from Network Data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
有向无环图(DAG)或贝叶斯网络的结构学习已经被广泛研究的假设下,数据是独立的。我们提出了一个新的高斯DAG模型的依赖数据,假设的观察是相关的,根据一个无向网络。在此模型下,我们开发了一种方法来估计DAG结构给定的拓扑排序的节点。所提出的方法联合估计贝叶斯网络和观测之间的相关性,通过优化的评分函数的基础上惩罚似然。我们证明了在一些温和的条件下,所提出的方法产生相合估计量后,一个迭代。大量的数值实验也表明,通过联合估计DAG结构和样本相关性,我们的方法实现了更高的精度在结构学习。在节点排序未知的情况下,通过对合成数据和真实数据的实验,证明了该算法能够估计样本间的相关性,并通过对相关数据的去相关处理,显著提高了传统DAG学习方法的性能.
2021-07-29 cs.LG stat.ML
Bayesian Covariate-Dependent Quantile Directed Acyclic Graphical Models for Individualized Inference
提出贝叶斯协变量依赖分位数DAG模型qDAGx,利用参数扩展马蹄先验实现大规模变量下的个体化网络结构推断,克服均值回归局限,在精准医学中成功推断肺癌患者特异性的蛋白质相互作用网络。
2023-05-22 stat.ME
Sequentially learning the topological ordering of causal directed acyclic graphs with likelihood ratio scores
University of California, Los Angeles(加州大学洛杉矶分校)
因果发现,在数据挖掘场景中学习因果关系,作为识别“什么导致什么”的起点,一直具有强烈的科学和理论兴趣。取决于假设和适当的学习算法,有时可以识别和准确估计因果有向无环图(DAG),而不是给出因果方向模糊性的马尔可夫等价类图。本文的重点是在突出的可识别性和估计的DAG一般误差分布通过一般顺序排序程序,顺序变量一次一个,从根节点开始,其次是根节点的孩子,等等,直到完成。我们展示了一个新的应用程序,这种一般的方法来估计拓扑有序的DAG。在该过程的每个步骤中,仅对回归残差计算简单的似然比分数,以决定要附加到当前偏序的下一个节点。我们的算法在p-节点问题上的计算复杂度是O(pd),其中d是最大邻域大小。在温和的假设下,我们的程序的人口版本可证明确定一个真正的排序的基础DAG。我们提供了大量的数值证据来证明,这个顺序的过程规模可能数以千计的节点,并适用于高维数据。我们伴随着这些数值实验与应用程序的单细胞基因表达数据集。
2022-05-19 cs.LG stat.ME stat.ML
Leveraging heterogeneity for identifiability: Bayesian order-based learning of multiple DAGs
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种联合顺序评分框架,用于在异质数据设置下学习有向无环图模型的因果结构。通过展示利用异质性可提高因果顺序估计的准确性,提出基于顺序的贝叶斯方法,并在高维情况下建立其理论性质。
2026-05-15 stat.CO stat.ME stat.ML
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center(理化学研究所人工智能项目中心);Shiga University(滋贺大学)
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据,Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程,并表明当数据数量足够大时,他们的模型是可识别的。然而,连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法,或者将所有连续数据离散化,然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时,可能会丢失重要信息。在本文中,我们定义了一个新的混合因果模型,它包括连续和离散变量。该模型假设:(1)连续变量的值是其父变量加上非高斯噪声的线性函数,以及(2)每个离散变量是逻辑变量,其分布参数取决于其父变量的值。此外,我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构,而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
Semiparametric Bayesian structure learning of nonparanormal directed acyclic graphs with local--global shrinkage
Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
提出NPN-DAG-HS,一种结合非参数正态族与马蹄形收缩的贝叶斯半参数DAG模型,无需估计单调变换即可处理非高斯数据,在高维下具有理论保证,并在模拟和真实数据中优于高斯方法。
2026-09-14 stat.ME
Improving interpretation of latent class models for diagnostic tests by recognizing their measurands via directed acyclic graphs (DAGs)
McGill University(麦吉尔大学);McGill University Health Centre(麦吉尔大学健康中心);University of Oxford(牛津大学);J. D. Maclean Centre for Tropical Medicine(J.D.麦克莱恩热带医学中心);University of British Columbia(不列颠哥伦比亚大学);Amsterdam Medical Centre(阿姆斯特丹医学中心)
研究针对诊断测试中潜在类别模型解释问题,利用有向无环图识别测量值,分析其对模型似然函数、可识别性的影响,通过模拟及重新分析数据集,揭示忽略不同测量值会致估计偏差,展示该方法价值。
2026-07-17 stat.ME
Fast Wasserstein rates for estimating probability distributions of probabilistic graphical models
National University of Singapore(新加坡国立大学);University of Tübingen(蒂宾根大学)
本文研究了利用独立同分布数据在Wasserstein距离下估计高维分布时,如何通过概率图模型的结构知识克服维度诅咒,证明了局部图结构对估计速率的影响,以及不同光滑条件下的精确速率结果。
2026-05-21 math.PR math.ST stat.TH
Pair-copula Bayesian networks
配对Copula贝叶斯网络(PCBN)是一类新的多元统计模型,它结合了配对Copula结构(PCC)的分布灵活性和有向无环图(DAG)的条件独立模型的简约性.我们是第一个提供通用算法的随机抽样和似然推断任意PCBN以及选择排序的父母的顶点在底层图形。DAG的模型选择使用一个版本的众所周知的PC算法,这是基于一个新的测试条件独立的随机变量定制的PCC框架。仿真研究表明,PC算法的高智能非高斯PCBN的结构估计。所提出的方法,最后应用于金融回报数据建模。
2012-11-23 stat.ME
A Bayesian Nonparametric Approach to Species Sampling Problems with Ordering
本文提出一种针对物种标签有序的物种抽样问题的贝叶斯非参数方法,利用有序Pitman-Yor过程先验推导前$r$个有序频率的显式后验分布,并在遗传变异分析中验证其有效性。
2024-02-12 stat.ME
TriOpt: A Scalable Algorithm for Linear Causal Discovery
Department of Computer Science(计算机科学系)
本文提出TriOpt算法,通过整合顺序方法和连续优化方法,解决了高维线性因果发现中的可扩展性问题,实现了显著的速度提升且保持了较高的准确性。
2026-06-23 cs.LG
Coordinated Multi-Neighborhood Learning on a Directed Acyclic Graph
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种基于约束的协调多邻域学习方法,无需学习整个DAG即可估计多个目标节点的局部因果结构,在合成和真实数据上更准确且计算成本更低。
2024-05-24 cs.LG stat.ML
Hierarchical Topological Ordering with Conditional Independence Test for Limited Time Series
Zhejiang University(浙江大学);Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对基于拓扑的DAG学习方法易产生大量虚假边的问题,本文利用仅含两条非相邻横截面记录的有限时间序列和条件工具变量,提出HT-CIT分层拓扑排序算法,以更小搜索空间学习稀疏DAG并减少剪枝边数。
2023-08-16 cs.LG stat.ME
Convolutional Learning on Directed Acyclic Graphs
Rey Juan Carlos University(雷伊·胡安·卡洛斯大学);University of Rochester(罗切斯特大学)
本文针对有向无环图数据提出一种集成可学习DAG滤波器的新型卷积图神经网络DCN,利用图拓扑偏序提供归纳偏置,并在扩散估计与源识别任务中验证其优于多个基线。
2024-05-05 cs.LG
Estimating the history of a random recursive tree
Unidistance(尤尼达朗斯大学);Université Paris Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Pompeu Fabra University(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究院);Barcelona School of Economics(巴塞罗那经济学院);Università de la Svizzera Italiana(瑞士意大利语大学)
本文针对随机递归树,提出基于Jordan中心性的顶点到达顺序估计器,建立极小极大下界并证明其近似最优,数值实验显示其优于度数和谱方法。
2024-12-16 cs.LG cs.SI stat.ML
Causal Discovery for Linear DAGs with Dependent Latent Variables via Higher-order Cumulants
Graduate School of Informatics, Kyoto University(京都大学信息科学研究生院);Institute for Liberal Arts and Sciences, Kyoto University(京都大学文科理科研究所)
针对含相关隐变量的线性非高斯因果发现难题,提出利用高阶累积量识别LvLiNGAM中因果DAG的新算法,经模拟与真实数据验证有效。
2025-10-16 cs.LG stat.ML
Redefining the Shortest Path Problem Formulation of the Linear Non-Gaussian Acyclic Model: Pairwise Likelihood Ratios, Prior Knowledge, and Path Enumeration
Nara Institute of Science and Technology(奈良科学技术研究所);Ateneo de Manila University(雅典耀大学)
本文通过成对似然比替代kNN互信息、引入先验知识节点跳过策略及利用路径分布推断因果图属性,三重增强LiNGAM-SPP框架,提升其性能与实用性。
2025-02-27 cs.LG stat.ME
Ordering-Based Causal Discovery with Reinforcement Learning
University College London(伦敦大学学院);Tianjin University(天津大学)
在许多经验科学中,发现一组变量之间的因果关系是一个长期存在的问题。最近,强化学习(RL)在从观测数据中发现因果关系方面取得了可喜的成果。然而,搜索空间的有向图和强制无环性的隐式惩罚往往是低效的,并限制现有的基于RL的方法,以小规模的问题。在这项工作中,我们提出了一种新的RL为基础的因果发现的方法,通过将RL的顺序为基础的范式。具体来说,我们制定了一个多步马尔可夫决策过程的排序搜索问题,实现了编码器-解码器架构的顺序生成过程,最后使用RL优化所提出的模型的基础上设计的奖励机制~每个订单。然后,使用变量选择来处理生成的排序,以获得最终的因果图。我们分析了所提出的方法的一致性和计算复杂性,并实证表明,预训练的模型可以用来加速训练。在模拟数据集和真实数据集上的实验结果表明,该方法比现有的基于RL的方法具有更好的性能。
2021-09-15 cs.LG
Directed Acyclic Graph Neural Networks
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
图结构数据在科学和工程中无处不在。图神经网络(GNN)旨在利用图中表现出的关系归纳偏差;在结构信息补充节点特征的情况下,它们已被证明优于其他形式的神经网络。最常见的GNN架构基于消息传递聚合来自邻域的信息。它的普遍性使它具有广泛的适用性。在本文中,我们专注于一个特殊的,但广泛使用的,类型的图-DAG-和注入一个更强的归纳偏见-偏序-到神经网络的设计。我们提出了\emph{directed acyclic graph neural network},DAGNN,一个架构,处理信息的流程定义的偏序。DAGNN可以被认为是一个框架,它需要早期的工作作为特殊情况(例如,树的模型和模型更新节点表示循环),但我们确定了几个关键组件,以前的架构缺乏。我们在代表性的DAG数据集上进行了全面的实验,包括消融研究(即,源代码,神经架构和概率图形模型),并证明DAGNN优于简单的DAG架构以及一般的图形架构。
2021-02-02 cs.AI cs.LG
Event-Based Modeling with High-Dimensional Imaging Biomarkers for Estimating Spatial Progression of Dementia
Erasmus MC(伊拉斯姆斯医学中心);Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
基于事件的模型(EBM)是一类疾病进展模型,可用于从横截面数据估计神经病理学变化的时间顺序。目前的EBM仅处理标量生物标志物,如区域体积,作为输入。然而,区域聚集是基本高分辨率图像的粗略总结,可能限制EBM的准确性。因此,我们提出了一种新的方法,利用高维体素成像生物标志物:n维判别EBM(nDEBM)。nDEBM是基于这样一种见解,即混合建模,这是传统EBM的关键要素,可以由更具可扩展性的半监督支持向量机(SVM)方法取代。该SVM用于估计每个区域的异常程度,然后用于获得受试者特异性疾病进展模式。这些模式反过来又用于估计的平均排序通过拟合广义马洛模型。为了验证使用nDEBM获得的生物标志物排序,我们还提出了一个模拟成像生物标志物的时间演化(SImBioTE)的框架,模拟大脑区域的神经变性。SImBioTE在不同的大脑区域独立训练变分自动编码器(VAE),以模拟疾病进展的不同阶段的图像。我们还使用阿尔茨海默病神经影像学倡议(ADNI)的数据在临床上验证了nDEBM。在这两个实验中,使用高维特征的nDEBM比使用区域体积生物标志物的最先进的EBM方法具有更好的性能。这表明nDEBM是一种有前途的疾病进展建模方法。
2019-03-08 cs.LG q-bio.QM stat.ML
The Amenability Framework: Rethinking Causal Ordering Without Estimating Causal Effects
本文提出基于可干预性的概念框架,证明在无法估计因果效应时,可使用预测得分作为个体干预倾向的有效代理进行排序,在资源受限环境中实现更稳健的干预优先级排序。
2025-04-04 cs.LG stat.ME
Local Fisher Information Enables Sparse Causal Discovery
Seoul National University(首尔大学)
本文提出FiCS算法,利用局部Fisher信息在加性噪声模型中进行稀疏因果发现,通过Fisher父节点补全实现排序与父节点选择,并在理论上证明高维一致性,实验验证了其有效性。
2026-10-06 cs.LG stat.ML
Directed Acyclic Graph Convolutional Networks
Dept. of Signal Theory and Communications, Rey Juan Carlos University, Madrid, Spain(信号理论与通信系,雷亚尔·卡洛斯大学,马德里,西班牙);Dept. of Electrical and Computer Engineering, University of Rochester(电气与计算机工程系,罗切斯特大学)
本文提出了一种专门针对DAG上信号卷积学习的新型图神经网络架构DCN,通过因果图滤波器学习节点表示,利用正式的卷积操作实现频域表示,并引入并行DCN(PDCN)以解耦模型复杂度与图规模,实验证明其在准确率、鲁棒性和计算效率上优于现有方法。
2026-05-19 cs.LG eess.SP
Functional Linear Non-Gaussian Acyclic Model for Causal Discovery
Graduate School of Engineering Science Osaka University(大阪大学工学研究科);Department of Statistics, Operations, and Data Science(统计学、运营与数据科学系);Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·拉希德智能大学)
本文提出函数型线性非高斯无环模型(Func-LiNGAM),将因果发现扩展至无限维函数数据,并利用函数型主成分分析解决稀疏性问题,在合成数据和fMRI数据上验证了其有效性。
2024-01-17 cs.LG math.ST q-bio.NC
DAG-aware Transformer for Causal Effect Estimation
Harvard University(哈佛大学);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Lila Sciences(莱拉科学公司)
本文提出一种将因果DAG直接融入注意力机制的Transformer方法,用于灵活估计ATE和CATE,并在合成与真实数据上验证其优于现有方法。
2024-12-27 cs.LG stat.ML
Estimating Categorical Counterfactuals via Deep Twin Networks
Imperial College London(帝国理工学院);Spotify(Spotify公司);FAU Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);University College London(伦敦大学学院)
反事实推理是一种强大的工具,能够解决备受瞩目的领域中的挑战性问题。为了进行反事实推理,需要了解潜在的因果机制。然而,因果机制不能仅仅从观察和干预来确定。这就提出了一个问题,即如何选择因果机制,使所得的反事实推理在给定的领域是可信的。这个问题已经在二元变量的因果模型中得到了解决,但是分类变量的情况仍然没有答案。我们通过引入因果模型与分类变量的概念,反事实排序,假设理想的属性因果机制应该是一个原则,并证明它是等价于特定的功能约束的因果机制,以应对这一挑战。为了学习满足这些约束的因果机制,并使用它们进行反事实推理,我们引入了深度孪生网络。这些是深度神经网络,在训练时,能够进行双网络反事实推理--一种替代绑架、行动和预测方法的方法。我们在来自医学、流行病学和金融的各种真实世界和半合成数据上实证测试了我们的方法,报告了对反事实概率的准确估计,同时展示了当反事实排序不被强制执行时反事实推理所产生的问题。
2023-01-20 cs.AI cs.LG
Estimating Maximally Probable Constrained Relations by Mathematical Programming
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出了一种概率测度家族,用于联合抽象多标签分类、相关聚类和排序问题,通过数学规划方法解决半监督学习。
2014-08-04 cs.LG cs.NA math.NA
A polynomial-time algorithm for learning nonparametric causal graphs
University of Chicago(芝加哥大学)
我们建立有限样本保证多项式时间算法学习的非线性,非参数有向无环图(DAG)模型的数据。该分析是无模型的,并且不假设线性、可加性、独立噪声或忠实性。相反,我们施加一个条件的残差方差是密切相关的线性模型与等方差以前的工作。与已知变量排序的最优算法相比,该算法的额外代价与维数$d$和样本数$n$成线性关系.最后,我们比较所提出的算法,现有的方法在模拟研究。
2020-11-10 cs.LG math.ST stat.ML
Causal Ordering for Structure Learning from Time Series
University of Edinburgh(爱丁堡大学);Causality in Healthcare AI Hub (CHAI)(医疗保健因果关系人工智能中心(CHAI))
DOTS通过整合多个因果顺序,提高了时间序列中因果结构学习的准确性和效率。
2026-01-05 cs.AI cs.LG
Diffusion Models for Causal Discovery via Topological Ordering
The University of Edinburgh(爱丁堡大学);Canon Medical Research Europe(佳能医疗欧洲研究院);The Alan Turing Institute(艾伦·图灵研究所)
提出DiffAN算法,利用扩散概率模型学习Hessian函数实现因果图的拓扑排序,支持无需重训更新Hessian并用样本子集近似计算,在高达500节点和10^5样本的大规模数据集上扩展性优异且小数据集上表现媲美SOTA。
2023-06-26 cs.AI cs.LG
Scalable Intervention Target Estimation in Linear Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI(IBM研究院)
本文研究了在因果有向无环图中由观测数据和干预数据估计未知干预目标的问题。重点是在线性结构方程模型(SEM)的软干预。目前的因果结构学习方法要么使用已知的干预目标,要么使用假设检验来发现未知的干预目标,即使是线性SEM。这严重限制了它们的可扩展性和样本复杂性。本文提出了一种可扩展的和有效的算法,一致地识别所有干预目标。其关键思想是根据与观察数据集和介入数据集相关的精度矩阵之间的差异来估计介入部位。它涉及在不同的变量子集中重复估计这些站点。所提出的算法也可以用来更新一个给定的观测马尔可夫等价类到介入马尔可夫等价类。一致性,马尔可夫等价性和样本复杂性建立分析。最后,在真实数据和合成数据上的仿真结果证明了所提出的方法在可扩展因果结构恢复中的优势。该算法的实现和再现仿真结果的代码可在\url{https://github.com/bvarici/intervention-estimation}上获得。
2021-11-15 cs.LG stat.ME stat.ML
Reinforcement Causal Structure Learning on Order Graph
Shandong University(山东大学);Suzhou University of Science and Technology(苏州科技大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
学习描述观测数据因果关系的有向无环图(DAG)是一项非常具有挑战性但又非常重要的任务。由于观测数据的数量和质量有限,以及因果图的不可识别性,几乎不可能推断出单个精确的DAG。一些方法通过马尔可夫链蒙特卡罗(MCMC)近似DAG的后验分布来探索DAG空间,但DAG空间具有超指数增长的性质,精确刻画DAG上的整个分布是非常困难的。在本文中,我们提出了{顺序图上的强化因果结构学习}(RCL-OG),使用顺序图代替MCMC来建模不同的DAG拓扑顺序,并减少问题的大小。RCL-OG首先定义了具有新奖励机制的强化学习,以功效方式近似排序的后验分布,并使用深度Q学习在节点之间更新和传递奖励。其次,得到了序图上节点的概率转移模型,并计算了不同序下的后验概率。这样,我们就可以在这个模型上进行抽样,以获得高概率的排序。在合成数据集和基准数据集上的实验表明,RCL-OG提供了准确的后验概率近似,并取得了比竞争性因果发现算法更好的结果。
2022-11-22 cs.AI cs.LG stat.ME
Hybrid Top-Down Global Causal Discovery with Local Search for Linear and Nonlinear Additive Noise Models
Cornell Tech(康奈尔科技学院);Tsinghua University(清华大学);University of Chicago(芝加哥大学)
针对现有因果发现方法的维度灾难与强参数假设问题,提出结合局部子结构的混合全局因果发现方法,含层级拓扑排序与局部剪边算法,有理论保证且合成数据实验表现更优。
2025-01-13 cs.LG
Generalized Independent Noise Condition for Estimating Causal Structure with Latent Variables
Beijing Technology and Business University(北京工商大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Guangdong University of Technology(广东工业大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出广义独立噪声(GIN)条件,用于在含潜在变量的线性非高斯无环模型中识别潜在变量及其因果关系,并据此设计搜索过程高效估计线性非高斯潜在层次模型(LiNGLaHs),实验验证了方法的有效性。
2024-06-09 cs.AI cs.LG stat.ME