Discovery of Causal Additive Models in the Presence of Unobserved Variables
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Shiga University（滋贺大学）
从受未观测变量影响的数据中发现因果关系是一个重要而又难以解决的问题。在非线性情况下，未观测变量对观测变量之间关系的影响比线性情况下更复杂。在这项研究中，我们专注于存在不可观测变量的因果加性模型。因果加性模型展示的结构方程在变量和误差项中是加性的。我们不仅考虑了未观察到的共同原因，而且还考虑了未观察到的中间变量的存在。我们的理论结果表明，当因果关系是非线性的，有未观察到的变量，它是不可能的，以确定所有的因果关系观察变量之间通过回归和独立性测试。然而，我们的理论结果也表明，它是可能的，以避免不正确的推论。我们提出了一种方法来识别所有的因果关系，理论上是可能的，而不会被未观察到的变量的偏见。使用人工数据和模拟的功能性磁共振成像（fMRI）数据的实证结果表明，我们的方法有效地推断因果结构中存在的未观察到的变量。
2021-06-04 cs.LG
Effects of Multi-Aspect Online Reviews with Unobserved Confounders: Estimation and Implication
Arizona State University（亚利桑那州立大学）；City University of Hong Kong（香港城市大学）
在线评论系统是许多企业寻求建立品牌和传播信息的主要手段。以前研究在线评论影响的研究主要集中在一个单一的数字原因上，例如，评级或情感得分。我们认为，这种原因的概念带来了三个关键的限制：他们只考虑单一数字原因的影响，忽略了多个方面的不同影响-例如，食品，服务-嵌入文本综述中;他们假设观察性研究中不存在隐藏的混杂因素，例如，消费者的个人偏好;而且他们忽略了数字原因的间接影响，这些间接影响可能会抵消文本评论对业务收入的影响。因此，我们提出了一个替代的角度，这种基于单一原因的效果估计的在线评论：在隐藏的混杂因素的存在下，我们认为多方面的文本评论，特别是，他们对业务收入的总影响和直接影响的数字原因-评级-是调解人。我们利用机器学习和因果推理的最新进展，共同估计隐藏的混杂因素和因果效应。我们提出了实证评估使用现实世界的例子来讨论区分多方面的影响，在战略业务运营的重要性和影响。
2022-04-15 cs.CY cs.IR cs.LG
Detecting non-causal artifacts in multivariate linear regression models
我们考虑线性模型，其中$d$潜在原因$X_1,...,X_d$与一个目标量$Y$相关，并提出了一种方法来推断该关联是否是因果关系，或者它是否是由过拟合或隐藏的共同原因引起的伪影。我们采用的想法，在前一种情况下，回归系数的向量具有相对于$X$的协方差阵$Σ_{XX}$的“通用”方向。使用ICA为基础的模型的混杂，我们表明，混杂和过拟合产量回归向量，主要集中在空间的低特征值的$Σ_{XX}$。
2018-03-02 cs.LG stat.ML
Estimation of Causal Effects in the Presence of Unobserved Confounding in the Alzheimer's Continuum
Ludwig-Maximilians-Universität（慕尼黑大学）
研究神经解剖学与阿尔茨海默氏症引起的认知能力下降之间的关系一直是过去十年的主要研究焦点。然而，为了从观察数据中推断因果关系而不是简单的关联，我们需要（i）在图形模型中表达导致认知下降的因果关系，以及（ii）确保从收集的数据中可以识别感兴趣的因果效应。我们得出一个因果关系图，从目前的临床知识的原因和影响，在阿尔茨海默氏症的连续性，并表明，可识别的因果关系的影响，需要所有的混杂因素是已知的和测量。然而，在复杂的神经影像学研究中，我们既不知道所有潜在的混杂因素，也没有关于它们的数据。为了减轻这一要求，我们利用多个原因之间的依赖关系，通过概率潜在因素模型推导出一个替代混淆因素。在我们的理论分析中，我们证明了使用替代混杂因素可以识别神经解剖学对认知的因果影响。我们定量评估我们的方法在半合成数据上的有效性，在那里我们知道真正的因果关系，并说明其在阿尔茨海默病连续体的真实数据上的使用，在那里它揭示了重要的原因，否则会被错过。
2021-06-20 cs.LG stat.AP stat.ME
Estimating long-term causal effects from short-term experiments and long-term observational data with unobserved confounding
University College London（伦敦大学学院）；Spotify（声田）
理解和量化因果关系是许多领域的重要问题。对这个问题的普遍认可的解决方案是进行随机对照试验。然而，即使可以进行随机对照试验，由于成本考虑，它们通常持续时间相对较短。这使得学习长期因果效应在实践中成为一项非常具有挑战性的任务，因为长期结果只能在长时间延迟后观察到。在本文中，我们研究的识别和估计的长期处理效应时，实验和观察数据。以前的工作提供了一个估计策略，以确定长期的因果关系，从这些数据制度。然而，这种策略只有在假设观察数据中没有未观察到的混杂因素时才有效。在本文中，我们专门讨论了具有挑战性的情况下，未测量的混杂因素存在于观察数据。我们的长期因果效应估计量是通过将回归残差与短期实验结果以特定的方式组合以创建一个工具变量来获得的，然后通过工具变量回归来量化长期因果效应。我们证明了该估计量是无偏的，并分析了其方差。在前门因果结构的背景下，这提供了一个新的因果估计，这可能是独立的利益。最后，我们实证测试我们的方法的合成数据，以及来自国际中风试验的真实数据。
2023-02-21 cs.LG stat.ML
Detecting hidden confounding in observational data using multiple environments
Delft University of Technology（代尔夫特理工大学）
该研究针对单数据集无法验证无隐藏混杂假设的问题，基于独立因果机制假设提出多环境下的隐藏混杂检测理论与检验流程，实验表明其多数情况下能准确检测，混杂偏差大时效果尤佳。
2023-11-03 cs.LG stat.ME stat.ML
Detecting Deep Neural Network Defects with Data Flow Analysis
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络（DNN）被证明是许多具有挑战性的人工智能任务中有前途的解决方案。然而，很难弄清楚DNN模型的低精度是不可避免的结果，还是由缺陷引起的。本文旨在解决这一具有挑战性的问题。我们发现DNN模型的内部数据流足迹可以提供有效定位根本原因的见解。我们开发了DeepMorph（DNN Tomography）来分析根本原因，这可以指导DNN开发人员改进模型。
2019-09-30 cs.LG eess.SP stat.ML
Causal Discovery in Linear Models with Unobserved Variables and Measurement Error
Georgia Institute of Technology（佐治亚理工学院）；Missouri University of Science and Technology（密苏里科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Boston University（波士顿大学）
本文研究了线性模型中同时存在未观测共同原因和测量误差的因果结构学习问题，提出LV-SEM-ME模型并探讨了其可识别性和等价类特性。
2026-04-09 cs.AI cs.LG stat.ML
The Blessings of Multiple Causes
Columbia University（哥伦比亚大学）
从观察数据进行的因果推断通常假设“可解释性”，即所有混杂因素都被观察到。这个假设是标准的，但无法检验。然而，许多科学研究涉及多个原因，不同的变量，其影响同时感兴趣。我们提出了deconfounder，一种结合无监督机器学习和预测模型检查的算法，在多原因设置中执行因果推断。反建器推断一个潜在变量作为未观察到的混杂因素的替代，然后使用该替代来执行因果推断。我们开发理论的解构，并表明，它需要弱于经典的因果推断的假设。我们在三种类型的研究中分析了它的性能：围绕吸烟和肺癌的半模拟数据，围绕全基因组关联研究的半模拟数据，以及关于演员和电影收入的真实数据集。反建方提供了一种可检查的方法来估计更接近事实的因果效应。
2019-04-15 cs.LG stat.ME stat.ML
Leveraging directed causal discovery to detect latent common causes
Spotify（声田）；University College London（伦敦大学学院）；Babylon Health（巴比伦健康）
因果关系的发现是科学和医学中的一个基本问题。近年来，已经提出了许多从观测数据中发现两个变量之间因果关系的优雅方法。然而，大多数这些只处理纯粹的直接因果关系，不能检测潜在的共同原因。在这里，我们设计了一个一般的启发式，它需要一个因果发现算法，只能区分纯粹的直接因果关系，并修改它，也检测潜在的共同原因。我们将我们的方法应用于两个有向因果发现算法，信息几何因果推断（Daniusis等人，2010）和（Mitrovic，Sejdinovic，& Teh，2018）的因果推断的核条件偏差，并对合成数据进行了广泛的测试-检测加性，乘法和复杂噪声机制中的潜在常见原因-以及真实数据，我们能够检测已知的常见原因。除了检测潜在的共同原因，我们的实验表明，这两个修改后的算法保持原来的性能，在区分有向因果关系。
2021-06-21 cs.LG stat.ML
Beyond Conditional Independence: Root Cause Analysis with Deep Causal Models
Purdue University（普渡大学）；Johns Hopkins University（约翰霍普金斯大学）；Intuit AI Research（Intuit AI 研究院）；Microsoft（微软）
针对现有根因分析依赖强假设的局限，提出基于深度因果模型的RCA-DCM方法，利用分布约束和部分图知识，在模拟与真实微服务数据上显著提升根因识别准确率。
2026-09-30 cs.AI cs.LG stat.ML
When Additive Noise Meets Unobserved Mediators: Bivariate Denoising Diffusion for Causal Discovery
Cornell Tech（康奈尔科技）；University of Chicago（芝加哥大学）
针对未观测中介变量导致传统ANM因果发现失效的问题，提出双变量去噪扩散（BiDD）方法，通过新颖的独立性检验统计量评估预测噪声与输入的独立性，在理论和实验上均证明了其在中介破坏和无中介场景下的优越性。
2025-06-29 cs.LG
A Causal Approach to Detecting Multivariate Time-series Anomalies and Root Causes
Salesforce Research（赛富时研究院）；Carnegie Mellon University（卡内基梅隆大学）
检测多变量时间序列中的异常和相应的根本原因在监控各种现实世界系统的行为中起着重要作用，例如，IT系统运营或制造业。以前的异常检测方法对联合分布进行建模，而没有考虑多变量时间序列的潜在机制，这使得它们计算量很大，难以识别根本原因。在本文中，我们制定的异常检测问题，从因果关系的角度来看，并认为异常的情况下，不遵循定期的因果机制，以产生多变量数据。然后，我们提出了一个基于cavity检测异常和根本原因的框架。它首先从数据中学习因果结构，然后推断实例是否是相对于局部因果机制的异常，其条件分布可以直接从数据中估计。根据因果系统的模块化特性（产生不同变量的因果过程是不相关的模块），将原问题分解为一系列独立的、简单的、低维的异常检测问题，从而可以直接识别异常发生的位置（根本原因）。我们评估我们的方法与模拟和公共数据集，以及对现实世界的AIOps应用程序的案例研究，显示其有效性，鲁棒性和实际可行性。
2022-09-29 cs.AI cs.LG
Graph Distance Based on Cause-Effect Estimands with Latents
Helmholtz Munich（慕尼黑海德堡研究所）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对潜混杂下因果发现图评估困难的问题，提出基于因果效应估计下游任务的ADMG图距离度量，用固定识别与符号验证器量化图差异对效应估计的扭曲，分析了其在图扰动下的行为并与现有指标对比。
2025-10-28 cs.LG
Instrumental Variable-Driven Domain Generalization with Unobserved Confounders
Zhejiang University（浙江大学）；Emory University（埃默里大学）；The University of Melbourne（墨尔本大学）；Alibaba Group（阿里巴巴集团）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出工具变量驱动的领域泛化方法IV-DG，利用跨领域输入特征作为工具变量，通过两阶段学习消除未观测混杂因素偏差，从而准确捕捉标签与输入特征间的不变条件关系，并在真实数据集上取得最优结果。
2023-05-25 cs.CV cs.LG
Detecting and Explaining Causes From Text For a Time Series Event
Language Technology Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
解释事件的潜在原因或影响是一项具有挑战性但有价值的任务。我们定义了一个新的问题，产生一个时间序列事件的解释（1）搜索的原因和影响的时间序列与文本数据的关系和（2）构建它们之间的连接链，以产生一个解释。为了从文本中检测因果特征，我们提出了一种新的方法，基于从文本中提取的特征（如N-gram，主题，情感及其组成）之间的时间序列的Granger因果关系。因果实体序列的生成需要具有高效推理的常识因果知识库。为了确保良好的可解释性和适当的词汇使用，我们结合了符号和神经表征，使用在常识因果元组上训练的神经推理算法来预测下一个原因步骤。我们的定量和人工分析表明，我们的方法成功地提取了有意义的因果关系的时间序列与文本特征之间的实证证据，并产生适当的解释。
2017-07-27 cs.AI cs.CL cs.LG
We Are Not Your Real Parents: Telling Causal from Confounded using MDL
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）；Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
鉴于数据变量$(X_1,...,X_m, Y)$，我们考虑的问题，找出是否$X$共同导致$Y$或是否他们都混淆了一个未观察到的潜在变量$Z$。为此，我们采用基于柯尔莫哥洛夫复杂度的信息论方法。简而言之，我们遵循这样一个假设：首先对真正的原因进行编码，然后对给定原因的结果进行编码，这比观察变量的任何其他编码都要短。理想的分数是不可计算的，因此我们必须近似它。我们建议使用最小描述长度（MDL）原则。我们比较了$X$导致$Y$的模型和存在潜在变量$Z$混淆$X$和$Y$的模型下的MDL得分，并显示我们的得分是一致的。为了找到潜在的混杂因素，我们建议使用潜在因素建模，特别是概率PCA（PPCA）。对合成数据和真实数据的实证评估表明，我们的方法CoCa表现非常好-即使数据的真实生成过程与我们使用的模型所做的假设相差甚远。此外，它是强大的，因为它的准确性与它的信心齐头并进。
2019-01-21 cs.LG stat.ML
ECGDetect: Detecting Ischemia via Deep Learning
RCE；East Atlanta Cardiology（东亚特兰大心脏病学中心）；Northside Hospital Gwinnett（格温内特北区医院）
冠状动脉疾病（CAD）是最常见的心脏病类型，也是全球范围内的主要死亡原因[1]。以冠状动脉中的斑块破裂和凝块形成为标志的这种疾病的进行性状态，也称为急性冠状动脉综合征（ACS），是与由于通常灌注心肌和神经束的冠状血管系统的部分或完全闭塞引起的突然的、减少的血流相关的心脏病症，损害心脏的正常功能。ACS通常表现为胸部疼痛或胸闷，是美国急诊室就诊的第二大常见原因，因此必须尽早发现ACS。这与在家的糖尿病患者尤其相关，这些患者可能不会感觉到典型的胸痛症状，并且容易发生无症状心肌损伤。在这项研究中，我们开发了RCE-ECG-Detect算法，这是一种机器学习模型，用于检测与心肌缺血相关的显著ST段变化的形态学模式。我们使用来自LTST数据库的数据开发了RCE-ECG-Detect，该数据库具有足够大的样本集以训练可靠的模型。我们验证了机器学习模型在使用RCE的ECG可穿戴设备收集的保持测试集上的预测性能。我们的深度神经网络模型，配备了卷积层，达到90.31%的ROC-AUC，89.34%的灵敏度，87.81%的特异性。
2020-09-28 cs.LG q-bio.QM stat.ML
Conditional Instrumental Variable Regression with Representation Learning for Causal Inference
University of South Australia（南澳大学）
针对观测数据因果效应估计中标准IV方法的线性假设和严格无混杂条件问题，提出带混杂平衡表示学习的非线性CIV回归方法CBRL.CIV，理论验证合理，实验表现优异。
2023-10-03 cs.AI cs.LG
Detecting and interpreting faults in vulnerable power grids with machine learning
UiT-the Arctic University of Norway（挪威北极圈大学）；Arva Power Company（Arva电力公司）；NORCE Norwegian Research Centre AS（挪威研究中心NORCE）
不定期的电力扰动会给用户和电网运营商带来严重后果。为了防范此类事件，有必要确定配电网络中断的原因。在这项工作中，我们专注于挪威社区在北极的电网，经历了几个故障，其来源是未知的。首先，我们构建了一个数据集，包括相关的气象数据和信息记录的电能质量计的当前电能质量。然后，我们采用机器学习技术来预测故障的发生。实验结果表明，线性和非线性分类器都取得了良好的分类性能。这表明所考虑的电能质量和天气变量很好地解释了电力扰动。解释分类器的决策过程为理解干扰的主要原因提供了有价值的见解。传统的特征选择方法只能指出哪些是平均而言主要解释数据集中故障发生的变量。除了提供这样的全局解释外，识别解释每个单独故障的特定变量集也很重要。为了应对这一挑战，我们采用了一种最新的技术来解释深度学习模型的决策过程，称为集成决策。所提出的方法可以获得详细的见解发生的特定故障，这是有价值的配电系统运营商实施战略，以防止和减轻电力扰动。
2021-08-16 cs.LG
AMFPMC -- An improved method of detecting multiple types of drug-drug interactions using only known drug-drug interactions
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
不良药物相互作用在很大程度上是可预防的医疗事故的原因，这往往导致医生和急诊室的遭遇。在药物用于医疗实践之前，在实验室中检测药物相互作用是必不可少的，但它是昂贵和耗时的。机器学习技术可以提供一种有效而准确的方法来预测可能的药物相互作用，并解决日益严重的药物不良相互作用问题。大多数现有的预测相互作用的模型依赖于药物的化学性质。虽然这样的模型可能是准确的，但所需的属性并不总是可用的。
2023-02-07 cs.LG
Causal Discovery in Linear Latent Variable Models Subject to Measurement Error
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Detroit Mercy（底特律慈悲大学）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
我们专注于在线性系统中存在测量误差时的因果发现，其中混合矩阵，即，指示与所观察的变量有关的独立外生噪声项的矩阵被识别，直到列的排列和缩放。我们证明了这个问题和因果发现之间的联系有点令人惊讶的存在下，未观察到的无父原因，在这个意义上，有一个映射，给出了混合矩阵，在这些问题中推断的基础模型之间。因此，基于一个模型的混合矩阵的任何可识别性结果转化为另一个模型的可识别性结果。我们的特点是在何种程度上的因果模型可以确定下的两部分的忠实性假设。只有在第一部分的假设（对应于传统的忠诚度的定义），结构可以学习到因果排序之间的有序分组的变量，但不是所有的边缘跨组可以识别。我们进一步表明，如果这两个部分的忠实性假设的实施，结构可以学习到一个更精细的有序分组。作为这种细化的结果，对于具有未观察到的无父原因的潜在变量模型，可以识别结构。基于我们的理论结果，我们提出了两个模型的因果结构学习方法，并评估其性能的合成数据。
2022-11-08 cs.AI cs.IT cs.LG
On the Cause of Unfairness: A Training Sample Perspective
ByteDance Research（字节跳动研究院）
本文从训练数据视角研究模型不公平性成因，通过反事实改变样本的特征、标签和敏感属性来量化其对不公平性的影响，并提出一个可帮助理解并缓解不公平性及支持多种应用的框架。
2024-02-16 cs.AI cs.CY cs.LG
A Full DAG Score-Based Algorithm for Learning Causal Bayesian Networks with Latent Confounders
Aix Marseille Univ, CNRS, LIS（艾克斯-马赛大学、法国国家科学研究中心、信息科学与系统实验室）
本文提出首个完全基于评分的DAG结构学习算法，可识别潜在混杂因子，数学证明有效且实验验证其性能。
2024-08-20 cs.AI cs.LG
Detecting Hierarchical Changes in Latent Variable Models
The University of Tokyo（东京大学）
本文讨论了从数据流中检测隐变量模型（HCDL）的层次变化的问题。潜变量模型有三个不同层次的变化：1）第一个层次是固定潜变量的数据分布的变化，2）第二个层次是潜变量分布的变化，3）第三个层次是潜变量数量的变化。检测这些变化很重要，因为我们可以通过识别变化来自哪个级别（变化可解释性）来分析变化的原因。本文提出了一个信息理论的框架，检测的三个层次的变化，在一个分层的方式。其关键思想是采用最小描述长度（MDL）变化统计量来度量变化程度，并结合分解归一化极大似然码长计算。我们给出了一个理论基础，使可靠的警报变化。专注于随机块模型，我们采用合成和基准数据集，以经验证明我们的框架在变化的可解释性以及变化检测方面的有效性。
2020-11-23 cs.IT cs.LG math.IT
Fundamental Challenges in Evaluating Text2SQL Solutions and Detecting Their Limitations
Apple（苹果公司）；University of Waterloo（滑铁卢大学）
本文系统分析了 Text2SQL 评估中的根本性挑战，指出数据质量与匹配函数偏差两大未解决问题，提出统一局限性分类体系并通过前沿方案与基准进行实证调查，为每类局限性给出缓解策略并讨论部署中的开放挑战。
2025-01-30 cs.DB cs.LG
From Causal Pairs to Causal Graphs
UNC Charlotte（北卡罗来纳大学夏洛特分校）
从观测数据中学习因果结构仍然是一个不平凡的任务，由于各种因素，如有限的采样，未观察到的混杂因素，测量误差。基于约束和基于分数的方法往往遭受高计算复杂性，由于估计的有向无环图（DAG）的组合性质。受“因果对”NIPS 2013因果挑战研讨会的启发，在本文中，我们采取了不同的方法，并在所有可能的图形上生成概率分布，这些图形由响应研讨会挑战而提出的因果对特征提供信息。本文的目标是提出基于这种概率信息的新方法，并将其性能与传统和最先进的方法进行比较。我们的实验，在合成和真实数据集上，表明我们提出的方法不仅具有统计相似或更好的性能比一些传统的方法，而且计算速度更快。
2022-11-08 cs.AI cs.LG stat.ME
