Causally-informed Deep Learning towards Explainable and Generalizable Outcomes Prediction in Critical Care
Tsinghua University(清华大学);Institute of Brain and Cognitive Sciences, Tsinghua University(清华大学脑与认知科学研究院);Chinese PLA General Hospital(中国人民解放军总医院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出一种基于因果发现的深度学习早期预警模型,通过识别预测背后的因果关系提升可解释性和跨环境泛化能力,在6种危重恶化结局上优于基线算法,并提供因果路径辅助临床诊断与干预。
2025-02-04 cs.AI cs.LG
A Review and Roadmap of Deep Learning Causal Discovery in Different Variable Paradigms
Xi’an JiaoTong University(西安交通大学)
了解因果关系有助于构建干预措施,以实现特定目标,并能够在干预措施下进行预测。随着学习因果关系的重要性日益增加,因果发现任务已经从使用传统方法从观察数据推断潜在因果结构过渡到深度学习涉及的模式识别领域。海量数据的快速积累促进了具有出色可扩展性的因果搜索方法的出现。现有的因果发现方法综述主要集中在基于约束、分数和模糊C均值的传统方法上,缺乏对基于深度学习的方法进行完善的梳理和阐述,也缺乏从变量范式角度对因果发现方法的思考和探索。因此,本文根据变量范式将可能的因果发现任务分为三类,分别给出了三类任务的定义,定义并实例化了每类任务的相关数据集以及最终构建的因果模型,并对现有的主要因果发现方法进行了评述。最后,针对目前因果发现领域的研究空白,从不同角度提出了一些路线图,并指出了未来的研究方向。
2022-09-14 cs.AI cs.LG stat.ME
Explaining Deep Learning Models using Causal Inference
IBM Research(IBM研究院)
尽管深度学习模型已经成功应用于各种任务,但由于数百万个参数,它们变得越来越不透明和复杂。为了建立对它们广泛商业用途的信任,重要的是正式制定一个原则性的框架来推理这些模型。在这项工作中,我们使用因果推理的想法来描述一个通用的框架,推理CNN模型。具体来说,我们构建了一个结构因果模型(SCM)作为CNN特定方面的抽象。我们还制定了一种方法来定量排名卷积层的过滤器,根据其反事实的重要性。我们用流行的CNN架构(如LeNet5,VGG19和ResNet32)来说明我们的方法。
2018-11-11 cs.AI cs.LG stat.ML
Examining the causal structures of deep neural networks using information theory
Tufts University(塔夫茨大学);University of California, Berkeley(加州大学伯克利分校)
深度神经网络(DNN)通常在其对输入的响应水平上进行检查,例如分析节点和数据集之间的互信息。然而,DNN也可以在因果关系的层面上进行研究,探索网络本身的层中的“什么做什么”。从历史上看,分析DNN的因果结构比理解它们对输入的响应受到的关注要少。然而,从定义上讲,可概括性必须是DNN因果结构的函数,因为它反映了DNN如何响应看不见的甚至尚未定义的未来输入。在这里,我们介绍了一套基于信息论的度量标准,以量化和跟踪DNN在训练过程中因果结构的变化。具体地说,我们引入了前馈DNN的有效信息(EI),这是层输入和输出之间的互信息的最大熵扰动。EI可用于评估节点和边对其每层中下游目标的因果影响程度。我们表明,EI可以进一步分解,以检查层的灵敏度(测量边缘如何传输扰动)和层的退化(测量边缘重叠如何干扰传输),以及层的综合信息量的估计。这些属性共同定义了每一层在"因果平面"中的位置,可用于可视化层连接性如何随着时间的推移变得更加敏感或退化,以及集成在训练过程中如何变化,从而揭示逐层因果结构如何区分。这些结果可能有助于理解DNN的泛化能力,并为使DNN更具泛化性和更可解释性提供基础工具。
2020-10-26 cs.AI cs.LG
DCRMTA: Deep Causal Representation Learning for Multi-Touch Attribution
University of Michigan(密歇根大学);Beijing Jiaotong University(北京交通大学)
提出端到端框架DCRMTA,通过结构因果建模与自适应反事实注意力扰动保留用户因果信号并解耦混杂,在工业数据上PR-AUC相对提升5.2%,实现稳健的Shapley归因。
2026-09-25 cs.AI cs.LG stat.ME
Causality in Neural Networks -- An Extended Abstract
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
因果推理是人类使用的主要学习和解释工具。人工智能系统应该具备因果推理能力,以便在现实世界中以信任和可靠的方式部署。将因果关系的思想引入机器学习有助于提供更好的学习和可解释的模型。可解释性、因果解纠缠是任何机器学习模型的一些重要方面。因果解释需要相信模型的决定,因果解纠缠学习对于迁移学习应用是重要的。我们利用因果关系的思想用于深度学习模型,以实现更好的和因果可解释的模型,这些模型在公平性,解纠缠表示等方面很有用。
2021-06-03 cs.AI cs.LG
Towards Interpretable Deep Generative Models via Causal Representation Learning
Department of Statistics, Rutgers University(统计学系,罗格斯大学);Booth School of Business, University of Chicago(商学院,芝加哥大学)
本文提出通过因果表示学习实现可解释的深度生成模型,结合潜变量模型、因果图模型和非参数统计,旨在提升生成模型的可解释性和迁移能力。
2026-01-26 cs.AI cs.LG stat.ME
Reading Between the Lines: Deconfounding Causal Estimates using Text Embeddings and Deep Learning
本文提出利用文本嵌入和深度学习方法,通过减少偏倚来解耦因果估计,验证了深度学习在处理高维自然语言数据时的有效性。
2026-01-04 cs.AI
Causal Deep Learning
IPAM, University of California, Los Angeles CA, USA(IPAM,加州大学洛杉矶分校);Tensor Vision, Los Angeles CA, USA(Tensor Vision)
本研究基于张量因子分析推导因果深度神经网络架构,分别用含因果胶囊与张量变换器的网络、多线性投影网络解决前向与反向因果问题,提出分段张量模型应对欠定问题,通过块代数实现深度可扩展架构,并以人脸图像验证。
2025-06-16 cs.AI cs.CV cs.LG
From Identifiable Causal Representations to Controllable Counterfactual Generation: A Survey on Causal Generative Modeling
University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本综述系统梳理因果生成建模,涵盖因果表征学习与可控反事实生成,并探讨其理论、方法、应用及未来方向。
2024-05-23 cs.AI cs.LG stat.ML
CHLU: The Causal Hamiltonian Learning Unit as a Symplectic Primitive for Deep Learning
本文提出CHLU,一种基于物理的计算学习原初,通过 enforcing 相对论哈密顿结构和利用辛积分,严格保持相空间体积,以解决记忆稳定性权衡问题,并在MNIST数据集上展示其生成能力。
2026-03-15 cs.AI cs.LG physics.app-ph
Towards a Science of Causal Interpretability in Deep Learning for Software Engineering
本论文提出DoCode方法,利用因果推断为神经代码模型提供可解释性,通过结构因果模型和平均处理效应等步骤,减少虚假相关性,增强软件工程中AI的信任度。
2025-05-21 cs.AI cs.SE
When Causal Intervention Meets Adversarial Examples and Image Masking for Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
发现和利用深层神经网络(DNN)中的因果关系是理解和推理可解释视觉模型上因果效应(CE)的关键挑战。“介入”被广泛用于认识本体论意义上的因果关系。在本文中,我们提出了一个因果推理框架的视觉推理通过做演算。为了研究因果推理对像素级特征的干预效果,我们引入了像素级掩蔽和对抗扰动。在我们的框架中,CE是使用潜在空间中的特征和基于DNN的模型的扰动预测来计算的。我们进一步提供了第一次看发现CE的不利扰动图像生成的基于梯度的方法\footnote{~~https://github.com/jjaacckkyy63/Causal-Intervention-AE-wAdvImg}的特点。实验结果表明,与传统方法相比,CE是理解DNN的有竞争力和鲁棒性的索引,例如,对于人类可解释的特征(例如,症状)推理。此外,CE有望检测对抗性示例,因为它在存在对抗性扰动的情况下具有独特的特征。
2019-06-25 cs.AI cs.CV cs.LG
Identifying causal relations in tweets using deep learning: Use case on diabetes-related tweets from 2017-2021
Paris-Saclay University(巴黎-萨克雷大学);UVSQ(凡尔赛大学);Inserm(法国国家健康与医学研究院);Gustave Roussy(古斯塔夫·鲁西研究所);Epiconcept Company(Epiconcept公司);Accenture Labs(埃森哲实验室);Sorbonne University(索邦大学);University Sorbonne Paris Nord(索邦巴黎北大学);Indian Institute of Science(印度科学学院);Luxembourg Institute of Health(卢森堡健康研究院)
目的:利用机器学习方法,我们的目标是从患者报告的糖尿病相关推文中提取明确和隐含的因果关系,并提供一种工具,从因果关系的角度更好地理解糖尿病在线社区中共享的意见,感受和观察。材料和方法:在2017年4月至2021年1月期间收集了超过3000万条与糖尿病相关的英文推文。深度学习和自然语言处理方法被应用于关注具有个人和情感内容的推文。手动标记因果推文数据集并用于训练1)微调的Bertweet模型以检测包含因果关联的因果句子2)具有基于BERT的特征的CRF模型以提取可能的因果关联。原因和影响在一个半监督的方法和可视化的互动因果网络中进行了聚类。结果:在不平衡数据集中,因果句的召回率为68%。一个CRF模型与BERT为基础的功能优于微调BERT模型的因果检测与宏观召回率为68%。这导致了96,676个带有因果关系的句子。“糖尿病”被确定为中心聚类,其次是“死亡”和“胰岛素”。胰岛素定价相关原因通常与“死亡”相关。结论:开发了一种新的方法来检测因果句子,并识别显式和隐式,单个和多个单词的原因和相应的效果,如在糖尿病相关的推文中表达的,利用基于BERT的架构和可视化的因果网络。在社交媒体数据中提取现实生活中的因果关系,患者报告的结果为糖尿病研究提供了有用的补充信息来源。
2022-02-24 cs.AI cs.CL cs.LG
DISCO: Mitigating Bias in Deep Learning with Conditional Distance Correlation
Technical University of Munich, Germany(慕尼黑技术大学);Konrad Zuse School of Excellence in Reliable AI, Germany(Konrad Zuse可靠性人工智能卓越学院);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML))
提出基于反因果模型的条件独立性准则,并设计条件距离相关性的高效估计器DISCO$_m$和sDISCO,通过正则化实现梯度模型中的偏差缓解,在多个数据集上优于或媲美现有方法。
2026-05-29 cs.AI cs.CV cs.LG
Quantifying Causes of Arctic Amplification via Deep Learning based Time-series Causal Inference
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);University of Colorado Boulder(科罗拉多大学博尔德分校);Geophysical Fluid Dynamics Laboratory, NOAA(美国国家海洋和大气管理局地球物理流体动力学实验室);NSF HDR Institute for Harnessing Data and Model Revolution in the Polar Regions (iHARP)(美国国家科学基金会HDR极地数据与模型变革应用研究所(iHARP))
针对北极放大效应成因量化中固定处理效应、时变混杂和非线性数据带来的挑战,提出结合循环神经网络与概率平衡的 TCINet,以提升连续处理下的时间序列因果推断能力。
2023-09-25 cs.AI cs.LG physics.ao-ph
Human-aligned Deep Learning: Explainability, Causality, and Biological Inspiration
本研究从可解释性、因果性和生物视觉三视角将深度学习与人类推理对齐,提出相关框架与模型,提升图像分类的效率、可解释性与鲁棒性,推动其临床应用。
2025-04-18 cs.AI cs.CV cs.LG
A Causal Framework for Aligning Image Quality Metrics and Deep Neural Network Robustness
The Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室);The Johns Hopkins University(约翰霍普金斯大学)
本文提出因果框架,证明传统IQA指标对DNN性能预测弱,并开发与DNN性能强相关的新指标,以有效估计大型图像数据集的质量分布。
2025-08-05 cs.AI cs.CV
Interpreting deep learning-based stellar mass estimation via causal analysis and mutual information decomposition
Pengcheng Laboratory(鹏城实验室);Harbin Institute of Technology(哈尔滨工业大学);Department of Astronomy, The Ohio State University(天文学系,俄亥俄州立大学);Center for Cosmology and AstroParticle Physics (CCAPP), The Ohio State University(宇宙学与天体粒子物理中心(CCAPP),俄亥俄州立大学)
本研究通过因果分析和互信息分解技术,解释深度学习在恒星质量估计中的作用,揭示输入数据对估计任务的贡献。
2025-10-05 astro-ph.GA astro-ph.IM cs.AI
Deep Causal Learning: Representation, Discovery and Inference
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peking University(北京大学)
本文全面综述了深度学习如何通过表示、发现和推断三个维度解决传统因果学习的高维变量、未观测混杂因素等挑战,强调其对推进因果科学理论与应用的关键作用。
2024-07-30 cs.AI cs.LG
Causal Inference in Non-linear Time-series using Deep Networks and Knockoff Counterfactuals
Friedrich Schiller University Jena(弗里德里希席勒耶拿大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
估计因果关系对于理解多变量时间序列中复杂的相互作用至关重要。变量的非线性耦合是因果关系估计不准确的主要挑战之一。在本文中,我们提出使用深度自回归网络(DeepAR)与反事实分析相结合来推断多变量时间序列中的非线性因果关系。我们使用DeepAR的概率预测扩展了Granger因果关系的概念。由于深度网络既不能处理缺失的输入,也不能处理分布外的干预,我们建议使用Knockoffs框架(Barberand Cand`es,2015)来生成干预变量,从而进行反事实的概率预测。敲除样本与给定观测变量的输出无关,并且可以与对应变量交换,而不会改变数据的基本分布。我们在合成和真实世界的时间序列数据集上测试我们的方法。总的来说,我们的方法优于广泛使用的向量自回归格兰杰因果关系和PCMCI检测非线性因果关系的依赖性在多变量时间序列。
2021-10-18 cs.AI cs.LG
Active Learning of Causal Structures with Deep Reinforcement Learning
Sharif University of Technology(谢里夫理工大学)
我们研究实验设计问题,以从干预数据中学习因果结构。我们考虑一个主动学习的设置,其中实验者决定干预系统中的变量之一,在每一步,并使用干预的结果,以恢复变量之间的进一步的因果关系。目标是以最少的干预措施充分识别因果结构。我们提出了第一个基于深度强化学习的实验设计问题解决方案。在所提出的方法中,我们使用一个图神经网络将输入图嵌入到向量中,并将它们馈送到另一个神经网络,该神经网络输出一个变量,用于在每一步中进行干预。两个网络通过Q迭代算法联合训练。实验结果表明,该方法在恢复因果结构方面取得了有竞争力的性能,同时显着减少密集图中的执行时间。
2020-09-07 cs.AI cs.LG
Group Interventions on Deep Networks for Causal Discovery in Subsystems
Computer Vision Group, Faculty of Mathematics and Computer Science(计算机视觉组,数学与计算机科学学院);Friedrich Schiller University Jena(耶拿弗里德里希·施勒格尔大学)
针对现有因果发现方法忽略子系统变量组间相互作用的问题,提出结合深度网络组级干预与模型不变性检验的gCDMI方法,在模拟和真实数据集上均展现出更优的组级因果关系识别性能。
2025-10-29 cs.AI cs.LG
Estimating Categorical Counterfactuals via Deep Twin Networks
Imperial College London(帝国理工学院);Spotify(Spotify公司);FAU Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);University College London(伦敦大学学院)
反事实推理是一种强大的工具,能够解决备受瞩目的领域中的挑战性问题。为了进行反事实推理,需要了解潜在的因果机制。然而,因果机制不能仅仅从观察和干预来确定。这就提出了一个问题,即如何选择因果机制,使所得的反事实推理在给定的领域是可信的。这个问题已经在二元变量的因果模型中得到了解决,但是分类变量的情况仍然没有答案。我们通过引入因果模型与分类变量的概念,反事实排序,假设理想的属性因果机制应该是一个原则,并证明它是等价于特定的功能约束的因果机制,以应对这一挑战。为了学习满足这些约束的因果机制,并使用它们进行反事实推理,我们引入了深度孪生网络。这些是深度神经网络,在训练时,能够进行双网络反事实推理--一种替代绑架、行动和预测方法的方法。我们在来自医学、流行病学和金融的各种真实世界和半合成数据上实证测试了我们的方法,报告了对反事实概率的准确估计,同时展示了当反事实排序不被强制执行时反事实推理所产生的问题。
2023-01-20 cs.AI cs.LG
Emerging Synergies in Causality and Deep Generative Models: A Survey
University of New South Wales(新南威尔士大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61研究院)
本文综述因果关系与深度生成模型的融合,梳理因果原理融入 DGMs、利用 DGMs 进行因果识别,以及生成式 LLM 中因果研究的方法、挑战与未来方向。
2025-03-18 cs.AI cs.LG
Deep Causal Learning to Explain and Quantify The Geo-Tension's Impact on Natural Gas Market
University of Cologne(科隆大学);Institute of Energy Economics University of Cologne(科隆大学能源经济研究所);Information Systems University of Cologne(科隆大学信息系统研究所)
针对现有方法难以评估地缘冲击对天然气市场影响的问题,该研究采用基于深度神经网络的Granger因果关系识别天然气需求驱动因素,并通过反事实分析量化俄乌战争对德国各能源部门的影响,同时开源了相关代码与数据集。
2024-07-15 cs.AI cs.LG
CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning
East China Normal University(华东师范大学)
针对深度强化学习训练中数据利用率低、可解释性不足的问题,提出基于因果推断的经验回放方法CIER,通过时间序列分割与因果因子识别提升训练效果,结合优先经验回放仍具有效性。
2024-05-14 cs.AI cs.LG
Amortized Active Causal Induction with Deep Reinforcement Learning
Helmholtz AI(亥姆霍兹人工智能);Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学)
提出CAASL,一种基于Transformer和强化学习的主动干预策略,无需似然函数即可实时选择干预,在合成数据和单细胞模拟器上优于替代方法,并具备良好的分布偏移和零样本泛化能力。
2024-05-26 cs.AI cs.LG
Incorporating Causal Effects into Deep Learning Predictions on EHR Data
University of Minnesota(明尼苏达大学);University of Pittsburgh(匹兹堡大学)
电子健康记录(EHR)数据分析在医疗保健系统质量中起着至关重要的作用。由于其高度复杂的潜在因果关系和有限的可观察性,EHR的因果推理是相当具有挑战性的。在先进的机器学习方法中,深度学习(DL)取得了巨大的成功。然而,它仍然受到不适当假设的因果条件的阻碍。这项工作提出了一种新的方法来量化临床定义良好的因果效应作为一个广义的估计向量,是简单地利用因果模型。我们将其纳入DL模型,以实现更好的预测性能和结果解释。此外,我们还证明了因果信息闪烁点的存在,定期DL模型无法达到。
2022-10-26 cs.LG
Deep Backtracking Counterfactuals for Causally Compliant Explanations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
本文提出DeepBC方法,通过Langevin Monte Carlo采样或约束优化在深度生成结构因果模型中计算回溯反事实,实现因果合规、通用且模块化的高维数据解释。
2024-08-10 cs.AI cs.LG stat.ML
A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models
Aalto University(阿尔托大学)
在因果推理中使用深层潜变量模型最近引起了相当大的兴趣,但一个重要的悬而未决的问题是它们产生一致的因果估计的能力。虽然他们已经证明了有希望的结果和理论存在于一些简单的模型公式,我们也知道,因果效应甚至无法识别一般与潜变量。我们调查的理论和实证结果之间的差距与分析的考虑和广泛的实验下,多个合成和现实世界的数据集,使用因果效应变分自编码器(CEVAE)作为案例研究。虽然CEVAE似乎在一些简单的场景下可靠地工作,但它不能正确地估计潜在变量或复杂数据分布的因果效应,这与其原始动机相反。因此,我们的研究结果表明,应更加注意确保深潜变量模型的因果估计的正确性。
2022-01-24 cs.LG
Interpretable Deep Causal Learning for Moderation Effects
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
在这篇扩展的抽象论文中,我们解决了因果机器学习模型中的可解释性和有针对性的正则化问题。特别是,我们专注于在观察到的混杂因素下估计个体因果/治疗效应的问题,这些混杂因素可以控制和调节治疗对感兴趣结果的影响。针对因果设置进行调整的黑盒ML模型在这项任务中通常表现良好,但它们缺乏可解释的输出,无法识别治疗异质性的主要驱动因素及其功能关系。我们提出了一种新型的深度反事实学习架构,用于估计个体治疗效果,可以同时:i)传达有针对性的正则化,并围绕感兴趣的数量产生量化的不确定性(即,条件平均治疗效应); ii)解开协变量的基线预后和调节效应,并输出描述其与结果关系的可解释评分函数。最后,我们通过一个简单的模拟实验演示了该方法的使用。
2022-07-11 cs.AI cs.LG stat.ML
Causal Inference with Deep Causal Graphs
Universitat de Barcelona(巴塞罗那大学)
参数因果建模技术很少提供反事实估计的功能,往往以建模复杂性为代价。由于因果估计依赖于用于对数据进行建模的函数族,因此过于简单的模型可能会导致生成机制的不精确表征,从而导致不可靠的结果。这限制了它们对现实生活数据集的适用性,这些数据集具有非线性关系和变量之间的高度相互作用。我们提出了深度因果图(Deep Causal Graphs),这是对神经网络建模因果分布所需功能的抽象规范,并提供了满足此契约的模型:规范化因果流。我们展示了它的表达能力,在建模复杂的相互作用和展示应用程序的方法,机器学习的可解释性和公平性,使用真正的因果反事实。
2020-06-15 cs.LG cs.NE stat.ML
A deep causal inference model for interpretable travel behaviour analysis
Toronto Metropolitan University(多伦多都会大学);Laboratory of Innovations in Transportation (LiTrans)(交通创新实验室)
本文提出深度因果推断模型CAROLINA,融合因果推断、深度学习与离散选择建模,用于可解释出行行为分析,并通过生成式反事实模型预测人类行为,实验证明其在因果发现、预测和政策评估上有效。
2026-11-03 cs.LG
Navigating causal deep learning
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
因果深度学习(CDL)是机器学习领域中一个新的重要研究方向。通过CDL,研究人员的目标是在深度学习模型的极其灵活的表示空间中构建和编码因果知识。这样做将导致更明智,更强大,更一般的预测和推断-这很重要!然而,CDL仍处于起步阶段。例如,我们不清楚应该如何比较不同的方法,因为它们在输出、编码因果知识的方式,甚至它们如何表示这种知识方面都是如此不同。这是一篇生动的论文,对Pearl因果关系阶梯之外的因果深度学习方法进行了分类。我们改进了Pearl阶梯中的梯级,同时还添加了一个单独的维度,对输入和表示的参数假设进行分类,从而得出因果深度学习的地图。我们的地图涵盖了机器学习学科,如监督学习,强化学习,生成建模等。我们的范式是一个工具,它可以帮助研究人员:找到基准,比较方法,最重要的是:确定研究差距。通过这项工作,我们的目标是构建关于因果深度学习的大量论文。虽然每天都有关于这个主题的论文发表,但我们的地图仍然是固定的。我们将我们的地图开源,供其他人在他们认为合适的时候使用:也许是为了在相关的作品部分提供指导,或者更好地突出他们论文的贡献。
2022-12-01 cs.LG
Rhino: Deep Causal Temporal Relationship Learning With History-dependent Noise
Microsoft Research(微软研究院)
从时间序列数据中发现不同变量之间的因果关系一直是气候科学,金融和医疗保健等许多领域的长期挑战。考虑到现实世界关系的复杂性和离散时间观测的性质,因果发现方法需要考虑变量之间的非线性关系,瞬时效应和历史相关噪声(由于过去的行为导致的噪声分布变化)。然而,以前的作品没有提供一个解决所有这些问题的解决方案。在本文中,我们提出了一种新的因果关系学习框架,称为Rhino,它结合了向量自回归,深度学习和变分推理来建模具有瞬时效应的非线性关系,同时允许噪声分布受到历史观测的调制。从理论上证明了Rhino的结构可识别性。我们从广泛的合成实验和两个现实世界的基准的实证结果表明,更好的发现性能相比,相关的基线,消融研究揭示了其鲁棒性下的模型误指定。
2022-10-26 cs.AI cs.LG stat.ML
Causal inference using deep neural networks
Carnegie Mellon University(卡内基梅隆大学)
从观测数据中进行因果推断是许多科学领域的核心问题。在这里,我们提出了一个通用的监督深度学习框架,通过将输入向量转换为每对输入的图像表示来推断因果交互。给定一个训练数据集,我们首先构建一个标准化经验概率密度分布(NEPDF)矩阵。然后,我们训练一个卷积神经网络(CNN)的因果关系预测的NEPDF。我们在几个不同的模拟和真实世界的数据上测试了该方法,并将其与先前的因果推理方法进行了比较。正如我们所展示的,该方法是通用的,可以有效地处理非常大的数据集,并改进了以前的方法。
2020-11-25 cs.LG stat.ML
Causal Information Bottleneck Boosts Adversarial Robustness of Deep Neural Network
Tongji University(同济大学);SmartMore. Co. Ltd.(思谋科技有限公司)
信息瓶颈(IB)方法是深度学习中对抗对抗攻击的一种可行的防御方案。然而,该方法存在虚假相关性,限制了其对抗鲁棒性的进一步提高。在本文中,我们将因果推理到IB框架,以减轻这样的问题。具体来说,我们通过工具变量将IB方法获得的特征分为稳健特征(内容信息)和非稳健特征(风格信息)来估计因果效应。利用这种框架,可以减轻非鲁棒特征的影响,以增强对抗鲁棒性。最后对该方法的有效性进行了分析。在MNIST、FashionMNIST和CIFAR-10上的大量实验表明,该方法对多个对抗攻击具有相当的鲁棒性。我们的代码将被释放。
2022-10-25 cs.AI cs.CR cs.LG
Integrating Causality with Neurochaos Learning: Proposed Approach and Research Agenda
Indian Institute of Science(印度科学学院);National Institute of Advanced Studies (NIAS)(高级国家研究所(NIAS))
针对深度学习因统计性质、无法捕捉因果结构及高能耗导致的收益递减问题,本研究提出整合受大脑启发的因果学习与神经混沌学习的方法,以提升关联数据领域的分类、预测和强化学习效果,并列出相关研究问题。
2025-02-08 cs.AI cs.LG
Deep Structural Causal Models for Tractable Counterfactual Inference
Imperial College London(伦敦帝国理工学院)
我们制定了一个通用框架,用于构建具有深度学习组件的结构因果模型(SCM)。所提出的方法采用规范化流和变分推断来实现对外源噪声变量的易处理的推理-这是现有深度因果学习方法中缺少的反事实推理的关键步骤。我们的框架在MNIST上构建的合成数据集以及真实世界的大脑MRI扫描医学数据集上进行了验证。我们的实验结果表明,我们可以成功地训练深SCM,能够所有三个层次的珍珠的阶梯的因果关系:关联,干预和反事实,从而产生一个强大的新方法来回答因果问题的成像应用和超越。我们所有实验的代码都可以在https://github.com/biomedia-mira/deepscm上找到。
2020-10-22 cs.LG stat.ML
Embracing the black box: Heading towards foundation models for causal discovery from time series data
Friedrich Schiller University Jena(弗里德里希·席勒耶拿大学)
针对现有时间序列因果发现方法不支持端到端学习的问题,提出因果预训练方法,通过监督学习直接映射多元时间序列至因果图,发现其性能随数据和模型规模增加而提升,为因果发现基础模型提供了可能性。
2024-02-14 cs.AI cs.LG
A Survey of Deep Causal Models and Their Industrial Applications
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Data Management Department, China Minsheng Bank(中国民生银行数据管理部);MYbank, Ant Group(蚂蚁集团网商银行)
本文综述了基于神经网络的深度因果模型,从发展时间线和分类方法角度全面概述,并介绍其在工业中的典型应用及对数据集、源代码和实验的详细分析。
2024-05-22 cs.LG stat.ML
DeepVisualInsight: Time-Travelling Visualization for Spatio-Temporal Causality of Deep Classification Training
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Key Lab of High-Confidence Software Technology, MoE (Peking University)(高可信软件技术教育部重点实验室(北京大学))
了解深度学习模型的预测在训练过程中是如何形成的,对于提高模型性能和修复模型缺陷至关重要,特别是当我们需要研究诸如主动学习等非平凡训练策略,并跟踪诸如性能退化等意外训练结果的根本原因时。在这项工作中,我们提出了一个时间旅行视觉解决方案DeepVisualInsight(DVI),旨在在训练深度学习图像分类器的同时体现时空因果关系。时空因果关系演示了梯度下降算法和各种训练数据采样技术如何影响和重塑学习输入表示的布局和连续时期中的分类边界。这种因果关系使我们能够在可见的低维空间中观察和分析整个学习过程。从技术上讲,我们提出了四个空间和时间属性,并设计了我们的可视化解决方案,以满足他们。当在可见的低维空间和不可见的高维空间之间逆投影输入样本时,这些属性保留了最重要的信息,用于因果分析。我们广泛的实验表明,与基线方法相比,我们实现了最好的可视化性能的空间/时间属性和可视化效率。此外,我们的案例研究表明,我们的可视化解决方案可以很好地反映各种训练场景的特点,显示了良好的潜力,DVI作为一个调试工具,分析深度学习训练过程。
2021-12-31 cs.AI cs.CV cs.LG
Deep Multi-Modal Structural Equations For Causal Effect Estimation With Unstructured Proxies
Cornell Tech(康奈尔科技校区);Cornell University(康奈尔大学)
从观察数据中估计干预的效果,同时考虑混杂变量是因果推理的一个关键任务。通常情况下,混杂因素是未观察到的,但我们可以访问大量额外的非结构化数据(图像,文本),这些数据包含有关缺失混杂因素的有价值的代理信号。本文认为,利用这种非结构化数据可以大大提高因果效应估计的准确性。具体来说,我们引入了深层多模态结构方程,这是一种因果效应估计的生成模型,其中混杂因素是潜在变量,非结构化数据是代理变量。该模型支持多个多模态代理(图像,文本)以及丢失的数据。我们的经验表明,我们的方法优于现有的方法的基础上的倾向分数和纠正混淆使用非结构化的输入任务,在基因组学和医疗保健。我们的方法可以潜在地支持使用大量的数据,这些数据以前没有用于因果推理
2022-12-11 cs.LG
Deep Structural Causal Shape Models
Imperial College London(帝国理工学院);Microsoft Research(微软研究院)
因果推理提供了一种语言,可以提出超越纯粹统计关联的重要干预性和反事实问题。例如,在医学成像中,我们可能想研究遗传、环境或生活方式因素对解剖表型的正常和病理变化的因果影响。然而,虽然从自动图像分割中提取的3D表面网格的解剖形状模型可以可靠地构建,但缺乏能够对形态变化进行因果推理的计算工具。为了解决这个问题,我们提出了深层结构因果形状模型(CSM),它利用高质量的网格生成技术,从几何深度学习,在深层结构因果模型的表达框架。CSM通过反事实网格生成实现了特定于受试者的推理(“如果这个病人再老十岁,他的大脑结构会发生什么变化?”),这与目前大多数纯粹的人口统计形状建模工作相反。我们展示了CSM的能力,在所有级别的珍珠的因果层次结构,通过一些定性和定量的实验,利用一个大的数据集的三维大脑结构。
2022-08-23 cs.CV cs.LG
DeepMed: Semiparametric Causal Mediation Analysis with Debiased Deep Learning
University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Columbia University(哥伦比亚大学)
因果中介分析可以解开因果关系的黑匣子,因此是解开生物医学和社会科学中因果路径的有力工具,也是评估机器学习公平性的有力工具。为了减少在中介分析中估计自然直接和间接效应的偏差,我们提出了一种名为DeepMed的新方法,该方法使用深度神经网络(DNN)来交叉拟合有效影响函数中的无限维滋扰函数。我们获得了新的理论结果,即我们的DeepMed方法(1)可以在不对DNN架构施加稀疏性约束的情况下实现半参数效率界,(2)可以适应滋扰函数的某些低维结构,显着推进了基于DNN的半参数因果推断的现有文献。进行了大量的合成实验,以支持我们的研究结果,也暴露了理论和实践之间的差距。作为概念验证,我们应用DeepMed分析了两个关于机器学习公平性的真实数据集,并得出了与之前发现一致的结论。
2022-12-26 cs.LG stat.ME stat.ML
Learning Structural Causal Models through Deep Generative Models: Methods, Guarantees, and Challenges
Ekimetrics(埃基梅特里克公司);INRIA Saclay(法国国家信息与自动化研究所萨克雷分所);TAU(特拉维夫大学);LISN(巴黎第十一大学科学与工业技术实验室)
本文综述了深度结构因果模型(DSCMs)在已知因果结构下利用观测数据回答反事实查询的能力,分析了其假设、保证与应用,并指出了该领域的挑战与未来方向。
2024-05-08 cs.LG stat.ML
A Primer on Deep Learning for Causal Inference
UCLA(加州大学洛杉矶分校);Northwestern Kellogg School of Management(西北大学凯洛格管理学院);University of Chicago(芝加哥大学);Harvard Medical School(哈佛医学院);Santa Fe Institute(圣塔菲研究所)
本文系统综述了基于深度神经网络的因果推断方法,重点介绍异质性处理效应估计、非线性及文本/网络/图像混杂场景,并提供 TensorFlow 2 实现教程。
2023-11-28 cs.LG econ.EM stat.ME
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学)
本文提出了一个计算框架,产生合奏预测力学模型与不确定性量化(UQ)。首先,我们开发了一个因果发现算法,通过有向无环图(DAG)来推断在每个代表性体积元素(RVE)模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系,预测在导出的因果图中传播,同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子(摩擦界面的牵引分离定律,颗粒集合体的弹塑性模型)来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Deep Convolutional Neural Networks for Pairwise Causality
TCS Research(TCS研究院)
从观察和干预数据中发现因果模型是假设分析或反事实推理之前重要的第一步。如前所述,在某些条件下,成对因果关系的方向可以通过标准梯度提升分类器(GBC)使用精心设计的统计特征从观测数据中推断出来。在本文中,我们将深度卷积神经网络(CNN)应用于这个问题,将属性对绘制为二维散点图,并将其作为图像馈送到CNN。我们评估我们的方法对'因果对' NIPS 2013年数据挑战。我们观察到,CNN与早期GBC方法的加权集成产生了显着的改善。此外,我们观察到,当可用的训练数据较少时,我们的方法比基于GBC的方法表现得更好,这表明预先训练以确定成对因果方向的方向的CNN模型在因果发现和实现假设或反事实分析中具有更广泛的适用性。
2017-01-03 cs.LG
Deep causal representation learning for unsupervised domain adaptation
Arizona State University(亚利桑那州立大学);Army Research Lab(陆军研究实验室)
研究表明,深度神经网络学习的表示可以转移到其他领域的类似预测任务中,而我们没有足够的标记数据。然而,当我们过渡到模型中的更高层时,表示变得更加特定于任务,并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而,相关性并不总是可转移的。在本文中,我们提出了一种新的深度因果表示学习框架,用于无监督领域自适应,在该框架中,我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明,所提出的模型的优势,无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
Deep Causal Inference for Point-referenced Spatial Data with Continuous Treatments
Duke University(杜克大学)
针对空间数据因果推理在高维输入下的挑战,提出集成近似高斯过程与广义倾向得分方法的神经网络框架,处理空间干扰、未观测混杂及部分观测结果,在多类数据上显著优于线性模型,提升因果效应预测合理性以辅助决策。
2024-12-05 cs.LG
SSL Framework for Causal Inconsistency between Structures and Representations
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学)
本文针对 Indefinite Data 中因果结构与因果表示之间的因果不一致问题,提出基于干预的自监督学习框架,通过多视角因果信息增强一致性,并在多个下游任务和 LLM 指令中验证了性能提升。
2024-12-31 cs.LG
Deep Recurrent Modelling of Granger Causality with Latent Confounding
University College London(伦敦大学学院)
当无法进行干预时,推断观测时间序列数据中的因果关系是一项重要任务。Granger因果关系是一个流行的框架来推断不同时间序列之间的潜在因果机制。格兰杰因果关系的原始定义仅限于线性过程,并在存在潜在混淆因素的情况下导致虚假结论。在这项工作中,我们利用递归神经网络的表达能力,并提出了一种基于深度学习的方法,通过直接考虑潜在的混杂因素来建模非线性格兰杰因果关系。我们的方法利用多个递归神经网络来参数化预测分布,并且我们提出了使用双解码器设置来进行Granger测试的新方法。我们展示了非线性随机时间序列的模型性能,其中潜在的混淆因素影响不同时滞的因果关系;结果显示了我们的模型与现有基准相比的有效性。
2022-02-23 cs.LG stat.ME