Self-Alignment Pretraining for Biomedical Entity Representations
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Amazon Alexa(亚马逊Alexa)
尽管通过掩蔽语言模型(MLM)的自监督学习取得了广泛的成功,但在生物医学领域中准确地捕获细粒度的语义关系仍然是一个挑战。这对于实体级任务(如实体链接)至关重要,其中建模实体关系(特别是同义关系)的能力至关重要。为了应对这一挑战,我们提出了SapBERT,这是一种预训练方案,可以自对齐生物医学实体的表示空间。我们设计了一个可扩展的度量学习框架,可以利用UMLS,一个庞大的收集生物医学本体与4M+的概念。与以前基于流水线的混合系统相比,SapBERT为医疗实体链接(MEL)问题提供了一个优雅的一个模型解决方案,在六个MEL基准数据集上实现了新的最先进的(SOTA)。在科学领域,即使没有特定任务的监督,我们也能实现SOTA。与各种特定领域的预训练MLMs(如BioBERT,SciBERT和PubMedBERT)相比,我们的预训练方案有了很大的改进,证明了它的有效性和鲁棒性。
2021-04-07 cs.AI cs.CL cs.LG
Unified Representation of Genomic and Biomedical Concepts through Multi-Task, Multi-Source Contrastive Learning
Harvard Medical School(哈佛医学院);Tsinghua University(清华大学);VA Boston Healthcare System(波士顿VA医疗系统);Brigham and Women’s Hospital(布莱根妇女医院)
本文提出GENEREL框架,通过多任务对比学习微调语言模型,构建统一嵌入空间对齐SNPs与临床概念,有效捕获生物医学关系并促进数据整合与发现。
2024-10-14 cs.AI cs.CL cs.LG
Multi-task Joint Strategies of Self-supervised Representation Learning on Biomedical Networks for Drug Discovery
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Institute of Open Source Software and Platform, Peng Cheng Laboratory(鹏城实验室开源软件与平台研究所);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);The State Key Laboratory of Chemo/Biosensing and Chemometrics, Hunan University(湖南大学化学生物传感与计量学国家重点实验室)
生物医学网络上的自监督表示学习(SSL)为药物发现提供了新的机会。然而,如何有效地组合多个SSL模型仍然具有挑战性,并且很少有人探索。因此,我们提出了多任务联合策略的自我监督表示学习的生物医学网络的药物发现,命名为MSSL 2drug。我们设计了六个基本的SSL任务的灵感来自各种模态功能,包括结构,语义和属性在异构生物医学网络。重要的是,在两个药物发现场景中,通过基于图形注意力的多任务对抗学习框架评估了多个任务的15种组合。结果表明两个重要的发现。(1)与其他多任务联合模型相比,多模式任务的组合实现了最佳性能。(2)当模态大小相同时,局部-全局组合模型比随机两任务组合模型产生更高的性能。因此,我们推测多模态和局部-全局组合策略可以作为药物发现的多任务SSL的指导方针。
2022-12-18 cs.AI cs.LG q-bio.QM
Hierarchical discriminative learning improves visual representations of biomedical microscopy
University of Michigan(密歇根大学);Invenio Imaging(Invenio 成像公司);New York University(纽约大学)
学习高质量、自我监督的视觉表示对于推进计算机视觉在生物医学显微镜和临床医学中的作用至关重要。以前的工作集中在自我监督的表示学习(SSL)方法,例如歧视,并将其直接应用于图像补丁,或视野,从用于癌症诊断的千兆像素全载玻片图像(WSIs)采样。然而,这种策略是有限的,因为它(1)假设来自同一患者的贴片是独立的,(2)忽略了临床生物医学显微镜的患者-载玻片-贴片层次结构,以及(3)需要强大的数据增强,这可能会降低下游性能。重要的是,来自患者肿瘤的WSI的采样块是捕获相同的潜在癌症诊断的一组不同的图像示例。这激发了HiDisc,这是一种数据驱动的方法,它利用临床生物医学显微镜固有的患者-载玻片-贴片层次结构来定义一种分层判别学习任务,该任务隐含地学习基础诊断的特征。HiDisc使用自监督对比学习框架,在该框架中,基于数据层次结构中的共同祖先定义正补丁对,并且将统一的补丁、载玻片和患者判别学习目标用于视觉SSL。我们使用两个生物医学显微镜数据集对HiDisc视觉表示进行了两个视觉任务的基准测试,并证明(1)HiDisc预训练优于当前最先进的癌症诊断和遗传突变预测的自我监督预训练方法,(2)HiDisc使用自然斑块多样性学习高质量的视觉表示,而无需强数据增强。
2023-03-02 cs.AI cs.CV cs.LG
MediEncoder: Nonlinear Representation Learning for High-Dimensional Causal Mediation Analysis
Boston University(波士顿大学)
提出MediEncoder框架,通过耦合编码器-解码器和交叉因子网络学习低维表示,结合交叉拟合高效影响函数估计自然直接和间接效应,实现高维非线性中介分析的多重稳健估计。
2026-07-01 cs.LG math.ST stat.ME
Coherent modeling of longitudinal causal effects on binary outcomes
生物医学研究的分析往往需要建模纵向因果效应。目前对个性化医疗和效果异质性的关注使这项任务更具挑战性。为此,结构嵌套均值模型(SNESTs)是研究纵向研究中异质性处理效应的基本工具。然而,当结果是二进制的,目前的方法估计乘法和加法SNMM参数遭受因果参数和非因果滋扰参数之间的变化依赖。这就给解释、估计和计算带来了一系列困难。这些困难阻碍了SNARY在生物医学实践中的应用,在生物医学实践中,二元结果非常常见。我们解决了二进制乘法SNMM的变化依赖性问题,通过重新参数化的非因果滋扰参数。我们的新的滋扰参数的变化独立的因果参数,因此允许连贯的建模的异质性影响的纵向研究与二进制的结果。我们的参数化也提供了一个关键的积木灵活的双重稳健估计的因果参数。一路上,我们证明了一个添加剂SNMM与二进制的结果不承认一个变化独立的参数化,从而证明限制乘法SNMM。
2022-07-22 stat.ME
Biomedical Interpretable Entity Representations
IBM Research(IBM研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
预训练的语言模型诱导密集的实体表示,在以实体为中心的NLP任务上提供强大的性能,但这种表示不能立即解释。这可能成为生物医学等重要领域采用模型的障碍。最近有关于一般可解释的表示学习的工作(Onoe和Durrett,2020),但这些领域不可知的表示并不容易转移到生物医学的重要领域。在本文中,我们创建了一个新的实体类型系统和训练集从一个大型语料库的生物医学文本映射实体的概念在医学本体,并从这些维基百科的页面,其类别是我们的类型。从这个映射中,我们得到生物医学可解释实体表示(BIER),其中维度对应于细粒度的实体类型,值是给定实体具有相应类型的预测概率。我们提出了一种新的方法,利用BIER的最终稀疏和中间密集表示,以方便模型和实体类型调试。我们表明,BIER在生物医学任务中实现了强大的性能,包括命名实体消歧和实体标签分类,我们提供了错误分析,以突出其可解释性的实用性,特别是在低监督设置。最后,我们提供了我们的诱导68 K生物医学类型系统,相应的37万个三元组的派生数据用于训练BIER模型和我们的最佳性能模型。
2021-06-17 cs.CL cs.LG
Causal Representation Learning for Instantaneous and Temporal Effects in Interactive Systems
University of Amsterdam(阿姆斯特丹大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Qualcomm AI Research(高通人工智能研究院)
因果表示学习是从高维观测(如图像)中识别潜在因果变量及其关系的任务。最近的工作表明,人们可以重建因果变量的时间序列的观察下,假设它们之间没有瞬时的因果关系。然而,在实际应用中,我们的测量或帧速率可能比许多因果效应慢。这有效地创建了“瞬时”效果,并使先前的可识别性结果无效。为了解决这个问题,我们提出了iCITRIS,一种因果表示学习方法,当可以观察到干预目标时,该方法允许干预时间序列中的瞬时效果,例如,作为代理人的行为。iCITRIS从时间观测中识别潜在的多维因果变量,同时使用可区分的因果发现方法来学习它们的因果图。在三个数据集的交互式系统的实验中,iCITRIS准确地识别因果变量及其因果图。
2023-03-07 cs.AI cs.LG stat.ML
Invariance & Causal Representation Learning: Prospects and Limitations
Technische Universität Berlin(柏林工业大学);German Aerospace Center(德国航空航天中心)
本文研究不变性与因果表征学习的关系,证明仅凭不变性无法识别潜在因果变量,并指出需引入额外约束。
2023-12-06 cs.AI cs.LG stat.ML
Towards IID representation learning and its application on biomedical data
University Hospital, University of Zurich(苏黎世大学附属医院);University of Bern(伯尔尼大学);City University of Hong Kong(香港城市大学);University of Oxford(牛津大学)
由于现实世界数据的异质性,广泛接受的独立同分布(IID)假设在最近的因果关系研究中受到了批评。在本文中,我们认为,而不是一个有问题的假设,IID是一个基本的任务相关的属性,需要学习。考虑$k$独立随机向量$\mathsf{X}^{i = 1, \ldots, k}$,我们详细说明了如何可以重新制定各种不同的因果问题,以学习任务相关的功能$ϕ$,诱导IID之间的$\mathsf{Z}^i := ϕ\circ \mathsf{X}^i$,我们称之为IID表示学习。为了证明概念,我们研究了在分布外(OOD)泛化任务上的IID表示学习。具体而言,通过利用通过诱导IID的学习函数获得的表示,我们对两个生物医学数据集进行分子特征预测(分子预测),其中真实世界的分布偏移由a)分析前变异和b)采样协议引入。为了实现再现性并与最先进(SOTA)方法进行比较,请遵循WILDS推荐的OOD基准测试指南。与WILDS中支持的SOTA基线相比,结果证实了IID表示学习在OOD任务上的优越性能。该代码可通过https://github.com/CTPLab/IID_representation_learning公开访问。
2022-03-01 cs.CV cs.LG
Bidirectional causal inference for binary outcomes in the presence of unmeasured confounding
School of Mathematics and Statistics, Beijing Technology and Business University(北京工商大学数学与统计学院);The Dartmouth Institute for Health Policy and Clinical Practice, Geisel School of Medicine at Dartmouth(达特茅斯学院盖泽尔医学院达特茅斯健康政策与临床实践研究所)
本文提出了一种结构方程建模方法,用于在存在未测量混杂因素的情况下推断二元结果的双向因果效应,并通过实际案例验证了其在生物医学研究中的应用价值。
2026-09-15 stat.ME
Actionable Interpretability via Causal Hypergraphs: Unravelling Batch Size Effects in Deep Learning
本文提出因果超图框架HGCNet,利用深度结构因果模型和do-演算揭示批大小通过梯度噪声与平坦极小值影响泛化的因果机制,并在多领域实验中优于强基线,为训练策略提供可操作解释。
2025-06-21 cs.AI cs.LG
Multimodal Contrastive Representation Learning in Augmented Biomedical Knowledge Graphs
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出一种结合语言模型嵌入与图对比学习的多模态方法,并构建了增强知识图谱PrimeKG++,通过统一语义与关系信息显著提升了生物医学知识图谱中链接预测的准确性与泛化能力。
2025-06-28 cs.CL cs.LG
Causal Graph Neural Networks for Healthcare
University of Oxford(牛津大学);Leipzig University(莱比锡大学)
本文探讨了因果图神经网络在医疗保健中的应用,通过结合生物医学数据的图表示与因果推断,学习不变机制而非虚假相关性,旨在提升跨机构部署的性能并减少歧视性模式。
2026-03-27 cs.AI cs.LG
ResMGCN: Residual Message Graph Convolution Network for Fast Biomedical Interactions Discovering
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
提出残差消息图卷积网络ResMGCN,通过聚合低阶与高阶信息指导节点更新,在四个生物医学交互数据集上以更低存储和时间成本超越现有最先进模型。
2024-02-18 cs.AI cs.LG q-bio.MN
Learning General-Purpose Biomedical Volume Representations using Randomized Synthesis
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);New York University(纽约大学);Harvard Medical School(哈佛医学院)
针对3D生物医学数据集规模小且多样性低导致模型难以泛化的问题,提出通过随机合成数据引擎生成高变异性样本,并结合对比学习方法预训练单个3D网络,在多模态配准和少样本分割任务上创下新纪录。
2025-03-02 cs.CV cs.LG
DeepMed: Semiparametric Causal Mediation Analysis with Debiased Deep Learning
University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Columbia University(哥伦比亚大学)
因果中介分析可以解开因果关系的黑匣子,因此是解开生物医学和社会科学中因果路径的有力工具,也是评估机器学习公平性的有力工具。为了减少在中介分析中估计自然直接和间接效应的偏差,我们提出了一种名为DeepMed的新方法,该方法使用深度神经网络(DNN)来交叉拟合有效影响函数中的无限维滋扰函数。我们获得了新的理论结果,即我们的DeepMed方法(1)可以在不对DNN架构施加稀疏性约束的情况下实现半参数效率界,(2)可以适应滋扰函数的某些低维结构,显着推进了基于DNN的半参数因果推断的现有文献。进行了大量的合成实验,以支持我们的研究结果,也暴露了理论和实践之间的差距。作为概念验证,我们应用DeepMed分析了两个关于机器学习公平性的真实数据集,并得出了与之前发现一致的结论。
2022-12-26 cs.LG stat.ME stat.ML
Know2BIO: A Comprehensive Dual-View Benchmark for Evolving Biomedical Knowledge Graphs
UCLA(加州大学洛杉矶分校);Tsinghua University(清华大学);David Geffen School of Medicine(戴维·格芬医学院)
针对生物医学知识图谱构建中多源整合难、更新滞后、多模态数据不足等问题,提出通用异构基准Know2BIO,整合30类源数据并配套多模态特征,支持自动更新,验证了其作为生物医学KG表征学习基准的有效性。
2023-10-05 cs.AI cs.LG q-bio.QM
Learning Causally Disentangled Representations via the Principle of Independent Causal Mechanisms
University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文从独立因果机制角度定义因果解耦,提出ICM-VAE框架,利用非线性流函数建模因果机制并结合辅助标签学习解耦先验,理论上证明可辨识性,实验表明能提升干预鲁棒性与反事实生成能力。
2024-08-23 cs.LG stat.ML
Beyond identifiability: Learning causal representations with few environments and finite samples
本文提出在少量环境中通过有限样本学习因果表示的方法,通过扰动分析保证了潜在因果图、混合矩阵和未知干预目标的一致恢复。
2026-03-26 cs.AI cs.LG math.ST
Weakly supervised causal representation learning
Qualcomm AI Research(高通人工智能研究院);University of Amsterdam(阿姆斯特丹大学)
从非结构化的低级数据(如像素)中学习高级因果表示和因果模型是不可能的。我们证明在温和的假设下,这种表示是可识别的弱监督设置。这涉及一个数据集,其中包含随机、未知干预前后的配对样本,但没有进一步的标签。然后,我们引入隐式潜在的因果模型,变分自编码器表示因果变量和因果结构,而不必优化显式离散图结构。在简单的图像数据,包括一个新的数据集的模拟机器人操作,我们证明了这样的模型可以可靠地识别因果结构和解开因果变量。
2022-10-11 cs.LG stat.ML
Learning Causal State Representations of Partially Observable Environments
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学);California Institute of Technology(加州理工学院);University of Southern California(南加州大学);HK3 Lab(HK3实验室)
智能代理可以通过学习任务不可知的状态抽象来应对感官丰富的环境。在本文中,我们提出了一个算法来近似因果状态,这是粗划分的联合历史的行动和观察部分可观测马尔可夫决策过程(POMDP)。我们的方法从经过训练的RNN中学习近似的因果状态表示,以预测给定历史的后续观测。我们证明了这些学习的状态表示是有用的学习策略,有效地在强化学习问题与丰富的观察空间。我们连接因果状态与因果推理文献中的因果特征集,并通过证明互模拟的等价性(行为等价系统之间的关系),在Lipschitz假设下,对因果状态表示的连续版本的最优性提供理论保证。这允许学习表示的最优价值函数的下限,在给定某些假设的情况下,该下限是紧的。最后,我们经验评估因果状态表示使用多个部分可观察的任务,并与以前的方法进行比较。
2021-02-08 cs.LG stat.ML
Predictive Causal Inference via Spatio-Temporal Modeling and Penalized Empirical Likelihood
本研究提出结合HMM与MTGCN的预测因果推断集成框架,非对称处理时空信息以拓展双稳健估计,经临床场景模拟验证,可适配生物医学数据时空复杂性、提升偏差校正与预测精度。
2025-10-30 cs.LG stat.ME stat.ML
Challenges in Statistics: A Dozen Challenges in Causality and Causal Inference
本文指出因果关系与因果推断是统计学与多领域交叉的核心研究方向,虽过去三十年取得进展但仍有诸多开放问题,提出需从理论、方法、工具及跨领域合作等多方面推进该领域未来研究。
2025-08-23 stat.ME
A Knowledge-based Learning Framework for Self-supervised Pre-training Towards Enhanced Recognition of Biomedical Microscopy Images
National University of Defense Technology(国防科技大学);Wuhan University(武汉大学)
自监督预训练已成为建立可靠的神经网络的优先选择,用于自动识别大量的生物医学显微图像,这是常规的无注释,没有语义,没有质量保证。请注意,这种模式仍处于起步阶段,并受到密切相关的开放问题的限制:1)如何从样本中低多样性的未标记生物医学显微图像中以无监督的方式学习鲁棒表示?2)如何获得高质量分割所需的最有效表示?针对这些问题,本研究提出了一个基于知识的学习框架(TOWER),用于增强生物医学显微图像的识别,该框架通过协同对比学习和生成学习方法,分三个阶段工作:1)样本空间多样化:重构代理任务已经能够嵌入先验知识,突出上下文,以使扩展的样本空间多样化; 2)增强表示学习:信息性噪声对比估计损失使编码器规则化以增强无注释图像的表示学习; 3)相关优化:预训练编码器和解码器中的优化操作已经通过来自代理任务的图像复原而相关,目标是语义分割的需要。实验已经在生物医学显微镜图像的公共数据集上针对最先进的对应物(例如,结果表明:TOWER在所有自监督方法中统计学上都表现出色,比Simplified提高了1.38个百分点。TOWER在多模态医学图像分析中也具有潜力,并且能够实现标签高效的半监督学习,例如,在病理分类中降低了高达99%的标注成本。
2023-01-12 cs.AI cs.CV
Learning Causally Predictable Outcomes from Psychiatric Longitudinal Data
Departments of Biomedical Informatics \& Psychiatry, University of Pittsburgh, Pittsburgh, Pennsylvania 15206, United States of America
提出 DEBIAS 算法,通过学习临床可解释的非负结局聚合权重并利用既往治疗的限时直接效应,提升精神科纵向数据中治疗效应的因果可识别性。
2025-07-25 cs.LG q-bio.QM stat.ML
Unpaired Multi-Domain Causal Representation Learning
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);LIDS, Massachusetts Institute of Technology(麻省理工学院信息与决策系统实验室);Broad Institute of MIT and Harvard(布罗德研究所)
本文研究非配对多领域数据下的因果表示学习,在线性设定下给出联合分布与共享因果图的可识别性条件,并提出从各领域边际分布恢复共享潜在因果图的实用方法。
2023-10-27 cs.LG stat.ME stat.ML
Measure-Theoretic Anti-Causal Representation Learning
Illinois Institute of Technology(伊利诺伊理工学院)
针对反因果场景下因果表示学习的独特挑战,提出基于测度论的ACIA双层框架,通过干预核适配不同干预、无需显式因果结构、适配高维数据且有分布外泛化理论保证,实验及理论验证其性能优于现有方法。
2025-10-16 cs.AI cs.LG stat.ME
Improving Finite Sample Performance of Causal Discovery by Exploiting Temporal Structure
针对因果发现算法对统计误差敏感的问题,提出利用分层背景知识等时间结构来估计因果结构的算法,有效提升了有限样本下的准确性和鲁棒性,并在模拟与儿童队列研究中验证了其实用性。
2024-06-27 stat.ME stat.ML
A Causal Ordering Prior for Unsupervised Representation Learning
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院)
针对无监督表示学习中潜变量独立性假设过强的问题,提出基于潜变量加性噪声模型与 Hessian 损失的因果排序先验,实现无需辅助信息或干预数据的完全无监督因果表示学习。
2023-07-11 cs.AI cs.CV cs.LG
Bounds on causal effects in $2^{K}$ factorial experiments with non-compliance
针对因子实验中不依从问题,本文在更温和假设下,利用工具变量方法为有界结果的依从者平均处理效应提供界。
2025-08-05 stat.ME
Desiderata for Representation Learning: A Causal Perspective
UC Berkeley(加州大学伯克利分校)
表示学习构造低维表示来概括高维数据的本质特征。这个学习问题通常通过描述与学习的表示相关联的各种必要条件来解决;例如,它们是非虚假的,有效的,或不纠缠的。然而,将这些直观的需求转化为可以根据观察到的数据进行测量和增强的正式标准可能具有挑战性。在本文中,我们从因果的角度来看待表示学习,使用反事实量和因果断言的可观察结果来形式化非虚假性和效率(在监督表示学习中)和解纠缠(在无监督表示学习中)。这产生了可计算的度量,可用于评估表示满足感兴趣的需求的程度,并从单个观测数据集学习非虚假和解纠缠的表示。
2022-02-10 cs.LG stat.ME stat.ML
Mendelian randomization and causal networks for systematic analysis of omics
通过工具变量分析实现的孟德尔随机化在因果关系中经常被讨论,最近在真实数据上的应用数量正在增加。然而,很少有讨论,以解决现代生物医学问题,如整合大规模组学的因果关系。虽然在大型组学时代,我们面临着数百或数千个对底层结构知之甚少的组件,但该领域的重点是小规模的,并且大多具有已知的结构。大量组学数据的可用性突出了对技术的需求,以确定组学组件之间的相互连接,并揭示管理关系的原则。本研究扩展了工具变量技术,以确定大规模的因果网络和评估的假设。大规模的因果网络是复杂的,需要进一步的分析,以揭示机制,其中组件是相关的内部和之间的组学和疾病的终点。本研究将回顾因果网络在机械理解中的应用。
2020-04-15 stat.AP
ProtST: Multi-Modality Learning of Protein Sequences and Biomedical Texts
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Intel Labs(英特尔实验室);HEC Montréal(蒙特利尔高等商学院)
本文提出ProtST框架,通过构建ProtDescribe数据集并设计三类预训练任务,将生物医学文本与蛋白质序列进行多模态对齐,从而增强蛋白质语言模型的功能表示能力,并在监督学习、零样本分类和功能检索任务上验证其优越性。
2023-07-05 cs.LG q-bio.BM
Scalable Causal Structure Learning: Scoping Review of Traditional and Deep Learning Algorithms and New Opportunities in Biomedicine
University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心);Emory University School of Medicine(埃默里大学医学院)
因果结构学习是指从观察数据中识别因果结构的过程,它在生物医学和医疗保健中有多种应用。本文提供了一个实用的回顾和教程,可扩展的因果结构学习模型与现实世界的数据的例子,以帮助医疗保健受众理解和应用它们。我们回顾了因果结构发现的传统方法(组合方法和基于分数的方法)和基于机器学习的方案。我们还强调了生物医学的最新发展,其中因果结构学习可以应用于发现基因网络,大脑连接网络和癌症流行病学等结构。我们还比较了传统的和基于机器学习的因果发现算法在一些基准数据集上的性能。基于机器学习的方法(包括深度学习)相对于传统方法具有许多优点,例如可扩展性,包括更大数量的变量,并且如果有足够的数据可用,则潜在地应用于广泛的生物医学应用,例如遗传学。此外,这些模型比传统模型更灵活,并有望在未来对许多应用产生积极影响。
2023-01-18 cs.LG stat.AP
The Third Pillar of Causal Analysis? A Measurement Perspective on Causal Representations
Institute of Science and Technology Austria(奥地利科学技术研究院);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(马尔代夫穆罕默德·本·扎耶德人工智能大学)
针对因果表征学习中表征效用与评估标准不明的问题,本文基于测量模型框架提出T-MEX分数,可定量评估因果表征质量,经多场景验证有效。
2025-11-17 cs.LG
Emerging Drug Interaction Prediction Enabled by Flow-based Graph Neural Network with Biomedical Network
Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯杰维斯实验室)
针对新兴药物DDI信息稀缺问题,提出EmerGNN图神经网络,利用生物医学网络路径传播与加权边,实现高精度药物相互作用预测。
2023-11-15 cs.AI cs.CE cs.LG
Identification of Causal Diffusion Effects Under Structural Stationarity
虽然社会和生物医学科学家长期以来一直对思想和行为传播的过程感兴趣,但因果扩散效应(也称为同伴效应和传染效应)的识别仍然具有挑战性。由于语境混杂和同质性偏见的存在,许多学者认为常用的无遗漏混杂因素假设是不成立的。为了解决这个长期存在的问题,我们研究的因果识别下的一个新的假设结构平稳,形式化的基本扩散过程与一类动态因果有向无环图。首先,我们开发了一个统计测试,可以检测到广泛的偏见,包括上述两种类型。然后,我们提出了一个差异中的差异风格的估计,可以直接纠正偏差下一个额外的参数假设。利用所提出的方法,我们研究了德国对难民的仇恨犯罪的空间扩散。在纠正了现有研究中的大的向上偏差之后,我们发现仇恨犯罪只扩散到辍学率高的地区。
2020-01-27 stat.ME
Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Stanford University(斯坦福大学);ETH Zurich(苏黎世联邦理工学院)
本文研究多智能体交互表示的因果感知不足问题,提出基于因果标注的度量学习正则化及跨域多任务仿真到现实迁移方法,提升了间接因果建模、分布外鲁棒性与无真实因果标注时的泛化能力。
2025-06-11 cs.AI cs.CV cs.LG
SSL Framework for Causal Inconsistency between Structures and Representations
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学)
本文针对 Indefinite Data 中因果结构与因果表示之间的因果不一致问题,提出基于干预的自监督学习框架,通过多视角因果信息增强一致性,并在多个下游任务和 LLM 指令中验证了性能提升。
2024-12-31 cs.LG
Implicit Causal Representation Learning via Switchable Mechanisms
University of Waterloo(滑铁卢大学);Simon Fraser University(西蒙菲莎大学)
针对软干预下因果模型学习的挑战,提出基于可切换机制的隐式因果表示学习方法ICLR-SM,通过机制切换变量建模软干预效果,实验显示其在可识别因果表示学习上优于基线方法。
2024-08-16 cs.LG
Causal Flow-based Variational Auto-Encoder for Disentangled Causal Representation Learning
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
本文提出解耦因果变分自编码器(DCVAE),通过将因果流集成到有监督VAE框架中,解决传统解耦表示学习假设因子独立的局限,并在因果解耦、干预实验及下游任务中取得优于现有方法的性能。
2024-12-30 cs.LG stat.ME
Causal Inference of General Treatment Effects using Neural Networks with A Diverging Number of Confounders
本文提出一种基于人工神经网络的广义优化框架,用于在混杂因素维度发散时有效估计一般处理效应,建立了新的逼近误差界以缓解维度灾难,并证明了估计量的根-n一致性和渐近正态性。
2023-11-17 stat.ME stat.ML
PGB: A PubMed Graph Benchmark for Heterogeneous Network Representation Learning
Department of Computer Science, Emory University(埃默里大学计算机科学系)
针对生物医学文献异质性捕捉研究不足的问题,提出含丰富元数据、三类评估任务的PubMed图基准PGB,整合元数据并公开,用于评估异质图嵌入效果。
2023-08-25 cs.LG cs.SI
Causal Inference for Multiple Treatments using Fractional Factorial Designs
我们考虑在潜在结果框架内使用部分析因和不完全设计的多因素实验的设计和分析。当有限的资源使得运行完全析因设计不可行时,这些设计特别有用。我们将基于设计的方法与标准回归方法相结合。我们进一步激发了这些设计在多因素观察性研究中的有用性,其中某些治疗组合可能非常罕见,以至于在与它们对应的观察数据中没有测量结果。因此,概念化一个假设的部分析因实验,而不是一个完整的析因实验允许在这些设置进行适当的分析。我们说明了我们的方法,从2003-2004年周期的国家健康和营养检查调查的生物医学数据,以检查四种常见的农药对身体质量指数的影响。
2022-01-28 stat.ME
Causal Effect of Functional Treatment
针对泛函处理变量因果效应研究中现有方法仅能分析相关性、广义倾向得分无法直接适用的问题,提出三种基于泛函线性模型的估计量,验证了其理论性质与实用价值。
2025-05-17 math.ST stat.ME stat.TH
Diffusion Based Causal Representation Learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Helmholtz AI, Helmholtz Center Munich(亥姆霍兹慕尼黑中心亥姆霍兹人工智能);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学)
针对现有因果表示学习方法依赖VAE、仅能提供点估计表示且难处理高维数据的问题,提出基于扩散的因果表示学习算法DCRL,利用扩散表示和无限维潜码做因果发现,实验验证其在识别因果结构和变量上效果良好。
2023-11-09 cs.LG stat.ME
When Screening Misleads: A Robust Mendelian Randomization Test for Reliable Causal Discovery
School of Statistics and Data Science, LPMC and KLMDASR, Nankai University(南开大学统计与数据科学学院)
研究旨在解决孟德尔随机化中先筛选关联再评估因果效应导致的I型错误膨胀问题,提出新颖稳健MR检验,该检验能保持正确I型错误率且可利用先前汇总统计量提高功效,模拟研究显示其优于经典方法。
2026-07-14 stat.ME
A Novel Causal Mediation Analysis Approach for Zero-Inflated Mediators
中介分析在生物医学研究中进行因果推断以检查可能由一个或多个中间变量(即,调解人)。虽然调解框架已经建立,如反事实结果(即,潜在结果)模型和传统的线性调解模型,很少有人致力于处理调解人与零膨胀的结构,由于与过多的零相关的挑战。我们开发了一种新的中介建模方法,以解决零膨胀的调解员包含真零和假零。新的方法可以将总的中介效应分解为两个组成部分引起的零膨胀结构:第一个组成部分是由于在其数值尺度上,这是一个两个因果路径的总和,第二个组成部分是由于它的二元变化从零到非零的状态。一个广泛的模拟研究进行评估的性能,它表明,所提出的方法优于现有的标准因果中介分析方法。我们还展示了一个真正的研究与标准的因果中介分析方法相比,所提出的方法的应用。
2023-01-24 math.ST stat.AP stat.TH
Robust Inference for Causal Mediation Analysis of Recurrent Event Data
本文针对复发事件数据提出一种新的因果中介分析方法,在反事实框架下定义直接与间接效应,并开发三重稳健半参数估计量,用于评估糖尿病药物对心血管事件复发的影响及肾功能的中介作用。
2023-05-11 stat.ME
Uniform inference for kernel instrumental variable regression
Seminar for Statistics, ETH Zurich(苏黎世联邦理工学院统计研讨会);Society of Fellows and Department of Economics, Harvard University(哈佛大学费利格学会与经济系);Department of Economics, U.C. San Diego(加州大学圣地亚哥分校经济系)
研究为核工具变量回归开发有效且精确的置信集,核心方法是特定引导程序,主要贡献是提供实用推断程序,提升核方法在因果分析中的价值。
2026-07-07 math.ST stat.TH
Causal Inference in Longitudinal Data under Unknown Interference
本文针对纵向研究中未知且复杂的干扰结构,提出基于修正边际结构模型和逆概率加权的因果推断框架,用于识别和估计治疗历史的直接效应与溢出效应,并给出渐近性质与置信区间构造方法。
2025-08-25 math.ST stat.AP stat.ME
Leveraging specificity for causal inference in observational studies
本文提出一个正式定量框架,利用因果特异性假设在观察性研究中调整未测量混杂,适用于多治疗多结局的因果推断,并支持敏感性分析。
2025-06-23 stat.ME
Estimating causal effects of functional treatments with modified functional treatment policies
University of Minnesota(明尼苏达大学)
本文提出一种新的因果估计量MFTP,通过功能主成分分析分解解决无限维对象平均问题,用于估计个体治疗轨迹微调后的潜在结果,通过模拟和实证研究验证了其有效性。
2026-02-09 stat.ME