Identifiability Guarantees for Causal Disentanglement from Purely Observational Data
Massachusetts Institute of Technology(麻省理工学院);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学布罗德研究所);LIDS, Massachusetts Institute of Technology(麻省理工学院信息与决策系统实验室)
研究纯观测数据下的因果解缠问题,提出在加性高斯噪声和线性混合的非线性因果模型中实现因果变量逐层辨识的理论保证及基于得分估计求解二次规划的实用算法。
2024-12-23 cs.LG stat.ML
Weakly Supervised Disentangled Generative Causal Representation Learning
The Hong Kong University of Science and Technology(香港科技大学);Zhejiang Laboratory(之江实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出了一种在适当的监督信息下的分解能量因果表示(DEAR)学习方法.与现有的解开方法,强制独立的潜变量,我们考虑的一般情况下,潜在的利益因素可以是因果关系。我们发现,以前的方法与独立的先验未能解开因果相关的因素,即使在监督。基于这一发现,我们提出了一种新的解纠缠学习方法,称为DEAR,使因果可控生成和因果表示学习。这个新配方的关键成分是使用结构因果模型(SCM)作为双向生成模型的先验分布。然后,使用合适的GAN算法与关于地面实况因素及其潜在因果结构的监督信息结合,与生成器和编码器联合训练先验。我们提供了理论证明所提出的方法的可识别性和渐近收敛。我们进行了大量的实验,合成和真实的数据集,以证明的有效性,DEAR因果可控生成,和下游任务的样本效率和分布鲁棒性方面的学习表示的好处。
2022-08-24 cs.AI cs.LG stat.ML
Intervening to Learn and Compose Causally Disentangled Representations
University of Copenhagen(哥本哈根大学);KTH Royal Institute of Technology(瑞典皇家理工学院);University of Chicago(芝加哥大学)
本文提出通过添加上下文模块来训练高表达性生成模型,实现因果解耦的表示,从而提升生成效果。
2026-04-02 cs.LG stat.ML
Causal Flow-based Variational Auto-Encoder for Disentangled Causal Representation Learning
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
本文提出解耦因果变分自编码器(DCVAE),通过将因果流集成到有监督VAE框架中,解决传统解耦表示学习假设因子独立的局限,并在因果解耦、干预实验及下游任务中取得优于现有方法的性能。
2024-12-30 cs.LG stat.ME
Linear Causal Representation Learning by Topological Ordering, Pruning, and Disentanglement
School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai, China(上海交通大学数学科学学院);Institute of Natural Sciences, MOE--LSC(教育部-上海交大联合实验室);SJTU--Yale Joint Center for Biostatistics(上海交大-耶鲁大学生物统计联合中心);Data Science, Shanghai Jiao Tong University, Shanghai, China(上海交通大学数据科学);Bio--X Institutes, Shanghai Jiao Tong University, Shanghai, China(上海交通大学Bio-X研究院)
提出一种在更弱假设下通过拓扑排序、剪枝和解缠恢复线性因果表示的新算法,并通过合成实验和大语言模型可解释性分析验证其有效性。
2026-05-27 cs.LG stat.ML
Temporally Disentangled Representation Learning under Unknown Nonstationarity
Carnegie Mellon University(卡内基梅隆大学);Salesforce Research(Salesforce研究院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文研究非平稳序列数据中时间延迟潜在因果变量的可辨识性,提出NCTRL估计框架,无需辅助变量即可从非线性混合中恢复潜在变量并识别因果关系,实验证明其显著优于现有基线。
2024-08-01 cs.LG stat.ML
FlexCausal: Flexible Causal Disentanglement via Structural Flow Priors and Manifold-Aware Interventions
Southeast University, Jiangsu, China(东南大学)
FlexCausal 通过结构流先验和 manifold 意识干预,实现更灵活的因果解构表示学习,提升生成质量与因果结构对应精度。
2026-01-29 cs.LG
Temporally Disentangled Representation Learning
CMU(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
最近在无监督表示学习领域,通过利用某些边信息(例如类标签)以及独立性,已经建立了因果相关潜变量解纠缠的强可识别性结果。然而,大多数现有的工作受到函数形式假设的约束,如独立源或进一步与线性过渡,以及分布假设,如平稳,指数族分布。如果潜在变量之间存在任意的、非参数的因果影响,则不知道潜在变量及其因果关系是否可识别。在这项工作中,我们建立了非参数潜在因果过程的可识别性理论,从他们的非线性混合物下固定的时间因果影响,并分析如何分布的变化,可以进一步有利于解开。我们提出了\textbf{\texttt{TDRL}},一个原则性的框架来恢复时间延迟的潜在因果变量,并确定它们的关系,从测量的序列数据下,在平稳的环境和不同的分布偏移。具体而言,该框架可以将未知的分布偏移分解为固定和时变潜在因果关系下的过渡分布变化,以及观测变化下的观测变化。通过实验,我们表明,时间延迟的潜在因果影响是可靠的,我们的方法大大优于现有的基线,没有正确地利用这种模块化的变化表示。我们的代码可在:\url{https://github.com/weirayao/tdrl} .
2022-10-24 cs.LG stat.ME stat.ML
A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms
Université de Montréal(蒙特利尔大学);Ruprecht-Karls-Universität Heidelberg(海德堡大学);École Polytechnique Montréal(蒙特利尔综合理工学院)
我们建议元学习因果结构的基础上如何快速学习者适应新的分布所产生的稀疏分布的变化,例如,由于干预,代理的行动和其他来源的非平稳性。我们表明,在这种假设下,正确的因果结构的选择导致更快地适应修改后的分布,因为变化集中在一个或几个机制时,学到的知识是适当的模块化。这导致稀疏的预期梯度和较低的有效数量的自由度需要重新学习,同时适应变化。它激励使用修改后的分布的适应速度作为元学习目标。我们演示了如何使用它来确定两个观测变量之间的因果关系。分布的变化不需要对应于标准干预措施(钳制变量),学习者对这些干预措施没有直接的知识。我们表明,因果结构可以通过连续变量参数化,并学习端到端。然后,我们探索如何将这些想法用于学习编码器,该编码器将低级观察变量映射到未观察到的因果变量,从而更快地适应分布外,学习表示空间,其中可以满足独立机制的假设以及由于动作和非平稳性而导致的这些机制中的小而稀疏的变化。
2019-02-04 cs.LG stat.ML
Identifiability Guarantees for Causal Disentanglement from Soft Interventions
Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学布罗德研究所);Laboratory for Information and Decision Systems, MIT(麻省理工学院信息与决策系统实验室);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院);Google Research(谷歌研究院)
该研究针对潜因果变量不可观测的因果解缠场景,在广义忠实性假设下证明了可识别性,开发自编码变分贝叶斯算法实现框架,可在无限数据下恢复等价类潜因果模型并预测组合干预效果,已应用于基因组学组合扰动效应预测。
2023-11-09 cs.LG math.ST stat.ME
Concept-free Causal Disentanglement with Variational Graph Auto-Encoder
Southern University of Science and Technology(南方科技大学);Gongsheng Matrix(Gong Sheng Matrix)
针对图数据解缠表示学习,提出无概念因果解缠方法,通过紧上界近似和因果解缠层构建CCVGAE及CC-Meta-Graph,在AUC上分别提升29%和11%。
2023-11-17 cs.AI cs.LG stat.ME
Causal Disentanglement for Semantics-Aware Intent Learning in Recommendation
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学);University of New South Wales(新南威尔士大学);Tsinghua University(清华大学)
传统的基于观察交互数据训练的推荐模型在广泛的应用中产生了很大的影响,但它面临着覆盖用户真实意图的偏差问题,从而降低了推荐效果。现有的方法跟踪这个问题,因为消除了鲁棒推荐的偏差,例如,通过重新加权训练样本或学习解纠缠表示。非纠缠表征方法通过揭示偏差产生的因果关系来消除偏差。然而,如何设计语义感知和公正的表示用户的真实意图在很大程度上是未知的。为了弥合这一差距,我们首先从因果的角度提出了一种无偏见的语义感知的解纠缠学习,称为CaDSI(因果解纠缠语义感知意图学习)。特别是,CaDSI明确地建模的因果关系的推荐任务,从而产生语义感知表示通过解开用户的真实意图知道特定的项目上下文。此外,因果干预机制的目的是消除混淆的偏见源于上下文信息,这进一步调整语义感知表示与用户的真实意图。大量的实验和案例研究都验证了我们提出的模型的鲁棒性和可解释性。
2022-02-05 cs.IR cs.LG
Causal disentanglement of multimodal data
Center for Computing Research, Sandia National Laboratories(桑迪亚国家实验室计算研究中心);Applied Information Sciences Center, Sandia National Laboratories(桑迪亚国家实验室应用信息科学中心);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);School of Engineering and Applied Science, University of Pennsylvania(宾夕法尼亚大学工程与应用科学学院)
针对探索性因果表示学习缺乏先验信息的问题,提出causalPIMA算法,结合多模态数据与物理约束,通过可微框架同步学习DAG与潜空间,实现无监督下的因果特征发现与可解释结构学习。
2023-11-08 cs.AI cs.LG stat.ML
Causal Disentanglement Learning for Accurate Anomaly Detection in Multivariate Time Series
Dong-A University(东阿大学)
提出CDRL4AD方法,通过时间异构图和解耦潜在变量显式推断多变量时间序列不同时间段的因果关系,在准确率和根因分析上优于现有方法。
2025-10-13 cs.AI cs.LG
Desiderata for Representation Learning: A Causal Perspective
UC Berkeley(加州大学伯克利分校)
表示学习构造低维表示来概括高维数据的本质特征。这个学习问题通常通过描述与学习的表示相关联的各种必要条件来解决;例如,它们是非虚假的,有效的,或不纠缠的。然而,将这些直观的需求转化为可以根据观察到的数据进行测量和增强的正式标准可能具有挑战性。在本文中,我们从因果的角度来看待表示学习,使用反事实量和因果断言的可观察结果来形式化非虚假性和效率(在监督表示学习中)和解纠缠(在无监督表示学习中)。这产生了可计算的度量,可用于评估表示满足感兴趣的需求的程度,并从单个观测数据集学习非虚假和解纠缠的表示。
2022-02-10 cs.LG stat.ME stat.ML
Causal Disentanglement Hidden Markov Model for Fault Diagnosis
Tianjin University(天津大学);Ocean University of China(中国海洋大学)
本文提出因果解耦隐马尔可夫模型CDHM,通过解耦振动信号中的故障相关与无关因子并结合无监督域自适应,实现鲁棒的轴承故障诊断。
2023-08-06 cs.CV cs.LG eess.SP
Disentangled Representation Learning for Causal Inference with Instruments
University of South Australia(南澳大学);RMIT University(皇家墨尔本理工大学);University of Newcastle(纽卡斯尔大学)
针对潜在混杂下工具变量需已知或数量受限的问题,本文提出基于 VAE 的解耦表示学习方法,在未知 IV 代理身份时学习 IV 表示并实现因果效应无偏估计。
2024-12-05 cs.AI cs.LG stat.ML
Counterfactual Fairness with Disentangled Causal Effect Variational Autoencoder
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
如果我们能开发出一种方法来去除分类特征中隐藏的敏感信息,那么公平分类的问题就可以得到缓解。这条分离敏感信息的线是通过因果推理发展起来的,因果推理使反事实世代能够对比相反敏感属性的假设情况。随着这种与因果关系的分离,深层潜在因果模型中的一个频繁假设定义了一个单一的潜在变量来吸收因果图的整个外生不确定性。然而,我们声称这种结构不能区分1)由干预引起的信息(即,敏感变量)和2)来自数据的与干预相关的信息。因此,本文提出了解纠缠因果效应变分自编码器(DCEVAE)来解决这一局限性,它将外生不确定性分解为两个潜在变量:1)与干预措施无关; 2)与干预措施相关而无因果关系。特别是,我们的解开方法保留了潜在的变量相关的干预措施,在生成反事实的例子。我们表明,我们的方法估计的总效果和反事实的效果没有一个完整的因果图。通过添加公平正则化,DCEVAE生成反事实公平数据集,同时丢失较少的原始信息。此外,DCEVAE仅通过翻转敏感信息来生成自然的反事实图像。此外,我们从理论上展示了DCEVAE的协方差结构的差异和以前的工作的潜在的解纠缠的角度来看。
2020-12-09 cs.AI cs.LG
Graph Disentangle Causal Model: Enhancing Causal Inference in Networked Observational Data
Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
针对网络化观测数据中隐藏混杂及调整因素与混杂因素混淆的问题,提出 GDC 框架,通过因果解耦、多图聚合和因果约束提升 ITE 估计效果。
2024-12-05 cs.IR cs.LG
Disentangled Representations for Causal Cognition
School of Engineering and Informatics(工程与信息学院);University of Sussex(萨塞克斯大学);Araya Inc.(Araya公司)
本文连接因果认知研究与机器学习中的解耦表征方法,提出统一框架,为动物认知研究提供计算视角,并推动因果强化学习新算法的发展。
2024-06-30 cs.AI cs.LG q-bio.NC
Disentanglement of Latent Representations via Causal Interventions
University of Auckland(奥克兰大学)
本文提出一种结合因果理论与向量量化变分自编码器的解耦方法,通过因果图干预实现图像单一因素的原子转换,并引入动作检索任务,在不平衡数据下也能精确操控高层语义属性。
2023-09-23 cs.CV cs.DM cs.LG
Debiasing Graph Neural Networks via Learning Disentangled Causal Substructure
Beijing University of Posts and Telecommunications(北京邮电大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院)
大多数图神经网络(GNN)通过学习输入图和标签之间的相关性来预测未见过图的标签。然而,通过对具有严重偏差的训练图进行图分类研究,我们惊讶地发现,GNN总是倾向于探索虚假相关性来做出决策,即使因果相关性总是存在。这意味着在这种有偏数据集上训练的现有GNN将具有较差的泛化能力。通过分析这个问题的因果观点,我们发现,解开和解相关的因果和偏见的潜在变量从有偏的图都是至关重要的去偏。基于此,我们提出了一个通用的解纠缠GNN框架,分别学习因果子结构和偏差子结构。特别是,我们设计了一个参数化的边缘掩码生成器显式地分裂成因果和偏置子图的输入图。然后,分别由因果/偏差感知损失函数监督的两个GNN模块被训练成将因果和偏差子图编码成它们相应的表示。通过解纠缠的表示,我们合成了反事实的无偏训练样本,以进一步解相关因果和偏差变量。此外,为了更好地对严重偏差问题进行基准测试,我们构建了三个新的图数据集,这些数据集具有可控的偏差程度,并且更容易可视化和解释。实验结果很好地证明了我们的方法比现有的基线具有更好的泛化性能。此外,由于学习的边缘掩模,该模型具有吸引力的可解释性和可移植性。代码和数据可在https://github.com/googlebaba/DisC上获得。
2022-09-28 cs.AI cs.LG
Disentanglement via Mechanism Sparsity Regularization: A New Principle for Nonlinear ICA
Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);ServiceNow Research(ServiceNow研究院);Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心);Google Research(谷歌研究院)
这项工作引入了一种新的原则,我们称之为通过机制稀疏正则化,它可以应用于当感兴趣的潜在因素稀疏依赖于过去的潜在因素和/或观察到的辅助变量。我们提出了一种表示学习方法,通过同时学习潜在的因素和稀疏的因果关系图形模型,将它们联系起来,诱导解开。我们开发了一个严格的可识别性理论,建立在最近的非线性独立成分分析(ICA)的结果,形式化这一原则,并显示如何潜在的变量可以恢复到置换,如果一个正规化的潜在机制是稀疏的,如果一些图形连接标准是满足数据生成过程。作为我们框架的一个特例,我们展示了如何利用未知目标干预潜在因素来解开它们,从而进一步建立ICA和因果关系之间的联系。我们提出了一种基于VAE的方法,在该方法中,通过二进制掩码学习和正则化潜在机制,并通过在模拟中学习解纠缠表示来验证我们的理论。
2022-02-23 cs.LG stat.ML
Disentangling Dynamical Systems: Causal Representation Learning Meets Local Sparse Attention
Applied Artificial Intelligence Lab, Oxford Robotics Institute, Oxford, UK(应用人工智能实验室,牛津机器人研究所,英国牛津)
提出一种结合因果表示学习和局部稀疏注意力的方法,从原始轨迹数据中无结构假设地解耦系统参数,并通过图论准则保证可辨识性。
2026-06-12 cs.LG
Causality-Driven Disentangled Representation Learning in Multiplex Graphs
EPFL, Lausanne, Switzerland(苏黎世联邦理工学院)
本文提出一种基于因果推理的框架,通过自监督学习解耦多层图中的共同和私有信息,提升表示学习的鲁棒性和可解释性。
2026-03-25 cs.LG cs.SI
Causal Disentanglement with Network Information for Debiased Recommendations
Arizona State University(亚利桑那州立大学);City University of Hong Kong(香港城市大学)
推荐系统的目标是通过学习用户和项目的表示来向用户推荐新的项目。在实践中,这些表示是高度纠缠的,因为它们包括关于多个因素的信息,包括用户的兴趣,项目属性以及诸如用户一致性和项目流行度之类的混淆因素。考虑这些纠缠的表示来推断用户偏好可能导致有偏见的推荐(例如,当推荐器模型推荐流行项目时,即使它们不符合用户的兴趣)。最近的研究建议从因果关系的角度来建立推荐系统的模型。暴露和评级分别类似于因果推理框架中的治疗和结局。这种情况下的关键挑战是解释隐藏的混杂因素。这些混杂因素未被观察到,因此很难对其进行测量。另一方面,由于这些混杂因素会影响曝光率和评级,因此在生成无偏见推荐时必须考虑到它们。为了更好地近似隐藏的混杂因素,我们建议利用网络信息(即,用户-社交和用户-项目网络),其被示出影响用户如何发现项目并与项目交互。除了用户一致性,混淆的方面,如项目的流行程度存在于网络信息中也被捕获在我们的方法的帮助下,\textit{causal disentanglement}解开学习表示成独立的因素,负责(a)建模项目的暴露给用户,(b)预测的评级,和(c)控制隐藏的混杂因素。在真实数据集上的实验验证了该模型在去偏推荐系统中的有效性。
2022-04-14 cs.IR cs.LG stat.ML
Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies
Samsung AI Lab(三星人工智能实验室);Mila(米拉研究所);ServiceNow Research(ServiceNow研究院)
本研究提出机制稀疏性正则化原理,建立非参数可识别性理论,提出基于变分自编码器的估计方法,实现部分解缠,可利用多节点未知目标干预实现解缠,是CLeaR 2022工作的大幅扩展版。
2026-08-03 cs.LG stat.ML
Disentangled Double Machine Learning for Accurate Causal Effect Estimation
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机科学与信息工程学院);School of Computer and Information Technology, Shanxi University(山西大学计算机与信息学院)
提出解缠双机器学习(DDML),通过因果角色解缠和残差依赖正交化策略,解决高维或有限样本下双机器学习中因混淆因子未解缠导致的偏差和不稳定问题,在合成、半合成和真实数据集上优于13种基线方法。
2026-05-24 cs.AI cs.LG
Object-centric architectures enable efficient causal representation learning
Mila – Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Samsung - SAIT AI Lab, Montreal(三星SAIT人工智能实验室(蒙特利尔))
本文针对多对象观测下单射假设失效导致解耦失败的问题,提出一种修改 Slot Attention 的以对象为中心架构,利用稀疏扰动弱监督高效解耦各对象属性,并通过图像实验验证其数据效率和有效性。
2023-10-29 cs.LG
Disentangled Representation for Causal Mediation Analysis
University of South Australia(南澳大利亚大学);Guangxi Normal University(广西师范大学);Simon Fraser University(西蒙菲莎大学)
本文提出 DMAVAE,通过将潜在混杂因素解耦为三类并采用逐段去混杂假设,替代序列可忽略性,以准确估计因果中介的自然直接、间接和总效应。
2023-12-16 cs.LG stat.ME
Disentangle Estimation of Causal Effects from Cross-Silo Data
University of Electronic Science and Technology of China(电子科技大学);Huazhong University of Science and Technology(华中科技大学);Hong Kong Polytechnic University(香港理工大学);Nuowei Technology(诺威科技);Inner Mongolia Normal University(内蒙古师范大学)
针对跨孤岛私有数据导致局部因果效应估计偏差的问题,提出一种结合共享与私有分支的解耦架构以传输模型参数,并引入全局约束缓解缺失域偏差,在半合成数据集上优于现有基线方法。
2024-01-04 cs.AI cs.CR cs.LG
Disentangled Causal Graph Learning for Online Unsupervised Root Cause Analysis
NEC Laboratories America Inc.(NEC美国研究院);University of Central Florida(中佛罗里达大学)
针对离线根因分析需手动触发、训练成本高且难以适应新故障的问题,提出在线框架CORAL,通过自动触发检测、增量解耦因果图学习和网络传播定位根因,并在真实数据集上验证其优越性。
2023-06-02 cs.AI cs.LG
Representation Disentaglement via Regularization by Causal Identification
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对传统解耦表示学习的i.i.d.假设难以处理有偏数据集的问题,本研究提出基于因果对撞结构的识别正则化(ReI)方法,可在变分框架下更优地学习鲁棒、可解释且符合领域知识的解耦表示。
2024-01-26 cs.LG
Disentangled Latent Representation Learning for Tackling the Confounding M-Bias Problem in Causal Inference
Huazhong Agricultural University(华中农业大学);University of South Australia(南澳大利亚大学)
针对同一变量同时引发混杂偏倚与M偏倚的难题,本文提出DLRCE框架,从代理变量学习三组解耦潜在表示以同时校正两类偏倚,并在合成及三个真实数据集上验证其优于现有估计器。
2023-12-08 cs.AI cs.LG stat.ME
Sparsity regularization via tree-structured environments for disentangled representations
McGill University(麦吉尔大学);Mila;Valence Labs(Valence实验室);Université de Montréal(蒙特利尔大学);Samsung - SAIT AI Lab(三星-SAIT人工智能实验室)
针对多相关环境下的因果表征学习问题,提出基于树结构的稀疏正则化方法TBR,利用环境间映射的稀疏变化约束识别潜在因果变量,在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
Disentangled Representation with Causal Constraints for Counterfactual Fairness
University of South Australia(南澳大学);Simon Fraser University(西蒙弗雷泽大学)
针对公平表示学习忽视隐变量因果关系的问题,提出CF-VAE学习符合领域知识的结构化表示,理论保证反事实公平,并在实验中同时提升公平性与预测准确性。
2023-12-16 cs.AI cs.CY cs.LG
DRTCI: Learning Disentangled Representations for Temporal Causal Inference
TCS Research(塔塔咨询服务研究部)
评估患者替代治疗计划的医疗专业人员经常遇到随时间变化的混杂因素或影响未来治疗分配和患者结局的协变量。最近提出的反事实循环网络(CRN)通过使用对抗性训练来平衡患者数据的循环历史表示来考虑时变混杂因素。然而,这项工作假设所有时变协变量都是混淆的,因此试图平衡完整的状态表示。考虑到实际上可能混淆的协变量的实际子集通常是未知的,最近在静态、非时间设置中关于反事实评估的工作表明,将协变量表示分解为单独的因素,其中每个因素影响治疗选择、患者结局或两者,可以帮助隔离选择偏倚,并将平衡努力限制在影响结局的因素上,允许预测治疗的其余因素不被不必要地平衡。
2022-01-20 cs.AI cs.LG
Learning Disentangled Representations for Counterfactual Regression via Mutual Information Minimization
Alibaba Group(阿里巴巴集团)
学习个体水平的处理效应是因果推理中的一个基本问题,在许多领域受到越来越多的关注,特别是在用户增长领域,这是许多互联网公司关注的问题。近年来,将协变量分解为工具因子、混杂因子和调节因子的非纠缠表示学习方法在治疗效果估计中取得了巨大的成功。然而,如何准确地了解潜在的分离因素仍然是一个悬而未决的问题。具体而言,以前的方法无法获得独立的解开的因素,这是一个必要的条件,识别处理效果。在本文中,我们提出了通过互信息最小化(MIM-DRFR),它使用多任务学习框架来共享信息时,学习潜在的因素,并纳入MI最小化学习标准,以确保这些因素的独立性的反事实回归的解开表示。包括公共基准测试和真实工业用户增长数据集在内的广泛实验表明,我们的方法比最先进的方法表现得更好。
2022-06-02 cs.LG stat.ML
A Causal Disentangled Multi-Granularity Graph Classification Method
Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对图分类因缺乏多粒度区分导致关键信息混淆的问题,提出因果解耦多粒度图表示学习方法CDM-GNN,通过多粒度视角解耦重要子结构与偏差部分,在真实数据集上展现出强分类性能并生成符合人类认知的解释。
2023-10-25 cs.AI cs.LG stat.ME
Weakly supervised causal representation learning
Qualcomm AI Research(高通人工智能研究院);University of Amsterdam(阿姆斯特丹大学)
从非结构化的低级数据(如像素)中学习高级因果表示和因果模型是不可能的。我们证明在温和的假设下,这种表示是可识别的弱监督设置。这涉及一个数据集,其中包含随机、未知干预前后的配对样本,但没有进一步的标签。然后,我们引入隐式潜在的因果模型,变分自编码器表示因果变量和因果结构,而不必优化显式离散图结构。在简单的图像数据,包括一个新的数据集的模拟机器人操作,我们证明了这样的模型可以可靠地识别因果结构和解开因果变量。
2022-10-11 cs.LG stat.ML
Causal Markov Decision Processes: Learning Good Interventions Efficiently
University of Michigan(密歇根大学);Adobe Inc.(奥多比公司)
我们引入因果马尔可夫决策过程(C-MDP),一个新的形式主义顺序决策相结合的标准MDP制定因果结构的状态转移和奖励函数。许多当代和新兴的应用领域,如数字医疗和数字营销,可以受益于C-MDP建模,因为干预和状态/奖励之间的因果关系机制。我们提出了因果置信上限值迭代(C-UCBVI)算法,该算法利用C-MDP中的因果结构,并提高了不考虑因果知识的标准强化学习算法的性能。我们证明了C-UCBVI满足$\tilde{O}(HS\sqrt{ZT})$后悔界,其中$T$是总时间步,$H$是情节视界,$S$是状态空间的基数.值得注意的是,我们的后悔界限不与行动/干预的大小($A$)成比例,而只与因果图相关的量$Z$成比例,$Z$可以指数地小于$A$。通过将C-UCBVI扩展到因子化的MDP设置,我们提出了因果因子化的UCBVI(CF-UCBVI)算法,该算法进一步减少了$S$方面的指数后悔。此外,我们表明,RL算法的线性MDP问题也可以纳入C-MDP。我们的经验表明,我们的因果关系的方法在各种设置的好处,以验证我们的算法和理论结果。
2021-02-15 cs.LG stat.ML
On Disentangled Representations Learned From Correlated Data
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Toronto(多伦多大学);Vector Institute(向量研究所);Helmholtz AI(亥姆霍兹人工智能中心);Amazon(亚马逊);ETH Zurich(苏黎世联邦理工学院);Technical University of Denmark(丹麦技术大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
解开纠缠的方法的重点一直是确定数据的变化的独立因素。然而,现实世界的观察结果背后的因果变量往往不是统计独立的。在这项工作中,我们通过分析大规模实证研究(包括4260个模型)中相关数据上最突出的解纠缠方法的行为,弥合了与现实世界场景的差距。我们展示并量化了数据集中系统诱导的相关性,这些相关性正在学习并反映在潜在表示中,这对公平性等解纠缠的下游应用具有影响。我们还演示了如何解决这些潜在的相关性,无论是在训练过程中使用弱监督,还是通过事后纠正具有少量标签的预训练模型。
2021-07-16 cs.LG stat.ML
CAMO: Causality-Guided Adversarial Multimodal Domain Generalization for Crisis Classification
Arizona State University(亚利桑那州立大学);DEVCOM Army Research Laboratory(陆军研究实验室)
CAMO通过结合对抗去耦与统一表示学习,解决多模态危机分类中的领域泛化问题,提升模型在未见灾害场景下的性能。
2025-12-08 cs.LG
Deep Disentangled Representation Network for Treatment Effect Estimation
Alibaba Group(阿里巴巴集团)
本文提出一种结合专家混合、多头注意力与线性正交正则化的深度解耦表示算法,用于软分解协变量并消除选择偏差,从而更精确地估计个体治疗效果,实验证明其优于现有方法。
2025-07-09 cs.AI cs.LG
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University(清华大学);Hefei University of Technology(合肥工业大学)
DiseCTR通过解耦用户兴趣,提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
Causal Semantic Alignment for LLM-based Time Series Forecasting
University of Science and Technology of China(中国科学技术大学);University of California, Berkeley(加州大学伯克利分校)
提出CVAformer框架,通过因果干预解耦变量中的动态和不变成分,消除对齐中的混杂偏差,在多种预测场景下达到或超越最先进性能。
2026-06-06 cs.LG
We Need a More Robust Classifier: Dual Causal Learning Empowers Domain-Incremental Time Series Classification
School of Software, Northeastern University(东北大学软件学院);Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University(西安交通大学人工智能与机器人研究所);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院);School of Software, University of Science and Technology of China(中国科学技术大学软件学院)
本文提出双因果学习框架DualCD,通过解耦因果特征与虚假特征,提升领域增量时间序列分类的鲁棒性。
2026-01-15 cs.LG
Learning Causal Representations of Single Cells via Sparse Mechanism Shift Modeling
Genentech Research and Early Development(基因泰克研究与早期开发部);Stanford University(斯坦福大学);New York University(纽约大学)
潜在变量模型,如变分自动编码器(VAE)已成为分析生物学数据的首选工具,特别是在单细胞基因组学领域。剩下的一个挑战是潜在变量作为定义细胞身份的生物过程的可解释性。在生物学应用之外,这个问题通常被称为学习解纠缠表示。尽管引入了VAE的几种解缠绕促进变体,并将其应用于单细胞基因组学数据,但在没有额外结构的情况下,该任务已被证明是不可行的。相反,最近的方法建议利用非平稳数据,以及稀疏机制转移假设,以学习解纠缠表示与因果语义。在这里,我们将这些方法学进展的应用扩展到具有遗传或化学扰动的单细胞基因组学数据的分析。更确切地说,我们提出了一个单细胞基因表达数据的深度生成模型,其中每个扰动都被视为针对未知但稀疏的潜在变量子集的随机干预。我们对这些方法进行了模拟单细胞数据的基准测试,以评估它们在潜在单元恢复,因果目标识别和域外推广方面的性能。最后,我们将这些方法应用于两个真实世界的大规模基因扰动数据集,并发现利用稀疏机制转移假设的模型在迁移学习任务上优于当代方法。我们使用scvi-tools库实现了我们的新模型和基准测试,并在https://github.com/Genentech/sVAE上将其作为开源软件发布。
2023-02-16 cs.LG q-bio.GN
VDSM: Unsupervised Video Disentanglement with State-Space Modeling and Deep Mixtures of Experts
University of Surrey(萨里大学)
分解表示支持一系列下游任务,包括因果推理、生成建模和公平机器学习。不幸的是,没有监督或归纳偏见的结合,解开纠缠已经被证明是不可能的。鉴于监督通常是昂贵的或不可行的收购,我们选择将结构归纳偏差,并提出了一个无监督的,深状态空间模型的视频解纠缠(VDSM)。该模型通过采用分层结构、动态先验知识和混合专家模型解码器来消除潜在的时变和动态因素。VDSM学习视频中对象或人的身份以及正在执行的动作的单独的解纠缠表示。我们在一系列定性和定量的任务,包括身份和动力学转移,序列生成,Fréchet起始距离和因子分类评估VDSM。VDSM提供了最先进的性能,超过了对抗性方法,即使这些方法需要额外的监督。
2021-12-15 cs.CV cs.LG
Causal Representation Learning for Generalisable Recommendation
University of Warwick(沃里克大学);Spotify(Spotify公司);University College London(伦敦大学学院)
针对推荐系统中训练分布与部署分布不一致导致的泛化问题,提出基于因果表示学习的信息论解缠标准及其可计算变分下界,仅利用混淆日志即可提升模型在分布偏移下的泛化能力,在Spotify A/B测试、KuaiRand数据集和合成基准上验证了有效性。
2026-10-26 cs.LG stat.ME stat.ML
Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning
Responsible AI Research Centre(负责任人工智能研究中心);Australian Institute for Machine Learning, Adelaide University(阿德莱德大学澳大利亚机器学习研究所);School of Computer Science and Engineering, The University of New South Wales(新南威尔士大学计算机科学与工程学院);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学院);Department of Philosophy, Carnegie Mellon University(卡内基梅隆大学哲学系)
本文提出了一种用于多模态学习的潜在部分因果模型,通过解耦表示提升模型在少量样本学习和领域泛化中的性能。
2026-02-27 cs.CV cs.LG stat.ML
Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability
EPFL, LTS4 laboratory, Lausanne, Switzerland(瑞士洛桑联邦理工学院,LTS4实验室,洛桑,瑞士)
从函数视角出发,通过生成映射雅可比的正交性约束实现无监督解缠,证明该条件在无需统计独立或因果假设下保证非线性生成模型的可识别性,实验验证了理论有效性。
2026-08-11 cs.AI cs.LG
ROPES: Robotic Pose Estimation via Score-Based Causal Representation Learning
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);Rensselaer Polytechnic Institute(伦塞拉尔理工学院)
本文提出ROPES,一种基于评分因果表示学习的无监督机器人姿态估计方法,通过干预识别可控潜在因子,无需标记数据即可高保真解耦,为CRL提供实用测试平台。
2025-10-23 cs.LG cs.RO
Disentangled Representation via Variational AutoEncoder for Continuous Treatment Effect Estimation
National University of Defense Technology(国防科技大学);College of Systems Engineering(系统工程学院)
针对连续处理效应估计中协变量混杂与噪声问题,提出DRVAE模型将协变量解耦为工具、混杂、调整和噪声因子,通过平衡混杂因子提升剂量-反应曲线估计精度,优于现有方法。
2024-06-04 cs.LG