Causal Structural Hypothesis Testing and Data Generation Models
University of California, Los Angeles(加州大学洛杉矶分校)
大量的专家和领域知识被捕获的因果结构先验,但一直很少有研究测试这样的先验的泛化和数据合成的目的。我们提出了一种新的模型架构,因果结构假设检验,可以使用非参数,结构因果知识和近似因果模型的功能关系,使用深神经网络。我们使用这些架构来比较结构先验,类似于假设检验,使用训练和测试数据的故意(非随机)分裂。大量的模拟证明了分布外泛化误差作为因果结构先验假设检验的代理的有效性,并为解释结果提供了统计基线。我们表明,变分版本的架构,因果结构变分假设检验可以提高性能在低信噪比制度。由于模型的简单性和低参数计数,从业者可以在小数据集上测试和比较结构先验假设,并使用具有最佳泛化能力的先验来合成更大的因果信息数据集。最后,我们在合成摆数据集上验证了我们的方法,并在现实世界的创伤手术地面坠落数据集上展示了一个用例。
2022-11-04 cs.AI cs.LG stat.ML
Test Time Training for Supervised Causal Learning
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Microsoft(微软);Sony Research(索尼研究)
针对监督因果学习在分布外泛化中的不足,提出测试时训练框架TTT-SCL,通过动态生成与测试实例对齐的训练集,显著提升因果发现性能。
2026-05-28 cs.AI cs.LG
Few-Shot Causal Representation Learning for Out-of-Distribution Generalization on Heterogeneous Graphs
School of Computing, Macquarie University(麦考瑞大学计算学院);Hong Kong University of Science and Technology(香港科技大学)
针对异质图少样本学习中源图、训练与测试数据分布偏移问题,提出COHF,利用结构因果模型、变分自编码器异质图网络和元学习实现分布外泛化,并在七个数据集上验证优势。
2024-04-16 cs.AI cs.LG
Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization
Nanjing University(南京大学);Southeast University(东南大学)
多实例学习(MIL)处理表示为实例袋的对象,并可以从袋级监督中预测实例标签。然而,显着的性能差距之间存在的实例级MIL算法和监督学习者,因为实例标签是不可用的MIL。大多数现有的MIL算法解决这个问题,处理多实例袋有害的歧义和预测实例标签,通过减少监督不准确。本文从一个新的角度研究MIL,将袋子作为辅助信息,并利用它从袋子级弱监督中识别实例级因果表示。我们提出了CauseMIL算法,它不仅擅长于实例标签预测,但也提供了鲁棒性的分布变化,协同集成MIL与可识别的变分自编码器。我们的方法是基于一个实际的和一般的假设:先验分布的实例潜在的表示属于非因式分解的指数族条件的多实例袋。在合成数据集和真实数据集上的实验表明,我们的方法在实例标签预测和分布外泛化任务上的性能明显优于各种基线。
2022-10-05 cs.LG
Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
The Chinese University of Hong Kong(香港中文大学);Hong Kong Baptist University(香港浸会大学);Tencent AI Lab(腾讯人工智能实验室);The University of Sydney(悉尼大学)
尽管最近成功地将不变性原理用于欧几里德数据的分布外(OOD)推广(例如,图像),对图形数据的研究仍然有限。与图像不同,图形的复杂性对采用不变性原理提出了独特的挑战。特别是,图上的分布偏移可以以属性和结构等多种形式出现,使得难以识别不变性。此外,域或环境分区,这往往是需要的OOD方法对欧几里德数据,可能是非常昂贵的获得图。为了弥补这一差距,我们提出了一个新的框架,称为因果启发不变图学习(CIGA),捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说,我们的特点潜在的分布偏移图与因果模型,得出结论,OOD泛化图是可以实现的,当模型只集中在子图包含最多的信息标签的原因。因此,我们提出了一个信息理论的目标,以提取所需的子图,最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验,包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD,验证了CIGA的卓越OOD性能。
2022-10-11 cs.LG
CGRL: Causal-Guided Representation Learning for Node-Level Out-of-Distribution Generalization
School of Artificial Intelligence, Anhui University, Hefei, China(人工智能学院,安徽大学,合肥,中国)
本文提出CGRL方法,通过因果引导学习提升图数据在分布外情况下的泛化能力,结合因果表示学习和损失替换策略,有效缓解互信息学习不稳定问题。
2026-08-13 cs.LG stat.ML
Quantifying Explanation Quality in Graph Neural Networks using Out-of-Distribution Generalization
University of Virginia(弗吉尼亚大学);Entalpic
本文提出EGS指标,用于量化图神经网络解释的因果相关性,通过分布外泛化评估解释的因果有效性。
2026-02-07 cs.LG
Graph Out-of-Distribution Generalization via Causal Intervention
Shanghai Jiao Tong University(上海交通大学)
针对图神经网络在分布偏移下性能下降且缺环境标签的问题,提出基于因果推断、协调环境估计器与混合专家GNN的方法,抵消混淆偏差提升泛化,在基准上准确率最高提升27.4%。
2024-08-16 cs.LG cs.SI
Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization
Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学)
针对反事实增强数据在分布外泛化中因短视现象而潜力未充分释放的问题,提出基于数据集级和句子级结构特性的两个额外约束,以提取更完整因果特征,在情感分析和自然语言推理任务上提升OOD泛化性能1.0%-5.9%。
2023-10-10 cs.AI cs.CL cs.LG
Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach
Jinan University(暨南大学);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
针对不变表示学习中存在的虚假OOD不变性问题,提出重构结构因果模型RS-SCM及基于条件互信息的纠正方法,通过小型特征选择子网络实现,在多个基准上验证了有效性。
2023-12-15 cs.AI cs.LG stat.ME
Causal Modeling of Soil Processes for Improved Generalization
University of Minnesota Twin Cities(明尼苏达大学双城分校);Microsoft Research(微软研究院);Rothamsted Research(洛桑研究所);University of Glasgow(格拉斯哥大学)
测量和监测土壤有机碳对于农业生产力和解决关键环境问题至关重要。土壤有机碳不仅丰富了土壤中的营养,而且还具有一系列的共同利益,如改善水储存和限制物理侵蚀。尽管在土壤有机碳估算方面做了大量工作,但目前的方法在土壤条件和管理实践中并没有很好地推广。我们的经验表明,明确的土壤过程之间的因果关系建模提高了预测模型的分布泛化能力。我们提供了一个比较分析的土壤有机碳估计模型,其中的骨架估计使用因果发现方法。我们的框架提供了81%的测试均方误差和52%的测试平均绝对误差的平均改善。
2022-11-10 cs.CY cs.LG
Improving Graph Out-of-distribution Generalization Beyond Causality
East China Normal University(东中国Normal大学);Southeast University(东南大学);Zhejiang Lab(浙江实验室)
本文提出DEROG方法,通过环境-标签依赖性和可变基本原理不变性定理及广义贝叶斯推断,改进真实世界图分布外泛化性能。
2026-11-13 cs.LG
DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification
Stevens Institute of Technology(史蒂文斯理工学院);George Mason University(乔治梅森大学)
针对图神经网络在分布偏移下泛化不足的问题,本文基于结构因果模型提出DeCaf因果解耦框架,独立学习无偏特征-标签与结构-标签映射,并通过理论与实验验证其OOD泛化效果。
2024-10-27 cs.LG
Out-of-Distribution Generalization on Graphs via Progressive Inference
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);Shaanxi Provincial Key Laboratory of Big Data Knowledge Engineering, Xi’an Jiaotong University(西安交通大学陕西省大数据知识工程重点实验室);School of Distance Education, Xi’an Jiaotong University(西安交通大学远程教育学院);University of Virginia(弗吉尼亚大学)
本文提出GPro模型,通过渐进式推理将图因果不变学习分解为从易到难的多个步骤,并结合反事实样本扩大训练分布,有效提升了图神经网络在分布外数据上的泛化能力。
2025-03-04 cs.LG
A step towards the applicability of algorithms based on invariant causal learning on observational data
Universidad Politécnica de Madrid(马德里理工大学)
针对观测数据缺乏多环境的问题,提出一种高效生成训练环境的方法,将其与ICP结合用于因果发现,并改进以适用于多协变量数据集。
2023-04-05 cs.LG stat.ME
Humanoid-inspired Causal Representation Learning for Domain Generalization
本文提出受人类视觉分层处理启发的因果框架HSCM,通过解耦并重加权颜色、纹理、形状等属性建模细粒度因果机制,从而提升跨域泛化、稳健性与可解释性。
2025-10-18 cs.AI cs.LG
A Shift in Perspective on Causality in Domain Generalization
CHAI Hub(CHAI中心);The University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Archimedes, Athena Research Center(阿奇米德与雅典研究所);King's College London(伦敦国王学院);University College London(伦敦大学学院);National and Kapodistrian University of Athens(雅典国家与卡波迪斯蒂亚纳大学)
本文重新审视因果建模在域泛化中的泛化承诺,通过调和现有文献中的矛盾,提出更细致的因果作用理论,并提供交互式演示。
2025-08-18 cs.AI cs.CV cs.LG
On the Generalization and Adaption Performance of Causal Models
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);ETH Zurich(苏黎世联邦理工学院);KTH Stockholm(斯德哥尔摩KTH皇家理工学院);DeepMind(深度思维)
提供鲁棒的分布外泛化和快速自适应的学习模型是现代机器学习的关键挑战。将因果结构建模到神经网络中有望实现鲁棒的零和Few-Shot自适应。最近在可区分因果发现方面的进展已经提出将数据生成过程分解为一组模块,即每个变量的条件分布的一个模块,其中仅因果父项用作预测因子。这种知识的模块化分解使得能够通过仅更新参数的子集来适应分布变化。在这项工作中,我们系统地研究了这种模块化神经因果模型的泛化和自适应性能,将其与单片模型和结构化模型进行比较,其中预测因子集不限于因果父模型。我们的分析表明,模块化神经因果模型优于其他模型的零和Few-Shot适应低数据制度,并提供强大的推广。我们还发现,与密集图相比,稀疏图的效果更显着。
2022-06-09 cs.AI cs.LG stat.ML
A Unified View of Causal and Non-causal Feature Selection
University of South Australia(南澳大学)
在本文中,我们的目标是发展一个因果和非因果特征选择方法的统一观点。统一的观点将填补两类方法关系研究的空白。基于贝叶斯网络框架和信息论,我们首先表明,因果和非因果特征选择方法共享相同的目标。也就是说,找到一个类属性的马尔可夫毯,理论上最优的分类特征集。然后,我们研究因果和非因果特征选择方法在搜索最优特征集时所做的假设,并通过将其映射到所研究问题的贝叶斯网络模型结构上的限制来统一假设。我们进一步详细分析了结构假设如何导致在搜索中所采用的方法的不同程度的近似,然后导致在特征集中的近似,这些方法相对于最佳特征集找到。有了统一的观点,我们能够从因果的角度解释非因果方法的输出,并推导出两种方法的误差界。最后,我们提出的因果关系和非因果关系的方法,使用广泛的实验与合成数据和各种类型的真实数据之间的关系的实际理解。
2018-12-16 cs.AI cs.LG stat.ML
Membership Inference Attacks and Generalization: A Causal Perspective
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院)
隶属度推断(MI)攻击突出了现有神经网络随机训练方法的隐私弱点。然而,人们并不很清楚它们为什么会出现。它们仅仅是不完美的概括的自然结果吗?在培训期间,我们应该解决哪些根本原因,以减轻这些攻击?为了回答这些问题,我们提出了第一种方法来解释MI攻击及其与基于原则因果推理的泛化的联系。我们提供因果关系图,定量解释所观察到的MI攻击性能达到$6$攻击变种。我们驳斥了几个先前的非定量假设,这些假设过度简化或高估了潜在原因的影响,从而未能捕捉到几个因素之间复杂的相互作用。我们的因果模型还显示了泛化和MI攻击之间的新联系,通过其共享的因果因素。我们的因果模型具有高预测能力($0.90$),即,他们的分析预测往往与看不见的实验中的观察相吻合,这使得通过他们进行分析成为一种实用的选择。
2022-10-30 cs.AI cs.CR cs.LG
A Causal Framework to Unify Common Domain Generalization Approaches
Huawei(华为)
本文提出一个因果框架,从关键思想、理论依据、方法关联及优劣局限三方面统一理解常见域泛化方法,以揭示底层原理并促进更有效方法的开发。
2023-07-13 cs.AI cs.LG
Causal-Symbolic Meta-Learning (CSML): Inducing Causal World Models for Few-Shot Generalization
smail.iitm.ac.in(印度理工学院)
针对深度学习依赖虚假相关性导致泛化差的问题,提出CSML框架,通过感知、可微因果诱导和图推理模块学习共享因果世界模型,实现少样本快速适应,并在CausalWorld基准上显著优于基线。
2025-09-15 cs.AI cs.LG stat.ML
Improving Multi-Task Generalization via Regularizing Spurious Correlation
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
多任务学习(MTL)是一种通过知识共享来提高泛化性能的强大学习范式。然而,现有的研究发现,MTL有时会损害概括,特别是当两个任务相关性较低时。损害泛化的一个可能原因是虚假相关,即,有些知识是虚假的,与任务标签没有因果关系,但模型可能错误地利用它们,因此当这种相关性发生变化时,模型就会失败。在MTL设置中,存在伪相关的几个独特挑战。首先,具有非因果知识的风险更高,因为共享的MTL模型需要对来自不同任务的所有知识进行编码,并且一个任务的因果知识可能对另一个任务是虚假的。第二,任务标签之间的混淆给MTL带来了不同类型的虚假相关。我们从理论上证明了MTL比单任务学习更倾向于从其他任务中获取非因果知识,从而概括性更差。针对这一问题,本文提出了多任务因果表示学习框架,旨在通过分解神经模块来表示多任务知识,并通过特定于MTL的不变正则化来学习哪个模块与每个任务有因果关系。实验结果表明,通过缓解虚假相关问题,MTL模型的性能比Multi-MNIST,MovieLens,Taskonomy,CityScape和NYUv 2平均提高了5.5%。
2022-11-24 cs.AI cs.LG
Domain Generalization -- A Causal Perspective
Army Research Laboratory(陆军研究实验室);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
机器学习模型依赖于各种假设来获得高精度。这些模型的一个初步假设是独立同分布,这表明训练和测试数据是从同一分布中采样的。然而,由于分布偏移,这种假设在现实世界中很少成立。因此,依赖于这种假设的模型表现出较差的泛化能力。在最近几年中,已经做出了专门的努力来提高这些统称为-- \textit{domain generalization methods}的模型的泛化能力。这些方法背后的主要思想是识别在不同分布中保持不变的稳定特征或机制。许多推广方法采用因果理论来描述不变性,因为因果关系和不变性是密不可分的。然而,目前的调查处理的空缺意识的领域泛化方法在一个非常高的水平。此外,我们认为,可以根据因果关系在该方法中的杠杆作用以及在模型管道的哪一部分使用来对方法进行分类。为此,我们将因果领域泛化方法分为三类,即(i)在数据预处理阶段应用的因果数据增强方法的不变性,(ii)在表示学习阶段使用的因果表示学习方法的不变性,以及(iii)在管道分类阶段应用的因果机制方法的不变性。此外,该调查还包括对领域泛化方法的基准数据集和代码库的深入了解。我们以关于未来方向的见解和讨论结束了调查。
2022-11-06 cs.LG
Multi-View Causal Representation Learning with Partial Observability
Institute of Science and Technology Austria(奥地利科学技术研究所);Max Planck Institute for Intelligent Systems, Tübingen(图宾根马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学);Samsung - SAIT AI Lab(三星SAIT AI实验室);Mila, Université de Montréal(蒙特利尔大学Mila研究所);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);ServiceNow Research(ServiceNow研究院);University of Tübingen(图宾根大学);University of Cambridge(剑桥大学)
该研究提出部分可观测下的多视图因果表示学习统一框架,证明对比学习可辨识视图共享信息,给出可辨识性代数图判据,统一拓展相关领域研究,实验验证了多部分视图可学习更细粒度表示。
2024-03-08 cs.AI cs.LG
What You Observe Determines How You Identify Causal Effects: Evaluating Causal Models across Observational Views
Yonsei University(延世大学);University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
本研究提出CausalIDView基准,通过固定SCM和目标估计量仅改变观测视图,发现因果基础模型在不同识别机制下表现不稳定,而结合显式识别与预测模型的模块化方法更具竞争力。
2026-09-30 cs.LG
Causal Forecasting:Generalization Bounds for Autoregressive Models
University of Tübingen(图宾根大学);Amazon Research(亚马逊研究院);Technical University of Munich(慕尼黑工业大学)
尽管预测方法的相关性越来越高,但这些算法的因果关系在很大程度上仍未得到探索。这是考虑到,即使在简化的假设,如因果充分性,一个模型的统计风险可以从它的\textit{causal risk}显着不同。在这里,我们研究的问题,\textit{causal generalization} -概括从观察干预分布-在预测。我们的目标是找到这个问题的答案:自回归(VAR)模型在预测统计关联方面的有效性与其在干预下的预测能力相比如何?为此,我们介绍了预测的\textit{causal learning theory}的框架。使用这个框架,我们获得了统计和因果风险之间的差异,这有助于确定它们之间的分歧来源的表征。在因果充分性下,因果泛化的问题相当于协变量变化下的学习,尽管有额外的结构(限制VAR模型下的干预分布)。这种结构使我们能够获得一致的收敛界的因果推广的VAR模型类。据我们所知,这是第一个工作,提供了理论保证因果概括的时间序列设置。
2022-09-08 cs.LG stat.ML
Invariant Structure Learning for Better Generalization and Causal Explainability
Google Cloud AI(谷歌云人工智能);University of Southern California(南加州大学)
学习数据背后的因果结构对于提高泛化能力和获得高质量的解释是非常宝贵的。我们提出了一个新的框架,不变结构学习(ISL),旨在提高因果结构发现利用泛化作为指示。ISL将数据分割到不同的环境中,并通过施加一致性约束来学习在不同环境中对目标不变的结构。然后,聚合机制基于图结构选择最佳分类器,该图结构与从各个环境中学习的结构相比更准确地反映了数据中的因果机制。此外,我们将ISL扩展到自监督学习设置,其中准确的因果结构发现不依赖于任何标签。这种自监督ISL通过迭代地将不同的节点设置为目标来利用不变的因果关系提案。在合成和真实世界的数据集上,我们证明了ISL准确地发现了因果结构,优于其他方法,并为具有显著分布偏移的数据集提供了优越的泛化能力。
2022-06-13 cs.LG stat.ML
Domain Generalization using Causal Matching
Microsoft Research(微软研究院)
在领域泛化文献中,一个共同的目标是在类标签的条件下学习独立于领域的表示。我们表明,这个目标是不够的:存在反例,即使在满足类条件域不变性后,模型也无法推广到看不见的域。我们通过一个结构因果模型来正式说明这一观察结果,并展示了建模类内变化对泛化的重要性。具体来说,类包含表征特定因果特征的对象,域可以被解释为对这些对象的干预,改变非因果特征。我们强调一个替代条件:如果域之间的输入来自同一对象,则它们应该具有相同的表示。基于这一目标,我们提出了基于匹配的算法时,观察到的基础对象(例如,通过数据增强),并在未观察到对象时近似目标(MatchDG)。我们简单的基于匹配的算法是有竞争力的旋转MNIST,时尚MNIST,PACS和胸部X射线数据集的域外精度的先前工作。我们的方法MatchDG还恢复了地面实况对象匹配:在MNIST和Fashion-MNIST上,来自MatchDG的前10个匹配与地面实况匹配有超过50%的重叠。
2021-06-29 cs.AI cs.LG stat.ML
Contrastive ACE: Domain Generalization Through Alignment of Causal Mechanisms
University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学)
领域泛化的目的是从多个源领域中学习跨不同分布的知识不变量,同时对下游任务具有语义意义,以提高模型对未知目标领域的泛化能力。基本目标是了解这些观测分布背后的基本“不变性”,这种不变性已被证明与因果关系密切相关。虽然许多现有的方法利用的属性,因果功能是跨域不变的,我们认为因果不变性的平均因果效应的功能的标签。这种不变性规范了我们的训练方法,其中对特征进行干预,以加强跨域分类器因果预测的稳定性。因此,我们的工作揭示了一些光的领域泛化问题,通过引入不变性的机制到学习过程中。在多个基准数据集上的实验证明了该方法对SOTA的性能。
2021-06-02 cs.LG stat.ML
Beyond Correlation: Causal Multi-View Unsupervised Feature Selection Learning
Joint Laboratory of Data Science and Business Intelligence, School of Statistics and Data Science, Southwestern University of Finance and Economics(数据科学与商务智能联合实验室,统计与数据科学学院,西南财经大学);College of Information Science and Engineering, Ocean University of China(信息科学与工程学院,中国海洋大学);School of Computing and Artificial Intelligence, Southwest Jiaotong University(计算与人工智能学院,西南交通大学)
针对现有多视图无监督特征选择方法因忽略混杂因子导致的虚假相关性易选出无关特征的问题,本文提出CAUSA方法,通过因果正则化缓解虚假相关性,实验验证其性能优于现有最优方法。
2025-11-18 cs.LG
Multi-View Causal Discovery without Non-Gaussianity: Identifiability and Algorithms
Inria(法国国家信息与自动化技术研究院);CEA(法国国家科学研究中心);University of Paris-Saclay(巴黎-萨克勒大学);University of Carnegie Mellon(卡内基梅隆大学);Apple(苹果公司);University of Helsinki(赫尔辛基大学)
该研究针对因果发现需强非高斯性假设的问题,利用多视图结构提出多视图线性结构方程模型及相关算法,可估计脑区因果图,在模拟与神经影像数据中验证有效。
2026-10-23 cs.LG stat.ML
Causality Inspired Representation Learning for Domain Generalization
Beijing Institute of Technology(北京理工大学);Alibaba Group(阿里巴巴集团)
领域泛化本质上是一个分布外问题,旨在将从多个源领域学习到的知识泛化到一个未知的目标领域。主流是利用统计模型来建模数据和标签之间的依赖关系,旨在学习独立于领域的表示。然而,统计模型是对现实的肤浅描述,因为它们只需要对依赖性而不是内在的因果机制进行建模。当相关性随目标分布而变化时,统计模型可能无法推广。在这方面,我们引入了一个一般的结构因果模型来形式化DG问题。具体来说,我们假设每个输入都是由因果因素(其与标签的关系在各个领域都是不变的)和非因果因素(与类别无关)的混合构成的,并且只有前者导致分类判断。我们的目标是从输入中提取因果因素,然后重建不变的因果机制。然而,理论上的想法是远离实际的DG,因为所需的因果/非因果因素是不可观察的。我们强调,理想的因果因素应满足三个基本属性:分离的非因果的,共同独立的,因果关系足以分类。在此基础上,我们提出了一个因果启发表示学习(CIRL)算法,强制表示满足上述性质,然后使用它们来模拟因果因素,从而提高泛化能力。在几个广泛使用的数据集上的实验结果验证了该方法的有效性。
2022-03-27 cs.CV cs.LG
Causal Balancing for Domain Generalization
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
虽然机器学习模型在各种现实世界的任务中迅速推进了最先进的技术,但考虑到这些模型对虚假相关性的脆弱性,域外(OOD)泛化仍然是一个具有挑战性的问题。我们提出了一个平衡的小批量抽样策略,将有偏的数据分布转换为无杂散的平衡分布,基于数据生成过程的基本因果机制的不变性。我们认为,贝叶斯最优分类器在这样的平衡分布上训练的是在足够多样化的环境空间中的最小最大最优。我们还提供了一个可识别性保证的潜在变量模型的数据生成过程中,利用足够的训练环境。在DomainBed上进行了实验,经验证明我们的方法在基准测试报告的20个基线上获得了最佳性能。
2023-02-19 cs.AI cs.CV cs.LG
Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains
Independent Researcher, China(独立研究者)
针对演化领域泛化中虚假相关性阻碍泛化的问题,提出时间感知结构因果模型与SYNC方法,通过整合信息论目标至序列VAE框架学习时间感知因果表示,实现更优的时间泛化性能。
2025-06-28 cs.LG stat.ML
Generalization bound for estimating causal effects from observational network data
Guangdong University of Technology(广东工业大学);Shantou University(汕头大学)
针对观测网络数据因果效应估计缺乏泛化界分析的问题,本文结合联合倾向得分重加权与IPM表示学习推导出泛化界,并据此提出加权回归方法,在真实网络半合成数据上验证了有效性。
2023-08-08 cs.LG stat.ME
A Causal View on Robustness of Neural Networks
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个因果关系的观点,神经网络的鲁棒性对输入操作,这不仅适用于传统的分类任务,而且一般的测量数据。基于这一观点,我们设计了一个深度因果操纵增强模型(deep CAMA),该模型明确地对导致观察到的效果发生变化的某些原因进行了可能的操纵建模。我们进一步开发了数据增强和测试时间微调方法,以提高深度CAMA的鲁棒性。与判别式深度神经网络相比,我们提出的模型对看不见的操作表现出更好的鲁棒性。作为一个副产品,我们的模型实现了分离的代表性,从其他潜在原因的代表性的操纵。
2021-02-10 cs.LG stat.ML
A Causal Bayesian Networks Viewpoint on Fairness
DeepMind(深度思维)
我们提供了一个图形化的解释不公平的数据集作为一个不公平的因果路径中的因果贝叶斯网络表示的数据生成机制的存在。我们使用这个观点来重新审视最近围绕COMPAS审前风险评估工具的争论,更普遍地指出,模型的公平性评估需要仔细考虑训练数据背后的不公平模式。我们表明,因果贝叶斯网络为我们提供了一个强大的工具来衡量不公平的数据集,并在复杂的不公平的情况下设计公平的模型。
2019-07-15 cs.LG stat.ML
Causal-based Time Series Domain Generalization for Vehicle Intention Prediction
University of California, Berkeley(加州大学伯克利分校);University of Bristol(布里斯托大学)
准确预测交通参与者的可能行为是自动驾驶汽车的基本能力。由于自动驾驶汽车需要在动态变化的环境中导航,因此无论它们在哪里以及遇到什么驾驶环境,它们都应该做出准确的预测。因此,当自动驾驶汽车部署在现实世界中时,对未知领域的泛化能力对于预测模型至关重要。针对车辆意图预测任务中的领域泛化问题,提出了一种基于时间序列的领域泛化(CTSDG)模型.我们构建了一个结构因果模型的车辆意图预测任务,学习一个不变的表示输入驾驶数据的领域泛化。我们进一步整合了一个经常性的潜在变量模型到我们的结构因果模型,以更好地捕捉时间序列输入数据的时间潜在的依赖关系。我们的方法的有效性是通过现实世界的驾驶数据进行评估。我们证明,我们提出的方法相比其他国家的最先进的领域泛化和行为预测方法的预测精度有一致的改善。
2021-12-03 cs.LG cs.RO stat.ML
A Critical View of the Structural Causal Model
School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院);Facebook AI Research (FAIR)(Facebook AI Research (FAIR)(常见译法:脸书人工智能研究院))
在单变量的情况下,我们表明,通过比较单变量的原因和效果的个体复杂性,可以识别的原因和效果,而不考虑它们的相互作用。在我们的框架中,复杂性是通过对分布的分位数进行操作的自动编码器的重建误差来捕获的。比较两个自动编码器的重建误差,每个变量一个,表现出令人惊讶的是,以及公认的因果关系方向性基准。因此,关于两者中哪一个是原因,哪一个是结果的决定可能不是基于因果关系,而是基于复杂性。在多变量情况下,可以确保因果关系的复杂性得到平衡,我们提出了一种新的对抗性训练方法,该方法模仿因果模型的解缠结构。我们证明,在多维的情况下,这样的建模很可能只适合因果关系的方向的数据。此外,唯一性结果表明,学习模型能够识别潜在的因果和残留(噪声)成分。我们的多维方法优于文献方法在合成和真实世界的数据集。
2020-02-23 cs.AI cs.LG stat.ML
Generalization in anti-causal learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心)
在新的情况下学习和行动的能力仍然是动画智能的特权,因为当前的机器学习方法在超出标准i.i.d.时大多失败。设置.出现这种差异的原因是什么?大多数机器学习任务都是反因果的,即,我们从结果(观察)中推断原因(标签)。通常,在监督学习中,我们构建的系统试图直接反转因果机制。相反,在本文中,我们认为,强大的泛化能力关键取决于搜索和验证有意义的假设,需要访问因果模型。在这样一个框架中,我们希望找到导致观察到的结果的原因。反因果模型用于驱动此搜索,但需要因果模型进行验证。我们调查因果和反因果任务之间的根本区别,讨论的主题范围从对抗攻击解开变量的因素的影响,并提供了大量的证据,从文献中证实我们的观点。我们提倡在监督学习中引入因果模型,以将范式从仅推理转变为搜索和验证。
2018-12-03 cs.LG stat.ML
CAMO: Causality-Guided Adversarial Multimodal Domain Generalization for Crisis Classification
Arizona State University(亚利桑那州立大学);DEVCOM Army Research Laboratory(陆军研究实验室)
CAMO通过结合对抗去耦与统一表示学习,解决多模态危机分类中的领域泛化问题,提升模型在未见灾害场景下的性能。
2025-12-08 cs.LG
Mixstyle-Entropy: Domain Generalization with Causal Intervention and Perturbation
Xiamen University(厦门大学);The University of Hong Kong(香港大学)
提出基于因果的框架InPer,通过训练时基于熵的因果干预优化因果变量选择,测试时利用因果扰动计算稳态分数构建原型分类器,有效提升了模型在跨域任务中的泛化能力。
2024-08-22 cs.CV cs.LG stat.ME
Generalization of RLVR Using Causal Reasoning as a Testbed
Johns Hopkins University(约翰霍普金斯大学);University of Maryland, College Park(马里兰大学学院公园分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research Asia(微软亚洲研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文通过实验证明,RLVR在特定模型规模和训练查询层次下能提升因果推理能力,尤其在复杂查询中表现更优。
2026-03-04 cs.AI cs.CL cs.LG
Information-Theoretic Bias Reduction via Causal View of Spurious Correlation
Seoul National University(首尔大学);Adobe Research(Adobe研究院)
我们提出了一种信息论偏差测量技术,通过虚假相关的因果解释,这是有效的识别特征级算法偏见,利用条件互信息。虽然已经提出并广泛研究了几种偏差测量方法,以在各种任务(如人脸识别)中实现算法公平性,但其基于准确度或logit的度量容易导致微不足道的预测分数调整,而不是基本的偏差减少。因此,我们设计了一个新的去偏置框架对算法偏见,其中包括一个偏差正则化损失所提出的信息理论偏差测量方法。此外,我们提出了一个简单而有效的无监督去偏置技术的基础上随机标签噪声,它不需要明确的监督偏置信息。提出的偏差测量和去偏的方法进行了验证,在不同的现实情况下,通过广泛的实验,多个标准的基准。
2022-01-10 cs.AI cs.CY cs.LG
Improving Generalization Ability of Robotic Imitation Learning by Resolving Causal Confusion in Observations
DATA61 of CSIRO(CSIRO DATA61)
针对机器人模仿学习泛化性差的问题,本研究提出显式学习观测与动作的因果关系,简化了特征解耦要求,构建可嵌入主流架构的因果学习框架,经仿真验证能显著提升域偏移下的性能。
2025-07-30 cs.LG cs.RO
A Causal View of Entity Bias in (Large) Language Models
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校);University of California, Davis(加州大学戴维斯分校)
本文提出一种参数更易估计的结构化因果模型及因果干预方法,通过邻近实体扰动缓解白盒和黑盒语言模型中的实体偏差,并在关系抽取和机器阅读理解任务上取得显著提升。
2023-10-26 cs.AI cs.CL cs.LG
Causal and Counterfactual Views of Missing Data Models
Emory University(埃默里大学);Williams College(威廉姆斯学院);Johns Hopkins University(约翰斯·霍普金斯大学);Harvard University(哈佛大学)
本文提出将缺失数据问题视为一种因果推断形式,通过反事实变量和图模型统一缺失数据识别与因果识别理论,并比较两者的异同。
2024-11-20 cs.LG stat.ME stat.ML
Prediction-powered Generalization of Causal Inferences
Eric and Wendy Schmidt Center, Broad Institute of MIT and Harvard(埃里克和温迪·施密特中心,麻省理工学院与哈佛大学博德研究所);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Department of Computational Precision Health, UC Berkeley and UCSF(加州大学伯克利分校与加州大学旧金山分校计算精准健康系)
针对RCT因果推断因样本有限难以泛化到目标人群的问题,提出利用观察性研究预测模型补充试验数据的泛化算法,在OS高质量时提升泛化效果,在低质量时保持稳健。
2024-06-05 cs.LG stat.ML
Invariant Causal Prediction for Block MDPs
McGill University(麦吉尔大学);Mila(米拉研究所);Facebook AI Research(脸书人工智能研究院);University of Oxford(牛津大学);Deepmind(深度思维)
跨环境的泛化对于将强化学习算法成功应用于现实世界的挑战至关重要。在本文中,我们考虑的问题,学习抽象概括块MDP,家庭的环境与共享的潜在状态空间和动态结构的潜在空间,但不同的意见。我们利用因果推理的工具,提出了一种不变预测的方法来学习模型无关状态抽象(MISA),该模型无关状态抽象概括为多环境中的新观测。我们证明,对于某些类的环境,这种方法输出的状态抽象对应的因果特征集相对于回报的概率很高。我们进一步提供了更一般的边界模型误差和泛化误差在多环境设置,在因果变量的选择和状态抽象框架之间的连接的过程中,MDP。我们给出的经验证据表明,我们的方法在线性和非线性设置下都有效,在单任务和多任务基线上实现了更好的泛化。
2020-06-11 cs.AI cs.LG stat.ML
Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis
Fundação Getúlio Vargas(热图里奥·瓦加斯基金会);School of Applied Mathematics(应用数学学院)
针对因果机器学习算法缺乏有限样本下质量理论的问题,提出基于泛化界的理论,通过新测度变换不等式给出模型损失紧界,理论严谨且适用于隐藏混杂、正定性违反场景,经半合成与真实数据验证了界的紧性与实用性。
2024-05-15 cs.LG stat.ML
Text-Driven Causal Representation Learning for Source-Free Domain Generalization
Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong, China(人工智能与机器人研究中心,香港科学与创新研究所,中国科学院,香港,中国);School of Computer Science and Engineering, University of Electronic Science and Technology of China(计算机科学与工程学院,电子科技大学);Surrey Institute for People-Centred Artificial Intelligence, CVSSP, University of Surrey(以人为中心的人工智能研究所,CVSSP, Surrey大学);School of Electronics and Information Engineering, Shenzhen University(电子与信息工程学院,深圳大学);University of Rochester(罗切斯特大学)
针对无源域泛化(SFDG)中特定领域混淆因子限制泛化能力的问题,提出TDCRL方法,通过数据增强生成文本嵌入模拟视觉表示,并训练因果干预网络提取域不变特征,在多个数据集上达到SOTA。
2025-07-14 cs.LG
Provably Efficient Causal Model-Based Reinforcement Learning for Systematic Generalization
Politecnico di Milano(米兰理工大学);ETH Zurich(苏黎世联邦理工学院);Imperial College London(伦敦帝国理工学院);Twitter(推特公司);University of Oxford(牛津大学)
在顺序决策设置中,代理的目标是在一个大的,可能是无限的环境集上实现系统的泛化。这种环境被建模为离散马尔可夫决策过程的状态和动作表示通过一个特征向量。环境的基本结构允许将过渡动态因素分解为两个部分:一个是特定于环境的,另一个是共享的。考虑一组共享运动定律的环境作为示例。在这种情况下,代理可以从这些环境的子集中获取有限数量的无奖励交互。然后,智能体必须能够近似地解决在原始集合中的任何环境上定义的任何规划任务,仅依赖于上述交互。我们能否设计出一种可证明有效的算法来实现系统化推广这一雄心勃勃的目标?本文对此问题给出了部分肯定的回答。首先,我们提供了一个易于处理的系统推广的制定采用因果的观点。然后,在特定的结构假设下,我们提供了一个简单的学习算法,保证任何所需的规划误差到一个不可避免的次优项,同时展示一个多项式样本的复杂性。
2023-03-30 cs.LG
Multiple Causes: A Causal Graphical View
Columbia University(哥伦比亚大学)
未观察到的混杂是从观察数据进行因果推断的主要障碍。混杂因素-影响原因和结果的变量-在两者之间引起虚假的非因果关系。Wang & Blei(2018)用“多种原因的祝福”降低了这一障碍,其中多种原因的相关性结构为未观察到的混淆提供了间接证据。他们通过一种称为“去混淆”的算法来利用这些优势,该算法使用概率因子模型来校正混淆因素。在本文中,我们采取了因果图的观点的deconfounder。在一个编码共享混杂的图中,我们展示了原因的多样性如何帮助识别干预分布。然后,我们证明了deconfounder,表明它使干预的有效推论。最后,我们扩大类的图,它的理论,包括其他混杂因素和选择变量。我们的研究结果扩展了Wang & Blei(2018)的理论,证明了因果图的解方器,并扩展了可以使用它的设置。
2019-05-30 cs.LG stat.ME stat.ML