Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization
Nanjing University（南京大学）；Southeast University（东南大学）
多实例学习（MIL）处理表示为实例袋的对象，并可以从袋级监督中预测实例标签。然而，显着的性能差距之间存在的实例级MIL算法和监督学习者，因为实例标签是不可用的MIL。大多数现有的MIL算法解决这个问题，处理多实例袋有害的歧义和预测实例标签，通过减少监督不准确。本文从一个新的角度研究MIL，将袋子作为辅助信息，并利用它从袋子级弱监督中识别实例级因果表示。我们提出了CauseMIL算法，它不仅擅长于实例标签预测，但也提供了鲁棒性的分布变化，协同集成MIL与可识别的变分自编码器。我们的方法是基于一个实际的和一般的假设：先验分布的实例潜在的表示属于非因式分解的指数族条件的多实例袋。在合成数据集和真实数据集上的实验表明，我们的方法在实例标签预测和分布外泛化任务上的性能明显优于各种基线。
2022-10-05 cs.LG
Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯人工智能实验室）；The University of Sydney（悉尼大学）
尽管最近成功地将不变性原理用于欧几里德数据的分布外（OOD）推广（例如，图像），对图形数据的研究仍然有限。与图像不同，图形的复杂性对采用不变性原理提出了独特的挑战。特别是，图上的分布偏移可以以属性和结构等多种形式出现，使得难以识别不变性。此外，域或环境分区，这往往是需要的OOD方法对欧几里德数据，可能是非常昂贵的获得图。为了弥补这一差距，我们提出了一个新的框架，称为因果启发不变图学习（CIGA），捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说，我们的特点潜在的分布偏移图与因果模型，得出结论，OOD泛化图是可以实现的，当模型只集中在子图包含最多的信息标签的原因。因此，我们提出了一个信息理论的目标，以提取所需的子图，最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验，包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD，验证了CIGA的卓越OOD性能。
2022-10-11 cs.LG
Quantifying Explanation Quality in Graph Neural Networks using Out-of-Distribution Generalization
University of Virginia（弗吉尼亚大学）；Entalpic
本文提出EGS指标，用于量化图神经网络解释的因果相关性，通过分布外泛化评估解释的因果有效性。
2026-02-07 cs.LG
Age Predictors Through the Lens of Generalization, Bias Mitigation, and Interpretability: Reflections on Causal Implications
Leibniz Institute on Aging — Fritz Lipmann Institute (FLI)（利普希茨衰老研究所——弗里茨·利普曼研究所）；Scuola Normale Superiore（正常大学）
本文探讨了通过消除外源性属性如种族、性别或组织来提升年龄预测的泛化能力，讨论了可解释神经网络模型在因果推断中的局限性。
2026-03-17 cs.AI cs.LG
Graph Out-of-Distribution Generalization via Causal Intervention
Shanghai Jiao Tong University（上海交通大学）
针对图神经网络在分布偏移下性能下降且缺环境标签的问题，提出基于因果推断、协调环境估计器与混合专家GNN的方法，抵消混淆偏差提升泛化，在基准上准确率最高提升27.4%。
2024-08-16 cs.LG cs.SI
Causal Modeling of Soil Processes for Improved Generalization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Microsoft Research（微软研究院）；Rothamsted Research（洛桑研究所）；University of Glasgow（格拉斯哥大学）
测量和监测土壤有机碳对于农业生产力和解决关键环境问题至关重要。土壤有机碳不仅丰富了土壤中的营养，而且还具有一系列的共同利益，如改善水储存和限制物理侵蚀。尽管在土壤有机碳估算方面做了大量工作，但目前的方法在土壤条件和管理实践中并没有很好地推广。我们的经验表明，明确的土壤过程之间的因果关系建模提高了预测模型的分布泛化能力。我们提供了一个比较分析的土壤有机碳估计模型，其中的骨架估计使用因果发现方法。我们的框架提供了81%的测试均方误差和52%的测试平均绝对误差的平均改善。
2022-11-10 cs.CY cs.LG
Improving Graph Out-of-distribution Generalization Beyond Causality
East China Normal University（东中国Normal大学）；Southeast University（东南大学）；Zhejiang Lab（浙江实验室）
本文提出DEROG方法，通过环境-标签依赖性和可变基本原理不变性定理及广义贝叶斯推断，改进真实世界图分布外泛化性能。
2025-07-07 cs.LG
DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification
Stevens Institute of Technology（史蒂文斯理工学院）；George Mason University（乔治梅森大学）
针对图神经网络在分布偏移下泛化不足的问题，本文基于结构因果模型提出DeCaf因果解耦框架，独立学习无偏特征-标签与结构-标签映射，并通过理论与实验验证其OOD泛化效果。
2024-10-27 cs.LG
Causal-Driven Feature Evaluation for Cross-Domain Image Classification
Florida State University（佛罗里达州立大学）
本文提出基于因果驱动的跨领域图像分类特征评估方法，通过段级框架衡量因果有效性，提升分布外泛化性能。
2026-01-29 cs.AI cs.LG
A step towards the applicability of algorithms based on invariant causal learning on observational data
Universidad Politécnica de Madrid（马德里理工大学）
针对观测数据缺乏多环境的问题，提出一种高效生成训练环境的方法，将其与ICP结合用于因果发现，并改进以适用于多协变量数据集。
2023-04-05 cs.LG stat.ME
Causal Forecasting:Generalization Bounds for Autoregressive Models
University of Tübingen（图宾根大学）；Amazon Research（亚马逊研究院）；Technical University of Munich（慕尼黑工业大学）
尽管预测方法的相关性越来越高，但这些算法的因果关系在很大程度上仍未得到探索。这是考虑到，即使在简化的假设，如因果充分性，一个模型的统计风险可以从它的\textit{causal risk}显着不同。在这里，我们研究的问题，\textit{causal generalization} -概括从观察干预分布-在预测。我们的目标是找到这个问题的答案：自回归（VAR）模型在预测统计关联方面的有效性与其在干预下的预测能力相比如何？为此，我们介绍了预测的\textit{causal learning theory}的框架。使用这个框架，我们获得了统计和因果风险之间的差异，这有助于确定它们之间的分歧来源的表征。在因果充分性下，因果泛化的问题相当于协变量变化下的学习，尽管有额外的结构（限制VAR模型下的干预分布）。这种结构使我们能够获得一致的收敛界的因果推广的VAR模型类。据我们所知，这是第一个工作，提供了理论保证因果概括的时间序列设置。
2022-09-08 cs.LG stat.ML
Invariant Structure Learning for Better Generalization and Causal Explainability
Google Cloud AI（谷歌云人工智能）；University of Southern California（南加州大学）
学习数据背后的因果结构对于提高泛化能力和获得高质量的解释是非常宝贵的。我们提出了一个新的框架，不变结构学习（ISL），旨在提高因果结构发现利用泛化作为指示。ISL将数据分割到不同的环境中，并通过施加一致性约束来学习在不同环境中对目标不变的结构。然后，聚合机制基于图结构选择最佳分类器，该图结构与从各个环境中学习的结构相比更准确地反映了数据中的因果机制。此外，我们将ISL扩展到自监督学习设置，其中准确的因果结构发现不依赖于任何标签。这种自监督ISL通过迭代地将不同的节点设置为目标来利用不变的因果关系提案。在合成和真实世界的数据集上，我们证明了ISL准确地发现了因果结构，优于其他方法，并为具有显著分布偏移的数据集提供了优越的泛化能力。
2022-06-13 cs.LG stat.ML
Contrastive ACE: Domain Generalization Through Alignment of Causal Mechanisms
University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）
领域泛化的目的是从多个源领域中学习跨不同分布的知识不变量，同时对下游任务具有语义意义，以提高模型对未知目标领域的泛化能力。基本目标是了解这些观测分布背后的基本“不变性”，这种不变性已被证明与因果关系密切相关。虽然许多现有的方法利用的属性，因果功能是跨域不变的，我们认为因果不变性的平均因果效应的功能的标签。这种不变性规范了我们的训练方法，其中对特征进行干预，以加强跨域分类器因果预测的稳定性。因此，我们的工作揭示了一些光的领域泛化问题，通过引入不变性的机制到学习过程中。在多个基准数据集上的实验证明了该方法对SOTA的性能。
2021-06-02 cs.LG stat.ML
Score-based Causal Representation Learning: Linear and General Transformations
Carnegie Mellon University（卡内基梅隆大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Google DeepMind（谷歌DeepMind）；Amazon AGI（亚马逊AGI）
本文利用分数函数与因果表示学习的联系，提出基于分数的算法，在线性和一般变换下分别给出每个节点一次和两次随机硬干预即可保证可识别性的条件，并实现潜在因果变量与因果图的恢复。
2025-07-19 cs.LG stat.ML
Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains
Independent Researcher, China（独立研究者）
针对演化领域泛化中虚假相关性阻碍泛化的问题，提出时间感知结构因果模型与SYNC方法，通过整合信息论目标至序列VAE框架学习时间感知因果表示，实现更优的时间泛化性能。
2025-06-28 cs.LG stat.ML
Generalization in anti-causal learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）
在新的情况下学习和行动的能力仍然是动画智能的特权，因为当前的机器学习方法在超出标准i.i.d.时大多失败。设置.出现这种差异的原因是什么？大多数机器学习任务都是反因果的，即，我们从结果（观察）中推断原因（标签）。通常，在监督学习中，我们构建的系统试图直接反转因果机制。相反，在本文中，我们认为，强大的泛化能力关键取决于搜索和验证有意义的假设，需要访问因果模型。在这样一个框架中，我们希望找到导致观察到的结果的原因。反因果模型用于驱动此搜索，但需要因果模型进行验证。我们调查因果和反因果任务之间的根本区别，讨论的主题范围从对抗攻击解开变量的因素的影响，并提供了大量的证据，从文献中证实我们的观点。我们提倡在监督学习中引入因果模型，以将范式从仅推理转变为搜索和验证。
2018-12-03 cs.LG stat.ML
Score-based Causal Representation Learning with Interventions
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Google（谷歌）
本文研究潜在因果变量经未知线性变换间接观测下的因果表示学习问题，提出基于得分函数跨环境最小变化的方法，仅用软干预完美恢复潜在DAG，硬干预下还可恢复线性变换与因果排序。
2023-05-01 cs.LG stat.ML
Prediction-powered Generalization of Causal Inferences
Eric and Wendy Schmidt Center, Broad Institute of MIT and Harvard（埃里克和温迪·施密特中心，麻省理工学院与哈佛大学博德研究所）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Department of Computational Precision Health, UC Berkeley and UCSF（加州大学伯克利分校与加州大学旧金山分校计算精准健康系）
针对RCT因果推断因样本有限难以泛化到目标人群的问题，提出利用观察性研究预测模型补充试验数据的泛化算法，在OS高质量时提升泛化效果，在低质量时保持稳健。
2024-06-05 cs.LG stat.ML
On the Generalization and Adaption Performance of Causal Models
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；ETH Zurich（苏黎世联邦理工学院）；KTH Stockholm（斯德哥尔摩KTH皇家理工学院）；DeepMind（深度思维）
提供鲁棒的分布外泛化和快速自适应的学习模型是现代机器学习的关键挑战。将因果结构建模到神经网络中有望实现鲁棒的零和Few-Shot自适应。最近在可区分因果发现方面的进展已经提出将数据生成过程分解为一组模块，即每个变量的条件分布的一个模块，其中仅因果父项用作预测因子。这种知识的模块化分解使得能够通过仅更新参数的子集来适应分布变化。在这项工作中，我们系统地研究了这种模块化神经因果模型的泛化和自适应性能，将其与单片模型和结构化模型进行比较，其中预测因子集不限于因果父模型。我们的分析表明，模块化神经因果模型优于其他模型的零和Few-Shot适应低数据制度，并提供强大的推广。我们还发现，与密集图相比，稀疏图的效果更显着。
2022-06-09 cs.AI cs.LG stat.ML
Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis
Fundação Getúlio Vargas（热图里奥·瓦加斯基金会）；School of Applied Mathematics（应用数学学院）
针对因果机器学习算法缺乏有限样本下质量理论的问题，提出基于泛化界的理论，通过新测度变换不等式给出模型损失紧界，理论严谨且适用于隐藏混杂、正定性违反场景，经半合成与真实数据验证了界的紧性与实用性。
2024-05-15 cs.LG stat.ML
Causal-based Time Series Domain Generalization for Vehicle Intention Prediction
University of California, Berkeley（加州大学伯克利分校）；University of Bristol（布里斯托大学）
准确预测交通参与者的可能行为是自动驾驶汽车的基本能力。由于自动驾驶汽车需要在动态变化的环境中导航，因此无论它们在哪里以及遇到什么驾驶环境，它们都应该做出准确的预测。因此，当自动驾驶汽车部署在现实世界中时，对未知领域的泛化能力对于预测模型至关重要。针对车辆意图预测任务中的领域泛化问题，提出了一种基于时间序列的领域泛化（CTSDG）模型.我们构建了一个结构因果模型的车辆意图预测任务，学习一个不变的表示输入驾驶数据的领域泛化。我们进一步整合了一个经常性的潜在变量模型到我们的结构因果模型，以更好地捕捉时间序列输入数据的时间潜在的依赖关系。我们的方法的有效性是通过现实世界的驾驶数据进行评估。我们证明，我们提出的方法相比其他国家的最先进的领域泛化和行为预测方法的预测精度有一致的改善。
2021-12-03 cs.LG cs.RO stat.ML
Causal-Symbolic Meta-Learning (CSML): Inducing Causal World Models for Few-Shot Generalization
smail.iitm.ac.in（印度理工学院）
针对深度学习依赖虚假相关性导致泛化差的问题，提出CSML框架，通过感知、可微因果诱导和图推理模块学习共享因果世界模型，实现少样本快速适应，并在CausalWorld基准上显著优于基线。
2025-09-15 cs.AI cs.LG stat.ML
Anti-causal domain generalization: Leveraging unlabeled data
Apple（苹果公司）；ETH Zürich（苏黎世联邦理工学院）
针对反因果设置下的域泛化问题，提出利用无标签数据估计环境扰动方向，通过惩罚模型对协变量均值和协方差变化的敏感性实现鲁棒性，并提供最坏情况最优性保证。
2026-06-18 cs.LG stat.ML
Linear Causal Disentanglement via Interventions
Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）；Harvard University（哈佛大学）
本文研究线性潜在因果模型下观测变量的因果解耦可识别性，证明每个潜在变量需至少一次干预以保证可识别性，提出基于推广RQ分解的证明方法，并通过实验验证了理论结果。
2023-06-11 cs.LG stat.ML
CASTLE: Regularization via Auxiliary Causal Graph Discovery
University of California, Los Angeles（加州大学洛杉矶分校）；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦图灵研究所）
正则化改进了监督模型对样本外数据的泛化。先前的工作表明，因果方向（因的影响）的预测结果比反因果方向的测试误差更低。然而，现有的正则化方法是因果关系不可知的。我们引入因果结构学习（CASTLE）正则化，并提出通过联合学习变量之间的因果关系来正则化神经网络。CASTLE学习因果有向无环图（DAG）作为嵌入神经网络输入层的邻接矩阵，从而促进了最佳预测器的发现。此外，CASTLE仅有效地重建具有因果邻居的因果DAG中的特征，而基于重建的正则化器次优地重建所有输入特征。我们为我们的方法提供了一个理论上的泛化范围，并在大量的合成和真实的公开数据集上进行实验，证明与其他流行的基准正则化器相比，CASTLE始终导致更好的样本外预测。
2020-09-28 cs.LG stat.ML
Domain Generalization using Causal Matching
Microsoft Research（微软研究院）
在领域泛化文献中，一个共同的目标是在类标签的条件下学习独立于领域的表示。我们表明，这个目标是不够的：存在反例，即使在满足类条件域不变性后，模型也无法推广到看不见的域。我们通过一个结构因果模型来正式说明这一观察结果，并展示了建模类内变化对泛化的重要性。具体来说，类包含表征特定因果特征的对象，域可以被解释为对这些对象的干预，改变非因果特征。我们强调一个替代条件：如果域之间的输入来自同一对象，则它们应该具有相同的表示。基于这一目标，我们提出了基于匹配的算法时，观察到的基础对象（例如，通过数据增强），并在未观察到对象时近似目标（MatchDG）。我们简单的基于匹配的算法是有竞争力的旋转MNIST，时尚MNIST，PACS和胸部X射线数据集的域外精度的先前工作。我们的方法MatchDG还恢复了地面实况对象匹配：在MNIST和Fashion-MNIST上，来自MatchDG的前10个匹配与地面实况匹配有超过50%的重叠。
2021-06-29 cs.AI cs.LG stat.ML
Response Transformation and Profit Decomposition for Revenue Uplift Modeling
School of Business and Economics, Humboldt-University of Berlin（柏林洪堡大学经济与商学院）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
营销活动规划中的可持续性模型支持决策。通过估计营销处理的因果效应，提升模型有助于将沟通目标对准响应客户，并有效分配营销预算。对提升模型的研究侧重于转换模型，以最大限度地增加销售额。本文介绍了提升建模策略，以最大限度地增加收入。如果客户在他们的消费行为不同，收入最大化是一个更合理的商业目标相比，最大化转换。所提出的方法需要转换的预测目标，客户层面的收入，这有利于实现一个因果提升模型使用标准的机器学习算法。由于许多非买家，竞选收入的分配通常是零膨胀的。针对这一建模挑战的补救措施以两阶段模型的形式纳入了拟议的收入提升战略。使用真实世界电子商务数据的实证实验证实了所提出的收入提升策略优于相关替代方案，包括转换的提升模型和最近开发的因果机器学习算法。为了量化改进的目标定位决策提高营销回报的程度，本文开发了一个运动利润的分解。将分解应用于数字优惠券定位活动，本文提供了证据，证明收入提升建模以及因果机器学习可以大幅提高广告利润。
2019-11-20 cs.LG stat.ML
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?
Hugging Face；Google（谷歌）；LightOn；Allen Institute for AI（艾伦人工智能研究所）；LPENS, École Normale Supérieure（巴黎高等师范学院物理实验室）
大型预训练的Transformer语言模型已被证明具有zero-shot泛化能力，即它们可以执行各种各样的任务，而这些任务并没有被显式训练过。然而，最先进的模型之间使用的架构和预训练目标存在显着差异，并且这些因素的系统比较有限。在这项工作中，我们提出了一个大规模的评估建模的选择和它们的影响zero-shot推广。特别是，我们专注于文本到文本模型，并使用三种模型架构（因果/非因果解码器和编码器-解码器）进行实验，使用两种不同的预训练目标（自回归和掩码语言建模）进行训练，并在有和没有多任务提示微调的情况下进行评估。我们为超过1700亿个令牌训练了超过50亿个参数的模型，从而增加了我们的结论转移到更大规模的可能性。我们的实验表明，在纯无监督预训练后，在自回归语言建模目标上训练的因果解码器模型表现出最强的zero-shot泛化能力。然而，在我们的实验中，使用掩蔽语言建模目标训练的输入具有非因果可见性的模型在多任务微调之后表现最好。因此，我们考虑跨架构和目标调整预训练模型。我们发现，预训练的非因果解码器模型可以适应性能生成的因果解码器模型，使用自回归语言建模作为下游任务。此外，我们发现预训练的因果解码器模型可以有效地适应非因果解码器模型，最终在多任务微调后实现有竞争力的性能。代码和检查点可在https://github.com/bigscience-workshop/architecture…
2022-04-12 cs.CL cs.LG stat.ML
Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects
Chalmers University of Technology（查尔姆斯理工大学）；Technion, Israel Institute of Technology（以色列理工学院）；Cornell Tech（康奈尔理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文研究从观测数据中估计个体因果效应，给出了允许样本重加权的泛化界，并基于该界设计了通过正则化处理组距离和信息共享来最小化误差的表示学习算法，实验验证了其有效性。
2023-07-31 cs.LG stat.ML
Compositional Abstraction Error and a Category of Causal Models
University of Strathclyde（思克莱德大学）；University of Copenhagen（哥本哈根大学）
干预因果模型描述了用于描述系统的一些变量的几个联合分布，每个干预设置一个。它们为如何在不同的联合分布之间移动提供了一个正式的处方，并在干预系统时对变量进行预测。然而，很难正式化我们如何改变用于描述系统的底层变量，例如从细粒度变量移动到粗粒度变量。在这里，我们认为，复合性是一个必要的模型转换和相关的错误：当抽象的参考模型M迭代，首先获得M'，然后进一步简化，以获得M“，我们希望从M到M”的复合转换存在，其误差是由每个单独的转换步骤所产生的误差。范畴论，通过它们之间的组合变换来研究数学对象，提供了一种自然语言来开发我们的模型转换和抽象框架。我们引入一类有限的干预因果模型，并利用丰富的类别理论，证明我们的框架所需的组合属性。
2021-08-05 cs.AI cs.LG cs.LO
Towards a Grounded Theory of Causation for Embodied AI
Qualcomm AI Research（高通人工智能研究院）
因果建模的框架已经发展得很好，但这些框架需要大量的人力领域专业知识来定义因果变量并进行干预。为了使自主智能体能够通过交互经验学习抽象的因果模型，需要扩展和澄清现有的理论基础。现有的框架没有给出关于变量选择/表示的指导，更重要的是，没有给出关于哪些行为策略或状态空间的物理转换应算作干预的指示。本文中概述的框架将动作描述为状态空间的变换，例如由运行策略的代理引起的。这使得有可能以统一的方式描述微观状态空间的变换及其抽象模型，并说后者何时是真实的/扎根的/自然的。然后，我们引入（因果）变量，定义一个机制作为不变的预测因子，并说当一个动作可以被视为“手术干预”，从而使因果表征和干预技能学习的目标更加清晰。
2022-08-12 cs.AI cs.LG stat.ML
Invariant Causal Prediction for Block MDPs
McGill University（麦吉尔大学）；Mila（米拉研究所）；Facebook AI Research（脸书人工智能研究院）；University of Oxford（牛津大学）；Deepmind（深度思维）
跨环境的泛化对于将强化学习算法成功应用于现实世界的挑战至关重要。在本文中，我们考虑的问题，学习抽象概括块MDP，家庭的环境与共享的潜在状态空间和动态结构的潜在空间，但不同的意见。我们利用因果推理的工具，提出了一种不变预测的方法来学习模型无关状态抽象（MISA），该模型无关状态抽象概括为多环境中的新观测。我们证明，对于某些类的环境，这种方法输出的状态抽象对应的因果特征集相对于回报的概率很高。我们进一步提供了更一般的边界模型误差和泛化误差在多环境设置，在因果变量的选择和状态抽象框架之间的连接的过程中，MDP。我们给出的经验证据表明，我们的方法在线性和非线性设置下都有效，在单任务和多任务基线上实现了更好的泛化。
2020-06-11 cs.AI cs.LG stat.ML
Understanding the Generalization Benefit of Model Invariance from a Data Perspective
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学帕克分校）
对某些类型的数据转换具有不变性的机器学习模型在实践中已经证明了优越的泛化性能。然而，解释为什么不变性会导致更好的泛化的潜在机制并没有得到很好的理解，限制了我们为给定数据集选择适当数据转换的能力。本文通过引入由变换引起的样本覆盖，即，数据集的代表性子集，可以使用转换近似恢复整个数据集。基于这一概念，我们改进了不变模型的推广界，并通过变换引起的样本覆盖数来表征一组数据变换的适用性，即，其诱导样本覆盖的最小尺寸。我们表明，推广界可以收紧适当的转换，有一个小的样本覆盖数。此外，我们提出的样本覆盖数可以根据经验进行评估，为选择转换以开发模型不变性以获得更好的泛化提供了实用指南。我们评估了多个数据集上常用变换的样本覆盖数，并证明了一组变换的样本覆盖数越小，表明不变模型的测试和训练误差之间的差距越小，从而验证了我们的主张。
2023-02-23 cs.CV cs.LG stat.ML
Learning Causal Models Online
University of Alberta（阿尔伯塔大学）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
预测模型--从不覆盖完整数据分布的观测数据中学习--可以依赖数据中的虚假相关性来进行预测。这些相关性使得模型脆弱，并阻碍了推广。实现强泛化的一个解决方案是在模型中加入因果结构;这种结构通过忽略与它们相矛盾的相关性来约束学习。然而，学习这些结构本身就是一个难题。此外，如何将因果关系机制与在线持续学习结合起来还不清楚。在这项工作中，我们采取间接的方法来发现因果模型。而不是直接搜索真正的因果模型，我们提出了一个在线算法，不断检测和删除虚假的功能。我们的算法的工作原理的想法，一个虚假的功能与目标的相关性是不恒定的随着时间的推移。因此，与该特征相关联的权重不断变化。我们表明，通过不断删除这些功能，我们的方法收敛到具有很强的泛化的解决方案。此外，我们的方法与随机搜索相结合，也可以发现非虚假的功能，从原始的感官数据。最后，我们的工作强调了问题的时间结构中存在的信息-通过洗牌数据被破坏-对于在线检测虚假特征至关重要。
2020-06-12 cs.AI cs.LG stat.ML
Universality and Generalization of Causal Transformers Across Context Lengths
Doshisha University（同志社大学）；RIKEN AIP（理化学研究所人工智能研究中心）；Rice University（莱斯大学）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；PSL Université（巴黎文理研究大学）
本文研究单个因果Transformer能否在不同上下文长度下统一近似token映射，提出基于Hölder连续性的框架，给出泛化误差界，并通过物理时间序列实验验证。
2026-09-29 cs.LG math.OC stat.ML
Learning stable and predictive structures in kinetic systems: Benefits of a causal approach
ETH Zürich（苏黎世联邦理工学院）；MPI Tübingen（蒂宾根马克斯·普朗克研究所）；University of Copenhagen（哥本哈根大学）
从数据中学习动力学系统是许多领域的核心挑战之一。识别稳定模型对于数据驱动推理的泛化能力至关重要。我们引入了一个计算效率高的框架，称为CauseKinetiX，从离散时间，噪声观测，从异构实验中产生的结构。该算法假设存在一个基本的，不变的动力学模型，可重复的研究的一个关键标准。模拟和现实世界的例子的结果表明，学习动力系统的结构受益于因果关系的角度。所确定的变量和模型允许在多个实验设置中对动态进行简明描述，并且可以用于在看不见的实验中进行预测。我们观察到显着的改进相比，建立良好的方法只专注于预测性能，特别是样本外的泛化。
2019-11-28 cs.LG stat.AP stat.ME
