Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯人工智能实验室）；The University of Sydney（悉尼大学）
尽管最近成功地将不变性原理用于欧几里德数据的分布外（OOD）推广（例如，图像），对图形数据的研究仍然有限。与图像不同，图形的复杂性对采用不变性原理提出了独特的挑战。特别是，图上的分布偏移可以以属性和结构等多种形式出现，使得难以识别不变性。此外，域或环境分区，这往往是需要的OOD方法对欧几里德数据，可能是非常昂贵的获得图。为了弥补这一差距，我们提出了一个新的框架，称为因果启发不变图学习（CIGA），捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说，我们的特点潜在的分布偏移图与因果模型，得出结论，OOD泛化图是可以实现的，当模型只集中在子图包含最多的信息标签的原因。因此，我们提出了一个信息理论的目标，以提取所需的子图，最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验，包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD，验证了CIGA的卓越OOD性能。
2022-10-11 cs.LG
Does Invariant Graph Learning via Environment Augmentation Learn Invariance?
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；Hong Kong Baptist University（香港浸会大学）
本文指出仅靠环境增强无法学习图不变表示，提出最小假设条件并设计GALA框架，通过助手模型识别不变子图，在DrugOOD等数据集上验证了其分布外泛化效果。
2023-10-29 cs.LG stat.ML
Assaying Out-Of-Distribution Generalization in Transfer Learning
AWS Tübingen（亚马逊云科技图宾根分部）；Technical University of Denmark（丹麦技术大学）
由于分布外泛化通常是不适定问题，因此各种代理目标（例如，校准、对抗鲁棒性、算法破坏、移位不变性）在不同的研究程序中进行了研究，得到了不同的建议。虽然这些方法有着相同的理想目标，但从未在相同的实验条件下对真实数据进行过测试。在本文中，我们对以前的工作进行了统一的看法，强调了我们经验性地解决的消息差异，并就如何衡量模型的鲁棒性以及如何改进它提供了建议。为此，我们收集了172个公开可用的数据集对，用于训练和准确性，校准误差，对抗攻击，环境不变性和合成腐败的分布外评估。我们微调了超过31k个网络，来自9种不同的架构，采用多镜头和Few-Shot设置。我们的研究结果证实，在和出分布的准确性往往会增加联合，但表明，他们的关系在很大程度上是依赖于网络，一般来说，更细致入微，更复杂的比以前的，较小规模的研究假设。
2022-10-21 cs.LG stat.ML
Linear unit-tests for invariance discovery
Facebook AI Research（Facebook AI研究院）；INRIA - PSL Research University（法国国家信息与自动化研究所 - 巴黎文理研究大学）
人们对学习跨训练环境的不变相关性的算法越来越感兴趣。目前的提议中有很大一部分在因果关系文献中找到了理论支持，但是，它们在实践中有多大用处？本说明的目的是提出六个线性低维问题--单元测试--以精确的方式评估不同类型的分布外泛化。经过初步实验，最近提出的三种替代方案都没有通过所有测试。通过提供代码来自动复制本文（https：//www.github.com/facebookresearch/InvarianceUnitTests）中的所有结果，我们希望我们的单元测试成为分布外泛化研究人员的标准垫脚石。
2021-02-22 cs.AI cs.LG
IENE: Identifying and Extrapolating the Node Environment for Out-of-Distribution Generalization on Graphs
Huazhong University of Science and Technology（华中科技大学）
针对图神经网络在分布偏移下因特征与拓扑混淆因素导致性能下降的问题，提出IENE方法，利用解耦信息瓶颈进行节点级环境识别与不变特征学习，并通过图增强外推拓扑环境识别结构不变性，有效提升了图分布外泛化能力。
2024-06-02 cs.LG
Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach
Jinan University（暨南大学）；Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）
针对不变表示学习中存在的虚假OOD不变性问题，提出重构结构因果模型RS-SCM及基于条件互信息的纠正方法，通过小型特征选择子网络实现，在多个基准上验证了有效性。
2023-12-15 cs.AI cs.LG stat.ME
Fishr: Invariant Gradient Variances for Out-of-Distribution Generalization
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
学习在数据分布变化下很好地泛化的鲁棒模型对于现实世界的应用至关重要。为此，人们越来越有兴趣从多个训练领域同时学习，同时在这些领域中实施不同类型的不变性。然而，所有现有的方法都未能显示出在控制评价协议下的系统效益。在本文中，我们引入了一种新的正则化-名为Fishr -在损失的梯度空间中强制域不变性：具体来说，梯度的域级方差在训练域中匹配。我们的方法是基于梯度协方差，Fisher信息和Hessian之间的密切关系的损失：特别是，我们表明，Fishr最终对齐域级损失景观本地周围的最终权重。大量的实验证明了Fishr对分布外泛化的有效性。值得注意的是，Fishr改进了DomainBed基准测试的最新技术水平，并且始终优于经验风险最小化。我们的代码可在https://github.com/alexrame/fishr上获得。
2022-06-01 cs.AI cs.CV cs.LG
Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
针对ReLU网络中缩放不变性导致不同权重分布对应相同函数但PAC-Bayes复杂度差异大的问题，提出在不变提升表示中研究PAC-Bayes界，并探讨其相关保证与算法问题。
2025-09-30 cs.LG stat.ML
On the benefits of representation regularization in invariance based domain generalization
Université Laval（拉瓦尔大学）；Western University（韦仕敦大学）；Vector Institute（向量研究所）；Mila（米拉人工智能研究所）
可靠的机器学习的一个重要方面是设计一个可部署的系统，以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中，我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此，我们得到了新的理论分析，以控制不可见的测试环境错误的表示学习，这突出了控制表示的平滑性的重要性。在实践中，我们的分析进一步启发了一个有效的正则化方法，以提高领域泛化的鲁棒性。我们的正则化是正交的，可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明，我们的算法优于基础版本在各种数据集和不变性标准。
2021-05-30 cs.LG stat.ML
Adversarial Invariant Feature Learning with Accuracy Constraint for Domain Generalization
The University of Tokyo（东京大学）
学习领域不变表示是领域泛化（DG）的主要方法，其中我们需要建立一个分类器，对领域的变化是鲁棒的。然而，以前的基于域不变性的方法忽略了潜在的依赖关系的类域，这是负责分类精度和域不变性之间的权衡。由于DG的主要目的是分类看不见的域，而不是不变性本身，不变性的改善可能会对DG性能产生负面影响。为了克服这个问题，本研究首先扩展了谢等的权衡分析。例如，并提供了精度约束域不变性的概念，这意味着在不干扰精度的范围内的最大域不变性。然后，我们提出了一种新的方法对抗性特征学习与精度约束（AFLAC），这明确导致对抗性训练的不变性。实证验证表明，AFLAC的性能优于基于域不变性的方法在合成和三个真实世界的数据集，支持考虑的依赖性和所提出的方法的有效性的重要性。
2020-03-02 cs.LG stat.ML
Fast generalization error bound of deep learning without scale invariance of activation functions
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
在深度学习的理论分析中，发现深度学习的哪些特征会导致良好的性能是一项重要的任务。在本文中，使用Suzuki（2018）开发的分析泛化误差的框架，我们导出了具有更一般激活函数的深度神经网络的快速学习率。在Suzuki（2018）中，假设激活函数的尺度不变性，推导出了深度学习的严格泛化误差界。他们提到，激活函数的尺度不变性对于推导严格的误差界是必不可少的。而整流线性单元（ReLU; Nair和Hinton，2010）满足尺度不变性，其他著名的激活函数包括S形和双曲正切函数，以及指数线性单元（ELU; Clevert等人，2016年，不满足这个条件。现有的分析表明，当具有尺度不变激活的深度学习可以达到比$O(1/\sqrt{n})$更快的速率时，具有非尺度不变激活的深度学习可能具有更慢的$O(1/\sqrt{n})$收敛速率。在本文中，在没有激活函数的尺度不变性的情况下，我们推导出了与Suzuki（2018）基本相同的紧泛化误差界。从这个结果中，至少在Suzuki（2018）的框架中，可以看出激活函数的尺度不变性对于获得快速收敛速度并不重要。同时，也表明Suzuki（2018）提出的理论框架可以广泛应用于分析具有一般激活函数的深度学习。
2019-07-25 cs.LG stat.ML
Contrastive ACE: Domain Generalization Through Alignment of Causal Mechanisms
University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）
领域泛化的目的是从多个源领域中学习跨不同分布的知识不变量，同时对下游任务具有语义意义，以提高模型对未知目标领域的泛化能力。基本目标是了解这些观测分布背后的基本“不变性”，这种不变性已被证明与因果关系密切相关。虽然许多现有的方法利用的属性，因果功能是跨域不变的，我们认为因果不变性的平均因果效应的功能的标签。这种不变性规范了我们的训练方法，其中对特征进行干预，以加强跨域分类器因果预测的稳定性。因此，我们的工作揭示了一些光的领域泛化问题，通过引入不变性的机制到学习过程中。在多个基准数据集上的实验证明了该方法对SOTA的性能。
2021-06-02 cs.LG stat.ML
Learning Invariances for Policy Generalization
Microsoft Research Montreal（微软研究院蒙特利尔分院）
虽然最近的进展催生了非常强大的机器学习系统，但这些代理仍然非常专业，无法将他们获得的知识转移到类似但看不见的任务中。在本文中，我们研究了一个简单的强化学习问题，并专注于学习策略，编码适当的不变性推广到不同的设置。我们评估了三种潜在的策略推广方法：数据增强，元学习和对抗训练。我们发现我们的数据增强方法是有效的，并研究了元学习和对抗学习作为替代任务不可知方法的潜力。
2020-12-12 cs.AI cs.LG stat.ML
Predicting Out-of-Domain Generalization with Neighborhood Invariance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Prescient Design, Genentech（基因泰克Prescient Design）
针对现有泛化预测方法依赖分布匹配和梯度等强假设的问题，本文提出无需真实标签、分布或模型假设的邻域不变性，并在多类任务中验证其与OOD泛化的稳健相关性。
2023-07-17 cs.LG stat.ML
Effect-Invariant Mechanisms for Policy Generalization
ETH Zürich（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）；University of Michigan（密歇根大学）；Harvard University（哈佛大学）
本文提出完全不变性的松弛形式“效应不变性”，无需底层因果图假设即可从数据中直接检验该性质，从而实现零样本和少样本策略泛化，并在模拟与移动医疗数据上验证了有效性。
2023-06-27 cs.LG stat.ML
Understanding the Generalization Benefit of Model Invariance from a Data Perspective
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学帕克分校）
对某些类型的数据转换具有不变性的机器学习模型在实践中已经证明了优越的泛化性能。然而，解释为什么不变性会导致更好的泛化的潜在机制并没有得到很好的理解，限制了我们为给定数据集选择适当数据转换的能力。本文通过引入由变换引起的样本覆盖，即，数据集的代表性子集，可以使用转换近似恢复整个数据集。基于这一概念，我们改进了不变模型的推广界，并通过变换引起的样本覆盖数来表征一组数据变换的适用性，即，其诱导样本覆盖的最小尺寸。我们表明，推广界可以收紧适当的转换，有一个小的样本覆盖数。此外，我们提出的样本覆盖数可以根据经验进行评估，为选择转换以开发模型不变性以获得更好的泛化提供了实用指南。我们评估了多个数据集上常用变换的样本覆盖数，并证明了一组变换的样本覆盖数越小，表明不变模型的测试和训练误差之间的差距越小，从而验证了我们的主张。
2023-02-23 cs.CV cs.LG stat.ML
The role of invariance in spectral complexity-based generalization bounds
EPFL（洛桑联邦理工学院）；University of Edinburgh（爱丁堡大学）
深度卷积神经网络（CNN）已经被证明能够在数据上拟合随机标签，同时仍然能够很好地推广正常标签。最近有人提出通过复杂性的后验度量来描述CNN能力，以解决这一明显的悖论。这些复杂性度量通常通过显示它们与GE的经验相关来验证;在随机标签与正常标签上训练的网络在经验上更大。专注于频谱复杂性的情况下，我们从理论上和经验上研究的复杂性测度的不敏感性相关的CNN的不变性，并显示频谱复杂性的几个限制，因此发生。对于谱复杂度的一个特定公式，我们表明它会导致卷积和局部连接架构（不具有相同的有利的不变性）的上界复杂度估计相同。这与一般的直觉和经验结果相反。
2020-03-06 cs.LG stat.ML
Boosted Control Functions: Distribution generalization and invariance in confounded models
University of Copenhagen（哥本哈根大学）；Imperial College London（伦敦帝国学院）；ETH Zürich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）
本文提出增强控制函数（BCF）以实现分布变化下的预测鲁棒性，通过强不变性概念和ControlTwicing算法提升模型泛化能力。
2025-12-23 cs.LG stat.ML
On the Benefits of Invariance in Neural Networks
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University of British Columbia（不列颠哥伦比亚大学）
许多现实世界的数据分析问题都表现出不变结构，利用这种结构的模型表现出令人印象深刻的经验性能，特别是在深度学习中。虽然文献中包含了各种将不变性纳入模型的方法，但理论上的理解很差，并且没有办法评估何时应该首选一种方法。在这项工作中，我们分析了深度学习中存在不变性的两种广泛使用的方法的优点和局限性：数据增强和特征平均。我们证明了使用数据增强进行训练可以更好地估计风险及其梯度，并且我们为使用数据增强训练的模型提供了PAC-Bayes泛化界。我们还表明，相比数据增强，特征平均减少了泛化误差时，使用凸损失，并收紧PAC贝叶斯界限。我们提供了这些理论结果的实证支持，包括为什么泛化可能无法通过数据增强训练来改善的演示：“学习不变性”在训练分布之外失败。
2020-05-01 cs.LG stat.ML
On Invariance Penalties for Risk Minimization
Mayo Clinic（梅奥诊所）；Oxford University（牛津大学）；King’s College London（伦敦国王学院）
不变风险最小化（Invariant Risk Minimization，简称RST）原则最早由Arjovsky et al. [2019]提出，旨在通过利用不同实验条件下的数据异质性来解决领域泛化问题。具体来说，SVM试图找到一种数据表示，在这种数据表示下，最佳分类器在所有域中都保持不变。尽管概念上的上诉，最初提出的不变性惩罚的有效性最近已被质疑。特别是，存在这样的反例：对于非不变数据表示，不变性惩罚可以任意小。我们提出了另一种不变性惩罚通过重新访问的Gramian矩阵的数据表示。我们讨论了它的特征值之间的关系的风险和不变性惩罚的作用，并证明了它是病态的上述反例。所提出的方法是保证恢复一个不变的表示线性设置下温和的非退化条件。在两个广泛的领域泛化测试平台DomainBed和InvarianceUnitTest上的实验证明了该方法的有效性。
2021-06-17 cs.LG stat.ML
How rotational invariance of common kernels prevents generalization in high dimensions
ETH Zürich（苏黎世联邦理工学院）
核岭回归是众所周知的，以实现最小最大最优率在低维设置。然而，它在高维中的行为却少得多。最近的工作建立了一致性核回归在一定的假设下，地面真假值函数和输入数据的分布。在本文中，我们表明，通常研究的核（如径向基函数，内积核和全连接的NTK的任何深度）的旋转不变性属性诱导偏向于低次多项式在高维。我们的结果意味着一个下界的推广误差的广泛的分布和各种选择的缩放内核与不同的特征值衰减。这个下界表明，一般一致性结果的内核岭回归在高维需要一个更精细的分析，这取决于结构的内核超出其特征值衰减。
2021-04-09 cs.LG math.ST stat.ML
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
Accounting for Unobserved Confounding in Domain Generalization
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of California Los Angeles（加州大学洛杉矶分校）
本文研究了从多个数据集和关于底层数据生成模型的定性假设的组合中学习鲁棒的、可推广的预测模型的问题。学习鲁棒模型的部分挑战在于未观察到的混杂因素的影响，这些混杂因素使目前用于此问题的许多不变性和最小误差原则无效。我们的方法是定义一个不同的不变性属性的因果解决方案中存在的未观察到的混杂因素，通过放松这种不变性，可以连接到一个明确的分布鲁棒优化问题的一组仿射组合的数据分布。具体地说，我们的目标采取标准损失的形式，加上一个正则化项，鼓励相对于模型参数的误差导数的部分相等。我们展示了我们的方法对来自不同模式的医疗数据的实证性能，包括图像，语音和表格数据。
2022-02-03 cs.LG stat.ML
How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings?
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Causal Artificial Intelligence Lab, Columbia University（哥伦比亚大学因果人工智能实验室）；Department of Statistics, Columbia University（哥伦比亚大学统计系）
研究线性回归中因果不变性如何提升监督领域适应，通过候选预测器的目标风险边界和有限样本估计误差推导匹配上下界，证明当边界足够大时自适应聚合可避免负迁移。
2026-06-12 cs.LG stat.ML
Breaking Data Symmetry is Needed For Generalization in Feature Learning Kernels
CFIS UPC（UPC 计算机科学与信息系）；UC San Diego（加州大学圣地亚哥分校）
研究特征学习核在代数任务中的“grokking”现象，发现泛化仅在训练集对称性被打破时发生，并通过恢复数据中的不变群作用实现泛化。
2026-06-25 cs.LG stat.ML
On the Sample Complexity of Learning under Invariance and Geometric Stability
New York University（纽约大学）
许多监督学习问题涉及高维数据，如图像，文本或图形。为了有效地利用数据，利用手头问题中的某些几何先验通常是有用的，例如平移不变性，置换子群或小变形的稳定性。我们研究了学习问题的样本复杂性，其中目标函数呈现出这样的不变性和稳定性，通过考虑球面上的这些函数的球谐分解。我们提供了非参数的收敛速度的核方法，并显示改进的样本复杂性的一个因素，等于组的大小时，使用不变的内核组，相比相应的非不变的内核。当样本量足够大时，这些改进是有效的，并且具有依赖于群的谱性质的渐近行为。最后，这些增益被扩展到不变性组之外，以涵盖对小变形的几何稳定性，在这里被建模为置换的子集（不一定是子群）。
2021-11-05 cs.LG stat.ML
Learning with Algebraic Invariances, and the Invariant Kernel Trick
University College London（伦敦大学学院）；Technische Universität Berlin（柏林工业大学）
在解决数据分析问题时，整合先验知识和/或结构不变性非常重要。本文提出了一个新的框架，将代数不变结构的内核。特别是，我们表明，代数属性，如符号对称性的数据，相位独立，缩放等，可以很容易地包括基本上执行内核技巧两次。我们证明了我们的理论在模拟选定的应用程序，如符号不变的谱聚类和欠定ICA的有用性。
2014-11-28 cs.LG math.ST stat.ML
Chaos Is a LADDER: Domain Generalization Beyond Invariance via Reweighting
School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Key Laboratory of Big Data Mining and Knowledge Management, Chinese Academy of Sciences（中国科学院大数据挖掘与知识管理重点实验室）
该研究针对领域泛化中域调节因果-响应映射的问题，提出LADDER方法，通过固定模型的源域分类器重加权实现目标域泛化，在模拟、FMoW等数据集上提升了整体与组平均准确率。
2026-09-23 cs.LG math.ST stat.ME
Testing and Learning on Distributions with Symmetric Noise Invariance
分布的核嵌入和最大平均离散度（MMD），分布之间的距离，是完全非参数双样本测试和学习分布的有用工具。然而，样本之间所有可能的差异很少引起关注-发现的差异可能是由于不同类型的测量噪声、数据收集伪影或其他不相关的可变性来源。我们提出了分布之间的距离编码不变性加性对称噪声，旨在测试是否假设真正的底层过程不同。此外，我们构造的分布不变的功能，导致学习算法的鲁棒性与对称加性噪声的输入分布的损害。
2017-11-05 stat.ML
Does Invariant Risk Minimization Capture Invariance?
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
我们表明，Arjovsky等人（2019）的不变风险最小化（Invariant Risk Minimization，简称VRM）公式可能无法捕获“自然”不变性，至少在其实际的“线性”形式中使用时，甚至在直接遵循VRM激励示例的非常简单的问题上。这可能导致在新环境下更差的泛化，即使与无约束的ERM相比。这个问题源于线性变量（如在他们的具体方法IRMv1中）和完全非线性的非线性模型之间的巨大差距。此外，即使在捕获“正确”的不变性时，我们也表明，由于损失函数在不同环境中不恒定，因此，学习次优预测器是可能的。即使在测量总体分布的不变性时，也会出现问题，但由于抽样非常脆弱，问题更加严重。
2021-02-26 cs.AI cs.LG stat.ML
Multi-environment Invariance Learning with Missing Data
本文研究在存在缺失数据情况下如何通过不变性学习提升模型泛化能力，提出一种在缺失数据下估计不变性目标的算法，并通过模拟和UCI自行车共享数据集验证其有效性。
2026-05-08 cs.LG math.ST stat.ME
