通过簇泛化学习图神经网络的不变表示

面向领域泛化的领域无关条件不变预测

Domain Agnostic Conditional Invariant Predictions for Domain Generalization

Nankai University（南开大学）；Beihang University（北京航空航天大学）

本文针对无领域标签的领域泛化问题，提出判别风险最小化理论和基于贝叶斯推理与分类判别风险惩罚项的算法，通过减小整体源域与子集间预测分布差异来捕获不变特征，并在多个数据集上验证了有效性。

2024-06-09cs.LG

通过因果不变学习实现动态图中的OOD泛化

Towards OOD Generalization in Dynamic Graphs via Causal Invariant Learning

本文提出DyCIL模型，通过因果不变学习解决动态图中的OOD泛化问题，结合动态因果子图生成、因果感知注意力模块和自适应环境生成器，提升模型在复杂OOD场景下的泛化能力。

2026-03-02cs.LG

基于凸聚类的个性化联邦学习

Personalized Federated Learning via Convex Clustering

Carnegie Mellon University（卡内基梅隆大学）；University of Novi Sad（诺维萨德大学）

我们提出了一个参数家庭的个性化联邦学习的局部凸用户成本的算法。所提出的框架是基于一个推广的凸聚类，其中不同用户的模型之间的差异通过一个总和的范数惩罚惩罚，加权的惩罚参数$λ$。所提出的方法，使“自动”模型聚类，没有事先知道的隐藏的集群结构，也没有集群的数量。分析的权重参数，导致同时个性化，泛化和自动模型聚类的界限。对公式化问题的解决方案通过在不同的集群中提供不同的模型来实现个性化，并且通过提供与孤立计算的每个用户模型不同的模型来实现泛化。然后，我们提供了一个有效的算法的基础上，并行方向乘法（PDMM）解决所提出的配方在联邦服务器-用户设置。数值实验证实了我们的发现。作为一个有趣的副产品，我们的研究结果提供了几个概括凸聚类。

2022-02-18cs.LG

基于全变分的不变风险最小化的分布外泛化

Out-of-distribution Generalization for Total Variation based Invariant Risk Minimization

College of Cyber Security, Jinan University（暨南大学网络安全学院）；Pratt School of Engineering, Duke University（杜克大学普拉特工程学院）；Sino-French Engineer School, Beihang University（北京航空航天大学中法工程师学院）

本文提出OOD-TV-IRM模型，将IRM-TV扩展为原始-对偶优化，通过拉格朗日乘子平衡训练损失与分布外泛化，并开发收敛的对抗学习算法，实验证明其性能优于IRM-TV。

2025-02-28cs.LG

基于反事实监督的分布外泛化信息瓶颈

Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization

South China University of Technology（华南理工大学）

学习不变（因果）特征的分布外（OOD）推广最近引起了广泛的关注，其中不变风险最小化（VRM）是一个值得注意的解决方案。尽管线性回归理论上有希望，但在线性分类问题中使用递归的挑战仍然存在。通过将信息瓶颈（IB）原理引入到机器学习中，IB-SVM方法已经证明了它解决这些挑战的能力。本文从两个方面进一步改进了IB-SVM。首先，我们证明了在IB-EQUIPMENT中使用的不变特征的支持重叠的关键假设对于保证OOD泛化是强有力的，并且在没有这个假设的情况下仍然有可能实现最优解。其次，我们说明了两种故障模式，IB-ESTA（和ESTA）可能会失败的学习不变的功能，并解决这样的故障，我们提出了一个\textit{Counterfactual Supervision-based Information Bottleneck (CSIB)}学习算法，可证明恢复不变的功能。通过要求反事实推理，CSIB即使在从单个环境访问数据时也能工作。在多个数据集上的实验验证了我们的理论结果。

2023-01-16cs.LG

基于不变特征表示的领域泛化

Domain Generalization via Invariant Feature Representation

Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）

本文研究领域泛化：如何从任意数量的相关领域获得知识，并将其应用到以前看不见的领域？我们提出了域不变分量分析（DICA），一种基于内核的优化算法，通过最小化域之间的相异性来学习不变变换，同时保留输入和输出变量之间的函数关系。学习理论分析表明，减少相异度提高了分类器在新领域的预期泛化能力，激励所提出的算法。在合成数据集和真实数据集上的实验结果表明，DICA成功地学习了不变特征，提高了分类器的性能。

2013-01-10cs.LGstat.ML

图的分布外泛化的因果不变表示学习

Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs

The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯人工智能实验室）；The University of Sydney（悉尼大学）

尽管最近成功地将不变性原理用于欧几里德数据的分布外（OOD）推广（例如，图像），对图形数据的研究仍然有限。与图像不同，图形的复杂性对采用不变性原理提出了独特的挑战。特别是，图上的分布偏移可以以属性和结构等多种形式出现，使得难以识别不变性。此外，域或环境分区，这往往是需要的OOD方法对欧几里德数据，可能是非常昂贵的获得图。为了弥补这一差距，我们提出了一个新的框架，称为因果启发不变图学习（CIGA），捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说，我们的特点潜在的分布偏移图与因果模型，得出结论，OOD泛化图是可以实现的，当模型只集中在子图包含最多的信息标签的原因。因此，我们提出了一个信息理论的目标，以提取所需的子图，最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验，包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD，验证了CIGA的卓越OOD性能。

2022-10-11cs.LG

利用领域特征增强领域泛化

Exploiting Domain-Specific Features to Enhance Domain Generalization

VinAI Research（VinAI研究院）；Monash University（莫纳什大学）

领域泛化（DG）的目的是从多个观察到的源域训练模型，以便在看不见的目标域上表现良好。为了获得推广能力，以前的DG方法集中在提取跨源的域不变信息来推广目标域，而有用的特定于域的信息，这些信息与各个域中的标签和目标域的推广密切相关，通常被忽略。在本文中，我们提出了元域特定域不变（mDSDI）-一种新的理论上健全的框架，扩展超出了不变性的观点，以进一步捕捉域特定信息的有用性。我们的关键见解是在潜在空间中解开特征，同时在统一的框架中联合学习域不变和域特定的特征。特定于域的表示通过元学习框架进行优化，以适应源域，目标是在看不见的域上进行鲁棒的概括。我们的经验表明，mDSDI提供了竞争力的结果与国家的最先进的技术在DG。使用我们生成的数据集Background-Colored-MNIST进行的进一步消融研究证实了域特异性是必不可少的这一假设，与仅使用域不变相比，可以获得更好的结果。

2021-10-18cs.LG

通过参数分布后验泛化的贝叶斯域不变学习

Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions

Nankai University（南开大学）；ByteDance（字节跳动）；Beihang University（北京航空航天大学）

本文提出PTG方法，通过聚合不同训练域后验隐式推断网络参数的域不变后验分布，利用变分推断近似参数分布，在DomainBed基准上表现优异且可与现有方法结合提升性能。

2023-10-25cs.AIcs.LG

基于商特征空间的群不变/等变深度网络泛化界的改进

Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces

RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）

许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。

2021-06-19cs.LGstat.ML

不变结构学习，以获得更好的泛化和因果可解释性

Invariant Structure Learning for Better Generalization and Causal Explainability

Google Cloud AI（谷歌云人工智能）；University of Southern California（南加州大学）

学习数据背后的因果结构对于提高泛化能力和获得高质量的解释是非常宝贵的。我们提出了一个新的框架，不变结构学习（ISL），旨在提高因果结构发现利用泛化作为指示。ISL将数据分割到不同的环境中，并通过施加一致性约束来学习在不同环境中对目标不变的结构。然后，聚合机制基于图结构选择最佳分类器，该图结构与从各个环境中学习的结构相比更准确地反映了数据中的因果机制。此外，我们将ISL扩展到自监督学习设置，其中准确的因果结构发现不依赖于任何标签。这种自监督ISL通过迭代地将不同的节点设置为目标来利用不变的因果关系提案。在合成和真实世界的数据集上，我们证明了ISL准确地发现了因果结构，优于其他方法，并为具有显著分布偏移的数据集提供了优越的泛化能力。

2022-06-13cs.LGstat.ML

领域泛化的不变信息瓶颈

Invariant Information Bottleneck for Domain Generalization

Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。

2022-03-21cs.LGstat.ML

MIDG：基于知识注入的混合不变专家用于多模态情感分析中的领域泛化

MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis

School of Electronics and Information Technology（电子信息学院）

MIDG通过混合不变专家和跨模态适配器，提升多模态情感分析中领域泛化的性能与语义表达能力。

2025-12-08cs.AIcs.LG

鲁棒不变表示中的域泛化

Domain Generalization In Robust Invariant Representation

Massachusetts Institute of Technology（麻省理工学院）；University of California San Diego（加州大学圣迭戈分校）；Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）

本文研究不变表示在分布外数据上的泛化能力，通过实验证明对已见域变换保持不变的模型能学到对分布偏移鲁棒的非结构化潜在表示，使不变性成为资源受限训练中的理想性质。

2024-02-25cs.AIcs.LG

面向分布外泛化的不变元学习

Invariant Meta Learning for Out-of-Distribution Generalization

The Australian National University（澳大利亚国立大学）

现代深度学习技术已经在许多领域展示了其出色的能力，但依赖于大量的训练数据。基于优化的元学习训练模型是针对多种任务进行的，因此它可以使用少量的训练样本来解决新的学习任务，但是这些方法都假设训练数据和测试数据是相同且独立分布的。为了克服这种局限性，在本文中，我们提出了不变量元学习的分布任务。具体来说，不变元学习找到不变的最优元初始化，并快速适应正则化惩罚的分布外任务。大量的实验表明，我们提出的不变元学习的有效性外的分布Few-Shot任务。

2023-02-21cs.CVcs.LG

面向分布外泛化的基于子图协同混合的图不变学习

Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization

Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；China Mobile Information Technology Co. Ltd.（中移信息技术有限公司）

针对图神经网络分布外泛化差、现有图不变学习依赖难获取的环境划分问题，提出子图协同混合的图不变学习方法，联合生成多样环境并捕捉不变模式，在多分布偏移场景下性能优于现有最优方法。

2023-12-18cs.LGcs.SI

用于深度领域泛化的判别式领域不变对抗网络

Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization

Queensland University of Technology（昆士兰科技大学）

领域泛化方法旨在从具有不同分布的多个训练源域中学习未知目标域的领域不变预测模型。广泛的领域泛化是机器学习和计算机视觉领域的一个具有挑战性的热点问题，近年来已经做出了大量努力。大多数以前的领域泛化方法假设跨域的条件分布在源域上保持相同，并通过最小化边缘分布来学习域不变模型。然而，训练源域的稳定条件分布的假设在实践中并不真正成立。从源域学习的超平面很容易对分散在聚类边界或远离其相应类中心的样本进行错误分类。为了解决上述两个缺点，我们提出了一个判别域不变对抗网络（DDIAN）的领域泛化。通过区分性特征模块保证特征的区分性，通过全局域和局部子域对齐模块保证域不变特征。在几个基准测试上的大量实验表明，与最先进的领域泛化方法相比，DDIAN在训练过程中对看不见的目标数据实现了更好的预测。

2021-08-20cs.AIcs.CVcs.LG

表示与标签的不变相关性：在噪声环境中增强域泛化

Invariant Correlation of Representation with Label: Enhancing Domain Generalization in Noisy Environments

Chinese Academy of Sciences（中国科学院）；University of Liverpool（利物浦大学）；Southeast University（东南大学）

针对噪声环境中IRM相关方法因优化方向错误无法获得最优解的问题，提出ICorr方法，从因果视角证明其不变相关性是最优不变预测器的必要条件，并通过实验验证其在噪声数据集上的域泛化有效性。

2025-02-09cs.AIcs.LG

ASAM：深度神经网络尺度不变学习的自适应锐度感知最小化

ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks

Samsung Research（三星研究院）

近年来，损失面的尖锐度作为泛化间隙的有效度量，作为学习算法的动机，表现出最先进的性能。然而，在具有固定半径的刚性区域中定义的锐度在对参数重新缩放的敏感性方面具有缺点，这使得损失不受影响，从而导致锐度和泛化间隙之间的连接减弱。在本文中，我们引入了自适应锐度的概念，这是规模不变的，并提出了相应的推广界。我们提出了一种新的学习方法，自适应锐度感知最小化（ASAM），利用建议的泛化界。在不同基准数据集上的实验结果表明，ASAM有助于显着提高模型的泛化性能。

2021-06-29cs.LGstat.ML

基于域不变表示的分布偏移下的泛化估计

Estimating Generalization under Distribution Shifts via Domain-Invariant Representations

Massachusetts Institute of Technology（麻省理工学院）

当机器学习模型部署在与训练分布不同的测试分布上时，它们可能表现不佳，但高估了它们的性能。在这项工作中，我们的目标是更好地估计模型的性能下分布偏移，没有监督。为此，我们使用一组域不变预测器作为未知的真实目标标签的代理。由于所得到的风险估计的误差取决于代理模型的目标风险，我们研究了域不变表示的泛化，并表明潜在表示的复杂性对目标风险有显着影响。从经验上讲，我们的方法（1）能够自调整领域自适应模型，（2）准确地估计给定模型的目标误差下分布偏移。其他应用包括模型选择，决定提前停止和错误检测。

2020-07-06cs.LGstat.ML

不变策略优化：在强化学习中实现更强的泛化

Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning

Princeton University（普林斯顿大学）

强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。

2020-11-09cs.AIcs.LGcs.RO

基于不变特征子空间恢复的可证领域泛化

Provable Domain Generalization via Invariant-Feature Subspace Recovery

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来，针对领域泛化提出了一系列的算法，如不变风险最小化算法。然而，Rosenfeld等人（2021）表明，在一个简单的线性数据模型中，即使忽略非凸性问题，也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境，其中$d_s$是虚假特征子空间的维度。在本文中，我们提出了实现领域泛化与不变特征子空间恢复（ISR）。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间，并在Rosenfeld等人（2021）的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法，ISR-Cov，进一步减少了所需的训练环境的数量，$O(1)$使用二阶矩的信息。值得注意的是，与非凸性问题不同，我们的算法绕过了非凸性问题，并享有全局收敛保证。从经验上讲，我们的ISR可以获得优越的性能相比，在合成基准测试。此外，在三个真实世界的图像和文本数据集上，我们证明了这两种ISR都可以用作简单而有效的后处理方法，以提高（预）训练模型在最坏情况下的准确性，以对抗虚假相关性和组移位。

2022-07-07cs.LGstat.ML

面向领域泛化的领域不变特征探索

Domain-invariant Feature Exploration for Domain Generalization

Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）

深度学习在过去几年取得了巨大的成功。然而，深度学习的性能在面对非IID情况时可能会受到阻碍。领域泛化（DG）使模型能够泛化到看不见的测试分布，即，来学习域不变表示。在本文中，我们认为，域不变的功能应该来自内部和相互方面。内部不变性意味着特征可以用单个域来学习，并且特征捕获数据的内在语义，即，域中的属性，它与其他域无关。互不变性意味着可以用多个域（跨域）来学习特征，并且特征包含公共信息，即，可转移特征w.r.t.其他领域。然后，我们提出DIFEX域不变的功能探索。DIFEX采用一个知识蒸馏框架来捕获高级傅立叶相位作为内部不变特征，并学习跨域相关对齐作为相互不变特征。我们进一步设计了一个探索损失，以增加更好的泛化功能的多样性。时间序列和视觉基准上的大量实验表明，所提出的DIFEX实现了最先进的性能。

2022-12-26cs.CVcs.LG

不变分类器的泛化误差

Generalization Error of Invariant Classifiers

University College London（伦敦大学学院）；Tel-Aviv University（特拉维夫大学）；Duke University（杜克大学）

研究了不变分类器的推广误差。特别是，我们考虑了常见的情况下，分类任务是不变的输入的某些变换，分类器被构造（或学习）是不变的这些变换。我们的方法依赖于将输入空间分解为一个基空间和一组变换的乘积。我们发现，而非不变分类器的泛化误差是成比例的输入空间的复杂性，不变分类器的泛化误差是成比例的基础空间的复杂性。我们还得到了一组充分条件的几何基础空间和一组的转换，以确保基础空间的复杂性是远远小于输入空间的复杂性。我们的分析适用于一般分类器，如卷积神经网络。我们证明了这种分类器的实验MNIST和CIFAR-10数据集的发展理论的影响。

2017-07-02cs.AIcs.CVcs.LG

基于不变表示的PAC推广

PAC Generalization via Invariant Representations

The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research India（谷歌印度研究院）；IBM Research（IBM研究院）

当呈现不同的训练环境时，用于获得机器学习任务的可推广解决方案的一种方法是找到数据的\textit{invariant representations}。这些是协变量的表示，使得表示之上的最佳模型在训练环境中是不变的。在线性结构方程模型（SEM）的背景下，不变表示可能允许我们学习具有分布外保证的模型，即，在SEM中对干预具有鲁棒性的模型。为了解决{ \em有限样本}设置中的不变表示问题，我们考虑$ε$近似不变性的概念。我们研究以下问题：如果一个表示是近似不变的相对于一个给定的数量的训练干预，它将继续近似不变的一个更大的集合看不见的SEM？这个更大的SEM集合是通过参数化干预系列生成的。受PAC学习的启发，我们获得了有限样本分布外的近似不变性的泛化保证，该近似不变性在没有忠诚假设的线性SEM家族上保持\textit{probabilistically}。我们的研究结果表明，当干预网站被限制在一个恒定大小的子集的度有界节点躺在周围的尺寸不缩放的界限。我们还展示了如何将我们的结果扩展到包含潜变量的线性间接观测模型。

2022-08-15cs.LGstat.ML

逆向正则化混合效应深度学习（ARMED）模型，用于改进聚类数据的可解释性、性能和泛化能力

Adversarially-regularized mixed effects deep learning (ARMED) models for improved interpretability, performance, and generalization on clustered data

University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）

自然科学数据集经常违反独立性的假设。样本可能会聚集（例如，按研究中心、受试者或实验批次），导致虚假关联、模型拟合不良和混淆分析。虽然这个问题在深度学习中基本上没有得到解决，但统计界已经通过混合效应模型来处理这个问题，该模型将集群不变的固定效应与集群特定的随机效应分开。我们通过对现有神经网络的非侵入性添加，为逆向正则化混合效应深度学习（ARMED）模型提出了一个通用框架：1）一个对抗性分类器，约束原始模型只学习集群不变特征，2）一个随机效应子网络，捕获集群特定特征，3）一种将随机效应应用于训练过程中看不到的集群的方法。我们将ARMED应用于密集，卷积和自动编码神经网络的4个应用程序，包括模拟非线性数据，痴呆症的预后和诊断，以及活细胞图像分析。与现有技术相比，ARMED模型在模拟中更好地区分混淆与真实关联，并在临床应用中学习更多生物学上合理的特征。它们还可以量化聚类间方差并可视化数据中的聚类效应。最后，ARMED提高了训练过程中看到的聚类数据的准确性（与传统模型相比高达28%），并将其推广到看不见的聚类（与传统模型相比高达9%）。

2022-04-28cs.LGstat.ML

通过表示的表示：通过逆向学习不变表示的领域泛化

Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations

Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）

我们调查审查技术的力量，首先开发学习{ \em公平表示}，以解决领域泛化。我们研究{ \em adversarial}删失技术，用于从多个“研究”（或域）中学习不变表示，其中每个研究都是根据域上的分布绘制的。映射在测试时用于对来自新域的实例进行分类。在许多情况下，如医疗预测，从人口稠密地区（数据丰富）的研究到地理上偏远的人群（没有训练数据存在）的领域泛化提供了不同风格的公平性，这在以前的算法公平性工作中是没有预料到的。我们研究了$k$域的对抗性损失函数，并精确地描述了其限制行为，因为$k$的增长，形式化和证明的直觉，实验的支持下，从大量的域的观察数据的帮助。有限的结果是伴随着非渐近学习理论界。此外，我们得到了充分的条件，我们的算法在以前看不见的域的良好的最坏情况下的预测性能。最后，我们将我们的映射分解成两个组件，并提供了一个完整的表征不变性的分解。据我们所知，我们的研究结果提供了第一个正式的保证，这些类型的对抗不变的领域泛化。

2020-06-20cs.LGstat.ML

干扰响应下分布推广的不变匹配性质

An Invariant Matching Property for Distribution Generalization under Intervened Response

University of Utah（犹他大学）

分布泛化的任务涉及在未知环境中对响应进行可靠的预测。结构因果模型被证明是有用的模型分布的变化，通过干预。受基本不变性原理的启发，通常假设给定其预测因子的响应的条件分布在不同环境中保持相同。然而，在实际环境中，当反应被干预时，这一假设可能会被违反。本文研究了一类具有干预反应的模型.我们确定了一种新的形式的不变性，将某些功能的估计作为额外的预测。有效地，我们证明了这种不变性相当于有一个确定性的线性匹配，使泛化成为可能。我们提供了一个明确的表征的线性匹配，并提出我们的模拟结果在各种干预设置。

2022-06-11cs.LGstat.ME

获奖奖金来自中奖彩票：通过探索变体参数改进不变学习以实现分布外泛化

Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization

Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）

针对OOD泛化中分布噪声误导优化的问题，提出EVIL方法，通过探索并剔除对分布偏移敏感的变体参数，寻找相对稳定的不变参数以构建鲁棒子网络，在DomainBed上有效提升了多种主流方法的泛化能力。

2023-10-25cs.CVcs.LG

提升图域外泛化水平：超越显式环境建模的不变学习

Raising the Bar in Graph OOD Generalization: Invariant Learning Beyond Explicit Environment Modeling

The School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；The School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）

本文提出MPHIL方法，通过超球面不变表示提取和多原型分类解决图学习中域外泛化问题，提升模型鲁棒性和分类性能。

2025-08-02cs.AIcs.LG

对抗性标签不变图数据增强用于分布外泛化

Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization

Department of Computer Science, Purdue University（普渡大学计算机科学系）；Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Ohio State University（俄亥俄州立大学工业与系统工程系）

本文提出RIA方法，通过对抗性标签不变的数据增强提升分布外泛化能力，结合因果生成图数据进行优化，实验表明其在多种分布偏移场景中表现优异。

2026-04-20cs.LGstat.ML

Inv-SENnet：用于有偏数据下聚类的不变自表达网络

Inv-SENnet: Invariant Self Expression Network for clustering under biased data

Northeastern University（东北大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

子空间聚类算法用于理解聚类结构，很好地解释了数据集。这些方法广泛用于自然科学各个领域的数据探索任务。然而，这些方法中的大多数无法处理数据集中不必要的偏差。对于数据样本代表多个属性的数据集，天真地应用任何聚类方法都可能导致不期望的输出。为此，我们提出了一个新的框架，用于联合删除不需要的属性（偏见），同时学习在各个子空间中聚类数据点。假设我们有关于偏差的信息，我们通过逆向学习来正则化聚类方法，以最小化数据和不需要的属性之间的互信息。我们在合成数据集和真实数据集上的实验结果证明了我们方法的有效性。

2022-11-13cs.CVcs.LG

基于因果不变变换的分布外推广

Out-of-distribution Generalization with Causal Invariant Transformations

University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）

在现实世界的应用程序中，学习在分发外（OOD）数据上表现良好的模型非常重要且可取。最近，因果关系已成为一个强大的工具，以解决面向对象的泛化问题，其思想依赖于因果机制，是跨领域的利益不变。为了利用通常未知的因果机制，现有的作品假设因果特征的线性形式，或者需要足够多和不同的训练域，这在实践中通常是限制性的。在这项工作中，我们将这些假设和解决OOD问题，而不显着恢复的因果功能。我们的方法基于修改非因果特征但保持因果部分不变的转换，这可以从先验知识中获得，也可以从多域场景中的训练数据中学习。在不变因果机制的设置下，我们从理论上证明了，如果所有这样的转换是可用的，那么我们可以学习一个极小极大最优模型跨域仅使用单域数据。注意到，知道这些因果不变变换的完整集合可能是不切实际的，我们进一步表明，它足以知道这些变换的一个子集。基于理论研究结果，提出了一种正则化的训练过程，以提高OOD的泛化能力。在人工和真实数据集上的大量实验结果验证了该算法的有效性，即使只有几个因果不变变换。

2022-03-24cs.LGstat.ML

聚类假设下半监督分类的广义误差界

Generalization error bounds in semi-supervised classification under the cluster assumption

当部分可用数据未标记时，我们考虑半监督分类。当我们假设回归函数的行为与边缘分布的行为相关时，这些未标记的数据对于分类问题是有用的。Seeger（2000）提出了著名的“集群假设”。我们提出了一个数学公式的假设和方法的基础上密度水平集估计，利用它来实现快速的收敛速度都在未标记的例子和标记的例子的数量。

2006-04-11cs.LGmath.STstat.TH

使用不变学习实现面向分布外泛化的时间序列预测

Time-Series Forecasting for Out-of-Distribution Generalization Using Invariant Learning

School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）

针对时间序列预测中的分布外泛化难题，本文提出模型无关框架 FOIL，通过代理损失、环境推断和不变表示学习提升多种 TSF 模型，最高增益达 85%。

2024-06-13cs.AIcs.LG

归一化平坦极小值：使用PAC-Bayesian分析探索神经网络平坦极小值的标度不变定义

Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis

The University of Tokyo（东京大学）；RIKEN（理化学研究所）

平坦极小值的概念在深度学习模型的泛化研究中发挥了关键作用。然而，已知平坦度的现有定义对参数的重新缩放敏感。这个问题表明，以前的平坦度定义可能不是一个很好的泛化度量，因为泛化对于这种重新缩放是不变的。在本文中，从PAC-Bayesian的角度来看，我们仔细检查有关的平坦极小值的讨论，并介绍了归一化平坦极小值的概念，这是免费的已知的规模依赖问题。此外，我们强调了现有的基于矩阵范数的泛化误差界的尺度依赖性，类似于现有的平坦极小值定义。我们修改后的平坦性概念也没有受到不足的影响，这表明它可能在假设类中提供更好的层次结构。

2019-01-28cs.LGstat.ML

AdaBox：基于密度的自适应盒子聚类算法

AdaBox: Adaptive Density-Based Box Clustering with Parameter Generalization

Independent Researcher（独立研究者）

AdaBox是一种基于网格的密度聚类算法，通过六参数设计实现参数泛化，能在不同数据几何结构中保持鲁棒性，实验显示其在多个指标上优于DBSCAN和HDBSCAN。

2026-03-06cs.AIcs.LG

基于条件不变表示的领域泛化

Domain Generalization via Conditional Invariant Representation

University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）

领域泛化的目的是将从多个标记的源领域中获得的知识应用到未知的目标领域。主要困难来自数据集偏差：训练数据和测试数据具有不同的分布，并且训练集包含来自不同分布的异质样本。令$X$表示特征，并且$Y$是类标签。现有的领域泛化方法通过学习跨多个源域具有相同边缘分布$\mathbb{P}(h(X))$的域不变表示$h(X)$来解决数据集偏差问题。$\mathbb{P}(Y|X)$中编码的函数关系通常被假定为跨域稳定，使得$\mathbb{P}(Y|h(X))$也是不变的。然而，目前还不清楚这一假设是否适用于实际问题。在本文中，我们考虑的一般情况下，$\mathbb{P}(X)$和$\mathbb{P}(Y|X)$可以改变所有域。我们建议学习具有域不变类条件分布$\mathbb{P}(h(X)|Y)$的特征表示。利用条件不变表示，如果类先验$\mathbb{P}(Y)$在训练域和测试域之间不改变，则可以保证联合分布$\mathbb{P}(h(X),Y)$的不变性。对合成数据和真实数据的大量实验证明了所提出方法的有效性。

2018-07-23cs.CVcs.LGstat.ML

在深度强化学习中使用风格转移的Bootstrap状态表示以实现更好的泛化

Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning

Purdue University（普渡大学）

深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。

2022-07-15cs.AIcs.LG

用于领域泛化的类不变测试时增强

Class-Invariant Test-Time Augmentation for Domain Generalization

School of Computing and Artificial Intelligence（计算机与人工智能学院）；ANGEL Lab（ANGEL实验室）；Southwest Jiaotong University（西南交通大学）；Nanyang Technological University（南洋理工大学）

提出轻量级的类不变测试时增强（CI-TTA）方法，通过弹性变形和网格变形生成同类变体并利用置信度过滤聚合预测，在PACS和Office-Home上验证了其有效性与通用性。

2025-10-12cs.CVcs.LG

何时以及如何规范化：从一般化角度出发

When and How to Canonize: A Generalization Perspective

Technion – Israel Institute of Technology（技术学院–以色列理工学院）

本文从一般化角度分析了规范化的理论属性，提出通过覆盖数上界分析规范化的泛化误差，建立了规范化的泛化误差层次，并证明了Hilbert曲线规范化的有效性。

2026-10-14cs.AIcs.LG

基于不变性的领域泛化中表示正则化的好处

On the benefits of representation regularization in invariance based domain generalization

Université Laval（拉瓦尔大学）；Western University（韦仕敦大学）；Vector Institute（向量研究所）；Mila（米拉人工智能研究所）

可靠的机器学习的一个重要方面是设计一个可部署的系统，以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中，我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此，我们得到了新的理论分析，以控制不可见的测试环境错误的表示学习，这突出了控制表示的平滑性的重要性。在实践中，我们的分析进一步启发了一个有效的正则化方法，以提高领域泛化的鲁棒性。我们的正则化是正交的，可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明，我们的算法优于基础版本在各种数据集和不变性标准。

2021-05-30cs.LGstat.ML

FAIRM：以极小极大最优性学习用于算法公平性与领域泛化的不变表示

FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality

Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Statistics, Rutgers University（罗格斯大学统计系）

本文提出基于训练环境的不变学习方法 FAIRM，在多样性条件下兼顾算法公平性与领域泛化，并在线性模型中给出有限样本保证和极小极大最优性，实验表明其优于现有方法。

2024-04-02cs.LGstat.MEstat.ML

图上分布外泛化的生成式风险最小化

Generative Risk Minimization for Out-of-Distribution Generalization on Graphs

University of Virginia（弗吉尼亚大学）；University of Connecticut（康涅狄格大学）

针对图结构数据OOD泛化因非独立同分布特性和复杂结构信息导致的挑战，提出生成式风险最小化（GRM）框架，通过生成不变子图而非提取来捕获不变信息，经理论分析和实验验证其在节点级与图级OOD泛化任务中的优越性。

2025-02-11cs.AIcs.LG

不变图学习结合信息瓶颈实现分布外泛化

Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization

School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；Tencent（腾讯）；School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院）

针对图分布外泛化中GNN性能下降的问题，提出InfoIGL框架，结合不变图学习与信息瓶颈，通过冗余过滤和多级对比学习提升模型对未见分布的泛化能力，实验验证其有效性。

2025-02-13cs.AIcs.LGstat.ML

用权标变换不变正则化提高神经网络的泛化能力和鲁棒性

Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations

City University of Hong Kong（香港城市大学）

在神经网络中，使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中，我们证明了一族正则化器，包括权重衰减，对于具有正齐次激活函数（如线性，ReLU和最大池函数）的网络，在惩罚权重的内在范数方面是无效的。作为同质性的结果，由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感，因此不能很好地正则化模型容量，导致过拟合。为了解决这个缺点，我们提出了一种改进的正则化，是不变的重量尺度的变化，从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界，因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限，这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。

2022-06-08cs.LGstat.ML

目标条件表示独立性（TCRI）：从领域不变到领域通用表示

Target Conditioned Representation Independence (TCRI); From Domain-Invariant to Domain-General Representations

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）

我们提出了一个目标条件表示独立性（TCRI）目标的领域泛化。TCRI解决了现有的领域泛化方法由于不完整的约束的局限性。具体来说，TCRI实现正则化动机的条件独立约束，足以严格学习完整的不变机制，我们证明是必要的和充分的领域泛化。经验上，我们表明，TCRI是有效的合成和真实世界的数据。TCRI在平均精度方面与基线具有竞争力，而在最差域精度方面优于基线，这表明所需的跨域稳定性。

2022-12-21cs.AIcs.LGstat.ML

通过相似聚类实现匿名学习：模型泛化的精确分析

Anonymous Learning via Look-Alike Clustering: A Precise Analysis of Model Generalization

University of Southern California（南加州大学）；Google Research（谷歌研究院）

本文通过凸高斯极小极大定理精确分析了基于相似聚类中心的匿名训练对模型泛化的影响，证明在高维场景下该方法具有正则化效果并能改善泛化误差。

2023-11-02cs.LGmath.STstat.ML

深度变换不变聚类

Deep Transformation-Invariant Clustering

LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（法国国立桥路学校（Ecole des Ponts）、古斯塔夫·埃菲尔大学（Univ Gustave Eiffel）、法国国家科学研究中心（CNRS））

图像聚类的最新进展通常集中在学习更好的深度表示。相比之下，我们提出了一种正交方法，不依赖于抽象特征，而是学习预测图像变换，并直接在图像空间中进行聚类。这个学习过程自然适合于基于梯度的K-means和高斯混合模型的训练，而不需要任何额外的损失或超参数。它将我们引向两个新的深度变换不变聚类框架，它们共同学习原型和变换。更具体地说，我们使用深度学习模块，使我们能够解决空间，颜色和形态变换的不变性。我们的方法在概念上是简单的，并具有几个优点，包括可以很容易地适应所需的不变性的任务和一个强大的可解释性的集群中心和分配到集群。我们证明了我们的新方法在标准图像聚类基准上产生了具有竞争力和非常有前途的结果。最后，我们展示了它的鲁棒性和改进的可解释性的优势，通过可视化聚类结果在真实的照片集。

2020-10-27cs.CVcs.LGstat.ML

加权风险不变性：不变特征偏移下的领域泛化

Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift

Johns Hopkins University（约翰霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）；New York University（纽约大学）；Center for Data Science（数据科学中心）

针对不变协变量偏移下现有不变学习方法性能不佳的问题，提出加权风险不变性（WRI）框架，通过环境间损失的不变性并加权训练样本，在理论上保证学习到不变模型，并在实验中优于先前方法。

2024-07-25cs.AIcs.CVcs.LG

通过手眼协调的泛化：学习空间不变视觉控制的动作空间

Generalization Through Hand-Eye Coordination: An Action Space for Learning Spatially-Invariant Visuomotor Control

Stanford Vision and Learning Lab（斯坦福视觉与学习实验室）

模仿学习是从离线演示数据中学习视觉技能的有效框架。然而，IL方法通常不能推广到训练数据未覆盖的新场景配置。另一方面，人类可以在不同的条件下操纵物体。这种能力的关键是手眼协调，这是一种认知能力，使人类能够自适应地将其运动指向与任务相关的对象，并且不受对象的绝对空间位置的影响。在这项工作中，我们提出了一个可学习的动作空间，手眼动作网络（HAN），可以近似人类的手眼协调行为，从人类的遥操作演示学习。通过一组具有挑战性的多阶段操作任务，我们表明，配备HAN的视觉策略能够继承手眼协调的关键空间不变性，并实现zero-shot推广到新的场景配置。其他材料请访问https://sites.google.com/stanford.edu/han

2021-08-17cs.AIcs.LGcs.RO

学习不变特征表示以提高胸部X射线数据集的泛化能力

Learning Invariant Feature Representation to Improve Generalization across Chest X-ray Datasets

Rochester Institute of Technology（罗切斯特理工学院）；IBM Almaden Research Center（IBM阿尔马登研究中心）

胸部X线摄影是医院最常用的筛查和诊断医学影像检查。在入门级放射科医生的水平上自动解释胸部X光片可以极大地有利于工作优先级，并有助于分析更大的人群。随后，提出了几个数据集和基于深度学习的解决方案，以基于胸部X射线图像识别疾病。然而，这些方法被证明容易受到数据源的变化的影响：当在与训练数据相同的数据集上测试时，深度学习模型表现良好，当在来自不同来源的数据集上测试时，它开始表现不佳。在这项工作中，我们通过迫使网络学习源不变表示来解决推广到新源的挑战。通过采用对抗性训练策略，我们证明了网络可以被迫学习源不变表示。通过对多源胸部X射线数据集的肺炎分类实验，我们表明，该算法有助于提高分类精度的一个新的X射线数据集的来源。

2020-08-04cs.CVcs.LGeess.IV