Learning to Learn Domain-invariant Parameters for Domain Generalization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Southeast University（东南大学）；Lenovo Research（联想研究院）；Lenovo Ltd（联想有限公司）
在实际应用中，由于域转移的影响，深度神经网络（DNN）通常不能很好地泛化未知的测试数据。领域泛化（DG）的目的是克服这个问题，从源域捕获域不变的表示。基于DNN的部分参数被优化以提取域不变表示的见解，我们期望一个能够很好地感知和重点更新这些域不变参数的通用模型。在本文中，我们提出了两个模块的域解耦和组合（DDC）和域不变性引导反向传播（DIGB），这可以鼓励这样的一般模型专注于参数，有一个统一的优化方向对对比样本。我们在两个基准上的大量实验表明，我们提出的方法具有很强的泛化能力，达到了最先进的性能。
2022-11-04 cs.LG
Target Conditioned Representation Independence (TCRI); From Domain-Invariant to Domain-General Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
我们提出了一个目标条件表示独立性（TCRI）目标的领域泛化。TCRI解决了现有的领域泛化方法由于不完整的约束的局限性。具体来说，TCRI实现正则化动机的条件独立约束，足以严格学习完整的不变机制，我们证明是必要的和充分的领域泛化。经验上，我们表明，TCRI是有效的合成和真实世界的数据。TCRI在平均精度方面与基线具有竞争力，而在最差域精度方面优于基线，这表明所需的跨域稳定性。
2022-12-21 cs.AI cs.LG stat.ML
Domain Agnostic Conditional Invariant Predictions for Domain Generalization
Nankai University（南开大学）；Beihang University（北京航空航天大学）
本文针对无领域标签的领域泛化问题，提出判别风险最小化理论和基于贝叶斯推理与分类判别风险惩罚项的算法，通过减小整体源域与子集间预测分布差异来捕获不变特征，并在多个数据集上验证了有效性。
2024-06-09 cs.LG
Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）；New York University（纽约大学）；Center for Data Science（数据科学中心）
针对不变协变量偏移下现有不变学习方法性能不佳的问题，提出加权风险不变性（WRI）框架，通过环境间损失的不变性并加权训练样本，在理论上保证学习到不变模型，并在实验中优于先前方法。
2024-07-25 cs.AI cs.CV cs.LG
Invariant Information Bottleneck for Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。
2022-03-21 cs.LG stat.ML
Provable Domain Generalization via Invariant-Feature Subspace Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来，针对领域泛化提出了一系列的算法，如不变风险最小化算法。然而，Rosenfeld等人（2021）表明，在一个简单的线性数据模型中，即使忽略非凸性问题，也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境，其中$d_s$是虚假特征子空间的维度。在本文中，我们提出了实现领域泛化与不变特征子空间恢复（ISR）。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间，并在Rosenfeld等人（2021）的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法，ISR-Cov，进一步减少了所需的训练环境的数量，$O(1)$使用二阶矩的信息。值得注意的是，与非凸性问题不同，我们的算法绕过了非凸性问题，并享有全局收敛保证。从经验上讲，我们的ISR可以获得优越的性能相比，在合成基准测试。此外，在三个真实世界的图像和文本数据集上，我们证明了这两种ISR都可以用作简单而有效的后处理方法，以提高（预）训练模型在最坏情况下的准确性，以对抗虚假相关性和组移位。
2022-07-07 cs.LG stat.ML
Domain-invariant Feature Exploration for Domain Generalization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
深度学习在过去几年取得了巨大的成功。然而，深度学习的性能在面对非IID情况时可能会受到阻碍。领域泛化（DG）使模型能够泛化到看不见的测试分布，即，来学习域不变表示。在本文中，我们认为，域不变的功能应该来自内部和相互方面。内部不变性意味着特征可以用单个域来学习，并且特征捕获数据的内在语义，即，域中的属性，它与其他域无关。互不变性意味着可以用多个域（跨域）来学习特征，并且特征包含公共信息，即，可转移特征w.r.t.其他领域。然后，我们提出DIFEX域不变的功能探索。DIFEX采用一个知识蒸馏框架来捕获高级傅立叶相位作为内部不变特征，并学习跨域相关对齐作为相互不变特征。我们进一步设计了一个探索损失，以增加更好的泛化功能的多样性。时间序列和视觉基准上的大量实验表明，所提出的DIFEX实现了最先进的性能。
2022-12-26 cs.CV cs.LG
Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
我们调查审查技术的力量，首先开发学习{ \em公平表示}，以解决领域泛化。我们研究{ \em adversarial}删失技术，用于从多个“研究”（或域）中学习不变表示，其中每个研究都是根据域上的分布绘制的。映射在测试时用于对来自新域的实例进行分类。在许多情况下，如医疗预测，从人口稠密地区（数据丰富）的研究到地理上偏远的人群（没有训练数据存在）的领域泛化提供了不同风格的公平性，这在以前的算法公平性工作中是没有预料到的。我们研究了$k$域的对抗性损失函数，并精确地描述了其限制行为，因为$k$的增长，形式化和证明的直觉，实验的支持下，从大量的域的观察数据的帮助。有限的结果是伴随着非渐近学习理论界。此外，我们得到了充分的条件，我们的算法在以前看不见的域的良好的最坏情况下的预测性能。最后，我们将我们的映射分解成两个组件，并提供了一个完整的表征不变性的分解。据我们所知，我们的研究结果提供了第一个正式的保证，这些类型的对抗不变的领域泛化。
2020-06-20 cs.LG stat.ML
Exploiting Domain-Specific Features to Enhance Domain Generalization
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
领域泛化（DG）的目的是从多个观察到的源域训练模型，以便在看不见的目标域上表现良好。为了获得推广能力，以前的DG方法集中在提取跨源的域不变信息来推广目标域，而有用的特定于域的信息，这些信息与各个域中的标签和目标域的推广密切相关，通常被忽略。在本文中，我们提出了元域特定域不变（mDSDI）-一种新的理论上健全的框架，扩展超出了不变性的观点，以进一步捕捉域特定信息的有用性。我们的关键见解是在潜在空间中解开特征，同时在统一的框架中联合学习域不变和域特定的特征。特定于域的表示通过元学习框架进行优化，以适应源域，目标是在看不见的域上进行鲁棒的概括。我们的经验表明，mDSDI提供了竞争力的结果与国家的最先进的技术在DG。使用我们生成的数据集Background-Colored-MNIST进行的进一步消融研究证实了域特异性是必不可少的这一假设，与仅使用域不变相比，可以获得更好的结果。
2021-10-18 cs.LG
Domain Generalization via Conditional Invariant Representation
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
领域泛化的目的是将从多个标记的源领域中获得的知识应用到未知的目标领域。主要困难来自数据集偏差：训练数据和测试数据具有不同的分布，并且训练集包含来自不同分布的异质样本。令$X$表示特征，并且$Y$是类标签。现有的领域泛化方法通过学习跨多个源域具有相同边缘分布$\mathbb{P}(h(X))$的域不变表示$h(X)$来解决数据集偏差问题。$\mathbb{P}(Y|X)$中编码的函数关系通常被假定为跨域稳定，使得$\mathbb{P}(Y|h(X))$也是不变的。然而，目前还不清楚这一假设是否适用于实际问题。在本文中，我们考虑的一般情况下，$\mathbb{P}(X)$和$\mathbb{P}(Y|X)$可以改变所有域。我们建议学习具有域不变类条件分布$\mathbb{P}(h(X)|Y)$的特征表示。利用条件不变表示，如果类先验$\mathbb{P}(Y)$在训练域和测试域之间不改变，则可以保证联合分布$\mathbb{P}(h(X),Y)$的不变性。对合成数据和真实数据的大量实验证明了所提出方法的有效性。
2018-07-23 cs.CV cs.LG stat.ML
FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Statistics, Rutgers University（罗格斯大学统计系）
本文提出基于训练环境的不变学习方法 FAIRM，在多样性条件下兼顾算法公平性与领域泛化，并在线性模型中给出有限样本保证和极小极大最优性，实验表明其优于现有方法。
2024-04-02 cs.LG stat.ME stat.ML
Graph Augmentation for Cross Graph Domain Generalization
Tsinghua University（清华大学）
本文提出图结构增强方法，通过低权重边丢弃和聚类边添加，提升跨图节点分类中GNN的域泛化能力，并在分布外数据集上取得最优性能。
2025-02-25 cs.LG
Class-Invariant Test-Time Augmentation for Domain Generalization
School of Computing and Artificial Intelligence（计算机与人工智能学院）；ANGEL Lab（ANGEL实验室）；Southwest Jiaotong University（西南交通大学）；Nanyang Technological University（南洋理工大学）
提出轻量级的类不变测试时增强（CI-TTA）方法，通过弹性变形和网格变形生成同类变体并利用置信度过滤聚合预测，在PACS和Office-Home上验证了其有效性与通用性。
2025-10-12 cs.CV cs.LG
On the benefits of representation regularization in invariance based domain generalization
Université Laval（拉瓦尔大学）；Western University（韦仕敦大学）；Vector Institute（向量研究所）；Mila（米拉人工智能研究所）
可靠的机器学习的一个重要方面是设计一个可部署的系统，以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中，我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此，我们得到了新的理论分析，以控制不可见的测试环境错误的表示学习，这突出了控制表示的平滑性的重要性。在实践中，我们的分析进一步启发了一个有效的正则化方法，以提高领域泛化的鲁棒性。我们的正则化是正交的，可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明，我们的算法优于基础版本在各种数据集和不变性标准。
2021-05-30 cs.LG stat.ML
Adversarial Invariant Feature Learning with Accuracy Constraint for Domain Generalization
The University of Tokyo（东京大学）
学习领域不变表示是领域泛化（DG）的主要方法，其中我们需要建立一个分类器，对领域的变化是鲁棒的。然而，以前的基于域不变性的方法忽略了潜在的依赖关系的类域，这是负责分类精度和域不变性之间的权衡。由于DG的主要目的是分类看不见的域，而不是不变性本身，不变性的改善可能会对DG性能产生负面影响。为了克服这个问题，本研究首先扩展了谢等的权衡分析。例如，并提供了精度约束域不变性的概念，这意味着在不干扰精度的范围内的最大域不变性。然后，我们提出了一种新的方法对抗性特征学习与精度约束（AFLAC），这明确导致对抗性训练的不变性。实证验证表明，AFLAC的性能优于基于域不变性的方法在合成和三个真实世界的数据集，支持考虑的依赖性和所提出的方法的有效性的重要性。
2020-03-02 cs.LG stat.ML
Raising the Bar in Graph OOD Generalization: Invariant Learning Beyond Explicit Environment Modeling
The School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；The School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
本文提出MPHIL方法，通过超球面不变表示提取和多原型分类解决图学习中域外泛化问题，提升模型鲁棒性和分类性能。
2025-08-02 cs.AI cs.LG
Time-Series Forecasting for Out-of-Distribution Generalization Using Invariant Learning
School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）
针对时间序列预测中的分布外泛化难题，本文提出模型无关框架 FOIL，通过代理损失、环境推断和不变表示学习提升多种 TSF 模型，最高增益达 85%。
2024-06-13 cs.AI cs.LG
When and How to Canonize: A Generalization Perspective
Technion – Israel Institute of Technology（技术学院–以色列理工学院）
本文从一般化角度分析了规范化的理论属性，提出通过覆盖数上界分析规范化的泛化误差，建立了规范化的泛化误差层次，并证明了Hilbert曲线规范化的有效性。
2026-10-14 cs.AI cs.LG
Generative Risk Minimization for Out-of-Distribution Generalization on Graphs
University of Virginia（弗吉尼亚大学）；University of Connecticut（康涅狄格大学）
针对图结构数据OOD泛化因非独立同分布特性和复杂结构信息导致的挑战，提出生成式风险最小化（GRM）框架，通过生成不变子图而非提取来捕获不变信息，经理论分析和实验验证其在节点级与图级OOD泛化任务中的优越性。
2025-02-11 cs.AI cs.LG
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Generalization Error of Invariant Classifiers
University College London（伦敦大学学院）；Tel-Aviv University（特拉维夫大学）；Duke University（杜克大学）
研究了不变分类器的推广误差。特别是，我们考虑了常见的情况下，分类任务是不变的输入的某些变换，分类器被构造（或学习）是不变的这些变换。我们的方法依赖于将输入空间分解为一个基空间和一组变换的乘积。我们发现，而非不变分类器的泛化误差是成比例的输入空间的复杂性，不变分类器的泛化误差是成比例的基础空间的复杂性。我们还得到了一组充分条件的几何基础空间和一组的转换，以确保基础空间的复杂性是远远小于输入空间的复杂性。我们的分析适用于一般分类器，如卷积神经网络。我们证明了这种分类器的实验MNIST和CIFAR-10数据集的发展理论的影响。
2017-07-02 cs.AI cs.CV cs.LG
Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Samsung Medical Center（三星医疗中心）；Sungkyunkwan University School of Medicine（成均馆大学医学院）；AITRICS
解释泛化和防止过度自信的预测是神经网络损失景观研究的中心目标。平坦性被定义为对预先训练的解决方案的扰动的损失不变性，被广泛接受为在这种情况下泛化的预测因子。然而，平坦性和推广界可以根据参数的尺度任意改变的问题被指出，和以前的研究部分解决了这个问题的限制：反直观地，他们的推广界仍然是可变的函数保持参数缩放变换或仅限于一个不切实际的网络结构。作为一个更根本的解决方案，我们提出了新的先验和后验分布不变的缩放变换的\textit{decomposing}的规模和连接的参数，从而使由此产生的泛化约束来描述一个广泛的一类网络的泛化能力与更实际的类的转换，如权重衰减与批量归一化。我们还表明，上述问题对拉普拉斯近似的不确定性校准产生不利影响，并提出了一个解决方案，使用我们的不变后验。我们的经验表明，我们的后验提供了有效的平坦度和校准措施，在这样一个实际的参数变换的情况下，低复杂性，支持其实际有效性符合我们的理由。
2022-09-30 cs.AI cs.LG
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境，并学习一个不变的GNN进行泛化。然而，由于图的结构化编辑不可避免地要改变图的标号，所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系，这是有害的泛化。为了解决这个问题，我们提出了\textbf{LiSA}，它产生标签不变的扩增，以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境，而不是诉诸图版本。具体来说，LiSA首先设计了变分子图生成器，以有效地提取局部预测模式并构造多个标签不变子图。然后，收集由不同生成器产生的子图，以构建不同的增强环境。为了促进增强环境之间的多样性，LiSA进一步引入了一种易于处理的基于能量的正则化，以扩大环境分布之间的成对距离。通过这种方式，LiSA生成具有一致预测关系的各种增强环境，并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明，LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
Decorr: Environment Partitioning for Invariant Learning and OOD Generalization
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）
本文提出Decorr方法，通过将训练数据划分为低相关子集来构建环境，以增强不变学习在OOD泛化中的性能，缓解虚假相关并识别稳定预测器。
2024-05-22 cs.LG
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；Tencent（腾讯）；School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院）
针对图分布外泛化中GNN性能下降的问题，提出InfoIGL框架，结合不变图学习与信息瓶颈，通过冗余过滤和多级对比学习提升模型对未见分布的泛化能力，实验验证其有效性。
2025-02-13 cs.AI cs.LG stat.ML
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University（北京大学）；New York University（纽约大学）
尽管在许多任务中取得了令人印象深刻的成功，但深度学习模型被证明依赖于虚假特征，当推广到分布外（OOD）数据时，这些特征将灾难性地失败。不变风险最小化算法（Invariant Risk Minimization，简称RISK）通过提取面向对象的领域不变特征来解决这一问题。然而，最近的工作表明，双折射仅对特定类型的分布偏移有效（例如，相关偏移）而对于其它情况则失败（例如，多样性转移）。与此同时，另一种方法，对抗训练（AT），表现出更好的域转移性能，这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性，通过探索的相似性之间的竞争和AT目标。受这种联系的启发，我们提出了域对抗训练（DAT），这是一种AT启发的方法，用于减轻特定于域的扰动引起的分布偏移。大量的实验表明，我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
Invariant Random Forest: Tree-Based Model Solution for OOD Generalization
Renmin University of China（中国人民大学）；City University of Hong Kong（香港城市大学）
针对决策树模型缺乏 OOD 泛化方法的问题，本文提出 IDT 及其集成 IRF，通过惩罚跨环境不稳定分裂提升泛化，并在合成与真实数据上验证其优势。
2024-01-18 cs.LG
Invariant Structure Learning for Better Generalization and Causal Explainability
Google Cloud AI（谷歌云人工智能）；University of Southern California（南加州大学）
学习数据背后的因果结构对于提高泛化能力和获得高质量的解释是非常宝贵的。我们提出了一个新的框架，不变结构学习（ISL），旨在提高因果结构发现利用泛化作为指示。ISL将数据分割到不同的环境中，并通过施加一致性约束来学习在不同环境中对目标不变的结构。然后，聚合机制基于图结构选择最佳分类器，该图结构与从各个环境中学习的结构相比更准确地反映了数据中的因果机制。此外，我们将ISL扩展到自监督学习设置，其中准确的因果结构发现不依赖于任何标签。这种自监督ISL通过迭代地将不同的节点设置为目标来利用不变的因果关系提案。在合成和真实世界的数据集上，我们证明了ISL准确地发现了因果结构，优于其他方法，并为具有显著分布偏移的数据集提供了优越的泛化能力。
2022-06-13 cs.LG stat.ML
Generalization Through Hand-Eye Coordination: An Action Space for Learning Spatially-Invariant Visuomotor Control
Stanford Vision and Learning Lab（斯坦福视觉与学习实验室）
模仿学习是从离线演示数据中学习视觉技能的有效框架。然而，IL方法通常不能推广到训练数据未覆盖的新场景配置。另一方面，人类可以在不同的条件下操纵物体。这种能力的关键是手眼协调，这是一种认知能力，使人类能够自适应地将其运动指向与任务相关的对象，并且不受对象的绝对空间位置的影响。在这项工作中，我们提出了一个可学习的动作空间，手眼动作网络（HAN），可以近似人类的手眼协调行为，从人类的遥操作演示学习。通过一组具有挑战性的多阶段操作任务，我们表明，配备HAN的视觉策略能够继承手眼协调的关键空间不变性，并实现zero-shot推广到新的场景配置。其他材料请访问https://sites.google.com/stanford.edu/han
2021-08-17 cs.AI cs.LG cs.RO
Towards OOD Generalization in Dynamic Graphs via Causal Invariant Learning
本文提出DyCIL模型，通过因果不变学习解决动态图中的OOD泛化问题，结合动态因果子图生成、因果感知注意力模块和自适应环境生成器，提升模型在复杂OOD场景下的泛化能力。
2026-03-02 cs.LG
Invariant Meta Learning for Out-of-Distribution Generalization
The Australian National University（澳大利亚国立大学）
现代深度学习技术已经在许多领域展示了其出色的能力，但依赖于大量的训练数据。基于优化的元学习训练模型是针对多种任务进行的，因此它可以使用少量的训练样本来解决新的学习任务，但是这些方法都假设训练数据和测试数据是相同且独立分布的。为了克服这种局限性，在本文中，我们提出了不变量元学习的分布任务。具体来说，不变元学习找到不变的最优元初始化，并快速适应正则化惩罚的分布外任务。大量的实验表明，我们提出的不变元学习的有效性外的分布Few-Shot任务。
2023-02-21 cs.CV cs.LG
Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；China Mobile Information Technology Co. Ltd.（中移信息技术有限公司）
针对图神经网络分布外泛化差、现有图不变学习依赖难获取的环境划分问题，提出子图协同混合的图不变学习方法，联合生成多样环境并捕捉不变模式，在多分布偏移场景下性能优于现有最优方法。
2023-12-18 cs.LG cs.SI
Robustness and Generalization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Technion, Israel Institute of Technology（以色列理工学院）
我们根据学习算法的鲁棒性推导出其泛化界：如果测试样本与训练样本“相似”，则测试误差接近训练误差。这为研究学习算法的泛化提供了一种不同于复杂性或稳定性的新途径。我们进一步表明，一个弱的鲁棒性的概念是充分的和必要的推广，这意味着鲁棒性是一个基本属性的学习算法的工作。
2010-05-13 cs.LG
Out-of-distribution Generalization for Total Variation based Invariant Risk Minimization
College of Cyber Security, Jinan University（暨南大学网络安全学院）；Pratt School of Engineering, Duke University（杜克大学普拉特工程学院）；Sino-French Engineer School, Beihang University（北京航空航天大学中法工程师学院）
本文提出OOD-TV-IRM模型，将IRM-TV扩展为原始-对偶优化，通过拉格朗日乘子平衡训练损失与分布外泛化，并开发收敛的对抗学习算法，实验证明其性能优于IRM-TV。
2025-02-28 cs.LG
ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks
Samsung Research（三星研究院）
近年来，损失面的尖锐度作为泛化间隙的有效度量，作为学习算法的动机，表现出最先进的性能。然而，在具有固定半径的刚性区域中定义的锐度在对参数重新缩放的敏感性方面具有缺点，这使得损失不受影响，从而导致锐度和泛化间隙之间的连接减弱。在本文中，我们引入了自适应锐度的概念，这是规模不变的，并提出了相应的推广界。我们提出了一种新的学习方法，自适应锐度感知最小化（ASAM），利用建议的泛化界。在不同基准数据集上的实验结果表明，ASAM有助于显着提高模型的泛化性能。
2021-06-29 cs.LG stat.ML
Why Robust Generalization in Deep Learning is Difficult: Perspective of Expressive Power
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；Cornell University（康奈尔大学）
众所周知，现代神经网络容易受到对抗性样本的影响。为了缓解这个问题，已经提出了一系列鲁棒的学习算法。然而，尽管通过一些方法可以使鲁棒训练误差接近于零，但是所有现有的算法都导致高鲁棒泛化误差。在本文中，我们从深层神经网络表达能力的角度对这一令人困惑的现象提供了理论上的理解。具体来说，对于具有良好分离数据的二进制分类问题，我们表明，对于ReLU网络，虽然温和的过度参数化足以实现高鲁棒训练精度，但存在恒定的鲁棒泛化间隙，除非神经网络的大小在数据维度$d$中呈指数级。即使数据是线性可分的（这意味着实现标准泛化很容易），并且更一般地对于任何参数化函数类，只要它们的VC维数最多是参数个数的多项式，这个结果也成立。此外，我们建立了一个改进的上界$\exp({\mathcal{O}}(k))$的网络规模，以实现低鲁棒泛化误差时，数据位于一个流形上的固有维$k$（$k \ll d$）。尽管如此，我们也有一个关于$k$呈指数增长的下限--维数灾难是不可避免的。通过证明实现低鲁棒训练的网络规模与泛化误差之间的指数分离，我们的结果表明，鲁棒泛化的难度可能源于实际模型的表达能力。
2022-10-14 cs.AI cs.LG stat.ML
Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization
South China University of Technology（华南理工大学）
学习不变（因果）特征的分布外（OOD）推广最近引起了广泛的关注，其中不变风险最小化（VRM）是一个值得注意的解决方案。尽管线性回归理论上有希望，但在线性分类问题中使用递归的挑战仍然存在。通过将信息瓶颈（IB）原理引入到机器学习中，IB-SVM方法已经证明了它解决这些挑战的能力。本文从两个方面进一步改进了IB-SVM。首先，我们证明了在IB-EQUIPMENT中使用的不变特征的支持重叠的关键假设对于保证OOD泛化是强有力的，并且在没有这个假设的情况下仍然有可能实现最优解。其次，我们说明了两种故障模式，IB-ESTA（和ESTA）可能会失败的学习不变的功能，并解决这样的故障，我们提出了一个\textit{Counterfactual Supervision-based Information Bottleneck (CSIB)}学习算法，可证明恢复不变的功能。通过要求反事实推理，CSIB即使在从单个环境访问数据时也能工作。在多个数据集上的实验验证了我们的理论结果。
2023-01-16 cs.LG
Estimating Generalization under Distribution Shifts via Domain-Invariant Representations
Massachusetts Institute of Technology（麻省理工学院）
当机器学习模型部署在与训练分布不同的测试分布上时，它们可能表现不佳，但高估了它们的性能。在这项工作中，我们的目标是更好地估计模型的性能下分布偏移，没有监督。为此，我们使用一组域不变预测器作为未知的真实目标标签的代理。由于所得到的风险估计的误差取决于代理模型的目标风险，我们研究了域不变表示的泛化，并表明潜在表示的复杂性对目标风险有显着影响。从经验上讲，我们的方法（1）能够自调整领域自适应模型，（2）准确地估计给定模型的目标误差下分布偏移。其他应用包括模型选择，决定提前停止和错误检测。
2020-07-06 cs.LG stat.ML
Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯人工智能实验室）；The University of Sydney（悉尼大学）
尽管最近成功地将不变性原理用于欧几里德数据的分布外（OOD）推广（例如，图像），对图形数据的研究仍然有限。与图像不同，图形的复杂性对采用不变性原理提出了独特的挑战。特别是，图上的分布偏移可以以属性和结构等多种形式出现，使得难以识别不变性。此外，域或环境分区，这往往是需要的OOD方法对欧几里德数据，可能是非常昂贵的获得图。为了弥补这一差距，我们提出了一个新的框架，称为因果启发不变图学习（CIGA），捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说，我们的特点潜在的分布偏移图与因果模型，得出结论，OOD泛化图是可以实现的，当模型只集中在子图包含最多的信息标签的原因。因此，我们提出了一个信息理论的目标，以提取所需的子图，最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验，包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD，验证了CIGA的卓越OOD性能。
2022-10-11 cs.LG
PAC-Bayesian Spectrally-Normalized Bounds for Adversarially Robust Generalization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Pennsylvania（宾夕法尼亚大学）
本文基于PAC-Bayes方法提出了一种不依赖额外假设且更紧的谱归一化对抗鲁棒泛化界，揭示标准与鲁棒泛化界的差异仅源于数学问题，并将其扩展至一般非ℓp攻击和其他网络架构。
2023-10-28 cs.LG
Exploring the Relationship between Architecture and Adversarially Robust Generalization
SenseTime（商汤科技）；Zhongguancun Laboratory（中关村实验室）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；JD Explore Academy（京东探索研究院）；Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）；Zhejiang University（浙江大学）
对抗性训练已被证明是防御对抗性示例的最有效的补救措施之一，但它经常受到不可见测试对手的巨大鲁棒性泛化差距的影响，被认为是对抗性鲁棒泛化问题。尽管初步的理解致力于对抗性强的泛化，很少有人知道从架构的角度。为了弥补这一空白，本文首次系统地研究了对抗鲁棒泛化与体系结构设计之间的关系。特别是，我们全面评估了ImageNette和CIFAR-10数据集上20个最具代表性的对抗训练架构，以应对多个“p-范数对抗攻击”。基于广泛的实验，我们发现，在对齐设置下，视觉Transformer（例如，PVT，CoAtNet）通常会产生更好的对抗性鲁棒泛化能力，而CNN往往会在特定攻击上过度拟合，并且无法在多个对手上泛化。为了更好地理解其背后的本质，我们通过Rademacher复杂性的镜头进行理论分析。我们揭示了这样一个事实，即更高的权重稀疏性显著有助于Transformers更好的对抗鲁棒泛化，这通常可以通过专门设计的注意力块来实现。我们希望我们的论文可以帮助更好地理解设计鲁棒DNN的机制。我们的模型权重可以在http://robust.art上找到。
2023-03-10 cs.LG
PAC Generalization via Invariant Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research India（谷歌印度研究院）；IBM Research（IBM研究院）
当呈现不同的训练环境时，用于获得机器学习任务的可推广解决方案的一种方法是找到数据的\textit{invariant representations}。这些是协变量的表示，使得表示之上的最佳模型在训练环境中是不变的。在线性结构方程模型（SEM）的背景下，不变表示可能允许我们学习具有分布外保证的模型，即，在SEM中对干预具有鲁棒性的模型。为了解决{ \em有限样本}设置中的不变表示问题，我们考虑$ε$近似不变性的概念。我们研究以下问题：如果一个表示是近似不变的相对于一个给定的数量的训练干预，它将继续近似不变的一个更大的集合看不见的SEM？这个更大的SEM集合是通过参数化干预系列生成的。受PAC学习的启发，我们获得了有限样本分布外的近似不变性的泛化保证，该近似不变性在没有忠诚假设的线性SEM家族上保持\textit{probabilistically}。我们的研究结果表明，当干预网站被限制在一个恒定大小的子集的度有界节点躺在周围的尺寸不缩放的界限。我们还展示了如何将我们的结果扩展到包含潜变量的线性间接观测模型。
2022-08-15 cs.LG stat.ML
An Invariant Matching Property for Distribution Generalization under Intervened Response
University of Utah（犹他大学）
分布泛化的任务涉及在未知环境中对响应进行可靠的预测。结构因果模型被证明是有用的模型分布的变化，通过干预。受基本不变性原理的启发，通常假设给定其预测因子的响应的条件分布在不同环境中保持相同。然而，在实际环境中，当反应被干预时，这一假设可能会被违反。本文研究了一类具有干预反应的模型.我们确定了一种新的形式的不变性，将某些功能的估计作为额外的预测。有效地，我们证明了这种不变性相当于有一个确定性的线性匹配，使泛化成为可能。我们提供了一个明确的表征的线性匹配，并提出我们的模拟结果在各种干预设置。
2022-06-11 cs.LG stat.ME
Robustness, Privacy, and Generalization of Adversarial Training
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
对抗性训练可以大大增强深度神经网络的鲁棒性，以抵抗对抗攻击。然而，一些工作表明，对抗性训练可能包括隐私保护和泛化能力。本文从理论和实证两个方面建立并量化了对抗训练中的隐私-鲁棒性权衡和泛化-鲁棒性权衡。我们首先定义了一个概念，{ \it robustized intensity}来衡量对抗训练算法的鲁棒性。该度量可以通过渐近一致的经验估计器{ \it经验鲁棒强度}来经验地近似。基于鲁棒强度，我们证明了：（1）对抗训练是$(\varepsilon, δ)$ -差分隐私的，其中差分隐私的大小与鲁棒强度呈正相关;（2）对抗训练的泛化误差可以由$\mathcal O(\sqrt{\log N}/N)$平均界和$\mathcal O(1/\sqrt{N})$高概率界来上界，这两个界都与鲁棒强度呈正相关.此外，我们的泛化边界不显式依赖于参数大小，这在深度学习中会非常大。在标准数据集CIFAR-10和CIFAR-100上的系统实验与我们的理论完全一致。源代码包可在\url{https://github.com/fshp971/RPG}上获得。
2020-12-25 cs.AI cs.CR cs.LG
Generating Less Certain Adversarial Examples Improves Robust Generalization
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
该研究针对对抗训练中的鲁棒过拟合问题，提出对抗样本预测过度自信是诱因，通过定义对抗确定性并构建对应训练方法，有效提升模型鲁棒性并缓解鲁棒过拟合。
2025-01-14 cs.LG
Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization
Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）
针对OOD泛化中分布噪声误导优化的问题，提出EVIL方法，通过探索并剔除对分布偏移敏感的变体参数，寻找相对稳定的不变参数以构建鲁棒子网络，在DomainBed上有效提升了多种主流方法的泛化能力。
2023-10-25 cs.CV cs.LG
How Learning Dynamics Drive Adversarially Robust Generalization?
CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心）
本文通过动力学系统分析，揭示对抗训练中鲁棒过拟合的机理，并提出PAC-Bayesian框架进行理论证明，同时探讨对抗扰动对泛化性能的影响。
2026-07-09 cs.LG
DivIL: Unveiling and Addressing Over-Invariance for Out-of- Distribution Generalization
The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对分布外泛化中强不变约束导致的过度不变性问题，提出DivIL方法，结合无监督对比学习和随机掩蔽机制，在12个数据集和6个模型上验证了有效性。
2025-05-22 cs.LG
Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization
Department of Computer Science, Purdue University（普渡大学计算机科学系）；Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Ohio State University（俄亥俄州立大学工业与系统工程系）
本文提出RIA方法，通过对抗性标签不变的数据增强提升分布外泛化能力，结合因果生成图数据进行优化，实验表明其在多种分布偏移场景中表现优异。
2026-04-20 cs.LG stat.ML
Robustness Implies Generalization via Data-Dependent Generalization Bounds
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；New York University（纽约大学）
本文证明了鲁棒性意味着通过数据依赖的泛化界的泛化。其结果是，鲁棒性和泛化被证明是紧密相连的数据依赖的方式。我们的边界在两个方向上改进了以前的边界，以解决自2010年以来几乎没有发展的开放问题。一是减少对覆盖数的依赖。二是去除对假设空间的依赖。我们给出了几个例子，包括lasso和深度学习的例子，在这些例子中，我们的界限是可以证明的。对真实世界数据和理论模型的实验表明，在各种情况下，近指数的改善。为了实现这些改进，我们不需要对未知分布进行额外的假设;相反，我们只包含训练样本的可观察和可计算属性。一个关键的技术创新是一个改进的浓度范围的多项式随机变量，是独立的利益超出了鲁棒性和推广。
2022-08-03 cs.AI cs.CV cs.LG
Invariant Graph Transformer for Out-of-Distribution Generalization
Nankai University（南开大学）；Beihang University（北京航空航天大学）
本文提出GOODFormer，通过联合优化三个模块学习通用图表示，旨在解决分布偏移下的图结构泛化问题。
2026-03-13 cs.LG
Out-of-distribution Generalization with Causal Invariant Transformations
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在现实世界的应用程序中，学习在分发外（OOD）数据上表现良好的模型非常重要且可取。最近，因果关系已成为一个强大的工具，以解决面向对象的泛化问题，其思想依赖于因果机制，是跨领域的利益不变。为了利用通常未知的因果机制，现有的作品假设因果特征的线性形式，或者需要足够多和不同的训练域，这在实践中通常是限制性的。在这项工作中，我们将这些假设和解决OOD问题，而不显着恢复的因果功能。我们的方法基于修改非因果特征但保持因果部分不变的转换，这可以从先验知识中获得，也可以从多域场景中的训练数据中学习。在不变因果机制的设置下，我们从理论上证明了，如果所有这样的转换是可用的，那么我们可以学习一个极小极大最优模型跨域仅使用单域数据。注意到，知道这些因果不变变换的完整集合可能是不切实际的，我们进一步表明，它足以知道这些变换的一个子集。基于理论研究结果，提出了一种正则化的训练过程，以提高OOD的泛化能力。在人工和真实数据集上的大量实验结果验证了该算法的有效性，即使只有几个因果不变变换。
2022-03-24 cs.LG stat.ML
Adaptive Learning with Robust Generalization Guarantees
California Institute of Technology（加州理工学院）；Hebrew University of Jerusalem（希伯来大学）；Ben-Gurion University（本-古里安大学）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）
传统的泛化概念-即，学习一个经验误差接近其真实误差的假设是令人惊讶的脆弱。正如最近在[DFH+15 b]中所指出的，即使几个算法孤立地具有这种保证，如果算法是自适应组成的，则该保证不需要保持。在本文中，我们研究了三个概念的泛化-增加强度-这是强大的后处理和服从自适应组合，并检查它们之间的关系。我们称这种最弱的概念为鲁棒推广。第二个中间概念是被称为差分隐私的稳定性保证。我们认为最强的保证我们称之为完美泛化。我们证明，每个假设类，PAC学习也PAC学习的一个强大的推广方式，几乎相同的样本复杂性。先前已知差分私有算法满足鲁棒泛化。在本文中，我们表明，强大的泛化是一个严格较弱的概念，并有一个学习任务，可以进行鲁棒的泛化保证，但不能进行差分隐私。我们还表明，完美的泛化是一个严格的强有力的保证比差分隐私，但是，尽管如此，许多学习任务可以进行完美的泛化的保证。
2016-06-02 cs.DS cs.LG
