Domain Generalization via Invariant Feature Representation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文研究领域泛化：如何从任意数量的相关领域获得知识，并将其应用到以前看不见的领域？我们提出了域不变分量分析（DICA），一种基于内核的优化算法，通过最小化域之间的相异性来学习不变变换，同时保留输入和输出变量之间的函数关系。学习理论分析表明，减少相异度提高了分类器在新领域的预期泛化能力，激励所提出的算法。在合成数据集和真实数据集上的实验结果表明，DICA成功地学习了不变特征，提高了分类器的性能。
2013-01-10 cs.LG stat.ML
Failure Modes of Domain Generalization Algorithms
Russian-Armenian University（俄罗斯-亚美尼亚大学）；YerevaNN；USC Information Sciences Institute（南加州大学信息科学研究所）；Yerevan State University（埃里温国立大学）
领域泛化算法使用来自多个领域的训练数据来学习能够很好地泛化到未见过的领域的模型。虽然最近提出的基准测试表明，大多数现有的算法不优于简单的基线，建立的评估方法未能暴露的各种因素的影响，导致性能不佳。在本文中，我们提出了一个评估框架领域泛化算法，允许分解成组件捕捉不同方面的泛化错误。受基于域不变表示学习思想的算法流行的启发，我们扩展了评估框架，以捕获实现不变性的各种类型的失败。我们发现，泛化误差的最大贡献者在方法、数据集、正则化强度甚至训练长度上各不相同。我们观察到与学习域不变表示的策略相关的两个问题。在有色MNIST上，大多数领域泛化算法都失败了，因为它们只在训练域上达到了领域不变性。在Camelyon-17上，域不变性降低了不可见域上表示的质量。我们假设，专注于在丰富的表示之上调整分类器可能是一个有前途的方向。
2021-11-26 cs.LG
Hierarchical Domain Generalization
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；University of Waterloo（滑铁卢大学）
研究分层域泛化问题，从有限观察区域外推到整个实例空间，以任意域层次结构取代独立同分布采样，揭示核心障碍在于训练/测试域划分，表明现代泛化理论应将域结构视为关键因素。
2026-07-21 cs.LG
Generalization Analysis and Method for Domain Generalization for a Family of Recurrent Neural Networks
Department of Electrical and Computer Engineering at the University of Manitoba（曼尼托巴大学电气与计算机工程系）；Department of Computer Science, Toronto Metropolitan University（多伦多 Metropolitan 大学计算机科学系）
本文提出了一种分析递归神经网络家族可解释性和领域泛化能力的方法，通过Koopman算子理论提升模型对分布偏移的鲁棒性。
2026-01-13 cs.LG
Localized Adversarial Domain Generalization
PAII Inc.（PAII公司）；University of Rochester（罗切斯特大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；PingAn Insurance Group（平安保险集团）
深度学习方法可能难以处理训练数据中看不到的域转移，这可能导致它们无法很好地推广到看不见的域。这引起了对领域泛化的研究，它旨在提高模型的泛化能力。对抗性领域泛化是DG的一种流行方法，但传统方法（1）难以充分对齐特征，使得局部邻域在域间混合;以及（2）可能遭受特征空间过度崩溃，这可能威胁泛化性能。为了解决这些局限性，我们提出了局部对抗性领域泛化与空间紧凑性维护~（LADG），这构成了两个主要贡献。首先，我们提出了一个对抗性的本地化分类器作为域分类器，以及一个原则性的主要分支。这构造了一个最小-最大博弈，其中特征化器的目标是产生局部混合域。其次，我们建议使用编码率损失来减轻特征空间的过度崩溃。我们在Wilds DG基准上进行了全面的实验，以验证我们的方法，LADG在大多数数据集上的表现优于领先的竞争对手。
2022-05-09 cs.LG
Hypernetwork-Driven Model Fusion for Federated Domain Generalization
ETH（苏黎世联邦理工学院）；KAIST AI（韩国科学技术院人工智能部门）
针对联邦学习中的域偏移问题，提出基于超网络的hFedF框架，通过非线性聚合和梯度对齐实现域泛化，在多个数据集上取得最优性能。
2024-05-28 cs.LG
Learning to Generalize: Meta-Learning for Domain Generalization
Queen Mary University of London（伦敦玛丽女王大学）；University of Edinburgh（爱丁堡大学）
域偏移是指在一个源域中训练的模型在应用于具有不同统计数据的目标域时表现不佳的众所周知的问题。领域泛化（DG）技术试图通过产生模型来缓解这个问题，所述模型通过设计很好地泛化到新的测试领域。提出了一种新的领域泛化{元学习}方法。而不是设计一个特定的模型，是强大的域转移在大多数以前的DG工作，我们提出了一个模型不可知的训练过程DG。我们的算法模拟训练/测试域转移在训练过程中合成虚拟测试域内的每个小批量。元优化目标要求提高训练域性能的步骤也应该提高测试域性能。这个元学习过程训练具有良好泛化能力的模型到新的领域。我们评估了我们的方法，并在最近的跨域图像分类基准上取得了最先进的结果，同时在两个经典的强化学习任务上展示了其潜力。
2017-10-10 cs.LG
How Does Distribution Matching Help Domain Generalization: An Information-theoretic Analysis
College of Science, Huazhong Agriculture University（华中农业大学理学院）；China Telecom Corporation（中国电信集团有限公司）
本文从信息论和概率视角分析分布匹配对领域泛化的作用，揭示梯度匹配与表示匹配的互补关系，并提出IDM与PDM方法以同时对齐梯度和表示，从而提升泛化性能。
2024-06-14 cs.LG
Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions
Nankai University（南开大学）；ByteDance（字节跳动）；Beihang University（北京航空航天大学）
本文提出PTG方法，通过聚合不同训练域后验隐式推断网络参数的域不变后验分布，利用变分推断近似参数分布，在DomainBed基准上表现优异且可与现有方法结合提升性能。
2023-10-25 cs.AI cs.LG
Invariant Information Bottleneck for Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。
2022-03-21 cs.LG stat.ML
MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis
School of Electronics and Information Technology（电子信息学院）
MIDG通过混合不变专家和跨模态适配器，提升多模态情感分析中领域泛化的性能与语义表达能力。
2025-12-08 cs.AI cs.LG
Domain Generalization In Robust Invariant Representation
Massachusetts Institute of Technology（麻省理工学院）；University of California San Diego（加州大学圣迭戈分校）；Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
本文研究不变表示在分布外数据上的泛化能力，通过实验证明对已见域变换保持不变的模型能学到对分布偏移鲁棒的非结构化潜在表示，使不变性成为资源受限训练中的理想性质。
2024-02-25 cs.AI cs.LG
Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization
Queensland University of Technology（昆士兰科技大学）
领域泛化方法旨在从具有不同分布的多个训练源域中学习未知目标域的领域不变预测模型。广泛的领域泛化是机器学习和计算机视觉领域的一个具有挑战性的热点问题，近年来已经做出了大量努力。大多数以前的领域泛化方法假设跨域的条件分布在源域上保持相同，并通过最小化边缘分布来学习域不变模型。然而，训练源域的稳定条件分布的假设在实践中并不真正成立。从源域学习的超平面很容易对分散在聚类边界或远离其相应类中心的样本进行错误分类。为了解决上述两个缺点，我们提出了一个判别域不变对抗网络（DDIAN）的领域泛化。通过区分性特征模块保证特征的区分性，通过全局域和局部子域对齐模块保证域不变特征。在几个基准测试上的大量实验表明，与最先进的领域泛化方法相比，DDIAN在训练过程中对看不见的目标数据实现了更好的预测。
2021-08-20 cs.AI cs.CV cs.LG
Invariant Correlation of Representation with Label: Enhancing Domain Generalization in Noisy Environments
Chinese Academy of Sciences（中国科学院）；University of Liverpool（利物浦大学）；Southeast University（东南大学）
针对噪声环境中IRM相关方法因优化方向错误无法获得最优解的问题，提出ICorr方法，从因果视角证明其不变相关性是最优不变预测器的必要条件，并通过实验验证其在噪声数据集上的域泛化有效性。
2025-02-09 cs.AI cs.LG
In Search of Lost Domain Generalization
Facebook AI Research（Facebook人工智能研究院）
领域泛化算法的目标是很好地预测与训练过程中看到的分布不同的分布。虽然存在无数的领域泛化算法，但实验条件-数据集，架构和模型选择标准-的不一致性使得公平和现实的比较变得困难。在本文中，我们有兴趣了解如何有用的领域泛化算法在现实的设置。作为第一步，我们认识到，模型选择是不平凡的领域泛化任务。与以前的工作相反，我们认为，没有模型选择策略的领域泛化算法应被视为不完整的。接下来，我们实现了DomainBed，这是一个用于领域泛化的测试平台，包括七个多领域数据集，九个基线算法和三个模型选择标准。我们使用DomainBed进行了大量的实验，发现当仔细实施时，经验风险最小化在所有数据集上都显示出最先进的性能。展望未来，我们希望DomainBed的发布，以及其他研究人员的贡献，将简化领域泛化中可重复和严格的研究。
2020-07-02 cs.LG stat.ML
When and How Does CLIP Enable Domain and Compositional Generalization?
University of Freiburg（弗赖堡大学）
本文研究了CLIP在领域泛化和组合泛化中的表现，发现领域多样性对两者至关重要，但训练分布包含次优子集时组合泛化可能更弱，且成功泛化需在中间层和电路中学习充分共享的表示。
2025-09-12 cs.CV cs.LG
Domain Adversarial Active Learning for Domain Generalization Classification
college of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对域泛化分类任务，提出域对抗主动学习算法，通过优先选取挑战性样本、优化弱判别特征子集，以更少数据实现强泛化能力，降低标注成本。
2024-03-10 cs.AI cs.LG
Provable Domain Generalization via Invariant-Feature Subspace Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来，针对领域泛化提出了一系列的算法，如不变风险最小化算法。然而，Rosenfeld等人（2021）表明，在一个简单的线性数据模型中，即使忽略非凸性问题，也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境，其中$d_s$是虚假特征子空间的维度。在本文中，我们提出了实现领域泛化与不变特征子空间恢复（ISR）。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间，并在Rosenfeld等人（2021）的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法，ISR-Cov，进一步减少了所需的训练环境的数量，$O(1)$使用二阶矩的信息。值得注意的是，与非凸性问题不同，我们的算法绕过了非凸性问题，并享有全局收敛保证。从经验上讲，我们的ISR可以获得优越的性能相比，在合成基准测试。此外，在三个真实世界的图像和文本数据集上，我们证明了这两种ISR都可以用作简单而有效的后处理方法，以提高（预）训练模型在最坏情况下的准确性，以对抗虚假相关性和组移位。
2022-07-07 cs.LG stat.ML
Domain-invariant Feature Exploration for Domain Generalization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
深度学习在过去几年取得了巨大的成功。然而，深度学习的性能在面对非IID情况时可能会受到阻碍。领域泛化（DG）使模型能够泛化到看不见的测试分布，即，来学习域不变表示。在本文中，我们认为，域不变的功能应该来自内部和相互方面。内部不变性意味着特征可以用单个域来学习，并且特征捕获数据的内在语义，即，域中的属性，它与其他域无关。互不变性意味着可以用多个域（跨域）来学习特征，并且特征包含公共信息，即，可转移特征w.r.t.其他领域。然后，我们提出DIFEX域不变的功能探索。DIFEX采用一个知识蒸馏框架来捕获高级傅立叶相位作为内部不变特征，并学习跨域相关对齐作为相互不变特征。我们进一步设计了一个探索损失，以增加更好的泛化功能的多样性。时间序列和视觉基准上的大量实验表明，所提出的DIFEX实现了最先进的性能。
2022-12-26 cs.CV cs.LG
Not to Overfit or Underfit the Source Domains? An Empirical Study of Domain Generalization in Question Answering
IBM Research AI（IBM研究院人工智能部门）
机器学习模型容易过拟合其训练（源）域，这通常被认为是它们在新目标域中不稳定的原因。在这里，我们研究的对比视图，多源领域泛化（DG）首先是一个问题，减轻源域欠拟合：模型没有充分学习的信号已经存在于他们的多域训练数据。在阅读理解DG基准上的实验表明，随着模型更好地学习其源域-使用熟悉的方法，如从更大的模型中知识蒸馏（KD）-其zero-shot域外效用以更快的速度提高。改进的源域学习还展示了优于三种流行的现有DG方法的领域泛化，旨在限制过拟合。我们基于KD的领域泛化的实现可以通过PrimeQA获得，网址是：https://ibm.biz/domain-generalization-with-kd。
2022-10-25 cs.CL cs.LG
Pseudo Multi-Source Domain Generalization: Bridging the Gap Between Single and Multi-Source Domain Generalization
NTT Musashino（NTT神户）
提出伪多源域泛化（PMDG）框架，通过风格迁移和数据增强从单一源域生成多伪域，使现有MDG算法能应用于单源域泛化，实验证明其能有效匹配甚至超越真实多域性能。
2025-05-29 cs.CV cs.LG
Domain Generalization Using a Mixture of Multiple Latent Domains
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
当表示底层数据分布的域在训练和测试过程中发生变化时，深度神经网络的性能就会下降。领域泛化通过使用多个源域来提高未见过目标域的泛化性能。传统的方法假设每个样本所属的域在训练中是已知的。然而，许多数据集，例如通过网络爬行收集的数据集，包含多个潜在域的混合，其中每个样本的域是未知的。本文介绍了领域泛化使用多个潜在域的混合物作为一种新的和更现实的情况下，我们试图训练域广义模型，而不使用域标签。为了解决这种情况，我们提出了一种方法，通过聚类迭代地将样本划分为潜在域，并通过对抗学习训练在划分的潜在域之间共享的域不变特征提取器。我们假设图像的潜在域反映在它们的风格中，因此，利用风格特征进行聚类。通过使用这些特征，我们提出的方法成功地发现潜在的领域，并实现领域泛化，即使领域标签是不给。实验表明，我们提出的方法可以训练领域广义模型，而不使用领域标签。此外，它优于传统的领域泛化方法，包括那些利用域标签。
2019-11-18 cs.CV cs.LG
Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
我们调查审查技术的力量，首先开发学习{ \em公平表示}，以解决领域泛化。我们研究{ \em adversarial}删失技术，用于从多个“研究”（或域）中学习不变表示，其中每个研究都是根据域上的分布绘制的。映射在测试时用于对来自新域的实例进行分类。在许多情况下，如医疗预测，从人口稠密地区（数据丰富）的研究到地理上偏远的人群（没有训练数据存在）的领域泛化提供了不同风格的公平性，这在以前的算法公平性工作中是没有预料到的。我们研究了$k$域的对抗性损失函数，并精确地描述了其限制行为，因为$k$的增长，形式化和证明的直觉，实验的支持下，从大量的域的观察数据的帮助。有限的结果是伴随着非渐近学习理论界。此外，我们得到了充分的条件，我们的算法在以前看不见的域的良好的最坏情况下的预测性能。最后，我们将我们的映射分解成两个组件，并提供了一个完整的表征不变性的分解。据我们所知，我们的研究结果提供了第一个正式的保证，这些类型的对抗不变的领域泛化。
2020-06-20 cs.LG stat.ML
Efficient Domain Generalization via Common-Specific Low-Rank Decomposition
MSR India（微软研究院印度）；IIT Bombay（印度理工学院孟买分校）
领域泛化是指训练模型的任务，该模型泛化到在训练期间未看到的新领域。我们提出了CSD（公共特定分解），对于这种设置，它联合学习一个公共组件（推广到新的领域）和一个特定于领域的组件（过度拟合训练域）。在训练之后丢弃域特定分量，并且仅保留公共分量。该算法是非常简单的，只涉及修改任何给定的神经网络架构的最终线性分类层。我们提出了一个原则性的分析，了解现有的方法，提供可识别的结果CSD，并研究低秩的领域泛化的影响。我们表明，CSD匹配或击败最先进的方法，领域泛化的基础上域擦除，域扰动数据增强，和元学习。进一步诊断旋转MNIST，域是可解释的，证实了这一假设，CSD成功地解开共同和域特定的组件，从而导致更好的领域泛化。
2020-04-07 cs.LG stat.ML
DISPEL: Domain Generalization via Domain-Specific Liberating
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；New Jersey Institute of Technology（新泽西理工学院）
提出DISPEL框架，通过在嵌入空间生成掩码过滤特定领域特征，解决领域泛化中的噪声和标签依赖问题，在五个基准上表现优于现有方法。
2023-08-01 cs.CV cs.LG
Respecting Domain Relations: Hypothesis Invariance for Domain Generalization
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
在领域泛化中，训练过程中可以使用多个带标签的非独立且非同分布的源域，而目标域的数据和标签都不可用。目前，学习领域不变表示（DIR）是领域泛化的主流方法。在这项工作中，我们定义了现有的作品中采用的概率术语的DIR，并表明，通过学习DIR，过于严格的要求施加有关的不变性。具体地，DIR旨在完美地对齐不同域的表示，即它们的输入分布。然而，这对于良好地推广到目标域是不必要的，并且甚至可能处理有价值的分类信息。我们建议学习所谓的假设不变表示（HIR），它通过仅仅对齐后验而不是对齐表示来放松不变性假设。我们报告了在公共领域泛化数据集上的实验结果，表明学习HIR比学习DIR更有效。事实上，我们的方法甚至可以与使用领域先验知识的方法竞争。
2020-10-15 cs.CV cs.LG
Domain2Vec: Deep Domain Generalization
University of Michigan（密歇根大学）
我们解决了领域泛化的问题，其中决策函数是从几个相关领域的数据中学习的，目标是将其成功地应用于一个看不见的领域。假设在源域（也称为训练域）中有大量可用的标记数据，但是没有标记数据可用于看不见的域（也称为目标域或测试域）。我们提出了一种新的神经网络架构Domain2Vec（D2V），它学习特定领域的嵌入，然后使用这种嵌入来推广相关领域的学习。提出的算法D2V将分布回归和核化领域泛化的思想扩展到神经网络环境。我们提出了一个神经网络架构来学习特定领域的嵌入，然后使用这个嵌入与数据点的特定功能来标记它。我们通过准确地估计域到域的相似性来展示架构的有效性。我们评估我们的算法对标准的领域泛化数据集的图像分类和优于其他国家的最先进的算法。
2018-07-09 cs.LG stat.ML
Domain Adversarial Neural Networks for Domain Generalization: When It Works and How to Improve
University of Pittsburgh（匹兹堡大学）；Northeastern University（东北大学）；Yonsei University（延世大学）
在理论上，领域自适应是一个很好的研究问题。此外，这一理论在实践中得到了很好的应用。特别是，我们注意到Ben-David等人（2010）给出的目标误差的界限，以及Ganin和Lempitsky（2015）提出的基于这项工作的著名域对齐算法，该算法使用域对抗神经网络（DANN）。近年来，针对领域泛化的相关问题，提出了多种DANN变体，但对原始的激励约束没有进行太多的讨论。在本文中，我们从这个角度研究的有效性DANN在领域泛化。我们调查的条件下，DANN的应用是有意义的，并进一步考虑DANN作为一个动态的过程中的培训。我们的调查表明，应用DANN的领域泛化可能并不像它看起来那么简单。为了解决这个问题，我们设计了一个算法扩展到DANN的领域泛化的情况下。实验验证了理论和算法的正确性。
2022-03-18 cs.CV cs.LG
Domain Generalization using Ensemble Learning
Innopolis University（Innopolis大学）
领域泛化是迁移学习的一个子领域，其目的是在缺乏关于目标领域的任何知识的情况下弥合两个不同领域之间的差距。我们的方法解决了模型在单个源域上训练时泛化能力弱的问题。从这个角度来看，我们在单个源上训练的基础深度学习模型之上构建集成模型，以增强其集体预测的泛化能力。到目前为止取得的结果已经证明了有前途的改善，其基础学习的合奏。
2021-03-18 cs.AI cs.LG
Learning to Optimize Domain Specific Normalization for Domain Generalization
Seoul National University（首尔大学）；NEC Laboratories America（NEC美国实验室）；LG Electronics（LG电子）
我们提出了一种简单但有效的多源领域泛化技术，该技术基于深度神经网络，通过结合特定于各个领域的优化归一化层。我们的方法采用多种归一化方法，同时学习每个域的独立仿射参数。对于每个域，通过多个归一化统计的加权平均来归一化激活。如果需要的话，将分别跟踪每种规格化类型的规格化统计信息。具体来说，我们在实现中使用批处理和实例规范化来确定每个域中这两种规范化方法的最佳组合。优化的归一化层有效地增强了学习模型的泛化能力。我们证明了我们的算法在标准的领域泛化基准测试中的最先进的准确性，以及在标签噪声存在下的多源领域自适应和领域泛化等进一步任务的可行性。
2020-07-21 cs.LG stat.ML
Robust Domain-Free Domain Generalization with Class-aware Alignment
Institute for Infocomm Research（信息通信研究院）；Nanyang Technological University（南洋理工大学）
虽然深度神经网络在各种学习任务上表现出最先进的性能，但它们的性能依赖于训练和测试分布相同的假设，这在现实世界的应用中可能不成立。领域泛化通过采用多个源域来构建鲁棒的模型来解决这个问题，该模型可以泛化到受数据分布变化影响的看不见的目标域。在本文中，我们提出了无域领域泛化（DFDG），模型无关的方法，以实现更好的泛化性能上看不见的测试域，而不需要源域标签。DFDG使用新的策略来学习域不变的类判别特征。它通过类条件软标签对齐样本的类关系，并使用传统上为图像分类网络的事后分析而开发的显着图，以从训练输入中去除表面观察。DFDG在时间序列传感器和图像分类公共数据集上都获得了有竞争力的性能。
2021-02-17 cs.LG stat.ML
Learning to Balance Specificity and Invariance for In and Out of Domain Generalization
Georgia Institute of Technology（佐治亚理工学院）；University of Maryland（马里兰大学）
我们引入了特定于领域的泛化掩码，这是一种用于提高域内和域外领域泛化性能的模型。对于领域泛化，目标是从一组源域中学习，以产生一个单一的模型，该模型将最好地泛化到一个看不见的目标域。因此，许多先前的方法专注于学习跨所有源域持续存在的表示，并假设这些域不可知表示将很好地推广。然而，通常单个域包含独特的特征，并且当被利用时可以显著地帮助域内识别性能。为了产生一个最好的推广到可见和不可见域的模型，我们提出了学习域特定的掩码。鼓励掩码学习域不变特征和域特定特征的平衡，从而使模型能够受益于专用特征的预测能力，同时保留域不变特征的普遍适用性。与PACS和DomainNet上的幼稚基线和最先进的方法相比，我们展示了具有竞争力的性能。
2020-08-28 cs.CV cs.LG
Domain Generalization by Learning and Removing Domain-specific Features
University of Wollongong（伍伦贡大学）；University of Technology Sydney（悉尼科技大学）
当测试数据集遵循与训练数据集不同的分布时，深度神经网络（DNN）会发生域偏移。领域泛化旨在通过学习可以泛化到未知领域的模型来解决这个问题。在本文中，我们提出了一种新的方法，旨在明确地删除特定领域的领域泛化功能。根据这种方法，我们提出了一种新的框架，称为学习和删除特定领域的特征泛化（LRDG），通过从输入图像中策略性地删除特定领域的特征来学习域不变模型。具体来说，我们设计了一个分类器，以有效地学习每个源域的特定领域的功能，分别。然后，我们开发了一个编码器-解码器网络，将每个输入图像映射到一个新的图像空间，在这个空间中，学习到的特定于领域的特征被删除。利用编解码器网络输出的图像，设计另一个分类器学习域不变特征进行图像分类。大量的实验表明，我们的框架实现了优越的性能相比，国家的最先进的方法。
2022-12-14 cs.CV cs.LG
Zero Shot Domain Generalization
Indian Institute of Technology（印度理工学院）；Microsoft（微软公司）
标准监督学习设置假设训练数据和测试数据来自相同的分布（域）。领域泛化（DG）方法试图学习一个模型，当对来自多个领域的数据进行训练时，该模型将泛化到一个新的未知领域。我们将DG扩展到一个更具挑战性的设置，其中看不见的域的标签空间也可能发生变化。我们将这个问题称为Zero-Shot领域泛化（据我们所知，这是第一次这样做），其中模型在新领域以及这些领域中的新类中进行泛化。我们提出了一个简单的策略，有效地利用类的语义信息，以适应现有的DG方法，以满足Zero-Shot领域泛化的要求。我们在CIFAR-10、CIFAR-100、F-MNIST和PACS数据集上评估了所提出的方法，建立了一个强有力的基线，以培养人们对这一新研究方向的兴趣。
2020-08-17 cs.CV cs.LG
Discovering Hierarchy-Grounded Domains with Adaptive Granularity for Clinical Domain Generalization
Department of Computer Science, Stevens Institute of Technology（斯蒂文斯理工学院计算机科学系）；Weill Cornell Medicine Graduate School of Medical Sciences, Cornell University（韦尔医学院医学研究生院，康奈尔大学）
UdonCare通过利用医学本体发现基于层次结构的动态患者领域，提升临床领域泛化性能。
2026-09-15 cs.AI cs.LG
MetaDefa: Meta-learning based on Domain Enhancement and Feature Alignment for Single Domain Generalization
Central South University（中南大学）
针对单领域泛化中数据分布不匹配和特征分离困难的问题，提出基于领域增强和特征对齐的元学习方法MetaDefa，通过背景替换生成增强领域并利用多通道特征对齐模块提取领域不变特征，显著提升了模型在未知目标领域的泛化性能。
2023-11-27 cs.CV cs.LG
Deep Spatial Domain Generalization
Emory University（埃默里大学）
空间数据普遍存在空间自相关性和空间异质性，使得传统的机器学习模型性能不佳。空间领域泛化是领域泛化在空间上的扩展，可以推广到连续二维空间中不可见的空间域。具体来说，它在不同的数据分布下学习一个模型，该模型可以推广到看不见的领域。虽然在领域泛化方面取得了巨大的成就，但在空间领域泛化方面的研究却很少。这一领域的进展面临着以下挑战：1）难以表征空间异质性，以及2）难以在没有训练数据的情况下获得用于不可见位置的预测模型。为了解决这些问题，本文提出了一个通用的空间领域泛化的框架。具体来说，我们开发了空间插值图神经网络，它将空间数据作为一个图来处理，并学习每个节点上的空间嵌入及其关系。空间内插图神经网络推断在测试阶段期间不可见位置的空间嵌入。然后，目标位置的空间嵌入用于直接在目标位置上解码下游任务模型的参数。最后，在13个真实数据集上的实验证明了该方法的有效性。
2022-12-28 cs.LG cs.SI
Open Domain Generalization with Domain-Augmented Meta-Learning
Tsinghua University（清华大学）
利用可用的数据集来学习对未知领域具有高泛化能力的模型对于计算机视觉非常重要，特别是当未知领域的注释数据不可用时。我们研究了一个新的和实际的问题开放领域泛化（OpenDG），从不同的源域学习，以实现高性能的一个未知的目标域，其中每个单独的源域和目标域的分布和标签集可以是不同的。该问题可以普遍应用于不同的源域，并广泛适用于现实世界的应用。我们提出了一个域增强元学习框架来学习开放域的可泛化表示。我们通过新的Dirichlet混合在特征级别上扩展域，并通过蒸馏软标签在标签级别上扩展域，从而用缺失的类和其他领域知识补充每个域。我们通过设计新的元学习任务和损失来进行跨域元学习，以同时保留域唯一知识和跨域概括知识。在多个领域数据集上的实验结果表明，所提出的领域增强元学习（DAML）方法在未知领域识别方面优于现有方法。
2021-04-08 cs.CV cs.LG
Learn to Expect the Unexpected: Probably Approximately Correct Domain Generalization
MIT（麻省理工学院）；Microsoft Research（微软研究院）；Hebrew University（希伯来大学）；University of Minnesota（明尼苏达大学）
当训练数据和测试数据来自不同的数据域时，领域泛化是机器学习的问题。我们提出了一个简单的理论模型，学习跨域泛化，其中有一个元分布的数据分布，这些数据分布甚至可能有不同的支持。在我们的模型中，提供给学习算法的训练数据由多个数据集组成，每个数据集都来自一个单独的域，这些域依次从元分布中提取。我们研究这个模型在三个不同的问题设置-一个多域Massart噪声设置，决策树多数据集设置，和一个特征选择设置，并发现，计算效率高，多项式样本领域泛化是可能的。实验表明，我们的特征选择算法确实忽略了虚假的相关性，提高了泛化。
2020-02-13 cs.LG stat.ML
Domain Generalization via Conditional Invariant Representation
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
领域泛化的目的是将从多个标记的源领域中获得的知识应用到未知的目标领域。主要困难来自数据集偏差：训练数据和测试数据具有不同的分布，并且训练集包含来自不同分布的异质样本。令$X$表示特征，并且$Y$是类标签。现有的领域泛化方法通过学习跨多个源域具有相同边缘分布$\mathbb{P}(h(X))$的域不变表示$h(X)$来解决数据集偏差问题。$\mathbb{P}(Y|X)$中编码的函数关系通常被假定为跨域稳定，使得$\mathbb{P}(Y|h(X))$也是不变的。然而，目前还不清楚这一假设是否适用于实际问题。在本文中，我们考虑的一般情况下，$\mathbb{P}(X)$和$\mathbb{P}(Y|X)$可以改变所有域。我们建议学习具有域不变类条件分布$\mathbb{P}(h(X)|Y)$的特征表示。利用条件不变表示，如果类先验$\mathbb{P}(Y)$在训练域和测试域之间不改变，则可以保证联合分布$\mathbb{P}(h(X),Y)$的不变性。对合成数据和真实数据的大量实验证明了所提出方法的有效性。
2018-07-23 cs.CV cs.LG stat.ML
On generalization in moment-based domain adaptation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Data Science Software Competence Center Hagenberg GmbH（哈根贝格数据科学软件能力中心有限公司）
域自适应算法被设计为通过自适应来自具有大量训练数据的源域的模型来最小化用于具有很少训练数据的目标域的判别模型的误分类风险。标准方法基于源域和目标域中的经验概率分布之间的距离度量来测量适应差异。在这种情况下，我们解决的问题，推导出面向实践的一般条件下的基本概率分布的泛化界。因此，我们得到了泛化界域自适应的基础上，许多矩和光滑条件。
2021-07-26 cs.LG stat.ML
Class-Invariant Test-Time Augmentation for Domain Generalization
School of Computing and Artificial Intelligence（计算机与人工智能学院）；ANGEL Lab（ANGEL实验室）；Southwest Jiaotong University（西南交通大学）；Nanyang Technological University（南洋理工大学）
提出轻量级的类不变测试时增强（CI-TTA）方法，通过弹性变形和网格变形生成同类变体并利用置信度过滤聚合预测，在PACS和Office-Home上验证了其有效性与通用性。
2025-10-12 cs.CV cs.LG
Single Domain Generalization with Adversarial Memory
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出一种基于对抗记忆库的单域泛化方法，通过将训练和测试特征映射到由多样化记忆特征张成的不变子空间来隐式对齐域分布，并利用对抗特征生成扩展训练域分布，在标准基准上取得了最先进性能。
2025-03-08 cs.AI cs.LG
Finding Diverse and Predictable Subgraphs for Graph Domain Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
本文重点研究了图的分布外泛化问题，在这种情况下，由于不可见的分布偏移，性能会下降。以往的图的领域泛化工作通常是在不同的源域之间学习一个不变的预测器。然而，他们假设在训练期间有足够的源域可用，这对现实应用程序构成了巨大的挑战。相比之下，我们提出了一个新的图领域泛化框架，称为DPS，通过构建多个人口从源域。具体地说，DPS的目标是发现多个\textbf{D}逆和\textbf{P}可重定向的\textbf{S}子图与一组生成元，即，子图是彼此不同的，但它们都与输入图共享相同的语义。利用这些生成的源域来学习跨域的\textit{equi-predictive}图神经网络（GNN），期望其很好地推广到看不见的目标域。一般来说，DPS是模型不可知的，可以与各种GNN主干合并。在节点级和图级基准测试上的大量实验表明，所提出的DPS在各种图领域泛化任务上都取得了令人印象深刻的性能。
2022-06-19 cs.AI cs.LG
FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Statistics, Rutgers University（罗格斯大学统计系）
本文提出基于训练环境的不变学习方法 FAIRM，在多样性条件下兼顾算法公平性与领域泛化，并在线性模型中给出有限样本保证和极小极大最优性，实验表明其优于现有方法。
2024-04-02 cs.LG stat.ME stat.ML
Cross-Domain Ensemble Distillation for Domain Generalization
POSTECH（浦项科技大学）；NALBI Inc.（NALBI公司）
领域泛化是学习模型的任务，这些模型泛化到看不见的目标领域。我们提出了一个简单而有效的方法领域泛化，命名为跨域集成蒸馏（XDED），学习域不变的功能，同时鼓励模型收敛到平坦的最小值，这最近被证明是一个充分条件领域泛化。为此，我们的方法从具有相同标签但来自不同域的训练数据生成输出logits的集合，然后惩罚每个输出与集合的不匹配。此外，我们提出了一种去风格化技术，该技术对特征进行去风格化，以鼓励模型即使在任意目标域中也能产生风格一致的预测。我们的方法大大提高了跨域图像分类、跨数据集人员重新ID和跨数据集语义分割的公共基准测试中的泛化能力。此外，我们表明，通过我们的方法学习的模型对对抗攻击和图像损坏具有鲁棒性。
2022-11-25 cs.AI cs.CV cs.LG
Target Conditioned Representation Independence (TCRI); From Domain-Invariant to Domain-General Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
我们提出了一个目标条件表示独立性（TCRI）目标的领域泛化。TCRI解决了现有的领域泛化方法由于不完整的约束的局限性。具体来说，TCRI实现正则化动机的条件独立约束，足以严格学习完整的不变机制，我们证明是必要的和充分的领域泛化。经验上，我们表明，TCRI是有效的合成和真实世界的数据。TCRI在平均精度方面与基线具有竞争力，而在最差域精度方面优于基线，这表明所需的跨域稳定性。
2022-12-21 cs.AI cs.LG stat.ML
Rethinking the Evaluation Protocol of Domain Generalization
Tsinghua University（清华大学）
本文指出现有领域泛化评估协议存在测试数据泄露风险，建议改用自监督预训练或从头训练并使用多个测试领域，从而更精确地评估OOD泛化能力。
2024-03-23 cs.AI cs.CV cs.LG
Model-Based Domain Generalization
University of Pennsylvania（宾夕法尼亚大学）
尽管在各种应用中取得了显着的成功，但众所周知，当呈现出分布外的数据时，深度学习可能会灾难性地失败。为了解决这一挑战，我们考虑域泛化问题，其中预测器使用从一系列相关训练域中提取的数据进行训练，然后在一个不同的和看不见的测试域上进行评估。我们表明，在自然的数据生成模型和随之而来的不变性条件下，域泛化问题相当于一个无限维的约束统计学习问题，这个问题形成了我们的方法，我们称之为基于模型的域泛化的基础。由于在深度学习中解决约束优化问题的固有挑战，我们利用非凸对偶理论来开发这个统计问题的无约束松弛，并在对偶间隙上有严格的界限。基于这一理论动机，我们提出了一种新的域泛化算法的收敛保证。在我们的实验中，我们报告了在包括ColoredMNIST、Camelyon 17-WILDS、FMoW-WILDS和PACS在内的几个基准测试上，最先进的领域泛化基线提高了30个百分点。
2021-11-15 cs.AI cs.LG stat.ML
Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）；New York University（纽约大学）；Center for Data Science（数据科学中心）
针对不变协变量偏移下现有不变学习方法性能不佳的问题，提出加权风险不变性（WRI）框架，通过环境间损失的不变性并加权训练样本，在理论上保证学习到不变模型，并在实验中优于先前方法。
2024-07-25 cs.AI cs.CV cs.LG
Overcoming Data Inequality across Domains with Semi-Supervised Domain Generalization
Seoul National University（首尔大学）
针对仅有一个带标注域的半监督域泛化这一跨域数据不平等问题，提出基于域感知原型和不确定性自适应混合的ProUD算法，在三个基准数据集上性能优于所有基线模型。
2024-03-08 cs.AI cs.CV cs.LG
MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task
Hitachi, Ltd.（日立制作所）
我们提出了一个机器声音数据集的基准领域泛化技术异常声音检测（ASD）。域偏移是数据分布的差异，会降低检测性能，处理它们是ASD系统应用的主要问题。虽然目前可用的ASD任务数据集假设域偏移的发生是已知的，但在实践中，它们可能难以检测。为了处理这样的域转移，应该研究无论域如何都表现良好的领域泛化技术。在本文中，我们提出了第一个ASD数据集的领域泛化技术，称为MIMII DG。该数据集由五种机器类型和每种机器类型的三种域转移场景组成。该数据集专用于领域泛化任务，其特征包括导致领域偏移的参数的多个不同值以及可能难以检测的领域偏移的引入，例如背景噪声中的偏移。使用两个基线系统的实验结果表明，数据集再现域转移的情况下，是有用的基准领域泛化技术。
2022-11-22 cs.AI cs.LG cs.SD
Hierarchical Variational Auto-Encoding for Unsupervised Domain Generalization
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
我们解决领域泛化的任务，目标是训练预测模型，使其能够泛化到一个新的，以前看不见的领域。我们选择了一个分层生成的方法的框架内的变分自编码器，并提出了一个域无监督算法，能够推广到新的领域没有域监督。我们表明，我们的方法能够学习表示，即使在复杂的设置中，在训练过程中没有观察到域结构，也能从类标签特定的信息中分离出特定于域的信息。我们的可解释的方法优于先前提出的生成算法的领域泛化，以及其他非生成国家的最先进的方法，在几个层次域设置，包括连续重叠近连续域移位。与依赖于在训练期间观察特定于域的信息的最先进的方法以及另一种域无监督方法相比，它还在标准领域泛化基准数据集PACS上实现了具有竞争力的性能。此外，我们提出了纯粹基于证据下限（ELBO）的模型选择，还提出了弱域监督，其中隐式域信息可以添加到算法中。
2021-05-14 cs.CV cs.LG stat.ML
Generalizing to Unseen Domains: A Survey on Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；School of Data Science, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Institute for Data Science, Tsinghua University（清华大学数据科学研究院）
机器学习系统通常假设训练和测试分布是相同的。为此，一个关键的要求是开发可以推广到看不见的分布的模型。领域泛化（DG），即，分布外泛化近年来引起了越来越多的关注。领域泛化处理一个具有挑战性的设置，其中给定一个或多个不同但相关的域，目标是学习一个模型，该模型可以泛化到一个看不见的测试域。近年来，领域泛化研究取得了很大的进展。本文首次回顾了这一领域的最新进展。首先，我们给出了领域泛化的形式化定义，并讨论了几个相关的领域。然后，我们全面回顾了与领域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三类：数据操作，表示学习，和学习策略，并提出了几个流行的算法详细的每一类。第三，我们介绍了常用的数据集，应用程序和我们的开源代码库，以进行公平的评估。最后，我们总结了现有的文献，并提出了未来的一些潜在的研究课题。
2022-05-24 cs.AI cs.CV cs.LG
