Learning to Balance Specificity and Invariance for In and Out of Domain Generalization
Georgia Institute of Technology（佐治亚理工学院）；University of Maryland（马里兰大学）
我们引入了特定于领域的泛化掩码，这是一种用于提高域内和域外领域泛化性能的模型。对于领域泛化，目标是从一组源域中学习，以产生一个单一的模型，该模型将最好地泛化到一个看不见的目标域。因此，许多先前的方法专注于学习跨所有源域持续存在的表示，并假设这些域不可知表示将很好地推广。然而，通常单个域包含独特的特征，并且当被利用时可以显著地帮助域内识别性能。为了产生一个最好的推广到可见和不可见域的模型，我们提出了学习域特定的掩码。鼓励掩码学习域不变特征和域特定特征的平衡，从而使模型能够受益于专用特征的预测能力，同时保留域不变特征的普遍适用性。与PACS和DomainNet上的幼稚基线和最先进的方法相比，我们展示了具有竞争力的性能。
2020-08-28 cs.CV cs.LG
Domain Generalization by Learning and Removing Domain-specific Features
University of Wollongong（伍伦贡大学）；University of Technology Sydney（悉尼科技大学）
当测试数据集遵循与训练数据集不同的分布时，深度神经网络（DNN）会发生域偏移。领域泛化旨在通过学习可以泛化到未知领域的模型来解决这个问题。在本文中，我们提出了一种新的方法，旨在明确地删除特定领域的领域泛化功能。根据这种方法，我们提出了一种新的框架，称为学习和删除特定领域的特征泛化（LRDG），通过从输入图像中策略性地删除特定领域的特征来学习域不变模型。具体来说，我们设计了一个分类器，以有效地学习每个源域的特定领域的功能，分别。然后，我们开发了一个编码器-解码器网络，将每个输入图像映射到一个新的图像空间，在这个空间中，学习到的特定于领域的特征被删除。利用编解码器网络输出的图像，设计另一个分类器学习域不变特征进行图像分类。大量的实验表明，我们的框架实现了优越的性能相比，国家的最先进的方法。
2022-12-14 cs.CV cs.LG
Zero Shot Domain Generalization
Indian Institute of Technology（印度理工学院）；Microsoft（微软公司）
标准监督学习设置假设训练数据和测试数据来自相同的分布（域）。领域泛化（DG）方法试图学习一个模型，当对来自多个领域的数据进行训练时，该模型将泛化到一个新的未知领域。我们将DG扩展到一个更具挑战性的设置，其中看不见的域的标签空间也可能发生变化。我们将这个问题称为Zero-Shot领域泛化（据我们所知，这是第一次这样做），其中模型在新领域以及这些领域中的新类中进行泛化。我们提出了一个简单的策略，有效地利用类的语义信息，以适应现有的DG方法，以满足Zero-Shot领域泛化的要求。我们在CIFAR-10、CIFAR-100、F-MNIST和PACS数据集上评估了所提出的方法，建立了一个强有力的基线，以培养人们对这一新研究方向的兴趣。
2020-08-17 cs.CV cs.LG
MetaDefa: Meta-learning based on Domain Enhancement and Feature Alignment for Single Domain Generalization
Central South University（中南大学）
针对单领域泛化中数据分布不匹配和特征分离困难的问题，提出基于领域增强和特征对齐的元学习方法MetaDefa，通过背景替换生成增强领域并利用多通道特征对齐模块提取领域不变特征，显著提升了模型在未知目标领域的泛化性能。
2023-11-27 cs.CV cs.LG
Open Domain Generalization with Domain-Augmented Meta-Learning
Tsinghua University（清华大学）
利用可用的数据集来学习对未知领域具有高泛化能力的模型对于计算机视觉非常重要，特别是当未知领域的注释数据不可用时。我们研究了一个新的和实际的问题开放领域泛化（OpenDG），从不同的源域学习，以实现高性能的一个未知的目标域，其中每个单独的源域和目标域的分布和标签集可以是不同的。该问题可以普遍应用于不同的源域，并广泛适用于现实世界的应用。我们提出了一个域增强元学习框架来学习开放域的可泛化表示。我们通过新的Dirichlet混合在特征级别上扩展域，并通过蒸馏软标签在标签级别上扩展域，从而用缺失的类和其他领域知识补充每个域。我们通过设计新的元学习任务和损失来进行跨域元学习，以同时保留域唯一知识和跨域概括知识。在多个领域数据集上的实验结果表明，所提出的领域增强元学习（DAML）方法在未知领域识别方面优于现有方法。
2021-04-08 cs.CV cs.LG
Batch Normalization Embeddings for Deep Domain Generalization
Google（谷歌（Google）公司）
领域泛化旨在训练机器学习模型在不同和不可见的领域中稳健地执行。最近的几种方法使用多个数据集来训练模型以提取域不变特征，希望推广到看不见的领域。相反，首先我们显式地训练域相关的表示，通过使用ad-hoc批量归一化层来收集独立域的统计数据。然后，我们建议使用这些统计数据映射域在一个共享的潜在空间，其中成员资格的域可以通过一个距离函数来衡量。在测试时，我们将未知域中的样本投影到同一空间中，并将其域的属性推断为已知域的线性组合。我们在训练和测试时应用相同的映射策略，学习潜在表示和强大但轻量级的集成模型。我们展示了在流行的领域泛化基准：PACS，Office-31和ESTA-加州理工学院的分类准确性显着增加，目前国家的最先进的技术。
2021-05-18 cs.CV cs.LG
Noise-Aware Generalization: Robustness to In-Domain Noise and Out-of-Domain Generalization
Department of Computer Science（计算机科学系）
本文提出DL4ND方法，通过领域标签检测噪声，提升对领域内噪声鲁棒性和领域外泛化能力，实验显示在多个数据集上性能提升显著。
2026-02-22 cs.CV cs.LG
Rethinking Domain Generalization Baselines
Politecnico di Torino（都灵理工大学）；University of Rome Sapienza（罗马第一大学）；Italian Institute of Technology（意大利技术研究院）
尽管深度学习模型在标准学习环境中非常强大，但当部署在与训练它们的场景不同的场景中时，它可能非常脆弱。领域泛化方法研究了这个问题，数据增强策略已被证明是增加数据可变性的有用工具，支持跨领域的模型鲁棒性。在我们的工作中，我们专注于风格转移数据增强，我们提出了如何可以实现一个简单而廉价的战略，以提高泛化。此外，我们分析了当前最先进的领域泛化方法与此增强解决方案相结合时的行为：我们彻底的实验评估表明，它们的原始效果几乎总是消失相对于增强基线。这个问题打开了新的场景领域泛化研究，突出了新的方法，能够适当地利用引入的数据变化的需要。
2021-01-27 cs.CV cs.LG
What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization
Boston University（波士顿大学）；Runway
研究模型架构与预训练目标对特征丰富度的影响，提出利用扩散模型特征空间无监督发现伪域结构并增强分类器，在5个数据集上最高提升未见域测试准确率超4%，优于多数使用域标签的算法。
2025-04-28 cs.CV cs.LG
Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors
IIT Delhi（印度理工学院德里分校）
领域泛化（DG）处理在多个源域上训练的机器学习模型在具有不同统计数据的目标域上不能很好地泛化的域移位问题。已经提出了多种方法来解决领域泛化的问题，通过学习跨源域的域不变表示，其不能保证在移位的目标域上的泛化。我们提出了一种基于生成最近邻的离散最小化（GNNDM）方法，它提供了一个理论上的保证，在标记过程中的目标的误差上界。我们采用了一个域离散最小化网络（DDMN），学习域不可知的功能，以产生一个单一的源域，同时保留数据点的类标签。使用生成模型学习从该源域提取的特征，该生成模型的潜在空间用作采样器以检索目标数据点的最近邻居。与现有方法相比，所提出的方法不需要访问域标签（更现实的场景）。经验上，我们证明了我们的方法在两个数据集上的有效性：PACS和VLCS。通过大量的实验，我们证明了所提出的方法，优于几个国家的最先进的DG方法的有效性。
2020-07-28 cs.CV cs.LG
Adaptive Methods for Aggregated Domain Generalization
Manipal Institute of Technology（马尼帕尔理工学院）；Facebook AI Research, Meta（Meta 旗下 Facebook 人工智能研究院）；MIT（麻省理工学院）
领域泛化涉及从异类训练源集合中学习分类器，以便将其泛化到从类似的未知目标领域提取的数据，并应用于大规模学习和个性化推理。在许多设置中，隐私问题禁止获得训练数据样本的域标签，而是仅具有训练点的聚合集合。利用域标签来创建域不变特征表示的现有方法在这种情况下是不适用的，需要替代方法来学习可推广的分类器。在本文中，我们提出了一个域自适应的方法来解决这个问题，它分为两个步骤：（a）我们集群训练数据在一个精心选择的特征空间，以创建伪域，和（b）使用这些伪域，我们学习域自适应分类器，使预测使用有关的输入和伪域的信息，它属于。我们的方法在各种领域泛化基准测试中实现了最先进的性能，而无需使用任何领域标签。此外，我们提供了新的理论保证领域泛化使用聚类信息。我们的方法适用于基于集成的方法，即使在大规模的基准数据集上也能获得可观的收益。代码可以在以下网址找到：https://github.com/xavierohan/AdaClust_DomainBed
2021-12-23 cs.CV cs.LG
SHED: Style-Homogenized Embedding Alignment for Domain Generalization
School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（1 东南大学计算机科学与工程学院，南京 210096，中国）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（2 教育部计算机网络与信息集成重点实验室（东南大学），中国）
本文提出SHED方法，通过均质化嵌入对齐来解决领域泛化中的信息不对称问题，实验表明其在多个基准测试中取得了最先进的性能。
2026-05-16 cs.CV cs.LG
Meta-forests: Domain generalization on random forests with meta-learning
King’s College London（伦敦国王学院）
本文提出名为meta-forests的领域泛化算法，结合元学习与最大均值差异优化随机森林，降低树间相关性并增强强度，在物体识别与葡萄糖监测数据集上泛化性能优于现有方法。
2024-01-09 cs.CV cs.LG
Moderately Distributional Exploration for Domain Generalization
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对领域泛化中不确定性集合过大导致低置信度预测的问题，提出适度分布探索（MODE）方法，在与训练领域共享语义因素的不确定性子集中进行探索，赋予模型可证明的泛化性能并取得有竞争力的实验结果。
2023-05-16 cs.CV cs.LG
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University（南京大学）
元学习为学习者提供了一种有效的学习方式，并在许多应用中取得了巨大的成功。然而，大多数元学习文献都集中在处理来自同一领域的任务，这使得它很难推广到其他未知领域的任务。在这项工作中，我们解决这个问题，模拟任务从其他看不见的领域，以提高元学习方法的泛化和鲁棒性。具体来说，我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务，并开发了一种新的对抗性学习机制来训练它，基于伪任务，元学习模型可以学习跨领域的元知识，可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明，该方法适用于各种元学习框架。此外，我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准，并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
Adaptive Methods for Real-World Domain Generalization
MIT（麻省理工学院）；Facebook AI
不变量方法在解决领域泛化问题方面取得了显著的成功，其中目标是对与训练中使用的数据分布不同的数据分布进行推断。在我们的工作中，我们调查是否有可能利用域信息从看不见的测试样本本身。我们提出了一种域自适应方法，包括两个步骤：a）我们首先从无监督的训练样本中学习一个判别域嵌入，b）使用该域嵌入作为补充信息来构建一个域自适应模型，该模型在进行预测时考虑了输入及其域。对于看不见的域，我们的方法简单地使用一些未标记的测试示例来构造域嵌入。这使得能够在任何看不见的域上进行自适应分类。我们的方法在各种领域泛化基准测试中达到了最先进的性能。此外，我们介绍了第一个真实世界的，大规模的领域泛化基准，Geo-YFCC，包含超过40个训练，7个验证和15个测试域，数量级大于以前的工作1.1 M样本。我们发现，现有的方法要么不能扩展到这个数据集，要么与在所有训练域的数据联合上训练模型的简单基线相比表现不佳。相比之下，我们的方法实现了显着的改善。
2021-03-30 cs.CV cs.LG
Dynamic Domain Generalization
Fuzhou University（福州大学）；Hikvision Research Institute（海康威视研究院）
领域泛化（DG）是机器学习中的一个基本而又极具挑战性的研究课题。现有技术主要集中在静态模型中学习具有有限源域的域不变特征。不幸的是，当推广到不可知目标域时，缺乏免训练机制来调整模型。为了解决这个问题，我们开发了一种全新的DG变体，即动态领域泛化（DDG），其中模型学习扭曲网络参数以适应来自不同领域的数据。具体来说，我们利用一个元调整器来扭曲网络参数的基础上的静态模型相对于不同的数据从不同的域。通过这种方式，静态模型被优化以学习域共享特征，而元调整器被设计为学习特定于域的特征。为了实现这一过程，DomainMix被用来模拟来自不同领域的数据，在教导元调整器以适应即将到来的不可知目标领域的过程中。这种学习机制通过调整模型而无需训练，促使模型推广到不同的不可知目标域。大量的实验证明了我们所提出的方法的有效性。代码可在：https://github.com/MetaVisionLab/DDG
2022-05-27 cs.CV cs.LG
Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization
Queensland University of Technology（昆士兰科技大学）
领域泛化方法旨在从具有不同分布的多个训练源域中学习未知目标域的领域不变预测模型。广泛的领域泛化是机器学习和计算机视觉领域的一个具有挑战性的热点问题，近年来已经做出了大量努力。大多数以前的领域泛化方法假设跨域的条件分布在源域上保持相同，并通过最小化边缘分布来学习域不变模型。然而，训练源域的稳定条件分布的假设在实践中并不真正成立。从源域学习的超平面很容易对分散在聚类边界或远离其相应类中心的样本进行错误分类。为了解决上述两个缺点，我们提出了一个判别域不变对抗网络（DDIAN）的领域泛化。通过区分性特征模块保证特征的区分性，通过全局域和局部子域对齐模块保证域不变特征。在几个基准测试上的大量实验表明，与最先进的领域泛化方法相比，DDIAN在训练过程中对看不见的目标数据实现了更好的预测。
2021-08-20 cs.AI cs.CV cs.LG
Cross-Domain Ensemble Distillation for Domain Generalization
POSTECH（浦项科技大学）；NALBI Inc.（NALBI公司）
领域泛化是学习模型的任务，这些模型泛化到看不见的目标领域。我们提出了一个简单而有效的方法领域泛化，命名为跨域集成蒸馏（XDED），学习域不变的功能，同时鼓励模型收敛到平坦的最小值，这最近被证明是一个充分条件领域泛化。为此，我们的方法从具有相同标签但来自不同域的训练数据生成输出logits的集合，然后惩罚每个输出与集合的不匹配。此外，我们提出了一种去风格化技术，该技术对特征进行去风格化，以鼓励模型即使在任意目标域中也能产生风格一致的预测。我们的方法大大提高了跨域图像分类、跨数据集人员重新ID和跨数据集语义分割的公共基准测试中的泛化能力。此外，我们表明，通过我们的方法学习的模型对对抗攻击和图像损坏具有鲁棒性。
2022-11-25 cs.AI cs.CV cs.LG
Rethinking the Evaluation Protocol of Domain Generalization
Tsinghua University（清华大学）
本文指出现有领域泛化评估协议存在测试数据泄露风险，建议改用自监督预训练或从头训练并使用多个测试领域，从而更精确地评估OOD泛化能力。
2024-03-23 cs.AI cs.CV cs.LG
Overcoming Data Inequality across Domains with Semi-Supervised Domain Generalization
Seoul National University（首尔大学）
针对仅有一个带标注域的半监督域泛化这一跨域数据不平等问题，提出基于域感知原型和不确定性自适应混合的ProUD算法，在三个基准数据集上性能优于所有基线模型。
2024-03-08 cs.AI cs.CV cs.LG
Heterogeneous Domain Generalization via Domain Mixup
Nanyang Technological University（南洋理工大学）
深度卷积神经网络（DCNN）的主要缺点之一是它们缺乏泛化能力。在这项工作中，我们专注于异构领域泛化的问题，旨在提高跨不同任务的泛化能力，即如何学习具有多个领域数据的DCNN模型，使得训练的特征提取器可以推广到支持新目标领域中的新类别的识别。为了解决这个问题，我们提出了一种新的异构领域泛化方法，通过混合样本在多个源域与两种不同的采样策略。基于Visual Decathlon基准测试的实验结果表明了该方法的有效性。代码在\url{https://github.com/wyf0912/MIXALL}中发布
2020-09-11 cs.CV
Hierarchical Variational Auto-Encoding for Unsupervised Domain Generalization
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
我们解决领域泛化的任务，目标是训练预测模型，使其能够泛化到一个新的，以前看不见的领域。我们选择了一个分层生成的方法的框架内的变分自编码器，并提出了一个域无监督算法，能够推广到新的领域没有域监督。我们表明，我们的方法能够学习表示，即使在复杂的设置中，在训练过程中没有观察到域结构，也能从类标签特定的信息中分离出特定于域的信息。我们的可解释的方法优于先前提出的生成算法的领域泛化，以及其他非生成国家的最先进的方法，在几个层次域设置，包括连续重叠近连续域移位。与依赖于在训练期间观察特定于域的信息的最先进的方法以及另一种域无监督方法相比，它还在标准领域泛化基准数据集PACS上实现了具有竞争力的性能。此外，我们提出了纯粹基于证据下限（ELBO）的模型选择，还提出了弱域监督，其中隐式域信息可以添加到算法中。
2021-05-14 cs.CV cs.LG stat.ML
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Generalizing to Unseen Domains: A Survey on Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；School of Data Science, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Institute for Data Science, Tsinghua University（清华大学数据科学研究院）
机器学习系统通常假设训练和测试分布是相同的。为此，一个关键的要求是开发可以推广到看不见的分布的模型。领域泛化（DG），即，分布外泛化近年来引起了越来越多的关注。领域泛化处理一个具有挑战性的设置，其中给定一个或多个不同但相关的域，目标是学习一个模型，该模型可以泛化到一个看不见的测试域。近年来，领域泛化研究取得了很大的进展。本文首次回顾了这一领域的最新进展。首先，我们给出了领域泛化的形式化定义，并讨论了几个相关的领域。然后，我们全面回顾了与领域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三类：数据操作，表示学习，和学习策略，并提出了几个流行的算法详细的每一类。第三，我们介绍了常用的数据集，应用程序和我们的开源代码库，以进行公平的评估。最后，我们总结了现有的文献，并提出了未来的一些潜在的研究课题。
2022-05-24 cs.AI cs.CV cs.LG
Domain Generalization via Gradient Surgery
CONICET（国家科学技术研究委员会）；UNL（国立滨海大学）
在实际应用中，机器学习模型经常面临训练域和测试域之间的数据分布发生变化的场景。当目标是对不同于训练时看到的分布进行预测时，我们会遇到领域泛化问题。解决此问题的方法使用来自多个源域的数据学习模型，然后将此模型应用于看不见的目标域。我们的假设是，当使用多个域进行训练时，每个小批中的冲突梯度包含特定于各个域的信息，这些信息与其他域（包括测试域）无关。如果保持不变，这种分歧可能会降低泛化性能。在这项工作中，我们的特点是出现在域转移的情况下，并设计新的梯度协议的基础上梯度手术，以减轻其影响的战略冲突的梯度。我们在三个多域数据集的图像分类任务中验证了我们的方法，显示了所提出的一致性策略在增强域转移场景中深度学习模型的泛化能力方面的价值。
2021-11-03 cs.CV cs.LG eess.IV
Self-balanced Learning For Domain Generalization
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
领域泛化的目的是在多领域源数据上学习预测模型，使得模型可以泛化到具有未知统计量的目标领域。大多数现有的方法都是在假设源数据在域和类方面是平衡的情况下开发的。然而，真实世界的训练数据收集与不同的组成偏见往往表现出严重的分布差距的领域和类，导致实质性的性能下降。在本文中，我们提出了一个自平衡的领域泛化框架，自适应地学习损失的权重，以减轻由不同分布的多领域源数据造成的偏见。自平衡方案是基于一个辅助的重新加权网络，迭代更新的域和类信息的条件下，通过利用平衡的Meta数据的损失的重量。实验结果表明，我们的方法压倒国家的最先进的作品领域泛化的有效性。
2021-08-31 cs.AI cs.CV cs.LG
Towards Unsupervised Domain Generalization
Tsinghua University（清华大学）
领域泛化（DG）旨在帮助在一组源域上训练的模型更好地泛化看不见的目标域。目前的DG方法的性能在很大程度上依赖于足够的标记数据，这通常是昂贵的或不可用的，但是。由于未标记的数据更容易访问，我们试图探索无监督学习如何帮助深度模型跨领域推广。具体来说，我们研究了一种新的泛化问题，称为无监督领域泛化（UDG），其目的是学习可推广的模型与未标记的数据和分析预训练对DG的影响。在UDG中，模型在使用标记的源数据进行训练之前，使用来自各个源域的未标记数据进行预训练，并最终在看不见的目标域上进行测试。然后，我们提出了一种名为领域感知表示学习（DARLING）的方法，以应对未标记的预训练数据中的显着和误导性的异质性和严重的分布偏移之间的源和目标数据。令人惊讶的是，我们观察到DARLING不仅可以抵消标记数据的稀缺性，而且还可以在标记数据不足时进一步增强模型的泛化能力。作为一种预训练方法，DARLING与ImageNet预训练协议相比表现出更好或相当的性能，即使可用数据是未标记的，并且与ImageNet相比数量要少得多，这可能有助于提高大规模未标记数据的泛化能力。
2022-04-12 cs.CV cs.LG cs.MM
Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization
Graduate School of Environment and Information Sciences（环境与信息科学研究生院）；Yokohama National University（Yokohama国立大学）；Faculty of Environment（环境学系）
本文评估现有域泛化方法在开放域泛化中的表现，发现简单方法CORAL和MMD与复杂方法DAML竞争力相当，并通过集成学习和Dirichlet混合数据增强简单扩展后性能接近DAML且计算成本更低。
2026-06-18 cs.AI cs.CV cs.LG
Exploiting Domain-Specific Features to Enhance Domain Generalization
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
领域泛化（DG）的目的是从多个观察到的源域训练模型，以便在看不见的目标域上表现良好。为了获得推广能力，以前的DG方法集中在提取跨源的域不变信息来推广目标域，而有用的特定于域的信息，这些信息与各个域中的标签和目标域的推广密切相关，通常被忽略。在本文中，我们提出了元域特定域不变（mDSDI）-一种新的理论上健全的框架，扩展超出了不变性的观点，以进一步捕捉域特定信息的有用性。我们的关键见解是在潜在空间中解开特征，同时在统一的框架中联合学习域不变和域特定的特征。特定于域的表示通过元学习框架进行优化，以适应源域，目标是在看不见的域上进行鲁棒的概括。我们的经验表明，mDSDI提供了竞争力的结果与国家的最先进的技术在DG。使用我们生成的数据集Background-Colored-MNIST进行的进一步消融研究证实了域特异性是必不可少的这一假设，与仅使用域不变相比，可以获得更好的结果。
2021-10-18 cs.LG
Domain Generalization in Biosignal Classification
Queensland University of Technology（昆士兰科技大学）
目的：在训练机器学习模型时，我们经常假设训练数据和评估数据是从相同的分布中采样的。然而，当在另一个看不见但相似的数据库上评估模型时，即使该数据库包含相同的类，也违反了这个假设。这个问题是由领域转移引起的，可以通过两种方法来解决：领域自适应和领域泛化。简单地说，领域自适应方法可以在训练期间访问来自未见过领域的数据;而在领域泛化中，未见过的数据在训练期间不可用。因此，领域泛化关注的是在不可访问的、领域转移的数据上表现良好的模型。方法：我们提出的领域泛化方法表示一个未知的域使用一组已知的基础域，之后，我们分类未知的域使用分类器融合。为了演示我们的系统，我们采用了一个集合的心音数据库，其中包含正常和异常的声音（类）。结果：我们提出的分类器融合方法在四个完全看不见的领域中实现了高达16%的准确率增益。结论：认识到生物信号数据固有的时间性质引起的复杂性，在这项研究中提出的两阶段方法能够有效地简化整个过程的领域泛化，同时表现出良好的结果上看不见的域和所采用的基域。意义：据我们所知，这是第一个研究生物信号数据的领域泛化。我们提出的学习策略可以用来有效地学习领域相关的功能，同时意识到数据中的类差异。
2020-11-12 cs.CV
Domain generalization in deep learning-based mass detection in mammography: A large-scale multi-center study
University of Barcelona（巴塞罗那大学）
基于深度学习的计算机辅助检测系统在乳腺癌检测中显示出巨大的潜力。然而，人工神经网络缺乏领域泛化能力是其在不断变化的临床环境中部署的一个重要障碍。在这项工作中，我们探索了深度学习方法在数字乳腺X射线摄影中用于肿块检测的领域泛化，并深入分析了大规模多中心设置中的域偏移来源。为此，我们比较了八种最先进的检测方法的性能，包括基于transformer的模型，在单个域中训练并在五个未知域中测试。此外，设计了一个单源质量检测训练管道，以提高域泛化能力，而不需要来自新域的图像。结果表明，我们的工作流程在五个领域中的四个领域中比最先进的基于迁移学习的方法更好地推广，同时减少了由不同采集协议和扫描仪制造商引起的领域转移。随后，进行了广泛的分析，以确定对检测性能具有较大影响的协变量变化，例如由于患者年龄、乳腺密度、肿块大小和肿块恶性程度的差异。最终，这项全面的研究为基于深度学习的乳腺癌检测领域泛化的未来研究提供了关键见解和最佳实践。
2023-01-24 cs.CV cs.LG eess.IV
Discriminative Adversarial Domain Generalization with Meta-learning based Cross-domain Validation
University of South Florida（南佛罗里达大学）
机器学习模型的泛化能力是指通过从一个或多个可见领域学习来泛化“不可见”领域的知识，对于在现实世界条件下开发和部署机器学习应用非常重要。领域泛化（DG）技术旨在提高机器学习模型的泛化能力，其中学习的特征表示和分类器是提高泛化能力和做出决策的两个关键因素。在本文中，我们提出了判别式对抗领域泛化（DADG）与基于元学习的跨域验证。我们提出的框架包含两个主要组件，它们协同工作以构建域广义DNN模型：（i）判别式对抗学习，它主动学习多个“可见”域上的广义特征表示，以及（ii）基于元学习的跨域验证，它通过在训练过程中应用元学习技术来模拟训练/测试域转移。在实验评估中，我们提出的方法和其他现有的方法在三个基准数据集上进行了全面的比较。结果表明，DADG始终优于强大的基线DeepAll，并且在大多数评估案例中优于其他现有的DG算法。
2022-02-16 cs.LG
Domain Generalization Emerges from Dreaming
最近的研究已经证明，与人类视觉不同，DNN倾向于利用纹理信息而不是形状。这种纹理偏差是DNN泛化性能差的因素之一。我们观察到纹理偏差不仅对领域泛化产生负面影响，而且对分布外泛化也产生负面影响，即，领域泛化。受观察的启发，我们提出了一个新的框架，以减少模型的纹理偏差的一种新的基于优化的数据增强，被称为风格化的梦想。我们的框架利用自适应实例规范化（AdaIN）来增强原始图像的风格，同时保留内容。然后，我们采用正则化损失来预测Stylized Dream和原始图像之间的一致输出，这鼓励模型学习基于形状的表示。大量的实验表明，该方法在公共基准数据集上的分布外设置中实现了最先进的性能：PACS，VLCS，THEMAHome，TerraIncognita和DomainNet。
2023-02-02 cs.AI cs.CV cs.LG
In Search of Lost Domain Generalization
Facebook AI Research（Facebook人工智能研究院）
领域泛化算法的目标是很好地预测与训练过程中看到的分布不同的分布。虽然存在无数的领域泛化算法，但实验条件-数据集，架构和模型选择标准-的不一致性使得公平和现实的比较变得困难。在本文中，我们有兴趣了解如何有用的领域泛化算法在现实的设置。作为第一步，我们认识到，模型选择是不平凡的领域泛化任务。与以前的工作相反，我们认为，没有模型选择策略的领域泛化算法应被视为不完整的。接下来，我们实现了DomainBed，这是一个用于领域泛化的测试平台，包括七个多领域数据集，九个基线算法和三个模型选择标准。我们使用DomainBed进行了大量的实验，发现当仔细实施时，经验风险最小化在所有数据集上都显示出最先进的性能。展望未来，我们希望DomainBed的发布，以及其他研究人员的贡献，将简化领域泛化中可重复和严格的研究。
2020-07-02 cs.LG stat.ML
Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization
Nanjing University（南京大学）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）；Southeast University（东南大学）
领域泛化（DG）是一种新提出的学习范式，其目标是将训练好的模型直接推广到未知的领域。以往的DG模型在训练过程中通常需要足够数量的来自观测源域的注释样本。在本文中，我们放宽了这一要求，充分的注释和调查半监督领域泛化（SSDG），只有一个源域是完全注释与其他领域完全未标记的训练过程中。为了解决观察到的源域之间的域间隙和预测看不见的目标域的挑战，我们提出了一种新的深度框架，通过联合域感知标签和双分类器来产生高质量的伪标签。具体地说，为了预测准确的伪标签下域移位，域感知的伪标签模块的开发。此外，考虑到泛化和伪标记之间的目标不一致：前者防止过拟合所有源域，而后者可能过拟合未标记的源域以获得高精度，我们采用双分类器在训练过程中独立地执行伪标记和领域泛化。当为未标记的源域生成准确的伪标签时，应用域混合操作来在标记的域和未标记的域之间增加新的域，这有利于提高模型的泛化能力。在公开的DG基准数据集上的广泛结果表明了我们提出的SSDG方法的有效性。
2022-08-17 cs.CV
Domain Generalizer: A Few-shot Meta Learning Framework for Domain Generalization in Medical Imaging
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型在目标（测试）数据域上测试时表现最佳，其分布与源（训练）域的集合相似。然而，当目标域和源域之间的基础统计数据存在显著差异时，模型泛化可能会受到阻碍。在这项工作中，我们适应一个领域泛化方法的基础上，模型不可知的元学习框架，生物医学成像。该方法学习一个领域不可知的特征表示，以提高模型的泛化到看不见的测试分布。该方法可用于任何成像任务，因为它不依赖于底层模型架构。我们通过三个数据集上的健康和病理病例的计算机断层扫描（CT）椎骨分割任务来验证该方法。接下来，我们采用少样本学习，即使用来自未知领域的非常少的示例来训练广义模型，以快速使模型适应新的未知数据分布。我们的研究结果表明，该方法可以帮助在不同的医疗中心，图像采集协议，解剖结构，给定扫描中的不同区域，不同成像模式的健康和患病人群中推广模型。
2020-08-18 cs.CV cs.LG eess.IV
Class-conditioned Domain Generalization via Wasserstein Distributional Robust Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学深圳国际研究生院（清华-伯克利深圳学院））；School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程系）
给定多个源域，领域泛化旨在学习一个通用模型，该模型在任何看不见但相关的目标域上都表现良好。在这项工作中，我们专注于领域泛化的情况下，发生在不同领域的类条件分布之间的域转移。当给定同一类的条件分布的变化很大时，现有的方法不够鲁棒。在这项工作中，我们扩展了分布式鲁棒优化的概念来解决类条件领域泛化问题。我们的方法优化了最坏情况下的分类器在类条件分布内的Wasserstein球围绕源条件分布的重心为中心的性能。我们还提出了一个迭代算法自动学习的最佳半径的Wasserstein球。实验结果表明，该框架在未知目标域上具有更好的性能，优于没有领域泛化的方法。
2021-09-08 cs.LG
On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond
MIT（麻省理工学院）；Rutgers University（罗格斯大学）
现实世界的数据往往表现出不平衡的标签分布。现有的数据不平衡研究集中在单域设置，即，样本来自相同的数据分布。然而，自然数据可以来自不同的领域，其中一个领域中的少数类可以具有来自其他领域的大量实例。我们形式化的任务多域长尾识别（MDLT），它从多域不平衡的数据，地址标签不平衡，域移位，和不同的标签分布域，并推广到所有域类对学习。我们首先开发的域类的可转移性图，并表明，这种可转移性管理的MDLT学习的成功。然后，我们提出了BoDA，一个理论上接地的学习策略，跟踪可转移性统计的上限，并确保平衡的对齐和校准不平衡的域类分布。我们基于广泛使用的多域数据集策划了五个MDLT基准测试，并将BoDA与跨越不同学习策略的二十种算法进行了比较。大量严格的实验验证了BoDA的优越性能。此外，作为副产品，BoDA在领域泛化基准上建立了新的最先进的技术，突出了解决跨领域数据不平衡的重要性，这对于改进对未知领域的泛化至关重要。代码和数据可在https://github.com/YyzHarry/multi-domain-imbalance上获得。
2022-08-01 cs.AI cs.CV cs.LG
Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization
Victoria University of Wellington（惠灵顿维多利亚大学）
本文讨论了一个特定的目标域的分类任务，其中标记的训练数据只能从源域不同（但相关）的目标。两个密切相关的框架，领域自适应和领域泛化，关注这样的任务，这些框架之间的唯一区别是未标记的目标数据的可用性：领域自适应可以利用未标记的目标信息，而领域泛化不能。我们提出了一种快速的表示学习算法Scatter Component Analyis（SCA），它可以同时应用于领域自适应和领域泛化。SCA基于简单的几何测量，即，scatter，它在再生核希尔伯特空间上操作。SCA找到了一种在最大化类的可分性、最小化域之间的不匹配和最大化数据的可分性之间进行权衡的表示;每一种都通过分散来量化。SCA的优化问题可以归结为一个广义特征值问题，这导致在一个快速和精确的解决方案。在跨领域目标识别基准数据集上的综合实验验证了SCA的性能比几种最先进的算法快得多，并且在领域自适应和领域泛化方面都提供了最先进的分类精度。我们还表明，分散可以用来建立一个理论的推广界的情况下，领域自适应。
2016-07-26 cs.AI cs.CV cs.LG
Failure Modes of Domain Generalization Algorithms
Russian-Armenian University（俄罗斯-亚美尼亚大学）；YerevaNN；USC Information Sciences Institute（南加州大学信息科学研究所）；Yerevan State University（埃里温国立大学）
领域泛化算法使用来自多个领域的训练数据来学习能够很好地泛化到未见过的领域的模型。虽然最近提出的基准测试表明，大多数现有的算法不优于简单的基线，建立的评估方法未能暴露的各种因素的影响，导致性能不佳。在本文中，我们提出了一个评估框架领域泛化算法，允许分解成组件捕捉不同方面的泛化错误。受基于域不变表示学习思想的算法流行的启发，我们扩展了评估框架，以捕获实现不变性的各种类型的失败。我们发现，泛化误差的最大贡献者在方法、数据集、正则化强度甚至训练长度上各不相同。我们观察到与学习域不变表示的策略相关的两个问题。在有色MNIST上，大多数领域泛化算法都失败了，因为它们只在训练域上达到了领域不变性。在Camelyon-17上，域不变性降低了不可见域上表示的质量。我们假设，专注于在丰富的表示之上调整分类器可能是一个有前途的方向。
2021-11-26 cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Hierarchical Domain Generalization
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；University of Waterloo（滑铁卢大学）
研究分层域泛化问题，从有限观察区域外推到整个实例空间，以任意域层次结构取代独立同分布采样，揭示核心障碍在于训练/测试域划分，表明现代泛化理论应将域结构视为关键因素。
2026-07-21 cs.LG
Sequential Learning for Domain Generalization
University of Surrey（萨里大学）；The University of Edinburgh（爱丁堡大学）；Samsung AI Centre, Cambridge（三星剑桥人工智能中心）
在本文中，我们提出了一个顺序学习框架的领域泛化（DG），训练模型的问题，是强大的域转移的设计。已经提出了具有不同激励直觉的各种DG方法，但它们通常针对领域泛化的单步的进行优化-在一组领域上进行训练并泛化到另一组领域。我们的顺序学习受到终身学习理念的启发，即积累经验意味着学习$n^{th}$比学习$1^{st}$更容易。在DG中，这意味着遇到一系列域，并在每一步训练中最大限度地提高下一个域的性能。域$n$的性能则取决于之前的$n-1$学习问题。因此，通过序列反向传播意味着不仅为下一个域优化性能，而且为所有后续域优化性能。与现有方法相比，所有这些域序列的训练为基础DG学习者提供了更多的“实践”，从而提高了真正测试域的性能。这种策略可以实例化为不同的基础DG算法，但我们专注于它的应用程序最近提出的元学习领域泛化（MLDG）。我们表明，MLDG导致一个简单的实现和快速的算法，提供一致的性能改善各种DG基准。
2020-04-03 cs.CV cs.LG stat.ML
Domain-Unified Prompt Representations for Source-Free Domain Generalization
University of Science and Technology of China（中国科学技术大学）
领域泛化（DG）旨在使模型在未知领域工作，是迈向通用人工智能的必由之路。受当前DG数据集的规模和多样性的限制，现有方法难以扩展到开放世界场景中的不同领域（例如，科幻小说和像素化风格）。因此，无源领域泛化（SFDG）任务是必要的和具有挑战性的。为了解决这个问题，我们提出了一种基于大规模视觉语言预训练模型的方法（例如，CLIP），它利用了广泛的领域信息嵌入其中。所提出的方案产生不同的提示从一个域银行，其中包含了许多不同的领域比现有的DG数据集。此外，我们的方法产生域统一表示从这些提示，从而能够应付来自开放世界域的样本。在主流DG数据集，即PACS，VLCS，ECOMAHome和DomainNet上进行的大量实验表明，与需要源域数据进行训练的最新（SOTA）DG方法相比，所提出的方法具有竞争力的性能。此外，我们收集了一个由两个领域组成的小数据集，以评估所提出的方法的开放世界领域泛化能力。源代码和数据集将在https://github.com/muse1998/Source-Free-Domain-Generalization上公开提供
2022-09-29 cs.CV
Generalization Analysis and Method for Domain Generalization for a Family of Recurrent Neural Networks
Department of Electrical and Computer Engineering at the University of Manitoba（曼尼托巴大学电气与计算机工程系）；Department of Computer Science, Toronto Metropolitan University（多伦多 Metropolitan 大学计算机科学系）
本文提出了一种分析递归神经网络家族可解释性和领域泛化能力的方法，通过Koopman算子理论提升模型对分布偏移的鲁棒性。
2026-01-13 cs.LG
Localized Adversarial Domain Generalization
PAII Inc.（PAII公司）；University of Rochester（罗切斯特大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；PingAn Insurance Group（平安保险集团）
深度学习方法可能难以处理训练数据中看不到的域转移，这可能导致它们无法很好地推广到看不见的域。这引起了对领域泛化的研究，它旨在提高模型的泛化能力。对抗性领域泛化是DG的一种流行方法，但传统方法（1）难以充分对齐特征，使得局部邻域在域间混合;以及（2）可能遭受特征空间过度崩溃，这可能威胁泛化性能。为了解决这些局限性，我们提出了局部对抗性领域泛化与空间紧凑性维护~（LADG），这构成了两个主要贡献。首先，我们提出了一个对抗性的本地化分类器作为域分类器，以及一个原则性的主要分支。这构造了一个最小-最大博弈，其中特征化器的目标是产生局部混合域。其次，我们建议使用编码率损失来减轻特征空间的过度崩溃。我们在Wilds DG基准上进行了全面的实验，以验证我们的方法，LADG在大多数数据集上的表现优于领先的竞争对手。
2022-05-09 cs.LG
Domain Adversarial Active Learning for Domain Generalization Classification
college of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对域泛化分类任务，提出域对抗主动学习算法，通过优先选取挑战性样本、优化弱判别特征子集，以更少数据实现强泛化能力，降低标注成本。
2024-03-10 cs.AI cs.LG
Hypernetwork-Driven Model Fusion for Federated Domain Generalization
ETH（苏黎世联邦理工学院）；KAIST AI（韩国科学技术院人工智能部门）
针对联邦学习中的域偏移问题，提出基于超网络的hFedF框架，通过非线性聚合和梯度对齐实现域泛化，在多个数据集上取得最优性能。
2024-05-28 cs.LG
Learning to Generalize: Meta-Learning for Domain Generalization
Queen Mary University of London（伦敦玛丽女王大学）；University of Edinburgh（爱丁堡大学）
域偏移是指在一个源域中训练的模型在应用于具有不同统计数据的目标域时表现不佳的众所周知的问题。领域泛化（DG）技术试图通过产生模型来缓解这个问题，所述模型通过设计很好地泛化到新的测试领域。提出了一种新的领域泛化{元学习}方法。而不是设计一个特定的模型，是强大的域转移在大多数以前的DG工作，我们提出了一个模型不可知的训练过程DG。我们的算法模拟训练/测试域转移在训练过程中合成虚拟测试域内的每个小批量。元优化目标要求提高训练域性能的步骤也应该提高测试域性能。这个元学习过程训练具有良好泛化能力的模型到新的领域。我们评估了我们的方法，并在最近的跨域图像分类基准上取得了最先进的结果，同时在两个经典的强化学习任务上展示了其潜力。
2017-10-10 cs.LG
TDG: Text-guided Domain Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本研究提出文本引导域泛化（TDG）范式，通过自动生成域相关词语、基于提示学习生成文本特征并结合图像特征训练分类器，有效提升模型在未见过目标域的泛化性能，在多个基准上表现优异。
2023-08-19 cs.CV
Not to Overfit or Underfit the Source Domains? An Empirical Study of Domain Generalization in Question Answering
IBM Research AI（IBM研究院人工智能部门）
机器学习模型容易过拟合其训练（源）域，这通常被认为是它们在新目标域中不稳定的原因。在这里，我们研究的对比视图，多源领域泛化（DG）首先是一个问题，减轻源域欠拟合：模型没有充分学习的信号已经存在于他们的多域训练数据。在阅读理解DG基准上的实验表明，随着模型更好地学习其源域-使用熟悉的方法，如从更大的模型中知识蒸馏（KD）-其zero-shot域外效用以更快的速度提高。改进的源域学习还展示了优于三种流行的现有DG方法的领域泛化，旨在限制过拟合。我们基于KD的领域泛化的实现可以通过PrimeQA获得，网址是：https://ibm.biz/domain-generalization-with-kd。
2022-10-25 cs.CL cs.LG
A Broad Study of Pre-training for Domain Generalization and Adaptation
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
深度模型必须学习鲁棒和可转移的表示，以便在新的领域中表现良好。虽然域转移方法（例如，域自适应，领域泛化）已经被提出来学习跨域的可转移表示，它们通常应用于在ImageNet上预训练的ResNet主干。因此，现有的工作很少注意到预训练对领域迁移任务的影响。在本文中，我们对领域自适应和泛化的预训练进行了广泛的研究和深入的分析，即：网络架构，大小，预训练损失和数据集。我们观察到，简单地使用一个国家的最先进的骨干优于现有的国家的最先进的领域自适应基线，并设置新的基线上的家庭和DomainNet提高了10.7%和5.5%。我们希望这项工作可以为未来的域转移研究提供更多的见解。
2022-07-20 cs.CV
How Does Distribution Matching Help Domain Generalization: An Information-theoretic Analysis
College of Science, Huazhong Agriculture University（华中农业大学理学院）；China Telecom Corporation（中国电信集团有限公司）
本文从信息论和概率视角分析分布匹配对领域泛化的作用，揭示梯度匹配与表示匹配的互补关系，并提出IDM与PDM方法以同时对齐梯度和表示，从而提升泛化性能。
2024-06-14 cs.LG
