Pseudo Multi-Source Domain Generalization: Bridging the Gap Between Single and Multi-Source Domain Generalization
NTT Musashino（NTT神户）
提出伪多源域泛化（PMDG）框架，通过风格迁移和数据增强从单一源域生成多伪域，使现有MDG算法能应用于单源域泛化，实验证明其能有效匹配甚至超越真实多域性能。
2025-05-29 cs.CV cs.LG
Domain Generalization Using a Mixture of Multiple Latent Domains
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
当表示底层数据分布的域在训练和测试过程中发生变化时，深度神经网络的性能就会下降。领域泛化通过使用多个源域来提高未见过目标域的泛化性能。传统的方法假设每个样本所属的域在训练中是已知的。然而，许多数据集，例如通过网络爬行收集的数据集，包含多个潜在域的混合，其中每个样本的域是未知的。本文介绍了领域泛化使用多个潜在域的混合物作为一种新的和更现实的情况下，我们试图训练域广义模型，而不使用域标签。为了解决这种情况，我们提出了一种方法，通过聚类迭代地将样本划分为潜在域，并通过对抗学习训练在划分的潜在域之间共享的域不变特征提取器。我们假设图像的潜在域反映在它们的风格中，因此，利用风格特征进行聚类。通过使用这些特征，我们提出的方法成功地发现潜在的领域，并实现领域泛化，即使领域标签是不给。实验表明，我们提出的方法可以训练领域广义模型，而不使用领域标签。此外，它优于传统的领域泛化方法，包括那些利用域标签。
2019-11-18 cs.CV cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Efficient Domain Generalization via Common-Specific Low-Rank Decomposition
MSR India（微软研究院印度）；IIT Bombay（印度理工学院孟买分校）
领域泛化是指训练模型的任务，该模型泛化到在训练期间未看到的新领域。我们提出了CSD（公共特定分解），对于这种设置，它联合学习一个公共组件（推广到新的领域）和一个特定于领域的组件（过度拟合训练域）。在训练之后丢弃域特定分量，并且仅保留公共分量。该算法是非常简单的，只涉及修改任何给定的神经网络架构的最终线性分类层。我们提出了一个原则性的分析，了解现有的方法，提供可识别的结果CSD，并研究低秩的领域泛化的影响。我们表明，CSD匹配或击败最先进的方法，领域泛化的基础上域擦除，域扰动数据增强，和元学习。进一步诊断旋转MNIST，域是可解释的，证实了这一假设，CSD成功地解开共同和域特定的组件，从而导致更好的领域泛化。
2020-04-07 cs.LG stat.ML
DISPEL: Domain Generalization via Domain-Specific Liberating
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；New Jersey Institute of Technology（新泽西理工学院）
提出DISPEL框架，通过在嵌入空间生成掩码过滤特定领域特征，解决领域泛化中的噪声和标签依赖问题，在五个基准上表现优于现有方法。
2023-08-01 cs.CV cs.LG
Respecting Domain Relations: Hypothesis Invariance for Domain Generalization
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
在领域泛化中，训练过程中可以使用多个带标签的非独立且非同分布的源域，而目标域的数据和标签都不可用。目前，学习领域不变表示（DIR）是领域泛化的主流方法。在这项工作中，我们定义了现有的作品中采用的概率术语的DIR，并表明，通过学习DIR，过于严格的要求施加有关的不变性。具体地，DIR旨在完美地对齐不同域的表示，即它们的输入分布。然而，这对于良好地推广到目标域是不必要的，并且甚至可能处理有价值的分类信息。我们建议学习所谓的假设不变表示（HIR），它通过仅仅对齐后验而不是对齐表示来放松不变性假设。我们报告了在公共领域泛化数据集上的实验结果，表明学习HIR比学习DIR更有效。事实上，我们的方法甚至可以与使用领域先验知识的方法竞争。
2020-10-15 cs.CV cs.LG
Domain2Vec: Deep Domain Generalization
University of Michigan（密歇根大学）
我们解决了领域泛化的问题，其中决策函数是从几个相关领域的数据中学习的，目标是将其成功地应用于一个看不见的领域。假设在源域（也称为训练域）中有大量可用的标记数据，但是没有标记数据可用于看不见的域（也称为目标域或测试域）。我们提出了一种新的神经网络架构Domain2Vec（D2V），它学习特定领域的嵌入，然后使用这种嵌入来推广相关领域的学习。提出的算法D2V将分布回归和核化领域泛化的思想扩展到神经网络环境。我们提出了一个神经网络架构来学习特定领域的嵌入，然后使用这个嵌入与数据点的特定功能来标记它。我们通过准确地估计域到域的相似性来展示架构的有效性。我们评估我们的算法对标准的领域泛化数据集的图像分类和优于其他国家的最先进的算法。
2018-07-09 cs.LG stat.ML
Domain Adversarial Neural Networks for Domain Generalization: When It Works and How to Improve
University of Pittsburgh（匹兹堡大学）；Northeastern University（东北大学）；Yonsei University（延世大学）
在理论上，领域自适应是一个很好的研究问题。此外，这一理论在实践中得到了很好的应用。特别是，我们注意到Ben-David等人（2010）给出的目标误差的界限，以及Ganin和Lempitsky（2015）提出的基于这项工作的著名域对齐算法，该算法使用域对抗神经网络（DANN）。近年来，针对领域泛化的相关问题，提出了多种DANN变体，但对原始的激励约束没有进行太多的讨论。在本文中，我们从这个角度研究的有效性DANN在领域泛化。我们调查的条件下，DANN的应用是有意义的，并进一步考虑DANN作为一个动态的过程中的培训。我们的调查表明，应用DANN的领域泛化可能并不像它看起来那么简单。为了解决这个问题，我们设计了一个算法扩展到DANN的领域泛化的情况下。实验验证了理论和算法的正确性。
2022-03-18 cs.CV cs.LG
Learning to Optimize Domain Specific Normalization for Domain Generalization
Seoul National University（首尔大学）；NEC Laboratories America（NEC美国实验室）；LG Electronics（LG电子）
我们提出了一种简单但有效的多源领域泛化技术，该技术基于深度神经网络，通过结合特定于各个领域的优化归一化层。我们的方法采用多种归一化方法，同时学习每个域的独立仿射参数。对于每个域，通过多个归一化统计的加权平均来归一化激活。如果需要的话，将分别跟踪每种规格化类型的规格化统计信息。具体来说，我们在实现中使用批处理和实例规范化来确定每个域中这两种规范化方法的最佳组合。优化的归一化层有效地增强了学习模型的泛化能力。我们证明了我们的算法在标准的领域泛化基准测试中的最先进的准确性，以及在标签噪声存在下的多源领域自适应和领域泛化等进一步任务的可行性。
2020-07-21 cs.LG stat.ML
Robust Domain-Free Domain Generalization with Class-aware Alignment
Institute for Infocomm Research（信息通信研究院）；Nanyang Technological University（南洋理工大学）
虽然深度神经网络在各种学习任务上表现出最先进的性能，但它们的性能依赖于训练和测试分布相同的假设，这在现实世界的应用中可能不成立。领域泛化通过采用多个源域来构建鲁棒的模型来解决这个问题，该模型可以泛化到受数据分布变化影响的看不见的目标域。在本文中，我们提出了无域领域泛化（DFDG），模型无关的方法，以实现更好的泛化性能上看不见的测试域，而不需要源域标签。DFDG使用新的策略来学习域不变的类判别特征。它通过类条件软标签对齐样本的类关系，并使用传统上为图像分类网络的事后分析而开发的显着图，以从训练输入中去除表面观察。DFDG在时间序列传感器和图像分类公共数据集上都获得了有竞争力的性能。
2021-02-17 cs.LG stat.ML
XCT-SAM: Sequential Parameter-Efficient Domain Adaptation of SAM for Industrial XCT Defect Segmentation
针对增材制造X射线计算机断层扫描图像缺陷分割难题，提出XCT-SAM框架，先在合金微观结构数据集微调Conv-LoRA适配器，再转移到XCT图像，参数高效且冻结超99%模型，实验表明其性能优于基线，有效实现工业XCT缺陷分割。
2026-07-17 cs.CV cs.LG
Learning to Balance Specificity and Invariance for In and Out of Domain Generalization
Georgia Institute of Technology（佐治亚理工学院）；University of Maryland（马里兰大学）
我们引入了特定于领域的泛化掩码，这是一种用于提高域内和域外领域泛化性能的模型。对于领域泛化，目标是从一组源域中学习，以产生一个单一的模型，该模型将最好地泛化到一个看不见的目标域。因此，许多先前的方法专注于学习跨所有源域持续存在的表示，并假设这些域不可知表示将很好地推广。然而，通常单个域包含独特的特征，并且当被利用时可以显著地帮助域内识别性能。为了产生一个最好的推广到可见和不可见域的模型，我们提出了学习域特定的掩码。鼓励掩码学习域不变特征和域特定特征的平衡，从而使模型能够受益于专用特征的预测能力，同时保留域不变特征的普遍适用性。与PACS和DomainNet上的幼稚基线和最先进的方法相比，我们展示了具有竞争力的性能。
2020-08-28 cs.CV cs.LG
Domain Generalization by Learning and Removing Domain-specific Features
University of Wollongong（伍伦贡大学）；University of Technology Sydney（悉尼科技大学）
当测试数据集遵循与训练数据集不同的分布时，深度神经网络（DNN）会发生域偏移。领域泛化旨在通过学习可以泛化到未知领域的模型来解决这个问题。在本文中，我们提出了一种新的方法，旨在明确地删除特定领域的领域泛化功能。根据这种方法，我们提出了一种新的框架，称为学习和删除特定领域的特征泛化（LRDG），通过从输入图像中策略性地删除特定领域的特征来学习域不变模型。具体来说，我们设计了一个分类器，以有效地学习每个源域的特定领域的功能，分别。然后，我们开发了一个编码器-解码器网络，将每个输入图像映射到一个新的图像空间，在这个空间中，学习到的特定于领域的特征被删除。利用编解码器网络输出的图像，设计另一个分类器学习域不变特征进行图像分类。大量的实验表明，我们的框架实现了优越的性能相比，国家的最先进的方法。
2022-12-14 cs.CV cs.LG
Domain Generalization via Invariant Feature Representation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文研究领域泛化：如何从任意数量的相关领域获得知识，并将其应用到以前看不见的领域？我们提出了域不变分量分析（DICA），一种基于内核的优化算法，通过最小化域之间的相异性来学习不变变换，同时保留输入和输出变量之间的函数关系。学习理论分析表明，减少相异度提高了分类器在新领域的预期泛化能力，激励所提出的算法。在合成数据集和真实数据集上的实验结果表明，DICA成功地学习了不变特征，提高了分类器的性能。
2013-01-10 cs.LG stat.ML
Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization
Queensland University of Technology（昆士兰科技大学）
领域泛化方法旨在从具有不同分布的多个训练源域中学习未知目标域的领域不变预测模型。广泛的领域泛化是机器学习和计算机视觉领域的一个具有挑战性的热点问题，近年来已经做出了大量努力。大多数以前的领域泛化方法假设跨域的条件分布在源域上保持相同，并通过最小化边缘分布来学习域不变模型。然而，训练源域的稳定条件分布的假设在实践中并不真正成立。从源域学习的超平面很容易对分散在聚类边界或远离其相应类中心的样本进行错误分类。为了解决上述两个缺点，我们提出了一个判别域不变对抗网络（DDIAN）的领域泛化。通过区分性特征模块保证特征的区分性，通过全局域和局部子域对齐模块保证域不变特征。在几个基准测试上的大量实验表明，与最先进的领域泛化方法相比，DDIAN在训练过程中对看不见的目标数据实现了更好的预测。
2021-08-20 cs.AI cs.CV cs.LG
Cross-Domain Multi-Task Learning for Sequential Sentence Classification in Research Papers
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心）；L3S Research Center（L3S研究中心）
顺序句子分类处理基于其内容和上下文的句子分类。应用于科学文本，它使研究论文的自动结构和学术搜索引擎的改进。然而，以前的工作还没有调查的潜力，迁移学习的句子分类在不同的科学领域和不同的文本结构的问题，全文和摘要。在本文中，我们得出了七个相关的研究问题，并提出了几个贡献，以解决这些问题：首先，我们提出了一种新的统一的深度学习架构和多任务学习的跨域顺序句子分类在科学文本。其次，我们定制了两种常见的迁移学习方法，顺序迁移学习和多任务学习，以应对给定任务的挑战。任务的语义相关性是神经模型成功迁移学习的前提。因此，我们的第三个贡献是半自动识别语义相关的类从不同的注释方案的方法，我们提出了四个注释方案的分析。综合实验结果表明，模型，这是从不同的科学领域的数据集训练，受益于彼此时，使用所提出的多任务学习架构。我们还报告与几个国家的最先进的方法的比较。我们的方法在全文数据集上的表现明显优于最先进的方法，而在由摘要组成的数据集上则是如此。
2022-03-18 cs.CL cs.IR cs.LG
Cross-Domain Ensemble Distillation for Domain Generalization
POSTECH（浦项科技大学）；NALBI Inc.（NALBI公司）
领域泛化是学习模型的任务，这些模型泛化到看不见的目标领域。我们提出了一个简单而有效的方法领域泛化，命名为跨域集成蒸馏（XDED），学习域不变的功能，同时鼓励模型收敛到平坦的最小值，这最近被证明是一个充分条件领域泛化。为此，我们的方法从具有相同标签但来自不同域的训练数据生成输出logits的集合，然后惩罚每个输出与集合的不匹配。此外，我们提出了一种去风格化技术，该技术对特征进行去风格化，以鼓励模型即使在任意目标域中也能产生风格一致的预测。我们的方法大大提高了跨域图像分类、跨数据集人员重新ID和跨数据集语义分割的公共基准测试中的泛化能力。此外，我们表明，通过我们的方法学习的模型对对抗攻击和图像损坏具有鲁棒性。
2022-11-25 cs.AI cs.CV cs.LG
Rethinking the Evaluation Protocol of Domain Generalization
Tsinghua University（清华大学）
本文指出现有领域泛化评估协议存在测试数据泄露风险，建议改用自监督预训练或从头训练并使用多个测试领域，从而更精确地评估OOD泛化能力。
2024-03-23 cs.AI cs.CV cs.LG
Model-Based Domain Generalization
University of Pennsylvania（宾夕法尼亚大学）
尽管在各种应用中取得了显着的成功，但众所周知，当呈现出分布外的数据时，深度学习可能会灾难性地失败。为了解决这一挑战，我们考虑域泛化问题，其中预测器使用从一系列相关训练域中提取的数据进行训练，然后在一个不同的和看不见的测试域上进行评估。我们表明，在自然的数据生成模型和随之而来的不变性条件下，域泛化问题相当于一个无限维的约束统计学习问题，这个问题形成了我们的方法，我们称之为基于模型的域泛化的基础。由于在深度学习中解决约束优化问题的固有挑战，我们利用非凸对偶理论来开发这个统计问题的无约束松弛，并在对偶间隙上有严格的界限。基于这一理论动机，我们提出了一种新的域泛化算法的收敛保证。在我们的实验中，我们报告了在包括ColoredMNIST、Camelyon 17-WILDS、FMoW-WILDS和PACS在内的几个基准测试上，最先进的领域泛化基线提高了30个百分点。
2021-11-15 cs.AI cs.LG stat.ML
Continual Learning of Domain-Invariant Representations
Bosch Center for Artificial Intelligence（博世人工智能中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Albstadt-Sigmaringen University（阿尔布斯塔德-西格马林根大学）
本文提出持续学习领域不变表示方法，通过结合回放训练和定制的序列不变性对齐，提升模型在未见目标领域上的泛化能力。
2026-05-15 cs.LG
Heterogeneous Domain Generalization via Domain Mixup
Nanyang Technological University（南洋理工大学）
深度卷积神经网络（DCNN）的主要缺点之一是它们缺乏泛化能力。在这项工作中，我们专注于异构领域泛化的问题，旨在提高跨不同任务的泛化能力，即如何学习具有多个领域数据的DCNN模型，使得训练的特征提取器可以推广到支持新目标领域中的新类别的识别。为了解决这个问题，我们提出了一种新的异构领域泛化方法，通过混合样本在多个源域与两种不同的采样策略。基于Visual Decathlon基准测试的实验结果表明了该方法的有效性。代码在\url{https://github.com/wyf0912/MIXALL}中发布
2020-09-11 cs.CV
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Enhancing Evolving Domain Generalization through Dynamic Latent Representations
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）
本文提出MISTS框架，通过信息论约束解耦动态与不变特征，并结合域自适应分类器，解决非平稳环境中演化新域的泛化问题。
2024-01-16 cs.LG
ContiStain: Cross-Domain Relation-Preserving Distillation for Continual Multi-Domain Virtual IHC Staining
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；School of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
针对临床中随时间顺序获取新生物标志物数据致性能下降问题，提出ContiStain框架，用混合专家特征提取器构建特征空间，提出关系保留蒸馏策略，提升多域虚拟染色稳定性。
2026-07-07 cs.CV eess.IV
Domain Adversarial Active Learning for Domain Generalization Classification
college of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对域泛化分类任务，提出域对抗主动学习算法，通过优先选取挑战性样本、优化弱判别特征子集，以更少数据实现强泛化能力，降低标注成本。
2024-03-10 cs.AI cs.LG
Learning What is Worth Learning: Active and Sequential Domain Adaptation for Multi-modal Gross Tumor Volume Segmentation
Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University（深圳 ubiquitous 数据赋能重点实验室、清华大学深圳国际研究生院、清华大学）
针对多模态大体肿瘤体积分割中标注昂贵、源数据受限及现有ADA一次性选择易负迁移的问题，提出主动序贯域适应框架mmActS，依据信息量与代表性动态选择样本，性能显著优于现有ADA方法。
2025-08-28 cs.CV
Exploiting Domain-Specific Features to Enhance Domain Generalization
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
领域泛化（DG）的目的是从多个观察到的源域训练模型，以便在看不见的目标域上表现良好。为了获得推广能力，以前的DG方法集中在提取跨源的域不变信息来推广目标域，而有用的特定于域的信息，这些信息与各个域中的标签和目标域的推广密切相关，通常被忽略。在本文中，我们提出了元域特定域不变（mDSDI）-一种新的理论上健全的框架，扩展超出了不变性的观点，以进一步捕捉域特定信息的有用性。我们的关键见解是在潜在空间中解开特征，同时在统一的框架中联合学习域不变和域特定的特征。特定于域的表示通过元学习框架进行优化，以适应源域，目标是在看不见的域上进行鲁棒的概括。我们的经验表明，mDSDI提供了竞争力的结果与国家的最先进的技术在DG。使用我们生成的数据集Background-Colored-MNIST进行的进一步消融研究证实了域特异性是必不可少的这一假设，与仅使用域不变相比，可以获得更好的结果。
2021-10-18 cs.LG
Domain Generalization in Biosignal Classification
Queensland University of Technology（昆士兰科技大学）
目的：在训练机器学习模型时，我们经常假设训练数据和评估数据是从相同的分布中采样的。然而，当在另一个看不见但相似的数据库上评估模型时，即使该数据库包含相同的类，也违反了这个假设。这个问题是由领域转移引起的，可以通过两种方法来解决：领域自适应和领域泛化。简单地说，领域自适应方法可以在训练期间访问来自未见过领域的数据;而在领域泛化中，未见过的数据在训练期间不可用。因此，领域泛化关注的是在不可访问的、领域转移的数据上表现良好的模型。方法：我们提出的领域泛化方法表示一个未知的域使用一组已知的基础域，之后，我们分类未知的域使用分类器融合。为了演示我们的系统，我们采用了一个集合的心音数据库，其中包含正常和异常的声音（类）。结果：我们提出的分类器融合方法在四个完全看不见的领域中实现了高达16%的准确率增益。结论：认识到生物信号数据固有的时间性质引起的复杂性，在这项研究中提出的两阶段方法能够有效地简化整个过程的领域泛化，同时表现出良好的结果上看不见的域和所采用的基域。意义：据我们所知，这是第一个研究生物信号数据的领域泛化。我们提出的学习策略可以用来有效地学习领域相关的功能，同时意识到数据中的类差异。
2020-11-12 cs.CV
Discriminative Adversarial Domain Generalization with Meta-learning based Cross-domain Validation
University of South Florida（南佛罗里达大学）
机器学习模型的泛化能力是指通过从一个或多个可见领域学习来泛化“不可见”领域的知识，对于在现实世界条件下开发和部署机器学习应用非常重要。领域泛化（DG）技术旨在提高机器学习模型的泛化能力，其中学习的特征表示和分类器是提高泛化能力和做出决策的两个关键因素。在本文中，我们提出了判别式对抗领域泛化（DADG）与基于元学习的跨域验证。我们提出的框架包含两个主要组件，它们协同工作以构建域广义DNN模型：（i）判别式对抗学习，它主动学习多个“可见”域上的广义特征表示，以及（ii）基于元学习的跨域验证，它通过在训练过程中应用元学习技术来模拟训练/测试域转移。在实验评估中，我们提出的方法和其他现有的方法在三个基准数据集上进行了全面的比较。结果表明，DADG始终优于强大的基线DeepAll，并且在大多数评估案例中优于其他现有的DG算法。
2022-02-16 cs.LG
Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization
Nanjing University（南京大学）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）；Southeast University（东南大学）
领域泛化（DG）是一种新提出的学习范式，其目标是将训练好的模型直接推广到未知的领域。以往的DG模型在训练过程中通常需要足够数量的来自观测源域的注释样本。在本文中，我们放宽了这一要求，充分的注释和调查半监督领域泛化（SSDG），只有一个源域是完全注释与其他领域完全未标记的训练过程中。为了解决观察到的源域之间的域间隙和预测看不见的目标域的挑战，我们提出了一种新的深度框架，通过联合域感知标签和双分类器来产生高质量的伪标签。具体地说，为了预测准确的伪标签下域移位，域感知的伪标签模块的开发。此外，考虑到泛化和伪标记之间的目标不一致：前者防止过拟合所有源域，而后者可能过拟合未标记的源域以获得高精度，我们采用双分类器在训练过程中独立地执行伪标记和领域泛化。当为未标记的源域生成准确的伪标签时，应用域混合操作来在标记的域和未标记的域之间增加新的域，这有利于提高模型的泛化能力。在公开的DG基准数据集上的广泛结果表明了我们提出的SSDG方法的有效性。
2022-08-17 cs.CV
Not to Overfit or Underfit the Source Domains? An Empirical Study of Domain Generalization in Question Answering
IBM Research AI（IBM研究院人工智能部门）
机器学习模型容易过拟合其训练（源）域，这通常被认为是它们在新目标域中不稳定的原因。在这里，我们研究的对比视图，多源领域泛化（DG）首先是一个问题，减轻源域欠拟合：模型没有充分学习的信号已经存在于他们的多域训练数据。在阅读理解DG基准上的实验表明，随着模型更好地学习其源域-使用熟悉的方法，如从更大的模型中知识蒸馏（KD）-其zero-shot域外效用以更快的速度提高。改进的源域学习还展示了优于三种流行的现有DG方法的领域泛化，旨在限制过拟合。我们基于KD的领域泛化的实现可以通过PrimeQA获得，网址是：https://ibm.biz/domain-generalization-with-kd。
2022-10-25 cs.CL cs.LG
Class-conditioned Domain Generalization via Wasserstein Distributional Robust Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学深圳国际研究生院（清华-伯克利深圳学院））；School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程系）
给定多个源域，领域泛化旨在学习一个通用模型，该模型在任何看不见但相关的目标域上都表现良好。在这项工作中，我们专注于领域泛化的情况下，发生在不同领域的类条件分布之间的域转移。当给定同一类的条件分布的变化很大时，现有的方法不够鲁棒。在这项工作中，我们扩展了分布式鲁棒优化的概念来解决类条件领域泛化问题。我们的方法优化了最坏情况下的分类器在类条件分布内的Wasserstein球围绕源条件分布的重心为中心的性能。我们还提出了一个迭代算法自动学习的最佳半径的Wasserstein球。实验结果表明，该框架在未知目标域上具有更好的性能，优于没有领域泛化的方法。
2021-09-08 cs.LG
Failure Modes of Domain Generalization Algorithms
Russian-Armenian University（俄罗斯-亚美尼亚大学）；YerevaNN；USC Information Sciences Institute（南加州大学信息科学研究所）；Yerevan State University（埃里温国立大学）
领域泛化算法使用来自多个领域的训练数据来学习能够很好地泛化到未见过的领域的模型。虽然最近提出的基准测试表明，大多数现有的算法不优于简单的基线，建立的评估方法未能暴露的各种因素的影响，导致性能不佳。在本文中，我们提出了一个评估框架领域泛化算法，允许分解成组件捕捉不同方面的泛化错误。受基于域不变表示学习思想的算法流行的启发，我们扩展了评估框架，以捕获实现不变性的各种类型的失败。我们发现，泛化误差的最大贡献者在方法、数据集、正则化强度甚至训练长度上各不相同。我们观察到与学习域不变表示的策略相关的两个问题。在有色MNIST上，大多数领域泛化算法都失败了，因为它们只在训练域上达到了领域不变性。在Camelyon-17上，域不变性降低了不可见域上表示的质量。我们假设，专注于在丰富的表示之上调整分类器可能是一个有前途的方向。
2021-11-26 cs.LG
Unlocking the Power of Rehearsal in Continual Learning: A Theoretical Perspective
Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）；University of Houston（休斯顿大学）
本文从理论视角分析了持续学习中的排练策略，证明在任务相似度低时顺序排练优于并行排练，并提出混合排练方法以提升模型性能。
2025-05-30 cs.LG
Hierarchical Domain Generalization
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；University of Waterloo（滑铁卢大学）
研究分层域泛化问题，从有限观察区域外推到整个实例空间，以任意域层次结构取代独立同分布采样，揭示核心障碍在于训练/测试域划分，表明现代泛化理论应将域结构视为关键因素。
2026-07-21 cs.LG
Domain-Unified Prompt Representations for Source-Free Domain Generalization
University of Science and Technology of China（中国科学技术大学）
领域泛化（DG）旨在使模型在未知领域工作，是迈向通用人工智能的必由之路。受当前DG数据集的规模和多样性的限制，现有方法难以扩展到开放世界场景中的不同领域（例如，科幻小说和像素化风格）。因此，无源领域泛化（SFDG）任务是必要的和具有挑战性的。为了解决这个问题，我们提出了一种基于大规模视觉语言预训练模型的方法（例如，CLIP），它利用了广泛的领域信息嵌入其中。所提出的方案产生不同的提示从一个域银行，其中包含了许多不同的领域比现有的DG数据集。此外，我们的方法产生域统一表示从这些提示，从而能够应付来自开放世界域的样本。在主流DG数据集，即PACS，VLCS，ECOMAHome和DomainNet上进行的大量实验表明，与需要源域数据进行训练的最新（SOTA）DG方法相比，所提出的方法具有竞争力的性能。此外，我们收集了一个由两个领域组成的小数据集，以评估所提出的方法的开放世界领域泛化能力。源代码和数据集将在https://github.com/muse1998/Source-Free-Domain-Generalization上公开提供
2022-09-29 cs.CV
Generalization Analysis and Method for Domain Generalization for a Family of Recurrent Neural Networks
Department of Electrical and Computer Engineering at the University of Manitoba（曼尼托巴大学电气与计算机工程系）；Department of Computer Science, Toronto Metropolitan University（多伦多 Metropolitan 大学计算机科学系）
本文提出了一种分析递归神经网络家族可解释性和领域泛化能力的方法，通过Koopman算子理论提升模型对分布偏移的鲁棒性。
2026-01-13 cs.LG
T-UDA: Temporal Unsupervised Domain Adaptation in Sequential Point Clouds
Czech Technical University in Prague（布拉格捷克理工大学）
提出T-UDA方法，结合时序与跨传感器几何一致性及均值教师方法，在Waymo、nuScenes和SemanticKITTI上实现驾驶场景3D语义分割的显著性能提升。
2023-09-15 cs.CV cs.RO
Domain Generalization using Ensemble Learning
Innopolis University（Innopolis大学）
领域泛化是迁移学习的一个子领域，其目的是在缺乏关于目标领域的任何知识的情况下弥合两个不同领域之间的差距。我们的方法解决了模型在单个源域上训练时泛化能力弱的问题。从这个角度来看，我们在单个源上训练的基础深度学习模型之上构建集成模型，以增强其集体预测的泛化能力。到目前为止取得的结果已经证明了有前途的改善，其基础学习的合奏。
2021-03-18 cs.AI cs.LG
SeQwen at the Financial Misinformation Detection Challenge Task: Sequential Learning for Claim Verification and Explanation Generation in Financial Domains
Pulchowk Campus, IoE（普尔乔克校区，工程学院（Institute of Engineering））；IIT Roorkee（鲁基印度理工学院）；State University of New York, Buffalo（纽约州立大学布法罗分校）；University of Wisconsin（威斯康星大学）；Cohere For AI Community（Cohere 人工智能社区）；University of Maryland（马里兰大学）
本文提出面向 COLING 2025 FMD 挑战赛的 SeQwen 系统，结合 Qwen、Mistral、Gemma-2、预处理与序列学习，完成金融错误信息分类及解释生成，并取得 F1 0.8283、ROUGE-1 0.7253。
2024-11-30 cs.CE cs.CL cs.LG
MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task
Hitachi, Ltd.（日立制作所）
我们提出了一个机器声音数据集的基准领域泛化技术异常声音检测（ASD）。域偏移是数据分布的差异，会降低检测性能，处理它们是ASD系统应用的主要问题。虽然目前可用的ASD任务数据集假设域偏移的发生是已知的，但在实践中，它们可能难以检测。为了处理这样的域转移，应该研究无论域如何都表现良好的领域泛化技术。在本文中，我们提出了第一个ASD数据集的领域泛化技术，称为MIMII DG。该数据集由五种机器类型和每种机器类型的三种域转移场景组成。该数据集专用于领域泛化任务，其特征包括导致领域偏移的参数的多个不同值以及可能难以检测的领域偏移的引入，例如背景噪声中的偏移。使用两个基线系统的实验结果表明，数据集再现域转移的情况下，是有用的基准领域泛化技术。
2022-11-22 cs.AI cs.LG cs.SD
Image Fusion for Cross-Domain Sequential Recommendation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；The University of Liverpool（利物浦大学）
本文提出 IFCDSR 方法，利用冻结 CLIP 模型生成图像嵌入并融合序列内与序列间交互，结合多层注意力捕捉跨域兴趣，在四个电商数据集上显著优于现有方法。
2025-02-27 cs.CV cs.IR cs.LG
Cognitive-Inspired Hierarchical Attention Fusion With Visual and Textual for Cross-Domain Sequential Recommendation
Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；The University of Liverpool（利物浦大学）；Microsoft（微软公司）
该研究受人类认知启发，提出整合视觉与文本的层级注意力融合方法HAF-VT，基于冻结CLIP生成多模态嵌入，联合学习单跨域偏好，在四个电商数据集上跨域序列推荐效果优于现有方法。
2025-09-01 cs.CV
LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Liverpool（利物浦大学）；Microsoft（微软公司）；Zhejiang University（浙江大学）
本文提出LLM-EMF方法，通过融合视觉和文本数据提升跨域序列推荐性能，利用CLIP模型生成多模态嵌入并引入多重注意力机制，实验证明其在多领域推荐中的有效性。
2026-02-27 cs.CV cs.IR
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training
I2R, A-STAR（A*STAR信息通信研究所）；South China University of Technology（华南理工大学）；Southwest Jiaotong University（西南交通大学）
在目标域数据上部署模型需要适应分布偏移。测试时训练（TTT）出现作为一个现实的情况下，访问完整的源域数据是不可用的，和即时推理的目标域上的这种适应的解决方案。尽管在TTT方面做了很多努力，但实验设置仍存在混乱，从而导致不公平的比较。在这项工作中，我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中，我们采用了一个现实的顺序测试时训练（sTTT）协议，根据该协议，我们开发了一个测试时锚定聚类（TTAC）方法，使更强的测试时特征学习。TTAC发现源域和目标域中的簇，并将目标簇与源簇进行匹配，以提高自适应性。当源域信息是严格缺席（即无源），我们进一步开发了一种有效的方法来推断锚定聚类的源域分布。最后，自我训练~（ST）在从未标记数据中学习方面取得了巨大的成功，并且我们经验性地指出，单独将ST应用于TTT容易产生确认偏差。因此，一个更有效的TTT的方法，引入了正则化的自训练与锚定聚类，改进的模型被称为TTAC++。我们证明，在所有TTT协议下，TTAC++在五个TTT数据集上的性能始终优于最先进的方法，包括损坏的目标域，选定的硬样本，合成到真实的自适应和对抗攻击的目标域。我们希望这项工作将提供一个公平的TTT方法的基准，未来的研究应在各自的协议进行比较。
2023-03-20 cs.CV cs.LG
Improving Generalization with Domain Convex Game
Beijing Institute of Technology（北京理工大学）
领域泛化（DG）倾向于通过学习具有多个源域的模型来缓解深度神经网络泛化能力差的问题。一个经典的解决DG的方法是域增广，其共同的信念是多样化的源域将有利于分布外泛化。然而，这些主张是直观地理解的，而不是数学上的。我们的探索经验表明，模型泛化和域的多样性之间的相关性可能不是严格的正相关，这限制了域增强的有效性。因此，这项工作旨在保证和进一步加强这一链的有效性。为此，我们提出了一个新的角度DG重铸它作为一个凸域之间的游戏。我们首先鼓励每个多样化的领域，以提高模型的泛化精心设计的正则化项的基础上超模块化。同时，构造样本滤波器，剔除低质量样本，避免潜在有害信息的影响。该框架为DG的形式化分析提供了一条新的途径，启发式分析和大量实验证明了该框架的合理性和有效性。
2023-03-23 cs.CV cs.LG
Label-Efficient Domain Generalization via Collaborative Exploration and Generalization
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）
领域泛化（DG）的目标是从多个标注良好的源领域中学习一个可泛化的模型，并将其推广到未知的目标领域。然而，在许多真实场景中，为源数据集获得足够的注释可能非常昂贵。为了摆脱领域泛化和标注成本之间的困境，在本文中，我们引入了一个新的任务命名为标签有效的领域泛化（LEDG），使模型泛化与标签有限的源域。为了解决这个具有挑战性的任务，我们提出了一个新的框架，称为协作探索和泛化（CEG），它联合优化主动探索和半监督泛化。具体来说，在主动探索中，为了在避免信息发散和冗余的同时探索类和域的可辨别性，我们查询具有类不确定性、域代表性和信息多样性的最高总体排名的样本的标签。在半监督泛化中，我们设计了基于MixUp的领域内和领域间知识增强，以扩展领域知识并推广领域不变性。我们以协作的方式统一主动探索和半监督泛化，并促进它们之间的相互增强，以有限的注释提高模型泛化。大量的实验表明，CEG产生优越的泛化性能。特别是，CEG甚至可以只使用5%的数据注释预算，以实现有竞争力的结果相比，以前的DG方法与PACS数据集上的完全标记的数据。
2022-08-07 cs.CV
SimpleDG: Simple Domain Generalization Baseline without Bells and Whistles
MEGVII Technology（旷视科技）
我们提出了一个简单的领域泛化基线，在NICO CHALLENGE 2022中分别获得了公共上下文泛化轨道和混合上下文泛化轨道的第二名。我们验证了在最近的文献，domainbed，ERM是一个强大的基线相比，最近的国家的最先进的领域泛化方法，并提出SimpleDG，其中包括几个简单而有效的设计，进一步提高泛化性能。代码可在https://github.com/megvii-research/SimpleDG上获得
2022-10-26 cs.CV
A Strong Baseline for Domain Adaptation and Generalization in Medical Imaging
Enlitic（Enlitic公司）
该方法为医学成像中的多源多靶领域自适应和泛化问题提供了有力的基础。使用十个胸部X射线数据集的不同集合，我们以经验证明了在不同患者人群上训练医学成像深度学习模型以推广到样本外域的好处。
2019-04-02 cs.AI cs.CV eess.IV
Progressive Domain Expansion Network for Single Domain Generalization
University of Chinese Academy of Sciences（中国科学院大学）
单领域泛化是模型泛化的一个具有挑战性的案例，其中模型在单个领域上进行训练，并在其他未知领域上进行测试。一个有前途的解决方案是通过扩大训练域的覆盖范围来学习跨域不变表示。由于缺乏适当的安全性和有效性约束，这些方法在实际应用中的泛化性能增益有限。在本文中，我们提出了一种新的学习框架称为渐进域扩展网络（PDEN）的单领域泛化。PDEN中的域扩展子网络和表示学习子网络通过联合学习实现了优势互补。对于域扩展子网络，逐步生成多个域，以模拟看不见的域中的各种光度和几何变换。为了保证扩展域的安全性和有效性，提出了一系列的策略。对于域不变表示学习子网络，引入对比学习方法，学习类聚类较好的域不变表示，从而学习到较好的决策边界，提高其泛化能力。大量的分类和分割实验表明，PDEN可以实现高达15.28%的改善相比，最先进的单领域泛化方法。
2021-03-30 cs.CV
Domain Generalization for Semantic Segmentation: A Survey
TU Berlin（柏林技术大学）；Mathematical Modeling of Industrial Life Cycles Group（工业生命周期数学建模组）；CARIAD SE（CARIAD公司）
本综述全面梳理域泛化语义分割领域的研究进展，归类现有方法，指出向基于基础模型的域泛化的范式转变，并通过性能比较凸显基础模型的显著影响，以推动该领域研究并启发新方向。
2025-10-03 cs.CV
Multi-Source Collaborative Style Augmentation and Domain-Invariant Learning for Federated Domain Generalization
College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）
本文提出MCSAD方法，通过多源协同风格增强扩展风格空间，并结合域不变学习提升联邦域泛化能力，在多个数据集上显著超越现有方法。
2025-06-04 cs.CV
Learning to Learn with Variational Information Bottleneck for Domain Generalization
University of Amsterdam（阿姆斯特丹大学）；Nankai University（南开大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Duke University（杜克大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
领域泛化模型学习泛化到以前看不见的领域，但遭受预测不确定性和领域转移。在本文中，我们解决这两个问题。我们引入了一个概率元学习模型的领域泛化，在跨域共享的分类器参数建模为分布。这使得能够更好地处理未知域上的预测不确定性。为了处理域移位，我们通过提出Meta变分信息瓶颈原理来学习域不变表示，我们称之为MetaVIB。MetaVIB是来自新的变分边界的互信息，利用元学习设置的领域泛化。通过情景训练，MetaVIB学会逐渐缩小领域差距，建立领域不变的表示，同时最大限度地提高预测准确性。我们进行实验的三个基准跨域视觉识别。全面的消融研究验证了MetaVIB在领域泛化方面的优势。比较结果表明，我们的方法优于以前的方法一致。
2020-07-15 cs.CV
Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework
Southeast University（东南大学）；University of Wollongong（伍伦贡大学）；Nanjing University（南京大学）
领域泛化（DG）是近年来在人员再识别（ReID）中备受关注的一个问题。它旨在使在多个源域上训练的模型推广到一个看不见的目标域。虽然取得了可喜的进展，现有的方法通常需要源域进行标记，这可能是一个重大的负担，实际的ReID任务。在本文中，我们转而研究ReID的无监督领域泛化，假设没有标签可用于任何源域。为了解决这个具有挑战性的设置，我们提出了一个简单而有效的特定于域的自适应框架，并实现它的自适应规范化模块设计的批处理和实例规范化技术。在这样做的过程中，我们成功地产生了可靠的伪标签来实现训练，并根据需要增强了模型的领域泛化能力。此外，我们表明，我们的框架甚至可以应用于提高人的ReID下的设置监督领域泛化和无监督领域自适应，表现出竞争力的性能与相关的方法。在基准数据集上进行了广泛的实验研究，以验证所提出的框架。我们的工作的一个意义在于，它显示了潜在的无监督领域泛化的人ReID，并设置了一个强有力的基线，为进一步研究这一主题。
2023-03-23 cs.CV
