Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Source-Free Open Compound Domain Adaptation in Semantic Segmentation
National University of Singapore（新加坡国立大学）；Xiamen University（厦门大学）；University of Trento（特伦托大学）
在这项工作中，我们引入了一个新的概念，命名为无源开放复合领域自适应（SF-OCDA），并研究它在语义分割。SF-OCDA比传统的领域自适应更具挑战性，但更实用。它共同考虑了（1）数据隐私和数据存储问题，以及（2）多个目标域和看不见的开放域的场景。在SF-OCDA中，只有源预训练模型和目标数据可用于学习目标模型。对来自目标和看不见的开放域的样品评估该模型。为了解决这个问题，我们提出了一个有效的框架，将训练过程分为两个阶段：（1）预训练广义源模型和（2）适应目标模型与自监督学习。在我们的框架中，我们提出了跨补丁风格交换（CPSS），以多样化的样本与各种补丁风格的特征级，这可以有利于这两个阶段的训练。首先，CPSS可以显著提高源模型的泛化能力，为后一阶段提供更准确的伪标签。第二，CPSS可以减少噪声伪标签的影响，也可以避免模型在自监督学习过程中过拟合到目标域，从而持续提高目标域和开放域的性能。实验表明，我们的方法在C-Driving数据集上产生了最先进的结果。此外，我们的模型也取得了领先的性能城市景观的领域泛化。
2021-06-07 cs.CV
Unsupervised Domain Adaptation with Progressive Adaptation of Subspaces
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
无监督领域自适应（UDA）是一种基于领域移位的知识转移算法，通过对已有标记的源领域进行知识转移，实现对未标记目标领域的分类。现有的大多数UDA方法试图通过减少域差异来减轻迁移带来的不利影响。然而，由于目标域中缺少标签，这样的方法容易遭受臭名昭著的模式坍塌问题。自然，缓解这个问题的有效方法之一是可靠地估计目标域的伪标签，这本身就很难。为了克服这一点，我们提出了一种新的UDA方法命名为渐进适应子空间的方法（PAS），我们利用这样的直觉，似乎更合理，逐步获得可靠的伪标签。具体而言，我们通过自适应地锚定/选择和利用具有可靠伪标签的目标样本，逐步稳步地改进共享子空间作为知识传递的桥梁。随后，细化的子空间又可以提供目标域的更可靠的伪标签，使得模式坍塌得到高度缓解。我们的全面评估表明，PAS不仅是有效的共同的UDA，但也优于国家的艺术更具有挑战性的部分领域自适应（PDA）的情况下，源标签集包含的目标之一。
2020-09-01 cs.CV cs.LG stat.ML
Domain Adaptations for Computer Vision Applications
University of California, San Diego（加州大学圣地亚哥分校）
统计学习理论的一个基本假设是，训练和测试数据来自相同的底层分布。不幸的是，这个假设在许多应用中并不成立。相反，充足的标记数据可能存在于一个特定的“源”域，而推理需要在另一个“目标”域。领域自适应方法利用来自两个领域的标记数据来改进对目标领域中的不可见数据的分类。在这项工作中，我们调查域迁移学习方法的各种应用领域的重点是最近的工作在计算机视觉。
2012-11-20 cs.CV cs.LG stat.ML
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City（胡志明市科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Liverpool（利物浦大学）；University of Information Technology（信息技术大学）
领域自适应是训练强大的深度神经网络的一种潜在方法，它可以处理没有标记数据的情况。更准确地说，领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想，试图根据对抗对象的不同，使训练数据集和测试数据集之间的分布最小化。然而，一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位，或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应（SADDA），它可以克服其他领域自适应方法的局限性。我们还表明，SADDA具有更好的性能比其他对抗性的适应方法，并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
Continuously Indexed Domain Adaptation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
现有的领域自适应集中于在具有分类索引的领域之间传递知识（例如，数据集A和B之间）。然而，许多任务涉及连续索引的域。例如，在医疗应用中，人们经常需要在不同年龄的患者之间传输疾病分析和预测，其中年龄充当连续域索引。这样的任务对于现有的领域自适应方法是具有挑战性的，因为它们忽略了领域之间的潜在关系。在本文中，我们提出了第一种方法连续索引的领域自适应。我们的方法结合了传统的对抗性适应与一种新的模型的编码条件域索引分布。我们的理论分析证明了利用域索引在连续域范围内生成不变特征的价值。我们的实证结果表明，我们的方法优于最先进的域自适应方法在合成和真实世界的医疗数据集。
2020-08-30 cs.CV cs.LG cs.NE
Self-supervised Domain Adaptation for Computer Vision Tasks
自监督视觉表示学习的最新进展在许多具有挑战性的计算机视觉基准测试上取得了显著的成功。然而，这些技术是否可以用于领域自适应还没有被探索。在这项工作中，我们提出了一种通用的方法，自我监督领域自适应，使用对象识别和语义分割的城市场景作为用例。针对简单的托词/辅助任务（如图像旋转预测），我们评估了不同的学习策略，以提高领域自适应的有效性，通过自我监督。此外，我们提出了两个互补的策略，以进一步提高领域自适应的准确性语义分割在我们的方法，包括预测层对齐和批量归一化校准。实验结果表明，适应水平相媲美的大多数研究领域自适应方法，从而，使自我监督作为一种新的替代达到领域自适应。该代码可在https://github.com/Jiaolong/self-supervised-da上获得。
2019-12-10 cs.CV cs.LG
Mutual Learning Network for Multi-Source Domain Adaptation
DiDi Chuxing（滴滴出行）；Carleton University（卡尔顿大学）
早期的无监督领域自适应（UDA）方法大多假设单个源域的设置，其中所有标记的源数据来自相同的分布。然而，在实践中，标记数据可以来自具有不同分布的多个源域。在这样的场景中，由于跨不同源域的域移位的存在，单源领域自适应方法可能失败，并且需要设计多源领域自适应方法。本文提出了一种新的多源领域自适应方法--多源领域自适应互学习网络（ML-MSDA）。该方法在相互学习的框架下，将目标域与单个源域配对，训练一个条件对抗领域自适应网络作为分支网络，将组合的多源域与目标域配对，训练一个条件对抗自适应网络作为指导网络。多个分支网络与引导网络对齐，以通过在对应目标数据上对其预测概率分布实施JS发散正则化来实现相互学习。我们在多个多源领域自适应基准数据集上进行了广泛的实验。实验结果表明，所提出的ML-MSDA方法优于比较方法，达到了最先进的性能。
2020-03-29 cs.CV cs.LG
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University（杜克大学）
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力，同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异，因此适用于平衡和不平衡的领域自适应任务，并与一个简单的扩展，它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明，该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径，展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization
Victoria University of Wellington（惠灵顿维多利亚大学）
本文讨论了一个特定的目标域的分类任务，其中标记的训练数据只能从源域不同（但相关）的目标。两个密切相关的框架，领域自适应和领域泛化，关注这样的任务，这些框架之间的唯一区别是未标记的目标数据的可用性：领域自适应可以利用未标记的目标信息，而领域泛化不能。我们提出了一种快速的表示学习算法Scatter Component Analyis（SCA），它可以同时应用于领域自适应和领域泛化。SCA基于简单的几何测量，即，scatter，它在再生核希尔伯特空间上操作。SCA找到了一种在最大化类的可分性、最小化域之间的不匹配和最大化数据的可分性之间进行权衡的表示;每一种都通过分散来量化。SCA的优化问题可以归结为一个广义特征值问题，这导致在一个快速和精确的解决方案。在跨领域目标识别基准数据集上的综合实验验证了SCA的性能比几种最先进的算法快得多，并且在领域自适应和领域泛化方面都提供了最先进的分类精度。我们还表明，分散可以用来建立一个理论的推广界的情况下，领域自适应。
2016-07-26 cs.AI cs.CV cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Automatic Domain Adaptation by Transformers in In-Context Learning
RIKEN AIP（理化学研究所人工智能项目）；Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
本文提出一种Transformer模型，在上下文学习框架中可证明地近似并自动选择适合给定数据集的域适应算法，实验表明其自适应性能优于现有方法。
2024-05-27 cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
A Generalized Neyman-Pearson Criterion for Optimal Domain Adaptation
University of Michigan（密歇根大学）
在二进制分类的领域自适应问题中，学习者被呈现来自源领域的标记示例，并且必须正确地分类来自目标领域的未标记示例，该目标领域可能与源不同。以前的工作在这个问题上假设的性能指标的兴趣是期望值的一些损失函数。我们引入了一个新的奈曼皮尔逊标准，并认为，对于这个最优性标准，更强的域适应结果是可能的比以前已经建立。特别是，我们研究了一类域自适应问题，概括了协变量移位假设和特征相关标签噪声模型，并建立了目标域上的最佳分类，尽管无法访问该域的标记数据。
2019-02-27 cs.LG stat.ML
Moment-Based Domain Adaptation: Learning Bounds and Algorithms
JOHANNES KEPLER UNIVERSITY LINZ（约翰内斯开普勒大学林茨分校）
本论文为领域自适应作为机器学习的新兴领域奠定了数学基础。与经典的统计学习相比，域自适应框架考虑了训练和应用环境中概率分布之间的偏差。领域自适应适用于更广泛的应用，因为未来的样本通常遵循与训练样本不同的分布。决定性的一点是关于分布相似性的假设的普遍性。因此，在这篇论文中，我们研究域适应问题下，弱相似性假设，可以模拟的许多时刻。
2020-04-22 cs.LG stat.ML
On generalization in moment-based domain adaptation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Data Science Software Competence Center Hagenberg GmbH（哈根贝格数据科学软件能力中心有限公司）
域自适应算法被设计为通过自适应来自具有大量训练数据的源域的模型来最小化用于具有很少训练数据的目标域的判别模型的误分类风险。标准方法基于源域和目标域中的经验概率分布之间的距离度量来测量适应差异。在这种情况下，我们解决的问题，推导出面向实践的一般条件下的基本概率分布的泛化界。因此，我们得到了泛化界域自适应的基础上，许多矩和光滑条件。
2021-07-26 cs.LG stat.ML
Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation
Radboud University（拉德堡德大学）；TNO（荷兰应用科学研究组织）；Open University（开放大学）
我们考虑无监督域自适应：给定源域的标记示例和相关目标域的未标记示例，目标是推断目标示例的标签。在来自预训练的深度神经网络的特征可跨相关域转移的假设下，域自适应简化为在类别预测不确定性水平上对齐源域和目标域。我们通过引入一种基于对抗学习的方法来解决这个问题，该方法迫使目标域上的标签不确定性预测与源域上的标签不确定性预测无法区分。使用预先训练的深度神经网络来生成具有跨相关域的高可转移性的深度特征。我们在大量公开的预训练深度神经网络上对所提出的方法进行了广泛的实验分析。我们在图像分类领域自适应任务上的实验结果表明，类预测不确定性与从预训练的深度神经网络中提取的特征对齐，为领域自适应提供了一种高效、鲁棒和有效的方法。
2019-01-04 cs.LG stat.ML
Improving Unsupervised Domain Adaptation with Variational Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
领域自适应的目的是利用源域的监督信号，在标签不可用的情况下获得目标域的准确模型。为了利用和适应源域的标签信息，大多数现有方法采用特征提取函数，并在共享特征空间中匹配源域和目标域的边缘分布。本文从信息论的角度，证明了表示匹配实际上是对特征空间的一个不充分约束，以获得在目标域具有良好泛化性能的模型。然后，我们提出了变分瓶颈领域自适应（VBDA），一个新的领域自适应方法，提高了功能的可转移性，明确执行的特征提取器忽略任务无关的因素，并专注于信息，是必不可少的感兴趣的任务，为源和目标域。大量的实验结果表明，VBDA显着优于国家的最先进的方法在三个领域自适应基准数据集。
2019-11-21 cs.LG stat.ML
Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation
Carleton University（卡尔顿大学）；CIFAR AI Chair（CIFAR人工智能讲席）；Amii（阿尔伯塔机器智能研究所）
无监督领域自适应通过将知识从源领域适应到目标领域来减少对深度学习中数据注释的依赖。出于隐私和效率考虑，无源领域自适应通过在不访问源数据的情况下将预训练的源模型适配到未标记的目标域来扩展无监督的领域自适应。然而，大多数现有的无源领域自适应方法集中在转导设置，其中目标训练集也是测试集。在本文中，我们解决无源领域自适应在更现实的归纳设置，目标训练和测试集是互斥的。提出了一种新的半监督微调方法--双滑动平均伪标记法（DMAPL），用于无源归纳领域自适应。我们首先根据预训练源模型的预测置信度得分将目标域中的未标记训练集分为伪标记置信子集和未标记置信度较低的子集。然后，我们提出了一个软标签的移动平均更新策略的基础上的移动平均原型分类器的未标记的子集，逐渐适应的源模型向目标域。实验表明，我们提出的方法达到了最先进的性能，并大大优于以前的方法。
2022-12-15 cs.CV cs.LG
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Ensemble Multi-Source Domain Adaptation with Pseudolabels
Seoul National University（首尔国立大学）
给定带有标签的多个源数据集，我们如何训练没有标签数据的目标模型？多源领域自适应（MSDA）的目的是在没有目标数据标签的情况下，使用与目标数据集不同的多个源数据集训练模型。MSDA是一个关键的问题，适用于许多实际情况下，标签的目标数据是不可用的，由于隐私问题。现有的MSDA框架是有限的，因为它们对齐数据而不考虑条件分布p（x|（1）每个域。他们也错过了大量的目标标签信息，不考虑目标标签在所有和依赖于只有一个特征提取器。在本文中，我们提出了一种新的方法，多源领域自适应与伪标签的包围多源领域自适应（EnMDAP）。EnMDAP利用标签式矩匹配来对齐条件分布p（x| y），对不可用的目标标签使用伪标签，并通过使用多个特征提取器来引入集成学习主题以进行精确的领域自适应。实验结果表明，EnMDAP在图像域和文本域的多源领域自适应任务中均具有较好的性能。
2020-09-29 cs.LG stat.ML
Matching Embeddings for Domain Adaptation
University of Concepción（康塞普西翁大学）；Harvard University（哈佛大学）；University of Chile（智利大学）
在这项工作中，我们解决的问题，从一个巨大的注释源域的低标记的目标域的知识转移。我们提出了对抗变分领域自适应（AVDA），一种基于深度变分嵌入表示的半监督领域自适应方法。我们使用近似推理和域对抗方法将源域和目标域的样本映射到定义为高斯混合模型的对齐类相关嵌入中。AVDA作为一个分类器工作，并考虑一个生成模型来帮助这种分类。我们使用数字数据集进行实验。我们的研究结果表明，在半监督的Few-Shot场景中，我们的模型在大多数自适应任务中优于以前的方法，即使在目标域上每个类使用较少数量的标记样本。
2021-01-24 cs.LG stat.ML
A Brief Review of Domain Adaptation
University of Georgia（佐治亚大学）
经典的机器学习假设训练集和测试集来自相同的分布。因此，期望从标记的训练数据学习的模型在测试数据上表现良好。然而，由于许多因素，在训练数据和测试数据来自不同分布的现实世界应用中，这种假设可能并不总是成立，例如，从不同的来源收集训练集和测试集，或者由于数据随时间的变化而具有过时的训练集。在这种情况下，域分布之间会存在差异，并且在新数据集上天真地应用训练模型可能会导致性能下降。领域自适应是机器学习中的一个子领域，其目的是通过对齐领域之间的差异来处理这些类型的问题，使得经过训练的模型可以推广到感兴趣的领域。本文重点研究了无监督的领域自适应，其中标签仅在源域中可用。从不同的角度对领域自适应进行了分类。此外，还介绍了一些成功的浅层和深层领域自适应方法，旨在解决领域自适应问题。
2020-10-07 cs.CV cs.LG
Domain Adaptation as a Problem of Inference on Graphical Models
Carnegie Mellon University（卡内基梅隆大学）；University of Melbourne（墨尔本大学）；Unisound AI Lab（优必选人工智能实验室）
本文关注数据驱动的无监督领域自适应，其中预先不知道联合分布如何跨域变化，即，数据分布的哪些因素或模块保持不变或跨域改变。为了开发一种多源域领域自适应的自动化方法，我们提出使用图形模型作为一种紧凑的方式来编码联合分布的变化特性，它可以从数据中学习，然后将领域自适应视为图形模型上的贝叶斯推理问题。这样的图形模型区分分布的恒定和变化模块，并指定跨域的变化的属性，其用作变化模块的先验知识，用于导出目标域中的目标变量$Y$的后验。这提供了领域自适应的端到端框架，其中可以直接并入关于联合分布如何改变的附加知识（如果可用的话）以改进图形表示。我们将讨论如何基于容差的领域自适应可以放在这个保护伞下。在合成数据和真实数据上的实验结果证明了所提出的领域自适应框架的有效性。该代码可在https://github.com/mgong2/DA_Infer上获得。
2020-10-23 cs.LG stat.ML
Learning Sampling Policies for Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）
我们通过深度Q学习解决分类算法的半监督领域自适应问题。其核心思想是将源域网络对目标域数据的预测视为噪声标签，并学习从该数据中采样的策略，以便在目标域的小注释奖励分区上最大化分类准确性。我们的实验表明，学习的采样策略构建标记集，提高视觉分类器的准确性超过基线。
2018-05-19 cs.CV cs.LG
Bridging Theory and Algorithm for Domain Adaptation
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
本文从理论和算法两个方面研究了无监督域自适应问题。现有的领域自适应理论自然包含极大极小优化算法，极大极小优化算法与基于对抗学习的领域自适应方法有很好的结合。然而，一些脱节仍然存在，形成理论和算法之间的差距。我们扩展了以前的理论（Mansour et al.，2009 c; Ben-David等人，2010）到领域自适应中的多类分类，其中基于评分函数和边际损失的分类器是算法设计中的标准选择。我们介绍了利润差距离散，一种新的测量与严格的推广界，量身定制的分布比较与不对称的利润损失，和最小最大优化更容易训练。我们的理论可以无缝地转化为一个对抗学习算法的领域自适应，成功地弥合了理论和算法之间的差距。一系列的实证研究表明，我们的算法达到了最先进的精度上具有挑战性的领域自适应任务。
2019-07-22 cs.LG stat.ML
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Supervised Domain Adaptation: A Graph Embedding Perspective and a Rectified Experimental Protocol
Aarhus University（奥胡斯大学）
领域自适应是缓解来自不同领域的数据之间的分布差距的过程。在本文中，我们表明，领域自适应方法使用成对的源和目标域数据之间的关系，可以制定为一个图形嵌入的域标签被纳入到结构的内在和惩罚图。具体来说，我们分析了三个现有的国家的最先进的监督领域自适应方法的损失函数，并证明他们执行图嵌入。此外，我们强调了一些普遍性和再现性的问题，通常用于证明这些方法的少样本学习能力的实验设置。为了准确地评估和比较监督领域自适应方法，我们提出了一个修正的评估协议，并在标准数据集上报告了更新的基准测试结果，这些标准数据集包括Amazon，DSLR和Webcam，Digits（MNIST，USPS，SVHN和MNIST-M）和VisDA（Synthetic，Real）。
2021-10-24 cs.LG stat.ML
Discriminative Adversarial Domain Adaptation
South China University of Technology（华南理工大学）
无监督领域自适应的目标是在给定源域上的已标记实例和目标域上的未标记实例的情况下，学习一个能够很好地分类目标实例的任务分类器。最近的进展依赖于深度网络的领域对抗训练来学习领域不变特征。然而，由于任务和领域分类器的单独设计引起的模式坍塌的问题，这些方法在对齐跨领域的特征和类别的联合分布方面受到限制。为了克服这个问题，我们提出了一种新的对抗性学习方法，称为歧视性对抗领域自适应（DADA）。基于集成的类别和域分类器，DADA具有一个新的对抗性目标，该目标鼓励任何输入实例的类别和域预测之间的相互抑制关系。我们表明，在实际条件下，它定义了一个极大极小博弈，可以促进联合分布对齐。除了传统的闭集领域自适应，我们还扩展了DADA的部分和开集领域自适应的极具挑战性的问题设置。实验表明，我们提出的方法的有效性，我们实现了新的国家的最先进的基准数据集上的所有三个设置。
2019-12-17 cs.CV cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University（罗格斯大学）；Toutiao AI Lab（今日头条AI实验室）；Snap Research（Snap研究）
在本文中，我们提出了因子化对抗网络（FAN）解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间，该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间，分别用于源域和目标域。无监督领域自适应通过对抗训练来实现，以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明，所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外，我们收集了两个比现有基准数据集大得多的真实世界的标记数据集，并在基线上得到了显着的改进，证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Fast OT for Latent Domain Adaptation
North Carolina State University（北卡罗来纳州立大学）；Chalmers University（查尔姆斯大学）
在本文中，我们解决了无监督领域自适应的问题。当目标数据的分布不同于用于建立模型的分布，并且目标数据的基本事实信息未知时，就需要进行这种调整。我们提出了一种算法，使用最优传输理论与可验证的高效和可实现的解决方案，学习最好的潜在特征表示。这是通过最小化将样本从目标域传输到源域的分布的成本来实现的。
2022-10-02 cs.CV cs.LG
Multi-step domain adaptation by adversarial attack to $\mathcal{H} Δ\mathcal{H}$-divergence
ITMO University（圣彼得堡国立信息技术机械与光学大学）；Artificial Intelligence Research Institute（人工智能研究所）；Tubingen Universitat（图宾根大学）
对抗性例子可以在不同的模型之间转换。在我们的论文中，我们建议使用此属性的多步领域自适应。在无监督的领域自适应设置中，我们证明了用对抗性示例替换源域到$\mathcal{H} Δ\mathcal{H}$ -发散可以提高目标域上的源分类器精度。我们的方法可以连接到大多数领域自适应技术。我们进行了一系列实验，并在Digits和Digi-Home数据集上实现了准确性的提高。
2022-07-18 cs.CR cs.CV cs.LG
Multi-output Classification for Compound Fault Diagnosis in Motor under Partially Labeled Target Domain
KAIST（韩国科学技术院）
针对电机复合故障诊断中部分标记目标域和共存故障的挑战，提出集成MKMMD、EM损失与FLN的多输出分类框架，提升特征迁移性与诊断精度，在6个域适应案例中宏F1分数优于基线方法。
2025-03-15 cs.LG
Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019
JD AI Reseach（京东人工智能研究院）
本文概述并比较分析了我们为视觉领域自适应挑战赛（VisDA-2019）中的以下两个任务设计的系统：多源领域自适应和半监督领域自适应。多源领域自适应：我们研究了多源领域自适应任务的像素级和特征级自适应，即，通过CycleGAN直接对标记的目标样本产生幻觉，并通过自学习学习域不变特征表示。此外，进一步研究了融合不同骨干特征的机制，以促进领域不变分类器的学习。源代码和预训练模型可在\url{https://github.com/Panda-Peter/visda2019-multisource}上获得。半监督领域自适应：采用标准的自学习框架，根据已标记的源数据和目标数据构建分类器，并为未标记的目标数据生成伪标签。然后利用这些具有伪标签的目标数据在接下来的迭代中重新训练分类器。此外，基于原型的分类模块，另外利用，以加强预测。源代码和预训练模型可在\url{https://github.com/Panda-Peter/visda2019-semisupervised}上获得。
2019-10-14 cs.CV
Domain Adaptation for Medical Image Analysis: A Survey
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
用于计算机辅助医学图像分析的机器学习技术通常遭受由源/参考数据和目标数据之间的不同分布引起的域移位问题。领域自适应作为一种很有前途的解决方案，近年来受到了广泛的关注。综述了医学图像分析中领域自适应方法的研究进展。我们首先介绍了引入领域自适应技术来解决医学图像分析领域异质性问题的动机。然后，我们提供了一个审查最近的领域自适应模型在各种医学图像分析任务。我们将现有的方法分为浅层模型和深层模型，每种模型又分为监督、半监督和无监督方法。我们还提供了一个简短的总结的基准医学图像数据集，支持当前的领域自适应研究。本次调查将使研究人员更好地了解当前的现状，挑战。
2021-02-18 cs.CV cs.LG eess.IV
Open Set Domain Adaptation by Extreme Value Theory
Northwestern University（西北大学）
常见的域自适应技术假设源域和目标域共享相同的标签空间，这是有问题的，因为当目标样本未被标记时，我们不知道这两个域是否共享相同的标签空间。当不是这种情况下，现有的方法不能很好地执行，因为额外的未知类也匹配的源域在适应。在本文中，我们解决了开集域自适应问题的假设下，源和目标标签空间只有部分重叠，任务变成当未知类存在时，如何检测目标未知类，并避免对齐它们与源域。我们建议利用一个实例级的权重调整策略域适应的权重表示属于已知类的样本的可能性和模型的熵分布与极值理论的未知类检测的尾部。在传统领域自适应数据集上的实验表明，该方法的性能优于现有的模型。
2020-12-22 cs.AI cs.LG stat.ML
Multi-task Domain Adaptation for Sequence Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）
许多领域自适应方法依赖于学习跨领域共享表示，以将在一个领域中学习到的知识转移到其他领域。传统的领域自适应只考虑适应一个任务。在本文中，我们探讨了多任务表示学习下的领域自适应的情况。我们提出了一个神经网络框架，支持领域自适应多个任务同时进行，并学习共享表示，更好地概括领域自适应。我们将所提出的框架应用于序列标记问题的领域自适应，考虑两个任务：中文分词和命名实体识别。实验结果表明，对于每个任务，多任务领域自适应都比不相交的领域自适应更有效，并且在社交媒体领域，两种任务都达到了最佳效果。
2017-05-30 cs.CL cs.LG
DiDA: Disentangled Synthesis for Domain Adaptation
Shandong University（山东大学）；Tel Aviv University（特拉维夫大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
无监督领域自适应旨在通过利用从源域到无监督目标域的监督来学习两个相关但不相同的域的共享模型。许多有效的领域自适应方法依赖于提取两个领域共有的有区别的但领域不变的潜在因素的能力。提取潜在的共性对于解纠缠分析也是有用的，使得两个域的共同特征和域特定特征之间能够分离。在本文中，我们提出了一种方法来提高领域自适应性能，利用解纠缠分析。其核心思想是通过学习分别提取共同特征和领域特定特征，可以在有监督的情况下合成更多的目标领域数据，从而提高领域自适应性能。更好的公共特征提取反过来又有助于进一步改进解纠缠分析和解纠缠合成。我们发现，迭代之间的领域自适应和解纠缠分析可以不断提高对方的几个无监督的领域自适应任务，为各种领域自适应骨干模型。
2018-05-21 cs.CV
DARec: Deep Domain Adaptation for Cross-Domain Recommendation via Transferring Rating Patterns
University of New South Wales（新南威尔士大学）
跨领域推荐一直是推荐系统研究的热点之一。最近，已经提出了各种深度模型来跨领域转移学习的知识，但是它们中的大多数集中于从辅助内容中提取抽象的可转移特征，例如，图像和评论文本，而评级矩阵本身的模式很少被触及。在这项工作中，受领域自适应概念的启发，我们提出了一个深度领域自适应模型（DARec），该模型能够从评级矩阵{ \em only}中提取和传输模式，而不依赖于任何辅助信息。我们在公共数据集上实证证明，我们的方法在几种最先进的跨域推荐模型中达到了最佳性能。
2019-05-26 cs.IR cs.LG stat.ML
Domain Adaptation and Image Classification via Deep Conditional Adaptation Network
Guangdong Polytechnic Normal University（广东技术师范大学）；Sun Yat-Sen University（中山大学）；City University of Hong Kong（香港城市大学）
无监督领域自适应的目的是将在源域上训练的有监督模型推广到未标记的目标域。特征空间的边缘分布对齐被广泛用于减少源域和目标域之间的域差异。但是，它假设源域和目标域共享相同的标签分布，这限制了它们的应用范围。在本文中，我们考虑了一个更一般的应用场景，源和目标域的标签分布是不一样的。在这种情况下，基于边际分配的方法将容易受到负迁移的影响。为了解决这个问题，我们提出了一种新的无监督领域自适应方法，深度条件自适应网络（DCAN），基于特征空间的条件分布对齐。具体而言，通过最小化源域和目标域深度特征条件分布之间的条件最大均值离散度来减小域差异，通过最大化样本与预测标签之间的互信息来提取目标域的判别信息。此外，DCAN可用于解决一种特殊的场景，即部分无监督领域自适应，其中目标领域类别是源领域类别的子集。无监督领域自适应和部分无监督领域自适应的实验表明，DCAN取得了优于国家的最先进的方法的分类性能。
2022-05-03 cs.CV
Network Architecture Search for Domain Adaptation
Stanford University（斯坦福大学）；Boston University（波士顿大学）
深度网络已经被用于学习用于领域自适应的可转移表示。现有的深度领域自适应方法系统地采用专门为图像分类任务设计的流行手工网络，导致次优的领域自适应性能。在本文中，我们提出了神经架构搜索领域自适应（NASDA），一个原则框架，利用可微神经架构搜索，以获得最佳的网络架构领域自适应任务。NASDA设计了两种新的训练策略：神经结构搜索与多内核最大均值离散，以获得最佳的架构，和对抗性训练之间的特征生成器和一批分类器，以巩固的特征生成器。我们的实验表明，NASDA导致国家的最先进的性能在几个领域自适应基准。
2020-08-13 cs.CV
On Deep Domain Adaptation: Some Theoretical Understandings
与浅领域自适应相比，深领域自适应的最新进展表明，它可以实现更高的预测性能和更强的处理结构数据的能力（例如，图像和顺序数据）。深度领域自适应的基本思想是在联合空间中弥合源域和目标域之间的差距，使得在标记的源数据上训练的监督分类器可以很好地转移到目标域。这个想法当然是直观和强大的，但是，有限的理论理解已经发展到支持其基础原则。在本文中，我们提供了一个严格的框架来解释为什么它是可能的，以关闭在联合空间中的目标和源域的差距。更具体地说，我们首先研究从源域到目标域执行迁移学习时所产生的损失。这提供了一个理论，解释和概括现有的工作，在深领域自适应，主要是经验。这使得我们能够进一步解释为什么闭合联合空间中的间隙可以直接最小化两个域之间的迁移学习所引起的损失。据我们所知，这提供了第一个理论结果，该结果表征了联合空间上的直接约束和通过深度领域自适应的迁移学习的增益
2019-06-19 cs.AI cs.LG stat.ML
Contrastive Adaptation Network for Unsupervised Domain Adaptation
University of Technology Sydney（悉尼科技大学）；Google AI（谷歌人工智能）；Baidu Research（百度研究院）；Carnegie Mellon University（卡内基梅隆大学）
无监督领域自适应（UDA）对目标领域数据进行预测，而手动注释仅在源领域中可用。以前的方法忽略了类信息，这可能会导致不对齐和泛化性能差的域差异最小化。为了解决这个问题，本文提出了对比自适应网络（CAN）优化一个新的度量，显式地模拟类内域差异和类间域差异。我们设计了一种交替更新策略，以端到端的方式训练CAN。在两个真实世界基准Office-31和VisDA-2017上的实验表明，CAN与最先进的方法相比表现良好，并产生更具区分力的特征。
2019-04-10 cs.CV
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST（大邱庆北科学技术院）；POSTECH（浦项科技大学）
在本文中，我们提出了DRANet，一个网络架构，解开图像表示和转移的视觉属性在一个潜在的空间，无监督的跨领域自适应。与现有的领域自适应方法，学习共享域的相关功能，DRANet保留了每个域的特性的独特性。我们的模型编码的内容（场景结构）和风格（艺术外观）从源和目标图像的个人表示。然后，它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应，并对齐它们的域移位。此外，我们提出了一个内容自适应域转移模块，有助于保留场景结构，同时转移风格。大量的实验表明，我们的模型成功地分离内容风格的因素，并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Importance Weighted Adversarial Nets for Partial Domain Adaptation
Advanced Multimedia Research Lab, University of Wollongong, Australia（伍伦贡大学高级多媒体研究实验室，澳大利亚伍伦贡大学高级多媒体研究实验室（注：此处“Advanced Multimedia Research Lab”是实验室，属于University of Wollongong的机构，整体按要求提取到大学级别，即University of Wollongong，澳大利亚伍伦贡大学））
提出了一种基于重要性加权对抗网的无监督领域自适应方法，该方法适用于目标领域类别数少于源领域类别数的部分领域自适应。以往的领域自适应方法一般假设标签空间相同，从而减少分布分歧导致可行的知识转移。然而，这样的假设在更现实的场景中不再有效，该场景需要从更大和更多样化的源域适应到具有更少类别的更小目标域。本文扩展了基于对抗性网络的领域自适应，提出了一种新型的基于对抗性网络的部分领域自适应方法，用于识别可能来自离群类的源样本，同时减少域之间共享类的移动。
2018-03-28 cs.CV
Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation
Huawei Cloud（华为云）；Huawei Technologies（华为技术有限公司）；Dalian University of Technology（大连理工大学）
多源无监督领域自适应（MSDA）是将在多个已标记源域上训练的模型自适应到一个未标记目标域。在本文中，我们提出了一种新的多源领域自适应框架的基础上协作学习的语义分割。首先，引入一种简单的图像平移方法来对齐像素值分布，以在一定程度上减少源域和目标域之间的差距。然后，为了充分利用跨源域的基本语义信息，我们提出了一种协作学习方法，用于领域自适应，而无需看到任何来自目标域的数据。此外，与无监督领域自适应的设置类似，利用未标记的目标领域数据来进一步提高领域自适应的性能。这是通过附加地约束多个自适应模型的输出来实现的，所述输出具有由集成模型在线生成的伪标签。在语义分割中，对广泛使用的领域自适应基准数据集进行了广泛的实验和消融研究。我们提出的方法通过在标记的Synscapes和GTA 5数据集以及未标记的Cityscapes训练集上进行训练，在Cityscapes的验证集上实现了59.0\%的mIoU。它明显优于所有以前的国家的最先进的单源和多源无监督领域自适应方法。
2021-06-18 cs.CV
Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations
Technische Universität Braunschweig（布伦瑞克工业大学）
在本文中，我们提出了一个解决方案的任务“无监督领域自适应（UDA）的一个给定的预先训练的语义分割模型，而不依赖于任何源域表示”。以前用于语义分割的UDA方法要么在源域和目标域中同时训练模型，要么依赖于额外的网络，在适应期间将源域知识重放到模型。相比之下，我们提出了一种新的无监督BatchNorm自适应（UBNA）方法，该方法将给定的预训练模型适应于一个看不见的目标域，而不使用-超出预训练的现有模型参数-任何源域表示（既不是数据，也不是网络），并且也可以应用于在线设置或以Few-Shot方式使用来自目标域的几个未标记图像。具体来说，我们使用指数衰减的动量因子将归一化层统计信息部分地适应目标域，从而混合来自两个域的统计信息。通过对语义分割的标准UDA基准的评估，我们表明，这优于没有适应的模型和仅使用目标域统计数据的基线方法。与标准的UDA方法相比，我们报告的性能和使用的源域表示之间的权衡。
2021-11-11 cs.CV
Adversarial Network with Multiple Classifiers for Open Set Domain Adaptation
Federation University（联邦大学）；Murdoch University（莫道克大学）
领域自适应的目的是将知识从具有足够标记样本的领域转移到具有稀缺标记样本的领域。先前的研究已经在文献中引入了各种开集领域自适应设置，以扩展领域自适应方法在现实世界场景中的应用。本文重点研究了开集领域自适应的类型，其中目标域既有私有（“未知类”）标签空间，又有共享（“已知类”）标签空间。然而，源域只有“已知类”标签空间。流行的分布匹配领域自适应方法是不够的，在这样的设置，需要适应从一个较小的源域到一个更大的和不同的目标域与更多的类。为了解决这种特定的开集领域自适应设置，现有研究引入了一种领域对抗模型，该模型使用固定阈值来区分已知和未知的目标样本，并且缺乏处理负转移。我们扩展了他们的对抗模型，提出了一种新的对抗领域自适应模型与多个辅助分类器。所提出的多分类器结构引入了一个加权模块，该模块评估不同的域特征，用于为目标样本分配权重，这些权重更能代表它们是否可能属于已知和未知类，以鼓励对抗训练期间的积极转移，同时减少源域和目标域的共享类之间的域间隙。一个彻底的实验研究表明，我们提出的方法优于现有的领域自适应方法在一些领域自适应数据集。
2020-08-07 cs.CV
Uncertainty-Guided Mixup for Semi-Supervised Domain Adaptation without Source Data
现有的领域自适应方法通常通过同时访问源数据和目标数据来执行显式表示对齐。然而，由于隐私保护考虑或带宽限制，源数据并不总是可用的。无源领域自适应旨在通过在不访问源数据的情况下执行领域自适应来解决上述问题。自适应范式近年来受到越来越多的关注，针对无监督无源领域自适应已经提出了多种工作。然而，在自适应阶段不利用任何监督信号和源数据，目标模型的优化是不稳定和脆弱的。为了缓解这个问题，我们专注于在无源设置下的半监督领域自适应。更具体地说，我们提出了不确定性引导的Mixup，以减少表示的域内差异，并执行域间对齐，而无需直接访问源数据。最后，我们在各种数据集上进行了广泛的半监督领域自适应实验。我们的方法优于最近的半监督基线，无监督变体也达到了有竞争力的性能。实验代码将在未来发布。
2021-07-14 cs.CV
Multi-Adversarial Domain Adaptation
Tsinghua University（清华大学）
深度领域自适应的最新进展表明，对抗学习可以嵌入到深度网络中，以学习可转移的特征，从而减少源域和目标域之间的分布差异。现有的基于单域自适应的领域对抗性自适应方法只对源数据和目标数据的分布进行了调整，而没有利用复杂的多模态结构。在本文中，我们提出了一个多对抗领域自适应（MADA）的方法，它捕获多模结构，使细粒度的对齐不同的数据分布的基础上，多个域鉴别器。自适应可以通过随机梯度下降来实现，其中梯度通过线性时间中的反向传播来计算。经验证据表明，该模型优于国家的最先进的方法在标准的领域自适应数据集。
2018-09-04 cs.CV
DRIV100: In-The-Wild Multi-Domain Dataset and Evaluation for Real-World Domain Adaptation of Semantic Segmentation
Osaka University（大阪大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；The University of Tokyo（东京大学）
结合语义分割的最新进展，人们提出了许多领域自适应方法来克服训练和部署环境之间的领域差距。然而，大多数以前的研究使用有限的源/目标数据集的组合，和领域自适应技术从来没有彻底评估在一个更具挑战性和多样化的目标领域。这项工作提出了一个新的多域数据集DRIV 100的基准领域自适应技术在野外道路场景视频从互联网上收集。该数据集由100个视频的像素级注释组成，这些视频基于两个标准选择以覆盖不同的场景/域;人类主观判断和使用现有道路场景数据集判断的异常分数。我们为每个视频提供多个手动标记的地面实况帧，从而能够对视频级领域自适应进行全面评估，其中每个视频独立地用作目标域。使用该数据集，我们量化了最先进的方法的领域自适应性能，并阐明了领域自适应技术的潜在和新的挑战。该数据集可在https://doi.org/10.5281/zenodo.4389243上获得。
2021-02-25 cs.CV
Domain Adaptation via Maximizing Surrogate Mutual Information
Peking University（北京大学）
无监督领域自适应（UDA）的目的是预测来自目标域的未标记数据，同时访问来自源域的标记数据。在这项工作中，我们提出了一个新的框架，称为SIDA（代理互信息最大化领域自适应）具有强有力的理论保证。具体而言，SIDA通过最大化特征之间的互信息（MI）来实现自适应。在该框架中，代理联合分布模型的未标记的目标域的潜在的联合分布。我们的理论分析通过用MI和替代分布偏差限制目标领域的预期风险来验证SIDA。实验表明，我们的方法是与国家的最先进的无监督适应方法对标准的UDA任务。
2022-10-14 cs.LG
