Exploiting Local Feature Patterns for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；International School of Information Science & Engineering, Dalian University of Technology（大连理工大学国际信息与软件学院）；Zhejiang University School of Medicine（浙江大学医学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
无监督领域自适应方法通过学习领域不变的表示来减轻由领域移位引起的性能下降。现有的深度领域自适应方法通过匹配源和目标整体特征分布来关注整体特征对齐，而不考虑局部特征及其多模统计。我们发现，学习的局部特征模式是更通用和可转移的，进一步的局部特征分布匹配，使细粒度的特征对齐。在本文中，我们提出了一种学习域不变的局部特征模式，并联合调整整体和局部特征统计的方法。在两个流行的基准数据集上与最先进的无监督领域自适应方法进行比较，证明了该方法的优越性及其在减轻负迁移方面的有效性。
2018-11-18 cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
无监督领域自适应是这样一种问题设置，其中源域和目标域中的数据生成分布不同，并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计，并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题，我们提出了一种新的差异称为源引导的差异（S盘），它利用标签在源域。因此，S盘可以有效地计算有限样本收敛保证。此外，我们表明，S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后，我们报告的实验结果表明，S盘的优势，现有的差异。
2018-11-19 cs.LG stat.ML
Domain Discrepancy Measure for Complex Models in Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
适当地评估领域之间的差异对于无监督领域自适应的成功至关重要。在本文中，我们首先指出，现有的差异措施是较少的信息时，使用复杂的模型，如深度神经网络，除了事实上，他们可以计算要求很高，其应用范围仅限于二进制分类。然后，我们提出了一种新的域差异的措施，称为配对假设差异（PHD），以克服这些缺点。PHD是计算效率高，适用于多类分类。通过泛化误差界分析，我们从理论上证明了PHD即使对复杂模型也是有效的。最后，我们通过实验证明了PHD的实用性。
2019-10-22 cs.LG stat.ML
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University（卡尔顿大学）
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时，这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域，逐步增大源域，并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验，结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Transductive Episodic-Wise Adaptive Metric for Few-Shot Learning
Peking University（北京大学）；Beihang University（北京航空航天大学）
少样本学习是近年来元学习范式中的一个重要分支，其目标是从极少的新类样本中快速提取新概念。然而，如何学习一个具有适应特定任务的能力的可推广的分类器的关键挑战仍然存在于这个领域。为此，我们提出了一个用于少样本学习的Transductive Episodic-wise Adaptive Metric（TEAM）框架，通过将元学习范式与深度度量学习和transductive inference相结合。通过探索每个任务中的成对约束和正则化先验，我们将自适应过程明确地表述为标准的半定规划问题。通过使用转换的设置动态地解决问题的封闭形式的解决方案，我们的方法有效地为每个任务定制了一个episodic-wise度量，以将所有特征从共享的任务不可知的嵌入空间调整到更具区分性的任务特定度量空间。此外，我们进一步利用基于注意力的双向相似性策略来提取查询和原型之间更强大的关系。在三个基准数据集上的大量实验表明，我们的框架优于其他现有的方法，并达到了Few-Shot文献中最先进的性能。
2019-10-05 cs.CV cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc（苹果公司）
在这项工作中，我们连接两个不同的概念，无监督领域自适应：域之间的特征分布对齐，利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异（SWD）的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导，以检测远离源的支持的目标样本，并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
A Prototype-Oriented Framework for Unsupervised Domain Adaptation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）；Xidian University（西安电子科技大学）
用于无监督领域自适应的现有方法通常依赖于最小化潜在空间中的源样本和目标样本之间的某些统计距离。为了避免经常困扰这些方法的采样可变性，类不平衡和数据隐私问题，我们提供了一个内存和计算效率高的概率框架来提取类原型并将目标特征与它们对齐。我们证明了我们的方法在广泛的场景，包括单源，多源，类不平衡，和源私有领域自适应的普遍适用性。不需要额外的模型参数，并有一个温和的增加计算源模型单独，所提出的方法实现了具有竞争力的性能与国家的最先进的方法。
2021-10-22 cs.CV cs.LG stat.ML
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文讨论了无监督的领域自适应，设置标记的训练数据在源域上是可用的，但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样，我们寻求对齐源和目标域的学习表示，同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练，可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果，并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域，同时允许它们共享所有其他模型参数，这是通过两阶段算法实现的。在第一阶段，我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如，MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意，这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出，我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估，并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Adaptation of Subspaces
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
无监督领域自适应（UDA）是一种基于领域移位的知识转移算法，通过对已有标记的源领域进行知识转移，实现对未标记目标领域的分类。现有的大多数UDA方法试图通过减少域差异来减轻迁移带来的不利影响。然而，由于目标域中缺少标签，这样的方法容易遭受臭名昭著的模式坍塌问题。自然，缓解这个问题的有效方法之一是可靠地估计目标域的伪标签，这本身就很难。为了克服这一点，我们提出了一种新的UDA方法命名为渐进适应子空间的方法（PAS），我们利用这样的直觉，似乎更合理，逐步获得可靠的伪标签。具体而言，我们通过自适应地锚定/选择和利用具有可靠伪标签的目标样本，逐步稳步地改进共享子空间作为知识传递的桥梁。随后，细化的子空间又可以提供目标域的更可靠的伪标签，使得模式坍塌得到高度缓解。我们的全面评估表明，PAS不仅是有效的共同的UDA，但也优于国家的艺术更具有挑战性的部分领域自适应（PDA）的情况下，源标签集包含的目标之一。
2020-09-01 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation via Calibrating Uncertainties
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
无监督领域自适应（UDA）的目的是在给定相关标记源数据集的情况下，为未标记的目标领域推断类别标记。直觉上，在源域上训练的模型通常会对看不见的数据产生更高的不确定性。在这项工作中，我们建立在这一假设的基础上，并提出通过校准其预测不确定性来适应从源域到目标域。不确定性被量化为Renyi熵，我们提出了一个通用的Renyi熵正则化（RER）框架。我们进一步采用变分贝叶斯学习可靠的不确定性估计。此外，校准网络参数的样本方差作为一个插件正则化训练。我们讨论了所提出的方法的理论特性，并证明了其有效性的三个域适应任务。
2019-07-25 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径，展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University（里海大学）
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而，这两个域的对齐的统计表示没有得到很好的解决。在本文中，我们提出了深度最小二乘对齐（DLSA）估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失，以减少域的差异，通过最小化拟合线和截距之间的角度差异，并进一步学习域不变的功能。大量的实验表明，所提出的DLSA模型是有效的对齐域分布，并优于国家的最先进的方法。
2021-11-03 cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
我们考虑在线无监督的跨领域自适应问题，其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战，例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC，一个对抗性的无监督领域自适应框架，它可以用一个完整的自进化神经网络结构来处理多个数据流，对这些挑战做出反应。ACDC将三个模块封装到一个模型中：一个提取特征的去噪自动编码器，一个执行域转换的对抗模块，以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架，具有很少的超参数可调性。我们的实验结果下的prequential测试，然后训练协议表明，在基线方法的目标精度的改善，在某些情况下，实现了超过10%的增加。
2021-10-04 cs.LG
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
表示学习是无监督领域自适应的主要技术，但现有的方法往往需要规范的“枢轴功能”，概括跨域，这是由特定于任务的算法选择。我们表明，一种新颖但简单的特征嵌入方法提供了更好的性能，通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University（罗格斯大学）；Toutiao AI Lab（今日头条AI实验室）；Snap Research（Snap研究）
在本文中，我们提出了因子化对抗网络（FAN）解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间，该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间，分别用于源域和目标域。无监督领域自适应通过对抗训练来实现，以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明，所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外，我们收集了两个比现有基准数据集大得多的真实世界的标记数据集，并在基线上得到了显着的改进，证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Information-Theoretic Analysis of Unsupervised Domain Adaptation
University of Ottawa（渥太华大学）
利用信息论工具分析了无监督领域自适应（UDA）中的泛化误差。我们提出了新的上界的两个概念的泛化误差。第一个概念测量目标域中的群体风险与源域中的群体风险之间的差距，第二个概念测量目标域中的群体风险与源域中的经验风险之间的差距。虽然我们对第一种错误的界限与传统分析一致，并给出了类似的见解，但我们对第二种错误的界限是依赖于算法的，这也为算法设计提供了见解。具体来说，我们提出了两个简单的技术，提高泛化UDA和实验验证。
2023-03-02 cs.LG
The CORAL+ Algorithm for Unsupervised Domain Adaptation of PLDA
NEC Corporation（日本电气股份有限公司）
最先进的说话人识别系统包括x向量（或i向量）说话人嵌入前端，其后是概率线性判别分析（PLDA）后端。这些组件的有效性依赖于大量标记训练数据集合的可用性。在实践中，域（例如，语言、人口统计学）与我们训练系统的不同。为了缩小由于域不匹配造成的差距，我们提出了一种无监督的PLDA自适应算法，从少量未标记的域内数据中学习。所提出的方法的灵感来自以前的工作，基于特征的领域自适应技术称为相关对齐（CORAL）。我们将本文提出的基于模型的自适应技术称为CORAL+。在最近的NIST 2016和2018说话人识别评估（SRE'16，SRE'18）数据集上实验验证了所提出的技术的有效性。
2020-04-21 cs.LG cs.SD eess.AS
Application of Unsupervised Domain Adaptation for Structural MRI Analysis
University of Florida（佛罗里达大学）
这项工作的主要目标是研究无监督域自适应方法在OASIS数据集阿尔茨海默病（AD）检测背景下的各种应用（如二进制分类和异常检测）的有效性。我们还探讨了图像重建和图像合成，用于分析和生成3D结构MRI数据，以建立异常检测的性能基准。我们成功地证明了域自适应提高了AD检测的性能时，在监督和无监督的设置。此外，所提出的方法在OASIS-1数据集上实现了最先进的二进制分类性能。
2022-12-26 cs.CV cs.LG eess.IV
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
当前的无监督领域自适应方法可以解决许多类型的分布偏移，但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍，假设源数据不可用是合理的。我们提出了一种无监督的方法，用于使源分类器适应于从源域沿自然轴（例如亮度和对比度）变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度，对比度和旋转，并表明它优于微调基线的情况下，有限的标记数据。
2020-07-20 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Certainty Volume Prediction for Unsupervised Domain Adaptation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无监督领域自适应（UDA）处理未标记目标域数据的分类问题，而标记数据仅适用于不同的源域。遗憾的是，由于源数据和目标数据之间的域差距，常用的分类方法无法充分完成此任务。在本文中，我们提出了一种新的不确定性意识的领域自适应设置模型的不确定性作为一个多元高斯分布在特征空间。我们表明，我们提出的不确定性措施与其他常见的不确定性量化，并涉及到平滑分类器的决策边界，从而提高泛化能力。我们在具有挑战性的UDA数据集上评估了我们提出的管道，并取得了最先进的结果。我们方法的代码可在https://gitlab.com/tringwald/cvp上获得。
2021-11-03 cs.CV cs.LG
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University（中山大学）
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布，这可能会导致来自同一类但不同域的样本不对齐。在本文中，我们处理这种错位，从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外，我们还考虑了类条件分布，给出了目标误差的上界，这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应，我们将我们的方法扩展到多源的情况下，在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
When Unsupervised Domain Adaptation meets One-class Anomaly Detection: Addressing the Two-fold Unsupervised Curse by Leveraging Anomaly Scarcity
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠性与信任跨学科研究中心（SnT），卢森堡大学）；Cristal Laboratory, National School of Computer Sciences, University of Manouba（晶体实验室，国家计算机科学学校，曼努巴大学）
本文提出了一种基于异常稀有性的无监督领域自适应框架，用于解决无监督异常检测中的双重无监督诅咒问题。
2025-12-26 cs.CV cs.LG
Unsupervised Domain Adaptation Using Approximate Label Matching
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
领域自适应解决了当训练数据由所谓的源分布生成而测试数据由显著不同的目标分布生成时所产生的问题。在这项工作中，我们提出了近似标签匹配（ALM），一种新的无监督领域自适应技术，创建并利用测试样本上的粗略标签，然后使用这些嘈杂的标签来学习对齐源和目标样本的变换。我们表明，由ALM估计的变换具有良好的性能相比，其他方法，不使用任何类型的目标标记估计的变换。我们的模型是正则化的，要求训练的分类器从变换的目标样本区分源不能区分两者。我们用ALM对模拟数据和真实数据进行了实验，结果表明它优于该领域常用的技术。
2017-03-01 cs.AI cs.LG
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications（计算与通信学院）；Lancaster University（兰卡斯特大学）
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力，证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Geometry-Aware Unsupervised Domain Adaptation for Stereo Matching
SenseTime Japan Ltd.（商汤科技日本有限公司）
最近提出的基于DNN的立体匹配方法，直接从数据中学习先验知识，已知在新环境中准确度会急剧下降。虽然使用地面实况视差图的监督方法通常工作得很好，但在每个部署环境中收集它们是繁琐和昂贵的。为此，已经提出了许多基于图像到图像平移的无监督领域自适应方法，但是这些方法不保留立体图像对的几何结构，因为图像到图像平移被单独地应用于每个视图。为了解决这个问题，在本文中，我们提出了一个注意力机制，聚合功能的左，右视图，立体交叉注意力（SCA）。将SCA转化为图像-图像转换网络，可以在图像-图像转换过程中保持立体图像对的几何结构。我们实证证明了所提出的无监督领域自适应的图像到图像的翻译SCA的基础上的有效性。
2021-03-26 cs.CV cs.LG
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Learning from imperfect quantum data via unsupervised domain adaptation with classical shadows
Advanced Material Engineering Division, Toyota Motor Corporation（丰田汽车公司先进材料工程部）；Quantum Computing Center, Keio University（庆应义塾大学量子计算中心）；Department of Applied Physics and Physico-Informatics, Keio University（庆应义塾大学应用物理与物理信息学系）
本文提出通过无监督领域适应方法，在经典计算管道中利用经典阴影学习不完美量子数据，验证了该方法在量子相变和纠缠分类任务中的有效性。
2026-03-30 cs.LG quant-ph
UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework
UC San Diego（加州大学圣迭戈分校）
本文提出标准化框架 UDA-Bench，通过大规模受控实证研究重新审视无监督领域自适应方法，发现自适应收益随先进骨干架构减少、当前方法未充分利用无标签数据以及预训练数据显著影响下游自适应等关键特性。
2024-09-23 cs.CV cs.LG
Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Politecnico di Torino（都灵理工大学）
微调和领域自适应成为将深度学习模型有效转移到新目标任务的有效策略。然而，目标域标签在许多现实场景中是不可访问的。这导致了无监督领域自适应（UDA）方法的发展，该方法仅采用未标记的目标样本。此外，效率和隐私要求也可能阻止在适配阶段期间使用源域数据。这种具有挑战性的设置，被称为无源无监督领域自适应（SF-UDA），由于其在现实世界中的应用潜力，越来越受到研究人员和实践者的兴趣。在本文中，我们通过对500个模型和74个领域对的大规模实证研究，首次深入分析了SF-UDA中的主要设计选择。我们将标准化方法、预训练策略和骨干架构确定为最关键的因素。基于我们的定量研究结果，我们提出了最好地解决SF-UDA场景的方法。此外，我们表明，SF-UDA的竞争力也超出了标准的基准和骨干架构，表现与UDA的数据和计算成本的一小部分。在利益的再现性，我们包括完整的实验结果和代码作为补充材料。
2023-02-10 cs.CV cs.LG
Multi-source Attention for Unsupervised Domain Adaptation
University of Liverpool（利物浦大学）
领域自适应考虑将使用来自特定源域的数据学习的模型推广到不同目标域的问题。通常很难找到一个合适的单一来源来适应，必须考虑多个来源。使用不相关的源可能会导致次优性能，称为\emph{negative transfer}。然而，在多源无监督领域自适应（UDA）中，选择合适的源来分类给定的目标实例是具有挑战性的。我们将源选择建模为注意力学习问题，其中我们针对给定的目标实例学习源的注意力。为此，我们首先独立地学习特定于源的分类模型，以及使用伪标记的目标域实例的源和目标域之间的相关性映射。接下来，我们学习源上的注意力权重，以聚合特定于源的模型的预测。在跨领域情感分类基准上的实验结果表明，该方法在多源UDA中的性能优于现有的建议。
2020-04-17 cs.CL cs.LG
Simplified Neural Unsupervised Domain Adaptation
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对无监督领域自适应任务，本文提出将表示学习器与任务学习器联合训练以改进现有最先进方法，并考察了现有枢纽特征选择方法的重要性。
2019-05-22 cs.AI cs.CL cs.LG
Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Macao Polytechnic University（澳门理工大学）
本文提出一种细粒度无监督跨模态域适应框架，通过向量控制生成器合成伪图像并搜索特征字典进行数据增强，显著提升了前庭神经鞘瘤和耳蜗的分割性能与鲁棒性。
2023-11-25 cs.CV cs.LG eess.IV
Unsupervised Adversarial Domain Adaptation Based On The Wasserstein Distance For Acoustic Scene Classification
Tampere University（坦佩雷大学）
基于深度学习的机器监听领域中的一个具有挑战性的问题是当使用来自不可见条件的数据时性能的下降。在本文中，我们专注于声学场景分类（ASC）任务，并提出了一种对抗性的深度学习方法，允许适应声学场景分类系统，以处理由不同记录设备捕获的数据产生的新声道。我们建立在HΔ H距离的理论模型和先前的ASC无监督领域自适应的对抗性判别深度学习方法的基础上，并提出了一种使用Wasserstein距离的基于对抗性训练的方法。我们使用TUT Acoustic Scenes数据集，将来自未知条件的数据的最先进平均准确度从32%提高到45%。
2019-11-06 cs.LG cs.SD eess.AS
Fast Equivariant Imaging: Accelerating Unsupervised Learning and Model Adaptation via Inexact Splitting
School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文提出Fast Equivariant Imaging框架，通过不精确变量分裂方案快速高效训练深度成像网络，提升X射线CT重建和图像修复的泛化性能，实现10倍加速和改进的适应能力。
2026-06-27 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
生成真实图像标签的成本很高，并且真实图像和模拟图像之间存在域差距，因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外，用流图增强RGB在简单的语义分割中具有改进的性能，并且跨域保留几何形状。因此，通过用密集光流图增强图像，可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Unsupervised learning of multimodal image registration using domain adaptation with projected Earth Move's discrepancies
Institute of Medical Informatics, Universität zu Lübeck（吕贝克大学医学信息学研究所）
多模态图像配准对于深度学习方法来说是一个非常具有挑战性的问题。目前的大多数工作集中在监督学习，需要标记的训练扫描，并可能产生的模型，偏向于注释结构或无监督的方法，是基于手工制作的相似性度量，因此可能不会优于他们的经典非训练的同行。我们认为，无监督的领域自适应可以克服目前的限制，多模式注册，很难定义好的指标是有益的。领域自适应到目前为止主要限于分类问题。我们提出了第一次使用无监督领域自适应离散多模态注册。基于量化位移标签可用作监督的源域，我们使用分类器差异将网络的输出分布转换为更好地类似于目标域（其他模态）。为了改进2D直方图的切片Wasserstein度量，我们提出了一种新的近似，将预测投影到1D中并计算其累积和的L1距离。我们的概念验证证明了从犬MRI扫描的单模态到多模态（多对比度）2D配准的域转移的适用性，并将配准精度从33%（使用切片Wasserstein）提高到44%。
2020-05-28 cs.CV cs.LG eess.IV
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而，在许多应用中，获取大量的标记数据是非常昂贵和耗时的。为了应对有限的标记训练数据，许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记或未标记的目标域。不幸的是，跨域的直接传输通常由于域偏移或数据集偏差的存在而表现不佳。领域自适应是一种机器学习范例，其目的是从源域学习模型，该模型可以在不同（但相关）的目标域上表现良好。在本文中，我们回顾了最新的单源深度无监督领域自适应方法专注于视觉任务，并讨论了未来研究的新视角。我们首先定义了不同的领域自适应策略，并描述了现有的基准数据集。然后，我们总结和比较了不同类别的单源无监督领域自适应方法，包括基于差异的方法，对抗性判别方法，对抗性生成方法和基于自我监督的方法。最后，我们讨论了未来的研究方向与挑战和可能的解决方案。
2020-09-19 cs.CV cs.LG eess.IV
CARLANE: A Lane Detection Benchmark for Unsupervised Domain Adaptation from Simulation to multiple Real-World Domains
University of Applied Science Kempten（肯普滕应用科学大学）；Autonomous University of Barcelona（巴塞罗那自治大学）；Technische Universität Berlin（柏林工业大学）
本文提出CARLANE基准，包含三个仿真到真实域的车道检测数据集，评估多种无监督域自适应方法并揭示其与全监督方法的性能差距，以推动自动驾驶车道检测域自适应研究。
2023-08-07 cs.AI cs.CV cs.LG
Transductive Adversarial Networks (TAN)
University College London（伦敦大学学院）
Transductive Adversarial Networks（TAN）是一种新型的域适应机器学习框架，旨在学习目标域中未标记输入数据的条件概率分布，同时也只能访问：（1）从相关源域容易获得的标记数据，其可以具有与目标域不同的条件概率分布，以及（2）目标域的标记上的边缘化的先验分布。TAN利用完全对抗的训练过程和独特的生成器/编码器架构，该架构近似于可用源和目标域数据的转导组合。TAN的好处是它允许源域和目标域标签向量边缘概率分布之间的距离大于0（即，跨源域和目标域的不同任务），而其他域自适应算法要求该距离等于0（即，跨源域和目标域的单个任务）。然而，TAN仍然可以处理后一种情况，并且是这种情况的更一般化的方法。TAN的另一个好处是，由于它是一个完全对抗的算法，它有可能准确地近似高度复杂的分布。理论分析证明了TAN框架的可行性。
2018-02-08 cs.LG stat.ML
Probabilistic Combination of Classifier and Cluster Ensembles for Non-transductive Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo at Sao Carlos（圣卡洛斯圣保罗大学）；eBay Research Lab（eBay研究实验室）
无监督模型可以提供补充的软约束，以帮助在假设目标集中的相似对象更有可能共享相同的类标签的情况下对新的目标数据进行分类。这些模型还可以帮助检测训练和目标分布之间可能存在的差异，这在可能发生概念漂移的应用中非常有用。本文介绍了一种贝叶斯框架，作为输入类标签从现有的分类器（设计的标记数据的基础上从源域），以及集群标签从集群集成操作的目标数据进行分类，并产生一个共识标签的目标数据。当目标数据的统计数据从训练数据的统计数据漂移或改变时，该框架特别有用。我们还表明，所提出的框架是隐私意识，并允许执行分布式学习时，数据/模型有共享限制。实验表明，我们的框架可以产生优越的结果，只应用分类器集成。
2012-11-10 cs.LG stat.ML
