Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University（罗格斯大学）；Toutiao AI Lab（今日头条AI实验室）；Snap Research（Snap研究）
在本文中，我们提出了因子化对抗网络（FAN）解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间，该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间，分别用于源域和目标域。无监督领域自适应通过对抗训练来实现，以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明，所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外，我们收集了两个比现有基准数据集大得多的真实世界的标记数据集，并在基线上得到了显着的改进，证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Unsupervised Domain Adaptation Through Transferring both the Source-Knowledge and Target-Relatedness Simultaneously
School of Computer and Software, Nanjing University of Information Science and Technology（南京信息工程大学计算机与软件学院）；Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（南京信息工程大学教育部数字取证工程研究中心）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautic（南京航空航天大学计算机科学与技术学院）
无监督领域自适应（UDA）是机器学习和模式识别领域的一个新兴研究课题，旨在通过从源领域转移知识来帮助未标记目标领域的学习。
2021-12-24 cs.LG stat.ML
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University（杜克大学）
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力，同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异，因此适用于平衡和不平衡的领域自适应任务，并与一个简单的扩展，它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明，该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
基于深度学习的医学影像诊断在临床医学中显示出巨大的潜力。然而，它在实践中经常遭受两个主要困难：1）由于医学图像上昂贵的注释成本，只有有限的标记样本可用; 2）标记图像可能包含相当大的标记噪声（例如，标签错误），因为诊断困难。在本文中，我们试图利用丰富的相关领域的标记数据，以帮助学习的目标任务与无监督领域自适应（UDA）。与大多数现有的UDA方法依赖于干净的标记数据或假设样本是平等可转移的不同，我们提出了一种新的协作无监督领域自适应算法，以进行可转移性感知的领域自适应，并以合作的方式克服标签噪声。实验结果验证了该方法的优越性。
2019-11-17 cs.LG stat.ML
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
当前的无监督领域自适应方法可以解决许多类型的分布偏移，但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍，假设源数据不可用是合理的。我们提出了一种无监督的方法，用于使源分类器适应于从源域沿自然轴（例如亮度和对比度）变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度，对比度和旋转，并表明它优于微调基线的情况下，有限的标记数据。
2020-07-20 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Application of Unsupervised Domain Adaptation for Structural MRI Analysis
University of Florida（佛罗里达大学）
这项工作的主要目标是研究无监督域自适应方法在OASIS数据集阿尔茨海默病（AD）检测背景下的各种应用（如二进制分类和异常检测）的有效性。我们还探讨了图像重建和图像合成，用于分析和生成3D结构MRI数据，以建立异常检测的性能基准。我们成功地证明了域自适应提高了AD检测的性能时，在监督和无监督的设置。此外，所提出的方法在OASIS-1数据集上实现了最先进的二进制分类性能。
2022-12-26 cs.CV cs.LG eess.IV
A Survey of Unsupervised Deep Domain Adaptation
Washington State University（华盛顿州立大学）
深度学习已经为各种任务产生了最先进的结果。虽然这种用于监督学习的方法表现良好，但它们假设训练和测试数据来自相同的分布，但情况并非总是如此。作为对这一挑战的补充，单源无监督领域自适应可以处理这样的情况，即在来自源域的标记数据和来自相关但不同的目标域的未标记数据上训练网络，目标是在目标域上的测试时表现良好。因此，已经开发了许多单源和通常同质的无监督深度领域自适应方法，将来自深度学习的强大的分层表示与领域自适应相结合，以减少对潜在昂贵的目标数据标签的依赖。本调查将通过检查替代方法，独特和共同的元素，结果和理论见解来比较这些方法。接下来，我们来看看应用领域和开放的研究方向。
2020-02-06 cs.LG stat.ML
Exploiting Local Feature Patterns for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；International School of Information Science & Engineering, Dalian University of Technology（大连理工大学国际信息与软件学院）；Zhejiang University School of Medicine（浙江大学医学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
无监督领域自适应方法通过学习领域不变的表示来减轻由领域移位引起的性能下降。现有的深度领域自适应方法通过匹配源和目标整体特征分布来关注整体特征对齐，而不考虑局部特征及其多模统计。我们发现，学习的局部特征模式是更通用和可转移的，进一步的局部特征分布匹配，使细粒度的特征对齐。在本文中，我们提出了一种学习域不变的局部特征模式，并联合调整整体和局部特征统计的方法。在两个流行的基准数据集上与最先进的无监督领域自适应方法进行比较，证明了该方法的优越性及其在减轻负迁移方面的有效性。
2018-11-18 cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University（卡尔顿大学）
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时，这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域，逐步增大源域，并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验，结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
Certainty Volume Prediction for Unsupervised Domain Adaptation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无监督领域自适应（UDA）处理未标记目标域数据的分类问题，而标记数据仅适用于不同的源域。遗憾的是，由于源数据和目标数据之间的域差距，常用的分类方法无法充分完成此任务。在本文中，我们提出了一种新的不确定性意识的领域自适应设置模型的不确定性作为一个多元高斯分布在特征空间。我们表明，我们提出的不确定性措施与其他常见的不确定性量化，并涉及到平滑分类器的决策边界，从而提高泛化能力。我们在具有挑战性的UDA数据集上评估了我们提出的管道，并取得了最先进的结果。我们方法的代码可在https://gitlab.com/tringwald/cvp上获得。
2021-11-03 cs.CV cs.LG
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University（中山大学）
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布，这可能会导致来自同一类但不同域的样本不对齐。在本文中，我们处理这种错位，从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外，我们还考虑了类条件分布，给出了目标误差的上界，这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应，我们将我们的方法扩展到多源的情况下，在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
When Unsupervised Domain Adaptation meets One-class Anomaly Detection: Addressing the Two-fold Unsupervised Curse by Leveraging Anomaly Scarcity
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠性与信任跨学科研究中心（SnT），卢森堡大学）；Cristal Laboratory, National School of Computer Sciences, University of Manouba（晶体实验室，国家计算机科学学校，曼努巴大学）
本文提出了一种基于异常稀有性的无监督领域自适应框架，用于解决无监督异常检测中的双重无监督诅咒问题。
2025-12-26 cs.CV cs.LG
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
无监督领域自适应是这样一种问题设置，其中源域和目标域中的数据生成分布不同，并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计，并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题，我们提出了一种新的差异称为源引导的差异（S盘），它利用标签在源域。因此，S盘可以有效地计算有限样本收敛保证。此外，我们表明，S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后，我们报告的实验结果表明，S盘的优势，现有的差异。
2018-11-19 cs.LG stat.ML
Unsupervised Domain Adaptation Using Approximate Label Matching
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
领域自适应解决了当训练数据由所谓的源分布生成而测试数据由显著不同的目标分布生成时所产生的问题。在这项工作中，我们提出了近似标签匹配（ALM），一种新的无监督领域自适应技术，创建并利用测试样本上的粗略标签，然后使用这些嘈杂的标签来学习对齐源和目标样本的变换。我们表明，由ALM估计的变换具有良好的性能相比，其他方法，不使用任何类型的目标标记估计的变换。我们的模型是正则化的，要求训练的分类器从变换的目标样本区分源不能区分两者。我们用ALM对模拟数据和真实数据进行了实验，结果表明它优于该领域常用的技术。
2017-03-01 cs.AI cs.LG
Domain Discrepancy Measure for Complex Models in Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
适当地评估领域之间的差异对于无监督领域自适应的成功至关重要。在本文中，我们首先指出，现有的差异措施是较少的信息时，使用复杂的模型，如深度神经网络，除了事实上，他们可以计算要求很高，其应用范围仅限于二进制分类。然后，我们提出了一种新的域差异的措施，称为配对假设差异（PHD），以克服这些缺点。PHD是计算效率高，适用于多类分类。通过泛化误差界分析，我们从理论上证明了PHD即使对复杂模型也是有效的。最后，我们通过实验证明了PHD的实用性。
2019-10-22 cs.LG stat.ML
Geometry-Aware Unsupervised Domain Adaptation for Stereo Matching
SenseTime Japan Ltd.（商汤科技日本有限公司）
最近提出的基于DNN的立体匹配方法，直接从数据中学习先验知识，已知在新环境中准确度会急剧下降。虽然使用地面实况视差图的监督方法通常工作得很好，但在每个部署环境中收集它们是繁琐和昂贵的。为此，已经提出了许多基于图像到图像平移的无监督领域自适应方法，但是这些方法不保留立体图像对的几何结构，因为图像到图像平移被单独地应用于每个视图。为了解决这个问题，在本文中，我们提出了一个注意力机制，聚合功能的左，右视图，立体交叉注意力（SCA）。将SCA转化为图像-图像转换网络，可以在图像-图像转换过程中保持立体图像对的几何结构。我们实证证明了所提出的无监督领域自适应的图像到图像的翻译SCA的基础上的有效性。
2021-03-26 cs.CV cs.LG
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
Learning from imperfect quantum data via unsupervised domain adaptation with classical shadows
Advanced Material Engineering Division, Toyota Motor Corporation（丰田汽车公司先进材料工程部）；Quantum Computing Center, Keio University（庆应义塾大学量子计算中心）；Department of Applied Physics and Physico-Informatics, Keio University（庆应义塾大学应用物理与物理信息学系）
本文提出通过无监督领域适应方法，在经典计算管道中利用经典阴影学习不完美量子数据，验证了该方法在量子相变和纠缠分类任务中的有效性。
2026-03-30 cs.LG quant-ph
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework
UC San Diego（加州大学圣迭戈分校）
本文提出标准化框架 UDA-Bench，通过大规模受控实证研究重新审视无监督领域自适应方法，发现自适应收益随先进骨干架构减少、当前方法未充分利用无标签数据以及预训练数据显著影响下游自适应等关键特性。
2024-09-23 cs.CV cs.LG
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications（计算与通信学院）；Lancaster University（兰卡斯特大学）
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力，证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Politecnico di Torino（都灵理工大学）
微调和领域自适应成为将深度学习模型有效转移到新目标任务的有效策略。然而，目标域标签在许多现实场景中是不可访问的。这导致了无监督领域自适应（UDA）方法的发展，该方法仅采用未标记的目标样本。此外，效率和隐私要求也可能阻止在适配阶段期间使用源域数据。这种具有挑战性的设置，被称为无源无监督领域自适应（SF-UDA），由于其在现实世界中的应用潜力，越来越受到研究人员和实践者的兴趣。在本文中，我们通过对500个模型和74个领域对的大规模实证研究，首次深入分析了SF-UDA中的主要设计选择。我们将标准化方法、预训练策略和骨干架构确定为最关键的因素。基于我们的定量研究结果，我们提出了最好地解决SF-UDA场景的方法。此外，我们表明，SF-UDA的竞争力也超出了标准的基准和骨干架构，表现与UDA的数据和计算成本的一小部分。在利益的再现性，我们包括完整的实验结果和代码作为补充材料。
2023-02-10 cs.CV cs.LG
Multi-source Attention for Unsupervised Domain Adaptation
University of Liverpool（利物浦大学）
领域自适应考虑将使用来自特定源域的数据学习的模型推广到不同目标域的问题。通常很难找到一个合适的单一来源来适应，必须考虑多个来源。使用不相关的源可能会导致次优性能，称为\emph{negative transfer}。然而，在多源无监督领域自适应（UDA）中，选择合适的源来分类给定的目标实例是具有挑战性的。我们将源选择建模为注意力学习问题，其中我们针对给定的目标实例学习源的注意力。为此，我们首先独立地学习特定于源的分类模型，以及使用伪标记的目标域实例的源和目标域之间的相关性映射。接下来，我们学习源上的注意力权重，以聚合特定于源的模型的预测。在跨领域情感分类基准上的实验结果表明，该方法在多源UDA中的性能优于现有的建议。
2020-04-17 cs.CL cs.LG
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc（苹果公司）
在这项工作中，我们连接两个不同的概念，无监督领域自适应：域之间的特征分布对齐，利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异（SWD）的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导，以检测远离源的支持的目标样本，并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
A Multi-Discriminator CycleGAN for Unsupervised Non-Parallel Speech Domain Adaptation
Salesforce Research（赛富时研究院）
领域自适应对于语音识别模型起着重要的作用，特别是对于具有低资源的领域。提出了一种新的基于循环一致生成对抗网络（CycleGAN）的无监督非并行语音领域自适应生成模型。该模型在功率谱图上采用多个独立的鉴别器，每个鉴别器负责不同的频带。因此，我们有1）更好的鉴别器，专注于频率特征的细粒度细节，以及2）能够生成更真实的域适应谱图的生成器。我们证明了我们的方法对性别适应的语音识别的有效性，其中模型在训练期间只能访问来自一种性别的监督数据，但在测试时对另一种性别进行评估。我们的模型是能够实现的平均$7.41\%$音素错误率，和$11.10\%$字出错率相对性能改善相比，基线，TIMIT和华尔街日报数据集，分别。从质量上讲，我们的模型在以其他领域的数据为条件时，也会生成更自然的语音。
2018-07-09 cs.CL cs.LG
A Prototype-Oriented Framework for Unsupervised Domain Adaptation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）；Xidian University（西安电子科技大学）
用于无监督领域自适应的现有方法通常依赖于最小化潜在空间中的源样本和目标样本之间的某些统计距离。为了避免经常困扰这些方法的采样可变性，类不平衡和数据隐私问题，我们提供了一个内存和计算效率高的概率框架来提取类原型并将目标特征与它们对齐。我们证明了我们的方法在广泛的场景，包括单源，多源，类不平衡，和源私有领域自适应的普遍适用性。不需要额外的模型参数，并有一个温和的增加计算源模型单独，所提出的方法实现了具有竞争力的性能与国家的最先进的方法。
2021-10-22 cs.CV cs.LG stat.ML
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Simplified Neural Unsupervised Domain Adaptation
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对无监督领域自适应任务，本文提出将表示学习器与任务学习器联合训练以改进现有最先进方法，并考察了现有枢纽特征选择方法的重要性。
2019-05-22 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文讨论了无监督的领域自适应，设置标记的训练数据在源域上是可用的，但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样，我们寻求对齐源和目标域的学习表示，同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练，可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果，并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域，同时允许它们共享所有其他模型参数，这是通过两阶段算法实现的。在第一阶段，我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如，MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意，这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出，我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估，并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Adaptation of Subspaces
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
无监督领域自适应（UDA）是一种基于领域移位的知识转移算法，通过对已有标记的源领域进行知识转移，实现对未标记目标领域的分类。现有的大多数UDA方法试图通过减少域差异来减轻迁移带来的不利影响。然而，由于目标域中缺少标签，这样的方法容易遭受臭名昭著的模式坍塌问题。自然，缓解这个问题的有效方法之一是可靠地估计目标域的伪标签，这本身就很难。为了克服这一点，我们提出了一种新的UDA方法命名为渐进适应子空间的方法（PAS），我们利用这样的直觉，似乎更合理，逐步获得可靠的伪标签。具体而言，我们通过自适应地锚定/选择和利用具有可靠伪标签的目标样本，逐步稳步地改进共享子空间作为知识传递的桥梁。随后，细化的子空间又可以提供目标域的更可靠的伪标签，使得模式坍塌得到高度缓解。我们的全面评估表明，PAS不仅是有效的共同的UDA，但也优于国家的艺术更具有挑战性的部分领域自适应（PDA）的情况下，源标签集包含的目标之一。
2020-09-01 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation via Calibrating Uncertainties
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
无监督领域自适应（UDA）的目的是在给定相关标记源数据集的情况下，为未标记的目标领域推断类别标记。直觉上，在源域上训练的模型通常会对看不见的数据产生更高的不确定性。在这项工作中，我们建立在这一假设的基础上，并提出通过校准其预测不确定性来适应从源域到目标域。不确定性被量化为Renyi熵，我们提出了一个通用的Renyi熵正则化（RER）框架。我们进一步采用变分贝叶斯学习可靠的不确定性估计。此外，校准网络参数的样本方差作为一个插件正则化训练。我们讨论了所提出的方法的理论特性，并证明了其有效性的三个域适应任务。
2019-07-25 cs.CV cs.LG stat.ML
Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Macao Polytechnic University（澳门理工大学）
本文提出一种细粒度无监督跨模态域适应框架，通过向量控制生成器合成伪图像并搜索特征字典进行数据增强，显著提升了前庭神经鞘瘤和耳蜗的分割性能与鲁棒性。
2023-11-25 cs.CV cs.LG eess.IV
Unsupervised Adversarial Domain Adaptation Based On The Wasserstein Distance For Acoustic Scene Classification
Tampere University（坦佩雷大学）
基于深度学习的机器监听领域中的一个具有挑战性的问题是当使用来自不可见条件的数据时性能的下降。在本文中，我们专注于声学场景分类（ASC）任务，并提出了一种对抗性的深度学习方法，允许适应声学场景分类系统，以处理由不同记录设备捕获的数据产生的新声道。我们建立在HΔ H距离的理论模型和先前的ASC无监督领域自适应的对抗性判别深度学习方法的基础上，并提出了一种使用Wasserstein距离的基于对抗性训练的方法。我们使用TUT Acoustic Scenes数据集，将来自未知条件的数据的最先进平均准确度从32%提高到45%。
2019-11-06 cs.LG cs.SD eess.AS
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
生成真实图像标签的成本很高，并且真实图像和模拟图像之间存在域差距，因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外，用流图增强RGB在简单的语义分割中具有改进的性能，并且跨域保留几何形状。因此，通过用密集光流图增强图像，可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Unsupervised learning of multimodal image registration using domain adaptation with projected Earth Move's discrepancies
Institute of Medical Informatics, Universität zu Lübeck（吕贝克大学医学信息学研究所）
多模态图像配准对于深度学习方法来说是一个非常具有挑战性的问题。目前的大多数工作集中在监督学习，需要标记的训练扫描，并可能产生的模型，偏向于注释结构或无监督的方法，是基于手工制作的相似性度量，因此可能不会优于他们的经典非训练的同行。我们认为，无监督的领域自适应可以克服目前的限制，多模式注册，很难定义好的指标是有益的。领域自适应到目前为止主要限于分类问题。我们提出了第一次使用无监督领域自适应离散多模态注册。基于量化位移标签可用作监督的源域，我们使用分类器差异将网络的输出分布转换为更好地类似于目标域（其他模态）。为了改进2D直方图的切片Wasserstein度量，我们提出了一种新的近似，将预测投影到1D中并计算其累积和的L1距离。我们的概念验证证明了从犬MRI扫描的单模态到多模态（多对比度）2D配准的域转移的适用性，并将配准精度从33%（使用切片Wasserstein）提高到44%。
2020-05-28 cs.CV cs.LG eess.IV
Fast Equivariant Imaging: Accelerating Unsupervised Learning and Model Adaptation via Inexact Splitting
School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文提出Fast Equivariant Imaging框架，通过不精确变量分裂方案快速高效训练深度成像网络，提升X射线CT重建和图像修复的泛化性能，实现10倍加速和改进的适应能力。
2026-06-27 cs.CV cs.LG eess.IV
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而，在许多应用中，获取大量的标记数据是非常昂贵和耗时的。为了应对有限的标记训练数据，许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记或未标记的目标域。不幸的是，跨域的直接传输通常由于域偏移或数据集偏差的存在而表现不佳。领域自适应是一种机器学习范例，其目的是从源域学习模型，该模型可以在不同（但相关）的目标域上表现良好。在本文中，我们回顾了最新的单源深度无监督领域自适应方法专注于视觉任务，并讨论了未来研究的新视角。我们首先定义了不同的领域自适应策略，并描述了现有的基准数据集。然后，我们总结和比较了不同类别的单源无监督领域自适应方法，包括基于差异的方法，对抗性判别方法，对抗性生成方法和基于自我监督的方法。最后，我们讨论了未来的研究方向与挑战和可能的解决方案。
2020-09-19 cs.CV cs.LG eess.IV
The CORAL+ Algorithm for Unsupervised Domain Adaptation of PLDA
NEC Corporation（日本电气股份有限公司）
最先进的说话人识别系统包括x向量（或i向量）说话人嵌入前端，其后是概率线性判别分析（PLDA）后端。这些组件的有效性依赖于大量标记训练数据集合的可用性。在实践中，域（例如，语言、人口统计学）与我们训练系统的不同。为了缩小由于域不匹配造成的差距，我们提出了一种无监督的PLDA自适应算法，从少量未标记的域内数据中学习。所提出的方法的灵感来自以前的工作，基于特征的领域自适应技术称为相关对齐（CORAL）。我们将本文提出的基于模型的自适应技术称为CORAL+。在最近的NIST 2016和2018说话人识别评估（SRE'16，SRE'18）数据集上实验验证了所提出的技术的有效性。
2020-04-21 cs.LG cs.SD eess.AS
CARLANE: A Lane Detection Benchmark for Unsupervised Domain Adaptation from Simulation to multiple Real-World Domains
University of Applied Science Kempten（肯普滕应用科学大学）；Autonomous University of Barcelona（巴塞罗那自治大学）；Technische Universität Berlin（柏林工业大学）
本文提出CARLANE基准，包含三个仿真到真实域的车道检测数据集，评估多种无监督域自适应方法并揭示其与全监督方法的性能差距，以推动自动驾驶车道检测域自适应研究。
2023-08-07 cs.AI cs.CV cs.LG
CUDA: Contradistinguisher for Unsupervised Domain Adaptation
Indian Institute of Science（印度科学学院）
在本文中，我们提出了一个简单的模型，称为对比度（CTDR）的无监督领域自适应，其目标是共同学习，以对比区分在一个完全无监督的方式，以及通过监督学习获得的先验知识在一个完全不同的域上的未标记的目标域。领域自适应中的大多数工作依赖于一种间接的方式，首先对齐源和目标域分布，然后在标记的源域上学习分类器来分类目标域。这种间接解决未标记目标域分类实际任务的方法有三个主要缺点。(i)由于大的域偏移（例如，语言领域）。(ii)使用多个分类器来对齐分布不必要地增加了神经网络的复杂性，从而在许多情况下导致过拟合。(iii)由于分布对齐，特定于域的信息会随着域的变形而丢失。在这项工作中，我们提出了一个简单而直接的方法，不需要域对齐。我们联合学习CTDR的源和目标分布的无监督领域自适应任务使用对比度损失的未标记的目标域结合有监督的损失标记的源域。我们的实验表明，避免域对齐，直接解决的任务，未标记的目标域分类使用CTDR实现了最先进的结果在8个视觉和4个语言基准领域自适应数据集。
2019-09-08 cs.CV cs.LG stat.ML
CFEA: Collaborative Feature Ensembling Adaptation for Domain Adaptation in Unsupervised Optic Disc and Cup Segmentation
University of Florida（佛罗里达大学）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；Xi’an Jiaotong University（西安交通大学）；Sensetime Research（商汤科技研究院）
最近，深度神经网络在注释良好的数据集中表现出与董事会认证的眼科医生相当甚至更好的性能。然而，视网膜成像设备的多样性带来了一个重大挑战：域转移，这导致在将深度学习模型应用于新的测试域时性能下降。在本文中，我们提出了一种新的无监督域自适应框架，称为协作特征集成自适应（CFEA），以有效地克服这一挑战。我们提出的CFEA是一个交互式的范例，通过对抗学习和集成权重呈现出一种精致的协作适应。特别是，我们同时实现了域不变性，并保持了历史预测的指数移动平均值，这通过在训练期间集成权重来实现对未标记数据的更好预测。在不注释来自目标域的任何样本的情况下，编码器和解码器层中的多个对抗性损失引导域不变特征的提取，以混淆域分类器，同时有利于平滑权重的集成。综合实验结果表明，我们的CFEA模型可以克服性能下降，并优于国家的最先进的方法在分割视网膜视盘和杯眼底图像。\textit{Code is available at \url{https://github.com/cswin/AWC}}。
2019-10-16 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation with Copula Models
Rutgers University（罗格斯大学）；MIT Media Lab（麻省理工学院媒体实验室）
我们研究了无监督领域自适应的任务，其中在训练期间没有提供来自目标域的标记数据。为了处理源和目标分布之间的潜在差异，无论是在功能和标签，我们利用了一个基于copula回归框架。这种方法的好处是双重的：（a）它使我们能够对超出常见指数族的更广泛的条件预测密度进行建模，（b）我们展示了如何利用Sklar定理，将联合密度与Copula依赖函数相关联的Copula公式的本质，以找到有效的特征映射，从而减轻域失配。通过将数据转换到copula域，我们在许多基准数据集（包括人类情感估计）上显示，并使用不同的回归模型进行预测，与最近提出的特征转换（自适应）方法相比，我们可以实现更鲁棒和准确的目标标签估计。
2017-09-29 cs.CV cs.LG stat.ML
