Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文讨论了无监督的领域自适应，设置标记的训练数据在源域上是可用的，但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样，我们寻求对齐源和目标域的学习表示，同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练，可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果，并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Adaptation of Subspaces
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
无监督领域自适应（UDA）是一种基于领域移位的知识转移算法，通过对已有标记的源领域进行知识转移，实现对未标记目标领域的分类。现有的大多数UDA方法试图通过减少域差异来减轻迁移带来的不利影响。然而，由于目标域中缺少标签，这样的方法容易遭受臭名昭著的模式坍塌问题。自然，缓解这个问题的有效方法之一是可靠地估计目标域的伪标签，这本身就很难。为了克服这一点，我们提出了一种新的UDA方法命名为渐进适应子空间的方法（PAS），我们利用这样的直觉，似乎更合理，逐步获得可靠的伪标签。具体而言，我们通过自适应地锚定/选择和利用具有可靠伪标签的目标样本，逐步稳步地改进共享子空间作为知识传递的桥梁。随后，细化的子空间又可以提供目标域的更可靠的伪标签，使得模式坍塌得到高度缓解。我们的全面评估表明，PAS不仅是有效的共同的UDA，但也优于国家的艺术更具有挑战性的部分领域自适应（PDA）的情况下，源标签集包含的目标之一。
2020-09-01 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation via Calibrating Uncertainties
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
无监督领域自适应（UDA）的目的是在给定相关标记源数据集的情况下，为未标记的目标领域推断类别标记。直觉上，在源域上训练的模型通常会对看不见的数据产生更高的不确定性。在这项工作中，我们建立在这一假设的基础上，并提出通过校准其预测不确定性来适应从源域到目标域。不确定性被量化为Renyi熵，我们提出了一个通用的Renyi熵正则化（RER）框架。我们进一步采用变分贝叶斯学习可靠的不确定性估计。此外，校准网络参数的样本方差作为一个插件正则化训练。我们讨论了所提出的方法的理论特性，并证明了其有效性的三个域适应任务。
2019-07-25 cs.CV cs.LG stat.ML
CUDA: Contradistinguisher for Unsupervised Domain Adaptation
Indian Institute of Science（印度科学学院）
在本文中，我们提出了一个简单的模型，称为对比度（CTDR）的无监督领域自适应，其目标是共同学习，以对比区分在一个完全无监督的方式，以及通过监督学习获得的先验知识在一个完全不同的域上的未标记的目标域。领域自适应中的大多数工作依赖于一种间接的方式，首先对齐源和目标域分布，然后在标记的源域上学习分类器来分类目标域。这种间接解决未标记目标域分类实际任务的方法有三个主要缺点。(i)由于大的域偏移（例如，语言领域）。(ii)使用多个分类器来对齐分布不必要地增加了神经网络的复杂性，从而在许多情况下导致过拟合。(iii)由于分布对齐，特定于域的信息会随着域的变形而丢失。在这项工作中，我们提出了一个简单而直接的方法，不需要域对齐。我们联合学习CTDR的源和目标分布的无监督领域自适应任务使用对比度损失的未标记的目标域结合有监督的损失标记的源域。我们的实验表明，避免域对齐，直接解决的任务，未标记的目标域分类使用CTDR实现了最先进的结果在8个视觉和4个语言基准领域自适应数据集。
2019-09-08 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation with Copula Models
Rutgers University（罗格斯大学）；MIT Media Lab（麻省理工学院媒体实验室）
我们研究了无监督领域自适应的任务，其中在训练期间没有提供来自目标域的标记数据。为了处理源和目标分布之间的潜在差异，无论是在功能和标签，我们利用了一个基于copula回归框架。这种方法的好处是双重的：（a）它使我们能够对超出常见指数族的更广泛的条件预测密度进行建模，（b）我们展示了如何利用Sklar定理，将联合密度与Copula依赖函数相关联的Copula公式的本质，以找到有效的特征映射，从而减轻域失配。通过将数据转换到copula域，我们在许多基准数据集（包括人类情感估计）上显示，并使用不同的回归模型进行预测，与最近提出的特征转换（自适应）方法相比，我们可以实现更鲁棒和准确的目标标签估计。
2017-09-29 cs.CV cs.LG stat.ML
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University（罗格斯大学）；Toutiao AI Lab（今日头条AI实验室）；Snap Research（Snap研究）
在本文中，我们提出了因子化对抗网络（FAN）解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间，该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间，分别用于源域和目标域。无监督领域自适应通过对抗训练来实现，以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明，所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外，我们收集了两个比现有基准数据集大得多的真实世界的标记数据集，并在基线上得到了显着的改进，证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Unsupervised Domain Adaptation Through Transferring both the Source-Knowledge and Target-Relatedness Simultaneously
School of Computer and Software, Nanjing University of Information Science and Technology（南京信息工程大学计算机与软件学院）；Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（南京信息工程大学教育部数字取证工程研究中心）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautic（南京航空航天大学计算机科学与技术学院）
无监督领域自适应（UDA）是机器学习和模式识别领域的一个新兴研究课题，旨在通过从源领域转移知识来帮助未标记目标领域的学习。
2021-12-24 cs.LG stat.ML
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University（杜克大学）
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力，同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异，因此适用于平衡和不平衡的领域自适应任务，并与一个简单的扩展，它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明，该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
基于深度学习的医学影像诊断在临床医学中显示出巨大的潜力。然而，它在实践中经常遭受两个主要困难：1）由于医学图像上昂贵的注释成本，只有有限的标记样本可用; 2）标记图像可能包含相当大的标记噪声（例如，标签错误），因为诊断困难。在本文中，我们试图利用丰富的相关领域的标记数据，以帮助学习的目标任务与无监督领域自适应（UDA）。与大多数现有的UDA方法依赖于干净的标记数据或假设样本是平等可转移的不同，我们提出了一种新的协作无监督领域自适应算法，以进行可转移性感知的领域自适应，并以合作的方式克服标签噪声。实验结果验证了该方法的优越性。
2019-11-17 cs.LG stat.ML
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
当前的无监督领域自适应方法可以解决许多类型的分布偏移，但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍，假设源数据不可用是合理的。我们提出了一种无监督的方法，用于使源分类器适应于从源域沿自然轴（例如亮度和对比度）变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度，对比度和旋转，并表明它优于微调基线的情况下，有限的标记数据。
2020-07-20 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Application of Unsupervised Domain Adaptation for Structural MRI Analysis
University of Florida（佛罗里达大学）
这项工作的主要目标是研究无监督域自适应方法在OASIS数据集阿尔茨海默病（AD）检测背景下的各种应用（如二进制分类和异常检测）的有效性。我们还探讨了图像重建和图像合成，用于分析和生成3D结构MRI数据，以建立异常检测的性能基准。我们成功地证明了域自适应提高了AD检测的性能时，在监督和无监督的设置。此外，所提出的方法在OASIS-1数据集上实现了最先进的二进制分类性能。
2022-12-26 cs.CV cs.LG eess.IV
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California（南加州大学）
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而，在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法，用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此，我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
A Survey of Unsupervised Deep Domain Adaptation
Washington State University（华盛顿州立大学）
深度学习已经为各种任务产生了最先进的结果。虽然这种用于监督学习的方法表现良好，但它们假设训练和测试数据来自相同的分布，但情况并非总是如此。作为对这一挑战的补充，单源无监督领域自适应可以处理这样的情况，即在来自源域的标记数据和来自相关但不同的目标域的未标记数据上训练网络，目标是在目标域上的测试时表现良好。因此，已经开发了许多单源和通常同质的无监督深度领域自适应方法，将来自深度学习的强大的分层表示与领域自适应相结合，以减少对潜在昂贵的目标数据标签的依赖。本调查将通过检查替代方法，独特和共同的元素，结果和理论见解来比较这些方法。接下来，我们来看看应用领域和开放的研究方向。
2020-02-06 cs.LG stat.ML
Exploiting Local Feature Patterns for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；International School of Information Science & Engineering, Dalian University of Technology（大连理工大学国际信息与软件学院）；Zhejiang University School of Medicine（浙江大学医学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
无监督领域自适应方法通过学习领域不变的表示来减轻由领域移位引起的性能下降。现有的深度领域自适应方法通过匹配源和目标整体特征分布来关注整体特征对齐，而不考虑局部特征及其多模统计。我们发现，学习的局部特征模式是更通用和可转移的，进一步的局部特征分布匹配，使细粒度的特征对齐。在本文中，我们提出了一种学习域不变的局部特征模式，并联合调整整体和局部特征统计的方法。在两个流行的基准数据集上与最先进的无监督领域自适应方法进行比较，证明了该方法的优越性及其在减轻负迁移方面的有效性。
2018-11-18 cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
Certainty Volume Prediction for Unsupervised Domain Adaptation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无监督领域自适应（UDA）处理未标记目标域数据的分类问题，而标记数据仅适用于不同的源域。遗憾的是，由于源数据和目标数据之间的域差距，常用的分类方法无法充分完成此任务。在本文中，我们提出了一种新的不确定性意识的领域自适应设置模型的不确定性作为一个多元高斯分布在特征空间。我们表明，我们提出的不确定性措施与其他常见的不确定性量化，并涉及到平滑分类器的决策边界，从而提高泛化能力。我们在具有挑战性的UDA数据集上评估了我们提出的管道，并取得了最先进的结果。我们方法的代码可在https://gitlab.com/tringwald/cvp上获得。
2021-11-03 cs.CV cs.LG
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University（中山大学）
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布，这可能会导致来自同一类但不同域的样本不对齐。在本文中，我们处理这种错位，从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外，我们还考虑了类条件分布，给出了目标误差的上界，这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应，我们将我们的方法扩展到多源的情况下，在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Joint cross-domain classification and subspace learning for unsupervised adaptation
KU Leuven（鲁汶大学）；iMinds
领域自适应的目的是将源领域中获得的知识适应到新的不同但相关的目标领域。已经提出了几种方法，在无监督的情况下，没有标记的目标数据的分类任务。大部分的注意力都集中在搜索一个新的域不变表示，将预测函数的定义留给第二阶段。在这里，我们建议两者共同学习。具体来说，我们学习最匹配目标子空间的源子空间，同时最小化正则化误分类损失。我们提供了一种基于随机次梯度下降的交替优化技术来解决学习问题，并在几个领域自适应任务上展示了其性能。
2015-04-29 cs.CV cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation with SAM-RefiSeR for Enhanced Brain Tumor Segmentation
Dept. of Computer Science and Engineering（计算机科学与工程系）；Research Convergence Institute（研究融合研究所）；Dept. of Electrical and Computer Engineering（电气与计算机工程系）
本文提出SAM-RefiSeR方法，通过无监督领域适应提升脑肿瘤分割的准确性与泛化能力。
2026-01-11 cs.CV
When Unsupervised Domain Adaptation meets One-class Anomaly Detection: Addressing the Two-fold Unsupervised Curse by Leveraging Anomaly Scarcity
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠性与信任跨学科研究中心（SnT），卢森堡大学）；Cristal Laboratory, National School of Computer Sciences, University of Manouba（晶体实验室，国家计算机科学学校，曼努巴大学）
本文提出了一种基于异常稀有性的无监督领域自适应框架，用于解决无监督异常检测中的双重无监督诅咒问题。
2025-12-26 cs.CV cs.LG
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
无监督领域自适应是这样一种问题设置，其中源域和目标域中的数据生成分布不同，并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计，并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题，我们提出了一种新的差异称为源引导的差异（S盘），它利用标签在源域。因此，S盘可以有效地计算有限样本收敛保证。此外，我们表明，S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后，我们报告的实验结果表明，S盘的优势，现有的差异。
2018-11-19 cs.LG stat.ML
Domain Discrepancy Measure for Complex Models in Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
适当地评估领域之间的差异对于无监督领域自适应的成功至关重要。在本文中，我们首先指出，现有的差异措施是较少的信息时，使用复杂的模型，如深度神经网络，除了事实上，他们可以计算要求很高，其应用范围仅限于二进制分类。然后，我们提出了一种新的域差异的措施，称为配对假设差异（PHD），以克服这些缺点。PHD是计算效率高，适用于多类分类。通过泛化误差界分析，我们从理论上证明了PHD即使对复杂模型也是有效的。最后，我们通过实验证明了PHD的实用性。
2019-10-22 cs.LG stat.ML
Geometry-Aware Unsupervised Domain Adaptation for Stereo Matching
SenseTime Japan Ltd.（商汤科技日本有限公司）
最近提出的基于DNN的立体匹配方法，直接从数据中学习先验知识，已知在新环境中准确度会急剧下降。虽然使用地面实况视差图的监督方法通常工作得很好，但在每个部署环境中收集它们是繁琐和昂贵的。为此，已经提出了许多基于图像到图像平移的无监督领域自适应方法，但是这些方法不保留立体图像对的几何结构，因为图像到图像平移被单独地应用于每个视图。为了解决这个问题，在本文中，我们提出了一个注意力机制，聚合功能的左，右视图，立体交叉注意力（SCA）。将SCA转化为图像-图像转换网络，可以在图像-图像转换过程中保持立体图像对的几何结构。我们实证证明了所提出的无监督领域自适应的图像到图像的翻译SCA的基础上的有效性。
2021-03-26 cs.CV cs.LG
UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework
UC San Diego（加州大学圣迭戈分校）
本文提出标准化框架 UDA-Bench，通过大规模受控实证研究重新审视无监督领域自适应方法，发现自适应收益随先进骨干架构减少、当前方法未充分利用无标签数据以及预训练数据显著影响下游自适应等关键特性。
2024-09-23 cs.CV cs.LG
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而，到目前为止，它已被用于像素空间中的输入样本，而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为，并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N，我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Nonlinear Embedding Transform for Unsupervised Domain Adaptation
Center for Cognitive Ubiquitous Computing（认知普适计算中心）；Arizona State University（亚利桑那州立大学）
领域自适应（DA）问题涉及使在一个数据分布上训练的分类器模型适应于不同的数据分布。在本文中，我们介绍了非线性嵌入变换（NET）的无监督DA结合域对齐与基于相似性的嵌入。我们还介绍了一个验证过程，估计模型参数的NET算法使用的源数据。多个视觉数据集的综合评价表明，NET算法优于现有的竞争程序的无监督DA。
2017-06-22 cs.CV
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications（计算与通信学院）；Lancaster University（兰卡斯特大学）
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力，证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Politecnico di Torino（都灵理工大学）
微调和领域自适应成为将深度学习模型有效转移到新目标任务的有效策略。然而，目标域标签在许多现实场景中是不可访问的。这导致了无监督领域自适应（UDA）方法的发展，该方法仅采用未标记的目标样本。此外，效率和隐私要求也可能阻止在适配阶段期间使用源域数据。这种具有挑战性的设置，被称为无源无监督领域自适应（SF-UDA），由于其在现实世界中的应用潜力，越来越受到研究人员和实践者的兴趣。在本文中，我们通过对500个模型和74个领域对的大规模实证研究，首次深入分析了SF-UDA中的主要设计选择。我们将标准化方法、预训练策略和骨干架构确定为最关键的因素。基于我们的定量研究结果，我们提出了最好地解决SF-UDA场景的方法。此外，我们表明，SF-UDA的竞争力也超出了标准的基准和骨干架构，表现与UDA的数据和计算成本的一小部分。在利益的再现性，我们包括完整的实验结果和代码作为补充材料。
2023-02-10 cs.CV cs.LG
Contrastive Adaptation Network for Unsupervised Domain Adaptation
University of Technology Sydney（悉尼科技大学）；Google AI（谷歌人工智能）；Baidu Research（百度研究院）；Carnegie Mellon University（卡内基梅隆大学）
无监督领域自适应（UDA）对目标领域数据进行预测，而手动注释仅在源领域中可用。以前的方法忽略了类信息，这可能会导致不对齐和泛化性能差的域差异最小化。为了解决这个问题，本文提出了对比自适应网络（CAN）优化一个新的度量，显式地模拟类内域差异和类间域差异。我们设计了一种交替更新策略，以端到端的方式训练CAN。在两个真实世界基准Office-31和VisDA-2017上的实验表明，CAN与最先进的方法相比表现良好，并产生更具区分力的特征。
2019-04-10 cs.CV
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Unsupervised Domain Adaptation: A Multi-task Learning-based Method
University of Wollongong（卧龙岗大学）
提出了一种新的基于多任务学习的无监督领域自适应方法。具体地说，基于多任务学习的概念，通过考虑目标域的几何形状和源域与目标域之间的分歧，联合学习源域和目标域分类器。在此基础上提出了两种新的算法，分别采用正则化最小二乘法和支持向量机。在合成和真实世界的跨域识别任务的实验表明，所提出的方法优于几个国家的最先进的领域自适应方法。
2018-03-25 cs.CV
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Cluster Alignment with a Teacher for Unsupervised Domain Adaptation
Tsinghua University（清华大学）
深度学习方法在无监督领域自适应中显示出了希望，其目的是利用标记的源域来学习具有不同分布的未标记目标域的分类器。然而，这样的方法通常学习域不变表示空间以匹配源域和目标域的边缘分布，而忽略它们的精细级结构。在本文中，我们提出了一个教师（CAT）的无监督领域自适应，它可以有效地将区分聚类结构在两个领域更好的适应。从技术上讲，CAT利用隐式集成教师模型来可靠地发现未标记目标域的特征空间中的类条件结构。然后，CAT强制源和目标域的特征形成区分性的类条件聚类，并跨域对齐相应的聚类。实验结果表明，CAT在几个无监督的领域自适应场景中达到了最先进的结果。
2019-10-09 cs.CV
Minimal-Entropy Correlation Alignment for Unsupervised Deep Domain Adaptation
在这项工作中，我们面临的问题，无监督的领域自适应与一种新的深度学习的方法，利用我们的发现，熵最小化诱导的二阶统计源和目标域之间的最佳对齐。我们正式证明了这一假设，并在实际情况下，旨在实现最佳的对齐，我们采用了一个更有原则的策略，不同于目前的欧几里德方法，部署沿测地线对齐。我们的管道可以通过添加到标准分类损失（在标记的源域上）来实现，这是一个以无监督和数据驱动方式加权的源到目标正则化器。我们提供了广泛的实验来评估我们的框架在标准域和模态适应基准上的优越性。
2017-11-28 cs.CV
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Unsupervised Domain Adaptation by Uncertain Feature Alignment
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无监督领域自适应（UDA）处理模型从具有标记数据的给定源域到未标记目标域的自适应。在本文中，我们利用模型固有的预测不确定性来完成领域自适应任务。的不确定性是衡量的蒙特卡洛辍学，并用于我们提出的不确定性为基础的过滤和功能对齐（UFAL），结合了不确定性的功能损失（UFL）功能和不确定性为基础的过滤（UBF）的方法在欧几里得空间的功能对齐。我们的方法超越了最近提出的架构，并在多个具有挑战性的数据集上取得了最先进的结果。代码可在项目网站上获得。
2020-09-14 cs.CV
Unsupervised Deep Domain Adaptation for Pedestrian Detection
Shanghai Jiao Tong University（上海交通大学）；University of Twente（特文特大学）
针对拥挤场景中行人检测的无监督领域自适应问题进行了研究。首先，我们利用迭代算法迭代地选择和自动注释具有高置信度的正面行人样本作为目标域的训练样本。同时，我们还重用了源域中的负样本，以弥补正样本和负样本数量的不平衡。其次，基于深度网络，我们还设计了一个无监督正则化器来减轻数据噪声的影响。更具体地说，我们将最后一个全连接层转换为两个子层-逐元素乘法层和求和层，并添加无监督正则化器以进一步提高领域自适应精度。在行人检测实验中，该方法提高了近30%的召回值，而精度几乎保持不变。此外，我们执行我们的方法对标准的领域自适应基准监督和无监督的设置，也达到了最先进的结果。
2018-02-09 cs.CV
Copy-Move Forgery Classification via Unsupervised Domain Adaptation
IIT Mandi（曼迪印度理工学院）
在当今时代，由于图像处理和计算机视觉技术中的现代工具，图像操纵变得越来越容易，产生看起来更自然的图像。分离伪造图像的任务变得非常具有挑战性。要解决这些问题，公开的数据集是不够的。在本文中，我们提出了一种使用深层语义图像修补算法来创建合成伪造数据集。此外，我们使用一个无监督的领域自适应网络来检测图像中的复制-移动伪造。我们的方法可以帮助在这些情况下，数据的分类是不可用的。
2019-11-14 cs.CV
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域，同时允许它们共享所有其他模型参数，这是通过两阶段算法实现的。在第一阶段，我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如，MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意，这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出，我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估，并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
表示学习是无监督领域自适应的主要技术，但现有的方法往往需要规范的“枢轴功能”，概括跨域，这是由特定于任务的算法选择。我们表明，一种新颖但简单的特征嵌入方法提供了更好的性能，通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data
Nanyang Technological University（南洋理工大学）
无监督领域自适应的目的是对齐一个标记的源域和一个未标记的目标域，但它需要访问源数据，这往往会引起数据隐私，数据可移植性和数据传输效率的关注。我们研究了无监督模型自适应（UMA），或称为无源数据的无监督领域自适应，这是一种替代设置，旨在使源训练模型适应目标分布，而无需访问源数据。为此，我们设计了一个创新的历史对比学习（HCL）技术，利用历史源假设，以弥补缺乏源数据在UMA。HCL从两个角度应对UMA挑战。首先，它引入了历史对比实例判别（HCID），通过对比当前适应模型和历史模型生成的嵌入，从目标样本中学习。通过历史模型，HCID鼓励UMA学习实例判别目标表示，同时保留源假设。其次，它引入了历史对比类别歧视（HCCD），伪标签的目标样本学习类别歧视的目标表示。具体来说，HCCD根据伪标签在当前和历史模型中的预测一致性对其重新加权。大量的实验表明，HCL在各种视觉任务和设置中始终优于最先进的方法。
2022-06-04 cs.CV
Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Macao Polytechnic University（澳门理工大学）
本文提出一种细粒度无监督跨模态域适应框架，通过向量控制生成器合成伪图像并搜索特征字典进行数据增强，显著提升了前庭神经鞘瘤和耳蜗的分割性能与鲁棒性。
2023-11-25 cs.CV cs.LG eess.IV
Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
收集注释良好的图像数据集来训练现代机器学习算法对于许多任务来说都是非常昂贵的。一个吸引人的替代方案是渲染合成数据，其中自动生成地面实况注释。不幸的是，纯粹在渲染图像上训练的模型往往无法推广到真实图像。为了解决这个缺点，先前的工作引入了无监督的领域自适应算法，该算法试图在两个域之间映射表示或学习提取域不变的特征。在这项工作中，我们提出了一种新的方法，学习，在无监督的方式，在像素空间中的变换从一个域到其他。我们基于生成对抗网络（GAN）的方法使源域图像看起来像是从目标域绘制的。我们的方法不仅产生合理的样本，而且在许多无监督领域自适应场景上的表现优于最先进的方法。最后，我们证明了自适应过程可以推广到训练过程中看不到的对象类。
2017-08-23 cs.CV
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST（大邱庆北科学技术院）；POSTECH（浦项科技大学）
在本文中，我们提出了DRANet，一个网络架构，解开图像表示和转移的视觉属性在一个潜在的空间，无监督的跨领域自适应。与现有的领域自适应方法，学习共享域的相关功能，DRANet保留了每个域的特性的独特性。我们的模型编码的内容（场景结构）和风格（艺术外观）从源和目标图像的个人表示。然后，它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应，并对齐它们的域移位。此外，我们提出了一个内容自适应域转移模块，有助于保留场景结构，同时转移风格。大量的实验表明，我们的模型成功地分离内容风格的因素，并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University（里海大学）
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而，这两个域的对齐的统计表示没有得到很好的解决。在本文中，我们提出了深度最小二乘对齐（DLSA）估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失，以减少域的差异，通过最小化拟合线和截距之间的角度差异，并进一步学习域不变的功能。大量的实验表明，所提出的DLSA模型是有效的对齐域分布，并优于国家的最先进的方法。
2021-11-03 cs.LG
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
生成真实图像标签的成本很高，并且真实图像和模拟图像之间存在域差距，因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外，用流图增强RGB在简单的语义分割中具有改进的性能，并且跨域保留几何形状。因此，通过用密集光流图增强图像，可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Unsupervised learning of multimodal image registration using domain adaptation with projected Earth Move's discrepancies
Institute of Medical Informatics, Universität zu Lübeck（吕贝克大学医学信息学研究所）
多模态图像配准对于深度学习方法来说是一个非常具有挑战性的问题。目前的大多数工作集中在监督学习，需要标记的训练扫描，并可能产生的模型，偏向于注释结构或无监督的方法，是基于手工制作的相似性度量，因此可能不会优于他们的经典非训练的同行。我们认为，无监督的领域自适应可以克服目前的限制，多模式注册，很难定义好的指标是有益的。领域自适应到目前为止主要限于分类问题。我们提出了第一次使用无监督领域自适应离散多模态注册。基于量化位移标签可用作监督的源域，我们使用分类器差异将网络的输出分布转换为更好地类似于目标域（其他模态）。为了改进2D直方图的切片Wasserstein度量，我们提出了一种新的近似，将预测投影到1D中并计算其累积和的L1距离。我们的概念验证证明了从犬MRI扫描的单模态到多模态（多对比度）2D配准的域转移的适用性，并将配准精度从33%（使用切片Wasserstein）提高到44%。
2020-05-28 cs.CV cs.LG eess.IV
