Importance Weighted Adversarial Nets for Partial Domain Adaptation
Advanced Multimedia Research Lab, University of Wollongong, Australia(伍伦贡大学高级多媒体研究实验室,澳大利亚伍伦贡大学高级多媒体研究实验室(注:此处“Advanced Multimedia Research Lab”是实验室,属于University of Wollongong的机构,整体按要求提取到大学级别,即University of Wollongong,澳大利亚伍伦贡大学))
提出了一种基于重要性加权对抗网的无监督领域自适应方法,该方法适用于目标领域类别数少于源领域类别数的部分领域自适应。以往的领域自适应方法一般假设标签空间相同,从而减少分布分歧导致可行的知识转移。然而,这样的假设在更现实的场景中不再有效,该场景需要从更大和更多样化的源域适应到具有更少类别的更小目标域。本文扩展了基于对抗性网络的领域自适应,提出了一种新型的基于对抗性网络的部分领域自适应方法,用于识别可能来自离群类的源样本,同时减少域之间共享类的移动。
2018-03-28 cs.CV
Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation
Huawei Cloud(华为云);Huawei Technologies(华为技术有限公司);Dalian University of Technology(大连理工大学)
多源无监督领域自适应(MSDA)是将在多个已标记源域上训练的模型自适应到一个未标记目标域。在本文中,我们提出了一种新的多源领域自适应框架的基础上协作学习的语义分割。首先,引入一种简单的图像平移方法来对齐像素值分布,以在一定程度上减少源域和目标域之间的差距。然后,为了充分利用跨源域的基本语义信息,我们提出了一种协作学习方法,用于领域自适应,而无需看到任何来自目标域的数据。此外,与无监督领域自适应的设置类似,利用未标记的目标领域数据来进一步提高领域自适应的性能。这是通过附加地约束多个自适应模型的输出来实现的,所述输出具有由集成模型在线生成的伪标签。在语义分割中,对广泛使用的领域自适应基准数据集进行了广泛的实验和消融研究。我们提出的方法通过在标记的Synscapes和GTA 5数据集以及未标记的Cityscapes训练集上进行训练,在Cityscapes的验证集上实现了59.0\%的mIoU。它明显优于所有以前的国家的最先进的单源和多源无监督领域自适应方法。
2021-06-18 cs.CV
Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations
Technische Universität Braunschweig(布伦瑞克工业大学)
在本文中,我们提出了一个解决方案的任务“无监督领域自适应(UDA)的一个给定的预先训练的语义分割模型,而不依赖于任何源域表示”。以前用于语义分割的UDA方法要么在源域和目标域中同时训练模型,要么依赖于额外的网络,在适应期间将源域知识重放到模型。相比之下,我们提出了一种新的无监督BatchNorm自适应(UBNA)方法,该方法将给定的预训练模型适应于一个看不见的目标域,而不使用-超出预训练的现有模型参数-任何源域表示(既不是数据,也不是网络),并且也可以应用于在线设置或以Few-Shot方式使用来自目标域的几个未标记图像。具体来说,我们使用指数衰减的动量因子将归一化层统计信息部分地适应目标域,从而混合来自两个域的统计信息。通过对语义分割的标准UDA基准的评估,我们表明,这优于没有适应的模型和仅使用目标域统计数据的基线方法。与标准的UDA方法相比,我们报告的性能和使用的源域表示之间的权衡。
2021-11-11 cs.CV
Adversarial Network with Multiple Classifiers for Open Set Domain Adaptation
Federation University(联邦大学);Murdoch University(莫道克大学)
领域自适应的目的是将知识从具有足够标记样本的领域转移到具有稀缺标记样本的领域。先前的研究已经在文献中引入了各种开集领域自适应设置,以扩展领域自适应方法在现实世界场景中的应用。本文重点研究了开集领域自适应的类型,其中目标域既有私有(“未知类”)标签空间,又有共享(“已知类”)标签空间。然而,源域只有“已知类”标签空间。流行的分布匹配领域自适应方法是不够的,在这样的设置,需要适应从一个较小的源域到一个更大的和不同的目标域与更多的类。为了解决这种特定的开集领域自适应设置,现有研究引入了一种领域对抗模型,该模型使用固定阈值来区分已知和未知的目标样本,并且缺乏处理负转移。我们扩展了他们的对抗模型,提出了一种新的对抗领域自适应模型与多个辅助分类器。所提出的多分类器结构引入了一个加权模块,该模块评估不同的域特征,用于为目标样本分配权重,这些权重更能代表它们是否可能属于已知和未知类,以鼓励对抗训练期间的积极转移,同时减少源域和目标域的共享类之间的域间隙。一个彻底的实验研究表明,我们提出的方法优于现有的领域自适应方法在一些领域自适应数据集。
2020-08-07 cs.CV
Uncertainty-Guided Mixup for Semi-Supervised Domain Adaptation without Source Data
现有的领域自适应方法通常通过同时访问源数据和目标数据来执行显式表示对齐。然而,由于隐私保护考虑或带宽限制,源数据并不总是可用的。无源领域自适应旨在通过在不访问源数据的情况下执行领域自适应来解决上述问题。自适应范式近年来受到越来越多的关注,针对无监督无源领域自适应已经提出了多种工作。然而,在自适应阶段不利用任何监督信号和源数据,目标模型的优化是不稳定和脆弱的。为了缓解这个问题,我们专注于在无源设置下的半监督领域自适应。更具体地说,我们提出了不确定性引导的Mixup,以减少表示的域内差异,并执行域间对齐,而无需直接访问源数据。最后,我们在各种数据集上进行了广泛的半监督领域自适应实验。我们的方法优于最近的半监督基线,无监督变体也达到了有竞争力的性能。实验代码将在未来发布。
2021-07-14 cs.CV
Multi-Adversarial Domain Adaptation
Tsinghua University(清华大学)
深度领域自适应的最新进展表明,对抗学习可以嵌入到深度网络中,以学习可转移的特征,从而减少源域和目标域之间的分布差异。现有的基于单域自适应的领域对抗性自适应方法只对源数据和目标数据的分布进行了调整,而没有利用复杂的多模态结构。在本文中,我们提出了一个多对抗领域自适应(MADA)的方法,它捕获多模结构,使细粒度的对齐不同的数据分布的基础上,多个域鉴别器。自适应可以通过随机梯度下降来实现,其中梯度通过线性时间中的反向传播来计算。经验证据表明,该模型优于国家的最先进的方法在标准的领域自适应数据集。
2018-09-04 cs.CV
DRIV100: In-The-Wild Multi-Domain Dataset and Evaluation for Real-World Domain Adaptation of Semantic Segmentation
Osaka University(大阪大学);Technische Universität Darmstadt(达姆施塔特工业大学);The University of Tokyo(东京大学)
结合语义分割的最新进展,人们提出了许多领域自适应方法来克服训练和部署环境之间的领域差距。然而,大多数以前的研究使用有限的源/目标数据集的组合,和领域自适应技术从来没有彻底评估在一个更具挑战性和多样化的目标领域。这项工作提出了一个新的多域数据集DRIV 100的基准领域自适应技术在野外道路场景视频从互联网上收集。该数据集由100个视频的像素级注释组成,这些视频基于两个标准选择以覆盖不同的场景/域;人类主观判断和使用现有道路场景数据集判断的异常分数。我们为每个视频提供多个手动标记的地面实况帧,从而能够对视频级领域自适应进行全面评估,其中每个视频独立地用作目标域。使用该数据集,我们量化了最先进的方法的领域自适应性能,并阐明了领域自适应技术的潜在和新的挑战。该数据集可在https://doi.org/10.5281/zenodo.4389243上获得。
2021-02-25 cs.CV
Generalized Source-free Domain Adaptation
Computer Vision Center, Universitat Autonoma de Barcelona(计算机视觉中心,巴塞罗那自治大学);PCALab, Nanjing University of Science and Technology(南京理工大学PCALab);Huawei Kirin Solution(华为麒麟解决方案)
领域自适应(DA)的目的是将从源领域学习到的知识转移到未标记的目标领域。最近的一些工作解决了无源领域自适应(SFDA),其中只有源预训练模型可用于适应目标域。然而,这些方法没有考虑保持源的性能,这是在现实世界中的应用中具有很高的实用价值。在本文中,我们提出了一个新的领域自适应范例称为广义无源领域自适应(G-SFDA),其中学习模型需要在目标和源域上都表现良好,在适应过程中只访问当前未标记的目标数据。首先,我们提出了局部结构聚类(LSC),旨在聚类的目标特征与其语义相似的邻居,成功地适应模型的目标域中的源数据的情况下。其次,我们提出了稀疏域注意力(SDA),它产生了一个二进制的特定领域的注意力,以激活不同的特征通道,为不同的领域,同时域注意力将被用来正则化梯度在适应过程中,以保持源信息。在实验中,对于目标性能,我们的方法与现有的DA和SFDA方法相当或更好,特别是它在VisDA上实现了最先进的性能(85.4%),并且我们的方法在适应单个或多个目标域后适用于所有域。代码可在https://github.com/Albert0147/G-SFDA上找到。
2021-10-08 cs.CV
Stretching Domain Adaptation: How far is too far?
Johns Hopkins University(约翰斯·霍普金斯大学)
虽然深度学习在过去几年中在视觉识别方面取得了重大进展,但这些进展通常需要大量注释数据。无监督领域自适应已经作为不需要那么多注释数据的替代方法出现,领域自适应方法的先前评估已经限于相对相似的数据集,例如源和目标域是由不同相机捕获的样本。提出了一种新的数据集,全面评估跨模态领域自适应问题。这项工作推动了无监督领域自适应的限制,通过深入评估基准数据集和新的数据集套件的几个国家的最先进的方法。我们还提出了一个新的领域自适应网络称为“深磁网”,有效地转移知识的跨模态领域自适应问题。Deep Magnet在两个基准数据集上实现了最先进的性能。更重要的是,所提出的方法在新提出的数据集套件上显示出一致的性能改进。
2018-11-29 cs.CV
Unsupervised Multi-Target Domain Adaptation: An Information Theoretic Approach
Google(谷歌)
无监督领域自适应(uDA)模型关注成对自适应设置,其中存在单个标记的源和单个目标域。然而,在许多现实世界中,人们试图适应多个但有点相似的目标域。将成对适应方法应用于这种设置可能是次优的,因为它们无法利用多个域之间的共享信息。在这项工作中,我们提出了一个信息理论的方法领域自适应在新的背景下,多个目标域与未标记的实例和一个源域与标记的实例。我们的模型的目的是找到一个共享的潜在空间共同的所有领域,同时占其余的私人,特定领域的因素。使用统一的信息理论方法来实现共享和私有信息的解开,该方法还用于在潜在表示与观察到的数据之间建立更强的联系。由此产生的模型,伴随着一个有效的优化算法,允许同时适应从一个单一的源到多个目标域。我们在三个具有挑战性的公开数据集上测试了我们的方法,结果表明它优于几种流行的领域自适应方法。
2018-10-26 cs.CV
Agile Domain Adaptation
University of Electronic Science and Technology(电子科技大学)
领域自适应研究了如何将知识从一个标记良好的源域转移到一个未标记的目标域,其中这两个域来自不同的数据分布。由于分布偏移,不同的目标样本在适应上具有不同的困难程度。然而,现有的领域自适应方法绝大多数忽略了难度,并为所有目标样本部署完全相同的框架。一般来说,一个简单的或影子框架是快速的,但粗糙。相反,一个复杂或深刻的框架是准确的,但速度很慢。在本文中,我们的目标是挑战的基本矛盾之间的准确性和速度的领域自适应任务。我们提出了一种新的方法,命名为{ \it敏捷领域自适应},灵活地适用于不同的目标样本的最佳框架和分类的目标样本根据其适应困难。具体来说,我们提出了一个范例,在最终分类之前进行几次早期检测。如果一个样本可以在早期阶段以足够的置信度被分类,则该样本将在没有后续处理的情况下退出。值得注意的是,所提出的方法可以显著降低领域自适应方法的运行成本,这可以将领域自适应的应用场景扩展到甚至移动设备和实时系统。在两个开放基准上的大量实验验证了该方法的有效性和效率。
2019-07-11 cs.CV
VisDA: The Visual Domain Adaptation Challenge
Boston University(波士顿大学);University of California Berkeley(加州大学伯克利分校)
我们提出了2017年视觉领域自适应(VisDA)数据集和挑战,这是一个跨视觉领域无监督领域自适应的大规模测试平台。无监督的领域自适应旨在解决现实世界中的领域转移问题,其中在一个领域上训练的机器学习模型必须在没有额外监督的情况下转移并适应新的视觉领域。VisDA 2017挑战赛的重点是从模拟到现实的转变,有两个相关的任务:图像分类和图像分割。这两条轨道的目标是首先在源域中的模拟合成数据上训练模型,然后使其适应未标记测试域中的真实图像数据。我们的数据集是迄今为止最大的跨域对象分类数据集,在训练、验证和测试领域的12个类别中拥有超过28万张图像。图像分割数据集也是大规模的,在三个领域的18个类别中有超过30K的图像。我们将VisDA与现有的跨领域自适应数据集进行比较,并使用目前在该领域流行的各种领域自适应模型提供基线性能分析。
2017-11-29 cs.CV
Unsupervised Domain Adaptation: A Multi-task Learning-based Method
University of Wollongong(卧龙岗大学)
提出了一种新的基于多任务学习的无监督领域自适应方法。具体地说,基于多任务学习的概念,通过考虑目标域的几何形状和源域与目标域之间的分歧,联合学习源域和目标域分类器。在此基础上提出了两种新的算法,分别采用正则化最小二乘法和支持向量机。在合成和真实世界的跨域识别任务的实验表明,所提出的方法优于几个国家的最先进的领域自适应方法。
2018-03-25 cs.CV
Cluster Alignment with a Teacher for Unsupervised Domain Adaptation
Tsinghua University(清华大学)
深度学习方法在无监督领域自适应中显示出了希望,其目的是利用标记的源域来学习具有不同分布的未标记目标域的分类器。然而,这样的方法通常学习域不变表示空间以匹配源域和目标域的边缘分布,而忽略它们的精细级结构。在本文中,我们提出了一个教师(CAT)的无监督领域自适应,它可以有效地将区分聚类结构在两个领域更好的适应。从技术上讲,CAT利用隐式集成教师模型来可靠地发现未标记目标域的特征空间中的类条件结构。然后,CAT强制源和目标域的特征形成区分性的类条件聚类,并跨域对齐相应的聚类。实验结果表明,CAT在几个无监督的领域自适应场景中达到了最先进的结果。
2019-10-09 cs.CV
Multi-Target Domain Adaptation via Unsupervised Domain Classification for Weather Invariant Object Detection
Huawei(华为)
目标检测是自动驾驶的关键技术。如果训练图像的天气与测试图像的天气不同,则对象检测器的性能显著降低。领域自适应可用于解决域移位问题,以便提高对象检测器的鲁棒性。然而,大多数现有的领域自适应方法要么处理单个目标域,要么需要域标签。提出了一种新的无监督域分类方法,将单目标领域自适应方法推广到多目标域,并在此基础上设计了一个天气不变的目标检测器训练框架,在Cityscapes数据集及其合成变体(雾、雨、夜)上进行了实验。实验结果表明,该方法训练的目标检测器在不同天气条件下都能实现鲁棒的目标检测。
2021-03-25 cs.CV
Semi-Supervised Hypothesis Transfer for Source-Free Domain Adaptation
Zhejiang University(浙江大学);Harvard Medical School(哈佛医学院);University of California Santa Barbara(加州大学圣巴巴拉分校)
领域自适应已被广泛应用于处理视觉、语言、多媒体等领域的分布偏移。大多数领域自适应方法都是利用来自两个领域的数据来学习领域不变特征。然而,当由于数据隐私问题而无法获得源数据时,这种策略在实践中可能不可行。为了解决这个问题,我们提出了一种新的自适应方法,通过假设转移无需访问源数据在适应阶段。为了充分利用有限的目标数据,提出了一种半监督的互增强方法,该方法迭代使用熵最小化和增广标签传播进行域间和域内对齐。在三个公开数据集上的实验结果表明,与现有方法相比,该方法在半监督自适应任务上的性能提高了19.9%。
2021-07-14 cs.CV
Generalized Universal Domain Adaptation with Generative Flow Networks
Zhejiang University(浙江大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学)
提出广义通用域自适应(GUDA)统一框架,利用生成流网络设计GFlowDA算法,通过主动采样和协同优化,实现对未知类别精确预测,实验验证其优越性。
2023-08-30 cs.CV
Pre-Training Transformers for Domain Adaptation
Shirley Robotics(雪莉机器人公司)
2021年视觉领域自适应挑战赛呼吁采用无监督的领域自适应方法,通过将从源数据集获得的知识转移到分布外的目标数据集来提高模型的性能。在本文中,我们利用BeiT [1]并展示了其从源数据集捕获关键属性的能力,并以半监督的方式将其应用于目标数据集。我们的方法能够超越当前最先进的(SoTA)技术,并能够在ViSDA领域自适应挑战赛中获得第一名,ACC为56.29%,AUROC为69.79%。
2021-12-18 cs.CV
Open Set Domain Adaptation for Image and Action Recognition
University of Bonn(波恩大学)
由于注释和管理大型数据集非常昂贵,因此需要将知识从现有的注释数据集转移到未标记的数据。然而,与特定应用程序相关的数据通常与公开可用的数据集不同,因为它是从不同的领域采样的。虽然领域自适应方法补偿这样的领域移位,但是它们假设目标域中的所有类别是已知的并且与源域中的类别匹配。由于这一假设是违反现实世界的条件下,我们提出了一种方法,开集领域自适应的目标域包含的类别,不存在于源域的实例。所提出的方法在各种数据集上实现了最先进的结果,用于图像分类和动作识别。由于该方法可以用于开集和闭集领域自适应,以及无监督和半监督领域自适应,它是一个通用的工具,许多应用。
2019-07-30 cs.CV
Unsupervised Contrastive Domain Adaptation for Semantic Segmentation
University of Oxford(牛津大学);Intel Labs(英特尔实验室)
语义分割模型在领域转换的情况下难以推广。在本文中,我们介绍了对比学习的跨领域自适应的特征对齐。我们组装域内对比对和跨域对比对来学习跨域对齐的区分特征。基于得到的对齐良好的特征表示,我们引入了一种标签扩展方法,该方法能够在自适应过程中从硬类中发现样本,以进一步提高性能。所提出的方法始终优于国家的最先进的领域自适应的方法。当在合成的GTA 5数据集和未标记的Cityscapes图像上训练时,它在Cityscapes数据集上实现了60.2%mIoU。
2022-04-18 cs.CV
Domain Adaptation for Visual Applications: A Comprehensive Survey
Xerox Research Center Europe(施乐欧洲研究中心)
本文的目的是给一个概述领域自适应和迁移学习与视觉应用的具体视图。在一般的动机之后,我们首先将领域自适应定位在更大的迁移学习问题中。其次,我们试图解决和分析的国家的最先进的方法,为不同类型的场景,首先描述了历史上浅的方法,解决同质和异构的领域自适应方法。第三,我们讨论了深度卷积架构的成功的影响,这导致了新型的领域自适应方法,这些方法将自适应集成在深度架构中。第四,我们概述了超越图像分类的方法,如目标检测或图像分割,视频分析或学习视觉属性。最后,我们用一个章节来总结本文,其中我们将领域自适应与其他机器学习解决方案联系起来。
2017-03-30 cs.CV
Partial Adversarial Domain Adaptation
Tsinghua University(清华大学);National Engineering Laboratory for Big Data Software(大数据系统软件国家工程实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
领域对抗学习在两个玩家的极大极小游戏中对齐源域和目标域的特征分布。现有的领域对抗网络通常假设不同领域的标签空间相同。在大数据存在的情况下,有强烈的动机将深度模型从现有的大领域转移到未知的小领域。本文引入部分领域自适应作为一种新的领域自适应方案,它将完全共享标签空间的假设放宽为源标签空间包含目标标签空间。以前的方法通常将整个源域与目标域进行匹配,由于标签空间之间存在较大的不匹配,因此很容易出现部分领域自适应问题的负迁移。我们提出了部分对抗领域自适应(PADA),它同时通过降低离群源类的数据权重来训练源分类器和域对手来消除负迁移,并通过匹配共享标签空间中的特征分布来促进正迁移。实验表明,PADA超过了国家的最先进的部分领域自适应任务的结果在几个数据集。
2018-08-10 cs.CV
Cross-domain Self-supervised Learning for Domain Adaptation with Few Source Labels
Boston University(波士顿大学);POSTECH(浦项科技大学)
现有的无监督领域自适应方法旨在将知识从标签丰富的源领域转移到未标记的目标领域。然而,获得标签的一些源域可能是非常昂贵的,使完整的标签中使用的现有工作不切实际。在这项工作中,我们研究了一个新的领域自适应的情况下,稀疏标记的源数据,在源域中只有几个例子已被标记,而目标域是未标记的。我们表明,当标记的源示例是有限的,现有的方法往往无法学习适用于源和目标域的判别功能。我们提出了一种新的跨域自监督(CDS)学习方法的领域自适应,学习功能,不仅是域不变的,但也类歧视。我们的自监督学习方法捕捉明显的视觉相似性与域自适应方式的域内自我监督和跨域的自我监督进行跨域的特征匹配。在三个标准基准数据集的广泛实验中,我们的方法显着提高了目标精度的性能,在新的目标域与几个源标签,甚至是经典的领域自适应的情况下是有帮助的。
2020-03-18 cs.CV
Improving Category-Aware Active Domain Adaptation via Uncertainty-Guided Region Coverage
VNU University of Engineering and Technology(越南国立大学工程技术大学)
该研究针对主动域适应中平均准确率优化导致困难类别性能下降的问题,提出不确定性引导的区域覆盖方法,在多基准上超越现有同类方法。
2026-10-14 cs.CV
On Fine-Tuned Deep Features for Unsupervised Domain Adaptation
Durham University(杜伦大学)
无监督领域自适应(UDA)的基于先验特征变换的方法采用由预训练的深度模型提取的深度特征,而不针对特定领域自适应任务对它们进行微调。相比之下,基于端到端学习的方法同时优化预训练的骨干和定制的自适应模块,以学习UDA的域不变特征。在这项工作中,我们探讨了潜在的微调功能和基于UDA方法的特征变换相结合,以提高领域自适应性能。具体来说,我们将流行的渐进伪标签技术的微调框架,以提取微调功能,随后使用在一个国家的最先进的特征变换为基础的领域自适应方法SPL(选择性伪标签)。对包括ResNet-50/101和DeiT-small/base在内的多个深度模型进行了彻底的实验,以证明微调特征和SPL的组合可以在多个基准数据集上实现最先进的性能。
2022-10-25 cs.CV
ConDA: Continual Unsupervised Domain Adaptation
Rochester Institute of Technology(罗切斯特理工学院)
领域自适应(DA)技术对于克服用于训练的源域与进行测试的目标域之间的域移位是重要的。然而,当前的DA方法假设整个目标域在适应期间是可用的,这在实践中可能不成立。本文考虑了一个更现实的情况下,目标数据成为小批量和适应整个目标域是不可行的。在我们的工作中,我们引入了一个新的,数据约束的DA范例,未标记的目标样本批量接收和适应不断进行。我们提出了一种新的无源连续无监督领域自适应,利用缓冲区选择性重放以前看到的样本的方法。在我们的持续DA框架中,我们使用缓冲区管理策略选择性地将来自传入批次的样本与存储在缓冲区中的数据混合,并使用该组合来增量地更新我们的模型。我们评估的分类性能的连续DA方法与国家的最先进的DA方法的基础上,整个目标域。我们在三个流行的DA数据集上的结果表明,我们的方法优于许多现有的最先进的DA方法,在适应过程中可以访问整个目标域。
2021-04-07 cs.CV
Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们提出了一种新的半监督领域自适应框架,该框架结合了一种新的基于自动编码器的领域自适应模型与同时学习方案,该方案提供了对最先进的领域自适应模型的稳定改进。我们的框架具有很强的分布匹配属性,通过使用一种新的同时学习方案在单个图上训练源和目标自动编码器,并使用最佳修改的MMD损失目标函数。此外,我们设计了一种半监督分类方法,通过将对齐的域不变特征空间从源域转移到目标域。我们评估三个数据集,并证明我们的框架可以有效地解决脆弱的收敛(对抗)和源和目标特征空间(差异)之间的弱分布匹配问题,具有很高的适应速度,需要非常低的迭代次数。
2022-10-18 cs.CV
CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
无监督领域自适应(UDA)的目的是将标记的源分布与未标记的目标分布对齐,以获得领域不变的预测模型。然而,众所周知的UDA方法的应用在半监督领域自适应(SSDA)场景中不能很好地推广,其中来自目标域的标记样本很少。在本文中,我们提出了一个简单的对比学习框架,半监督领域自适应(CLDA),试图弥合标记和未标记的目标分布之间的域内差距和源和未标记的目标分布之间的域间差距在SSDA。我们建议采用类的对比学习,以减少域间的差距和实例级对比对准之间的原始(输入图像)和强烈增强的未标记的目标图像,以尽量减少域内的差异。我们的经验表明,这两个模块相互补充,以实现卓越的性能。三个著名的领域自适应基准数据集,即DomainNet的,家庭,和B2B 31上的实验证明了我们的方法的有效性。CLDA在所有上述数据集上都取得了最先进的结果。
2021-11-10 cs.CV
Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation
Boston University(波士顿大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Stanford University(斯坦福大学)
传统的无监督领域自适应(UDA)研究有限数量的领域之间的知识转移。这忽略了更实际的场景,即数据分布在现实世界中的许多不同领域。这些域之间的域相似性对于领域自适应性能是至关重要的。为了描述和学习不同领域之间的关系,我们提出了一种新的Domain2Vec模型,提供基于特征解纠缠和Gram矩阵的联合学习的视觉领域的矢量表示。为了评估我们的Domain2Vec模型的有效性,我们创建了两个大规模的跨域基准测试。第一个是TinyDA,它包含54个域和大约100万个MNIST风格的图像。第二个基准是DomainBank,它收集了56个现有的视觉数据集。我们证明,我们的嵌入是能够预测域的相似性,匹配我们的直觉不同域之间的视觉关系。进行了大量的实验,以证明我们的新数据集在基准测试国家的最先进的多源领域自适应方法的力量,以及我们提出的模型的优势。
2020-07-17 cs.CV
Joint Geometrical and Statistical Alignment for Visual Domain Adaptation
University of Wollongong(伍伦贡大学)
提出了一种新的无监督领域自适应跨域视觉识别方法。我们提出了一个统一的框架,减少域之间的转移统计和几何,称为联合几何和统计对齐(JGSA)。具体地说,我们学习两个耦合的投影,投影的源域和目标域的数据到低维子空间的几何位移和分布偏移同时减少。目标函数可以有效地解决在一个封闭的形式。大量的实验已经验证了所提出的方法显着优于几个国家的最先进的领域自适应方法上的合成数据集和三个不同的现实世界的跨域视觉识别任务。
2017-05-16 cs.CV
Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation
Inria(法国国家信息与自动化研究所);Valeo(法雷奥)
领域自适应是在标签稀缺时实现学习的重要任务。虽然大多数作品只关注图像模态,但有许多重要的多模态数据集。为了利用多模态进行领域自适应,我们提出了跨模态学习,通过相互模仿来加强两种模态预测之间的一致性。我们限制我们的网络对标记数据进行正确的预测,并对未标记的目标域数据进行跨模态的一致预测。在无监督和半监督领域自适应环境下的实验证明了这种新的领域自适应策略的有效性。具体来说,我们评估的任务,3D语义分割从二维图像,三维点云或从两者。我们利用最近的驾驶数据集来产生各种各样的领域自适应场景,包括场景布局、照明、传感器设置和天气的变化,以及合成到真实的设置。我们的方法显着改善了以前的单峰适应基线的所有适应场景。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取
2022-06-22 cs.CV
Tackling Partial Domain Adaptation with Self-Supervision
Politecnico di Torino(都灵理工大学);Istituto Italiano di Tecnologia(意大利理工学院);Sapienza Università di Roma(罗马第一大学)
领域自适应方法在减少视觉域之间的边缘分布差异方面显示出有希望的结果。它们允许训练在不同性质的数据集(照片,绘画等)上工作的可靠模型,但当域不共享相同的标签空间时,它们仍然很难。在部分领域自适应设置中,其中目标仅覆盖源类别的子集,在不引起负转移的情况下减小域间隙是具有挑战性的。许多解决方案只是通过增加启发式样本加权策略来保持标准的领域自适应技术。在这项工作中,我们展示了如何从空间协同定位的补丁获得的自我监督信号可以用来定义一个边任务,支持适应,而不管跨域的确切标签共享条件。我们建立在最近的工作,介绍了一个拼图任务领域泛化:我们描述了如何重新制定这种方法的部分领域自适应,我们展示了它如何提高现有的自适应解决方案时,与他们相结合。在三个数据集上的实验结果支持了该方法的有效性。
2019-06-12 cs.CV
Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation
Didi Chuxing(滴滴出行);Carleton University(卡尔顿大学);Beijing University of Posts and Telecommunications(北京邮电大学)
最近的领域自适应方法在无监督领域自适应问题上取得了令人瞩目的进步。然而,在半监督领域自适应(SSDA)设置中,其中目标域具有几个可用的标记实例,这些方法可能无法提高性能。受领域自适应中伪标签有效性的启发,提出了一种基于强化学习的半监督领域自适应选择性伪标签方法.传统的伪标记方法很难平衡伪标记数据的正确性和代表性。为了解决这一限制,我们开发了一个深度Q学习模型来选择准确和有代表性的伪标记实例。此外,由于大间隔损失在学习小数据的判别特征时的能力,我们进一步提出了一种新的目标间隔损失用于我们的基础模型训练,以提高其判别能力。我们提出的方法进行了评估的几个基准数据集SSDA,并表现出优越的性能,所有的比较方法。
2020-12-07 cs.CV
Two-Step Image Dehazing with Intra-domain and Inter-domain Adaptation
Beijing Institute of Technology(北京理工大学)
在图像处理任务中,由于数据分布的差异,域内和域间间隙普遍存在。在图像去雾领域,某些先前的工作已经注意到合成域和真实域之间的域间间隙。然而,这些方法仅建立从源域到目标域的连接,而没有考虑目标域内的大的分布偏移(域内间隙)。在这项工作中,我们提出了一个两步去雾网络(TSDN)的内部领域自适应和一个受约束的领域自适应间。首先,我们将合成域中的分布细分为子集,并通过基于丢失的监督来挖掘最佳子集(简单样本)。为了减轻合成域的域内间隙,我们提出了一种域内领域自适应,通过对抗学习将其他子集的分布对准最优子集。最后,我们进行约束的域间领域自适应从真正的域的合成域的最佳子集,减轻域之间的域移动以及实域内的分布偏移。大量的实验结果表明,我们的框架表现良好,对国家的最先进的算法在合成数据集和真实数据集。
2021-04-19 cs.CV
Open-Set Multi-Source Multi-Target Domain Adaptation
Indian Institute of Science (IISc)(印度科学学院);Visvesvaraya National Institute of Technology (VNIT)(维斯瓦拉亚国家技术学院)
单源单目标领域自适应(1 S1 T)的目的是在标记的源域和未标记的目标域之间架起一座桥梁。尽管1 S1 T是一个经过充分研究的主题,但它们通常不会部署到现实世界中。像多源领域自适应和多目标领域自适应这样的方法已经发展到模拟现实世界的问题,但仍然不能很好地推广。事实上,这些方法中的大多数都假设源和目标之间有一个公共的标签集,这是非常有限的。最近的开集领域自适应方法处理未知的目标标签,但未能在多个域中推广。为了克服这些困难,首先,我们提出了一种新的通用领域自适应(DA)设置命名为开放集多源多目标领域自适应(OS-nSmT),与n和m分别是源和目标域的数量。接下来,我们提出了一个基于图注意力的框架DEGAA,它可以捕获来自多个源和目标域的信息,而不需要知道目标的确切标签集。我们认为,我们的方法,虽然提供了多个来源和多个目标,也可以是不可知的各种其他DA设置。为了检验DEGAA的鲁棒性和通用性,我们提出了大量的实验和烧蚀研究。
2023-02-03 cs.CV
A Broad Study of Pre-training for Domain Generalization and Adaptation
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
深度模型必须学习鲁棒和可转移的表示,以便在新的领域中表现良好。虽然域转移方法(例如,域自适应,领域泛化)已经被提出来学习跨域的可转移表示,它们通常应用于在ImageNet上预训练的ResNet主干。因此,现有的工作很少注意到预训练对领域迁移任务的影响。在本文中,我们对领域自适应和泛化的预训练进行了广泛的研究和深入的分析,即:网络架构,大小,预训练损失和数据集。我们观察到,简单地使用一个国家的最先进的骨干优于现有的国家的最先进的领域自适应基线,并设置新的基线上的家庭和DomainNet提高了10.7%和5.5%。我们希望这项工作可以为未来的域转移研究提供更多的见解。
2022-07-20 cs.CV
A simple baseline for domain adaptation using rotation prediction
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
近年来,领域自适应成为一个研究热点,并有着广泛的应用前景。我们的目标是使在一个领域中训练的模型适应另一个具有稀缺注释数据的领域。我们提出了一种基于自监督学习的简单而有效的方法,该方法优于或等同于大多数最先进的算法,例如对抗性领域自适应。我们的方法包括两个阶段:预测目标域上的随机旋转(自监督)以及源域的正确标签(监督),然后在目标域上使用自蒸馏。我们的简单方法在DomainNet数据集上实现了半监督领域自适应的最新结果。此外,我们观察到,流行的领域自适应基准的未标记的目标数据集不包含任何类别,除了测试类别。我们认为这引入了在许多实际应用中不存在的偏差。我们表明,从未标记的数据中去除这种偏差会导致最先进方法的性能大幅下降,而我们的简单方法相对稳健。
2019-12-26 cs.CV
Grassmannian Graph-attentional Landmark Selection for Domain Adaptation
Beijing University of Technology(北京工业大学)
领域自适应的目的是利用来自源领域的信息来提高目标领域的分类性能。它主要利用两种方案:样本加权和特征匹配。第一种方法为每个样本分配不同的权重,第二种方法使用全局结构统计量匹配两个域的特征。这两种方案具有互补性,有望共同实现鲁棒的领域自适应。一些方法将这两种方法结合起来,但由于忽略了样本的层次性和样本之间的几何性质,对样本之间的潜在关系分析不够。为了更好地结合这两种方案的优点,我们提出了一种用于领域自适应的格拉斯曼图-注意力界标选择(GGLS)框架。GGLS提出了一种基于注意力诱导的样本图结构邻域的地标选择方法,并在格拉斯曼流形上进行分布自适应和知识自适应。前者区别对待每个样本的界标,后者避免了特征失真,获得了更好的几何特性。不同的现实世界的跨域视觉识别任务的实验结果表明,GGLS提供了更好的分类精度相比,国家的最先进的领域自适应方法。
2021-09-07 cs.CV
Unsupervised Domain Adaptation by Uncertain Feature Alignment
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
无监督领域自适应(UDA)处理模型从具有标记数据的给定源域到未标记目标域的自适应。在本文中,我们利用模型固有的预测不确定性来完成领域自适应任务。的不确定性是衡量的蒙特卡洛辍学,并用于我们提出的不确定性为基础的过滤和功能对齐(UFAL),结合了不确定性的功能损失(UFL)功能和不确定性为基础的过滤(UBF)的方法在欧几里得空间的功能对齐。我们的方法超越了最近提出的架构,并在多个具有挑战性的数据集上取得了最先进的结果。代码可在项目网站上获得。
2020-09-14 cs.CV
Unsupervised Cumulative Domain Adaptation for Foggy Scene Optical Flow
Huazhong University of Science and Technology(华中科技大学);Huawei International Co. Ltd.(华为国际有限公司)
光流在洁净场景下取得了巨大的成功,但在雾天场景下受到限制。现有的方法通常采用领域自适应的方法将运动知识从干净域转移到合成的模糊域,以弥补干净域和模糊域之间的差距。然而,这些方法意外地忽略了合成域到真实域的间隙,因此当应用于真实世界场景时是错误的。为了处理雾天场景下的实际光流,本文提出了一种新的无监督累积领域自适应光流(UCDA-Flow)框架:深度关联运动自适应和相关对齐运动自适应。具体来说,我们发现,深度是影响光流的一个关键因素:更深的深度,劣光流,这促使我们设计一个深度关联运动自适应模块,以弥合清洁到雾域的差距。此外,我们计算出的成本体积相关共享相似的分布的合成和真正的雾域图像,这启发我们设计一个相关对齐运动自适应模块提取运动知识的合成雾域到真正的雾域。请注意,合成雾被设计为中间域。在这个统一的框架下,建议的累积适应逐步转移知识从干净的场景到真正的雾场景。大量的实验验证了该方法的优越性。
2023-03-20 cs.CV
Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(教育部大数据与智能机器人重点实验室);National University of Singapore(新加坡国立大学)
我们研究了一个实际的领域自适应任务,称为无源无监督领域自适应(UDA)问题,其中我们不能访问源域数据,由于数据隐私问题,但只有一个预训练的源模型和未标记的目标数据是可用的。然而,由于一个关键挑战,这项任务非常困难:缺乏源数据和目标域标签使得模型自适应非常具有挑战性。为了解决这个问题,我们提出挖掘源模型中隐藏的知识,并利用它来生成源化身原型(即,每个源类别的代表性特征)以及用于域对齐的目标伪标签。为此,我们提出了一个对比原型生成和适应(CPGA)的方法。具体来说,CPGA包括两个阶段:(1)原型生成:通过探索源模型的分类边界信息,我们训练一个原型生成器,通过对比学习生成化身原型。(2)原型改编:基于生成的源原型和目标伪标签,我们开发了一种新的鲁棒的对比原型适配策略,以将每个伪标签目标数据与对应的源原型对齐。在三个UDA基准数据集上的实验证明了该方法的有效性和优越性。
2021-06-18 cs.CV
Towards Category and Domain Alignment: Category-Invariant Feature Enhancement for Adversarial Domain Adaptation
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
对抗性领域自适应通过对齐两个领域的特征分布,在将知识从源领域转移到目标领域方面取得了令人印象深刻的进展。这些方法的重点是最大限度地减少域分歧,并将适应性(衡量为这两个域上理想联合假设的预期误差)视为一个小常数。然而,这些方法仍然面临两个问题:(1)对抗性域对齐扭曲了原始特征分布,降低了适应性;(2)将特征表示转换为域不变需要牺牲特定域的变化,导致较弱的可区分性。为了缓解这些问题,我们提出了类别不变特征增强(CIFE),一种通用的机制,通过优化适应性来增强对抗性领域自适应。具体而言,CIFE方法引入类别不变特征,以提高域不变特征的可区分性,同时保持可转移性。实验表明,CIFE可以改善代表性的对抗性领域自适应方法,产生国家的最先进的结果在五个基准。
2021-08-14 cs.CV
Unsupervised Domain Adaptation with SAM-RefiSeR for Enhanced Brain Tumor Segmentation
Dept. of Computer Science and Engineering(计算机科学与工程系);Research Convergence Institute(研究融合研究所);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
本文提出SAM-RefiSeR方法,通过无监督领域适应提升脑肿瘤分割的准确性与泛化能力。
2026-01-11 cs.CV
Sparse-to-dense Feature Matching: Intra and Inter domain Cross-modal Learning in Domain Adaptation for 3D Semantic Segmentation
Sichuan University(四川大学);University of Electronic Science and Technology of China(电子科技大学);Dalian University of Technology(大连理工大学);National University of Defense Technology(国防科技大学)
当一个新领域缺少注释时,领域自适应是成功的关键。由于三维点云标记过程耗时巨大,三维语义分割的领域自适应方法具有很大的应用前景。随着多模态数据集的兴起,除了3D点云之外,还可以访问大量的2D图像。鉴于此,我们建议通过域内和域间交叉模态学习进一步利用2D数据进行3D领域自适应。对于域内跨模态学习,现有的大多数工作都将密集的2D像素级特征采样到与稀疏的3D点级特征相同的大小,从而导致大量有用的2D特征被丢弃。为了解决这个问题,我们提出了动态稀疏到密集交叉模态学习(DsCML),以增加充分的多模态信息交互的领域自适应。对于域间交叉模态学习,我们进一步在包含不同语义内容的2D和3D数据上推进交叉模态对抗学习(CMAL),旨在促进高级模态互补。我们在各种多模态领域自适应设置下评估我们的模型,包括白天到晚上,国家到国家和电子邮件到数据集,在所有设置下都比单模态和多模态领域自适应方法带来了很大的改进。
2021-08-08 cs.CV
Handling new target classes in semantic segmentation with domain adaptation
Sorbonne University(索邦大学)
在这项工作中,我们定义并解决了一个新的领域自适应(DA)的问题,在语义场景分割,目标域不仅表现出数据分布偏移w.r.t.源域,但也包括新的类,不存在于后者。与“开集”和“通用领域自适应“将新类中的所有对象都视为“未知”的方法不同,本文的目标是对新类进行显式的测试时间预测。为了实现这一目标,我们提出了一个框架,利用领域自适应和零样本学习技术,使“无限”适应目标域。它依赖于一个新的架构,以及一个专用的学习方案,以弥合源-目标域的差距,同时学习如何将新类的标签映射到相关的视觉表示。通过对目标域伪标签进行自训练,进一步提高了性能。为了验证,我们考虑不同的领域自适应设置,即合成2-真实,国家2-国家和数据集2-数据集。我们的框架远远优于基准,为新任务的所有基准设定了具有竞争力的标准。代码和型号可在https://github.com/valeoai/buda上获得。
2021-02-16 cs.CV
Zero-Shot Deep Domain Adaptation
Siemens Corporate Technology(西门子企业技术研究院)
领域自适应是将在源领域中学习到的关于任务(例如分类)的知识转移到第二或目标领域的重要工具。目前的方法假设任务相关的目标域数据在训练过程中是可用的。我们演示了如何执行领域自适应时,没有这样的任务相关的目标域数据。为了解决这个问题,我们提出了zero-shot深度领域自适应(ZDDA),它使用任务无关的双域对的特权信息。ZDDA学习一个源域表示,它不仅是为感兴趣的任务量身定制的,而且接近目标域表示。因此,与源域表示联合训练的源域感兴趣任务解决方案(例如,用于分类任务的分类器)可以适用于源表示和目标表示两者。使用MNIST,Fashion-MNIST,NIST,EMNIST和SUN RGB-D数据集,我们证明了ZDDA可以在分类任务中执行领域自适应,而无需访问与任务相关的目标领域训练数据。我们还扩展ZDDA进行传感器融合在SUN RGB-D场景分类任务模拟任务相关的目标域表示与任务相关的源域数据。据我们所知,ZDDA是第一个领域自适应和传感器融合方法,它不需要任务相关的目标域数据。其基本原理并不特定于计算机视觉数据,而是应该可以扩展到其他领域。
2018-07-24 cs.CV
Sliced Wasserstein Discrepancy in Disentangling Representation and Adaptation Networks for Unsupervised Domain Adaptation
Faculty of Engineering and Computer Science, University of Victoria(工程与计算机科学学院,维多利亚大学)
本文提出DRANet-SWD,通过引入切片瓦瑟斯坦不相容性作为风格损失,提升无监督领域适应的性能。
2025-04-09 cs.CV
Adversarial Consistent Learning on Partial Domain Adaptation of PlantCLEF 2020 Challenge
Lehigh University(利哈伊大学)
领域自适应是解决领域迁移问题的关键技术之一。部分领域自适应解决了目标类别仅是源类别的子集的情况。在本文中,为了实现跨域植物图像的有效表示,我们首先从预训练模型中提取深度特征,然后在统一的深度架构中开发对抗一致性学习($ACL$),用于部分领域自适应。它包括源域分类损失、对抗学习损失和特征一致性损失。对抗性学习损失可以保持源域和目标域之间的域不变特征。此外,特征一致性损失可以保持两个域之间的细粒度特征过渡。通过对源域中不相关的类别进行降权,找到两个域的共享类别。实验结果表明,从NASNetLarge模型与建议的$ACL$架构的训练功能产生有前途的结果PlantCLEF 2020挑战。
2020-09-19 cs.CV
Pred&Guide: Labeled Target Class Prediction for Guiding Semi-Supervised Domain Adaptation
Indian Institute of Science(印度科学学院)
半监督领域自适应的目的是通过利用相关的标签丰富的源域和目标域的非常少的标记示例来分类属于目标域的数据。在这里,我们提出了一个新的框架,Pred&Guide,它利用了预测和实际的几个标记的目标示例的类标签之间的不一致性,有效地指导领域自适应在半监督设置。Pred&Guide算法分为三个阶段,具体如下:(1)首先,对所有目标样本进行无监督的领域自适应和自训练;(2)其次是标签预测阶段,其中当前模型用于预测少数标记的目标示例的标签,以及(3)最后,标签预测的正确性被用于有效地按类加权源示例,以更好地指导领域自适应过程。大量的实验表明,提出的Pred&Guide框架实现了两个大规模的基准数据集,即家庭和DomainNet的最先进的结果。
2022-11-22 cs.CV
Robustified Domain Adaptation
Rensselaer Polytechnic Institute(伦斯勒理工学院)
无监督领域自适应(UDA)被广泛用于将知识从具有不同数据分布的标记源域转移到具有不同数据分布的未标记目标域。虽然广泛的研究表明,深度学习模型容易受到对抗攻击,但在领域自适应应用中,模型的对抗性鲁棒性在很大程度上被忽视了。本文指出UDA中不可避免的域分布偏差是影响模型在目标域上鲁棒性的关键障碍。为了解决这个问题,我们提出了一种新的类一致性无监督鲁棒领域自适应(CURDA)框架来训练鲁棒UDA模型。通过引入对比鲁棒训练和源锚定对抗对比损失,我们提出的CURDA框架可以通过同时最小化数据分布偏差和目标域清洁对抗对之间的距离来有效地鲁棒UDA模型,而不会产生分类混淆。在几个公共基准上的实验表明,CURDA可以显着提高模型在目标域的鲁棒性,而在干净样本上的精度只有很小的代价。
2021-03-24 cs.CV
DomainForensics: Exposing Face Forgery across Domains via Bi-directional Adaptation
College of Computer Science and Technology, Ocean University of China(中国海洋大学计算机科学与技术学院);School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院);School of Creative Technologies, Faculty of Creative and Cultural Industries, University of Portsmouth(朴茨茅斯大学创意与文化产业学院创意技术学院);School of Computing and Mathematic Sciences, University of Leicester(莱斯特大学计算与数学科学学院)
针对DeepFake检测方法在跨域新型伪造内容上性能下降的问题,提出DomainForensics框架,通过双向域适配策略实现伪造知识跨域迁移,提升跨域人脸伪造检测效果。
2024-08-19 cs.CV
Source Domain Subset Sampling for Semi-Supervised Domain Adaptation in Semantic Segmentation
Hanbat National University(韩巴大学);Pusan National University(釜山大学)
在本文中,我们介绍了源域子集采样(SDSS)作为半监督领域自适应的一个新的视角。我们提出了领域自适应的采样和利用只有一个有意义的子集从源数据的训练。我们的关键假设是,整个源域数据可能包含对适应无益的样本。因此,领域自适应可以受益于仅由有用和相关样本组成的源数据的子集。所提出的方法有效地子采样完整的源数据,以产生一个小规模的有意义的子集。因此,使用我们的二次采样源数据可以减少训练时间,提高性能。为了进一步验证我们方法的可扩展性,我们构建了一个名为Ocean Ship的新数据集,其中包括500个真实和200K个带有地面真实标签的合成样本图像。SDSS在应用于GTA5到Cityscapes和SYNTHIA到Cityscapes公共基准数据集时实现了最先进的性能,并且在我们的Ocean Ship数据集上比基线模型提高了9.13 mIoU。
2022-05-03 cs.CV
Self-Rule to Multi-Adapt: Generalized Multi-source Feature Learning Using Unsupervised Domain Adaptation for Colorectal Cancer Tissue Detection
EPFL(洛桑联邦理工学院);University of Fribourg(弗里堡大学);University of Bern(伯尔尼大学)
监督学习受到标记数据可用性的限制,在数字病理学领域获取标记数据尤其昂贵。利用源数据进行预训练或使用领域自适应可以是克服这个问题的一种方法。然而,预先训练的网络往往无法推广到新的测试域,这些测试域由于组织染色,类型和纹理变化而分布不相同。此外,当前的领域自适应方法主要依赖于完全标记的源数据集。在这项工作中,我们提出了自规则多适应(SRMA),它利用自监督学习来执行领域自适应,并消除了完全标记的源数据集的必要性。SRMA可以有效地将从几个标记的源域的数据获得的判别知识转移到一个新的目标域,而不需要额外的组织注释。我们的方法利用这两个领域的结构,通过捕捉视觉相似性与域内和跨域的自我监督。此外,我们提出了一个广义的制定我们的方法,允许框架从多个源域学习。我们表明,我们提出的方法优于基线的结直肠组织类型分类\new{in single and multi-source settings}的领域自适应,并进一步验证我们的方法在内部临床队列。代码和训练的模型可以在https://github.com/christianabbet/SRA上开源。
2022-01-19 cs.CV
CDA: Contrastive-adversarial Domain Adaptation
Northeastern University(东北大学);Hitachi Industrial AI Lab(日立工业人工智能实验室)
领域自适应的最新进展表明,深度神经网络上的对抗学习可以学习领域不变特征,以减少源域和目标域之间的移位。虽然这种对抗性方法实现了域级别的对齐,但它们忽略了类(标签)的变化。当类条件数据分布在源域和目标域之间存在显著差异时,它可能会在类边界附近生成模糊的特征,这些特征更有可能被错误分类。在这项工作中,我们提出了一个两阶段模型的领域自适应称为\textbf{C}对抗\textbf{D} omain \textbf{A}适应\textbf{(CDA)}。虽然对抗性组件有助于域级别的对齐,但两阶段对比学习利用类信息来实现跨域的更高的类内紧凑性,从而产生分离良好的决策边界。此外,所提出的对比框架被设计为一个即插即用的模块,可以很容易地嵌入现有的对抗方法的领域自适应。我们在两个广泛使用的领域自适应基准数据集上进行实验,即\textit{Office-31}和\textit{Digits-5},并证明CDA在这两个数据集上都达到了最先进的结果。
2023-01-10 cs.CV