ML-BPM: Multi-teacher Learning with Bidirectional Photometric Mixing for Open Compound Domain Adaptation in Semantic Segmentation
KAIST(韩国科学技术院);KENTECH(韩国能源技术研究院);Harvard University(哈佛大学)
开放式复合领域自适应(OCDA)将目标领域看作是多个未知同质子域的复合。OCDA的目标是最小化标记源域和未标记复合目标域之间的域间隙,这有利于模型推广到未知域。目前的OCDA语义分割方法采用人工领域分离,并采用一个单一的模型,同时适应所有的目标子域。然而,适应一个目标子域可能会阻碍模型适应其他不同的目标子域,这导致有限的性能。在这项工作中,我们引入了一个多教师框架与双向光度混合,分别适应每个目标子域。首先,我们提出了一个自动域分离,以找到最佳的子域数。在此基础上,我们提出了一个多教师框架,其中每个教师模型使用双向光度混合,以适应一个目标子域。此外,我们进行自适应蒸馏来学习学生模型,并应用一致性正则化来提高学生泛化能力。在基准数据集上的实验结果表明,该方法对复合域和开放域的有效性对现有的国家的最先进的方法。
2022-07-19 cs.CV
Unsupervised Domain Adaptation with SAM-RefiSeR for Enhanced Brain Tumor Segmentation
Dept. of Computer Science and Engineering(计算机科学与工程系);Research Convergence Institute(研究融合研究所);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
本文提出SAM-RefiSeR方法,通过无监督领域适应提升脑肿瘤分割的准确性与泛化能力。
2026-01-11 cs.CV
Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation
Medical School of Nanjing University(南京大学医学院);National Institute of Healthcare Data Science at Nanjing University(南京大学国家健康医疗大数据研究院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science and Technology, Nanjing University of Science and Technology(南京理工大学计算机科学与技术学院);Department of Radiology, Nanjing Drum Tower Hospital, Nanjing University Medical School(南京大学医学院附属鼓楼医院放射科);School of Biomedical Engineering, ShanghaiTech University(上海科技大学生物医学工程学院);Department of Research and Development, Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司研发部);Department of Artificial Intelligence, Korea University(高丽大学人工智能系)
从多模态磁共振(MR)图像中准确分割脑肿瘤是脑肿瘤诊断和治疗的关键。然而,由于不同模态之间存在域转移,当在一种模态上训练而在另一种模态上执行时,网络的性能急剧下降,例如,在T1图像上进行训练,同时在T2图像上执行,这在临床应用中经常需要。这也禁止网络在标记数据上进行训练,然后从不同的域转移到未标记的数据。为了克服这一点,无监督领域自适应(UDA)方法提供了有效的解决方案,以减轻标记的源数据和未标记的目标数据之间的域移动。在本文中,我们提出了一种新的双向全局到局部(BiGL)适应框架下的UDA计划。具体而言,提出了一种双向图像合成和分割模块,用于使用为两个域生成的中间数据分布来分割脑肿瘤,该模块包括图像到图像翻译器和共享加权分割网络。此外,提出了一个全局到局部的一致性学习模块,以综合的方式建立鲁棒的表示对齐。在多模态脑MR基准数据集上的大量实验表明,该方法的性能大大优于几种最先进的无监督领域自适应方法,而全面的消融研究验证了每个关键组件的有效性。我们的方法的实现代码将在\url{https://github.com/KeleiHe/BiGL}上发布。
2021-05-17 cs.CV
Unsupervised Domain Adaptation for Mammogram Image Classification: A Promising Tool for Model Generalization
University of Kentucky(肯塔基大学)
泛化是临床验证和将深度学习模型应用于医学图像的关键挑战之一。研究表明,由于患者人群和图像设备配置的差异,在公开数据集上训练的此类模型通常不能很好地用于真实世界的临床数据。此外,手动注释临床图像是昂贵的。在这项工作中,我们提出了一种无监督的领域自适应(UDA)方法,使用Cycle-GAN提高模型的泛化能力,而不使用任何额外的手动注释。
2020-03-02 cs.CV eess.IV q-bio.QM
BCMDA: Bidirectional Correlation Maps Domain Adaptation for Mixed Domain Semi-Supervised Medical Image Segmentation
School of Computer Science and Technology, Southwest University of Science and Technology(西南科技大学计算机科学与技术学院)
本文提出BCMDA框架,通过虚拟域桥接和原型对齐缓解域移位和标注不足问题,提升多域半监督医学图像分割性能。
2026-03-29 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院)
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而,到目前为止,它已被用于像素空间中的输入样本,而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为,并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N,我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Nonlinear Embedding Transform for Unsupervised Domain Adaptation
Center for Cognitive Ubiquitous Computing(认知普适计算中心);Arizona State University(亚利桑那州立大学)
领域自适应(DA)问题涉及使在一个数据分布上训练的分类器模型适应于不同的数据分布。在本文中,我们介绍了非线性嵌入变换(NET)的无监督DA结合域对齐与基于相似性的嵌入。我们还介绍了一个验证过程,估计模型参数的NET算法使用的源数据。多个视觉数据集的综合评价表明,NET算法优于现有的竞争程序的无监督DA。
2017-06-22 cs.CV
Contrastive Adaptation Network for Unsupervised Domain Adaptation
University of Technology Sydney(悉尼科技大学);Google AI(谷歌人工智能);Baidu Research(百度研究院);Carnegie Mellon University(卡内基梅隆大学)
无监督领域自适应(UDA)对目标领域数据进行预测,而手动注释仅在源领域中可用。以前的方法忽略了类信息,这可能会导致不对齐和泛化性能差的域差异最小化。为了解决这个问题,本文提出了对比自适应网络(CAN)优化一个新的度量,显式地模拟类内域差异和类间域差异。我们设计了一种交替更新策略,以端到端的方式训练CAN。在两个真实世界基准Office-31和VisDA-2017上的实验表明,CAN与最先进的方法相比表现良好,并产生更具区分力的特征。
2019-04-10 cs.CV
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);Farsee2 Tech. Co.(Farsee2科技公司);Baidu Research(百度研究院)
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同,它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的,但更具挑战性,在传统的适应方法很容易失败,由于缺乏未标记的目标数据。为此,我们提出了一种新的对抗性风格挖掘方法,它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言,风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像,引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格,从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation: A Multi-task Learning-based Method
University of Wollongong(卧龙岗大学)
提出了一种新的基于多任务学习的无监督领域自适应方法。具体地说,基于多任务学习的概念,通过考虑目标域的几何形状和源域与目标域之间的分歧,联合学习源域和目标域分类器。在此基础上提出了两种新的算法,分别采用正则化最小二乘法和支持向量机。在合成和真实世界的跨域识别任务的实验表明,所提出的方法优于几个国家的最先进的领域自适应方法。
2018-03-25 cs.CV
Cluster Alignment with a Teacher for Unsupervised Domain Adaptation
Tsinghua University(清华大学)
深度学习方法在无监督领域自适应中显示出了希望,其目的是利用标记的源域来学习具有不同分布的未标记目标域的分类器。然而,这样的方法通常学习域不变表示空间以匹配源域和目标域的边缘分布,而忽略它们的精细级结构。在本文中,我们提出了一个教师(CAT)的无监督领域自适应,它可以有效地将区分聚类结构在两个领域更好的适应。从技术上讲,CAT利用隐式集成教师模型来可靠地发现未标记目标域的特征空间中的类条件结构。然后,CAT强制源和目标域的特征形成区分性的类条件聚类,并跨域对齐相应的聚类。实验结果表明,CAT在几个无监督的领域自适应场景中达到了最先进的结果。
2019-10-09 cs.CV
Minimal-Entropy Correlation Alignment for Unsupervised Deep Domain Adaptation
在这项工作中,我们面临的问题,无监督的领域自适应与一种新的深度学习的方法,利用我们的发现,熵最小化诱导的二阶统计源和目标域之间的最佳对齐。我们正式证明了这一假设,并在实际情况下,旨在实现最佳的对齐,我们采用了一个更有原则的策略,不同于目前的欧几里德方法,部署沿测地线对齐。我们的管道可以通过添加到标准分类损失(在标记的源域上)来实现,这是一个以无监督和数据驱动方式加权的源到目标正则化器。我们提供了广泛的实验来评估我们的框架在标准域和模态适应基准上的优越性。
2017-11-28 cs.CV
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径,展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Unsupervised Domain Adaptation by Uncertain Feature Alignment
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
无监督领域自适应(UDA)处理模型从具有标记数据的给定源域到未标记目标域的自适应。在本文中,我们利用模型固有的预测不确定性来完成领域自适应任务。的不确定性是衡量的蒙特卡洛辍学,并用于我们提出的不确定性为基础的过滤和功能对齐(UFAL),结合了不确定性的功能损失(UFL)功能和不确定性为基础的过滤(UBF)的方法在欧几里得空间的功能对齐。我们的方法超越了最近提出的架构,并在多个具有挑战性的数据集上取得了最先进的结果。代码可在项目网站上获得。
2020-09-14 cs.CV
Unsupervised Deep Domain Adaptation for Pedestrian Detection
Shanghai Jiao Tong University(上海交通大学);University of Twente(特文特大学)
针对拥挤场景中行人检测的无监督领域自适应问题进行了研究。首先,我们利用迭代算法迭代地选择和自动注释具有高置信度的正面行人样本作为目标域的训练样本。同时,我们还重用了源域中的负样本,以弥补正样本和负样本数量的不平衡。其次,基于深度网络,我们还设计了一个无监督正则化器来减轻数据噪声的影响。更具体地说,我们将最后一个全连接层转换为两个子层-逐元素乘法层和求和层,并添加无监督正则化器以进一步提高领域自适应精度。在行人检测实验中,该方法提高了近30%的召回值,而精度几乎保持不变。此外,我们执行我们的方法对标准的领域自适应基准监督和无监督的设置,也达到了最先进的结果。
2018-02-09 cs.CV
Copy-Move Forgery Classification via Unsupervised Domain Adaptation
IIT Mandi(曼迪印度理工学院)
在当今时代,由于图像处理和计算机视觉技术中的现代工具,图像操纵变得越来越容易,产生看起来更自然的图像。分离伪造图像的任务变得非常具有挑战性。要解决这些问题,公开的数据集是不够的。在本文中,我们提出了一种使用深层语义图像修补算法来创建合成伪造数据集。此外,我们使用一个无监督的领域自适应网络来检测图像中的复制-移动伪造。我们的方法可以帮助在这些情况下,数据的分类是不可用的。
2019-11-14 cs.CV
Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data
Nanyang Technological University(南洋理工大学)
无监督领域自适应的目的是对齐一个标记的源域和一个未标记的目标域,但它需要访问源数据,这往往会引起数据隐私,数据可移植性和数据传输效率的关注。我们研究了无监督模型自适应(UMA),或称为无源数据的无监督领域自适应,这是一种替代设置,旨在使源训练模型适应目标分布,而无需访问源数据。为此,我们设计了一个创新的历史对比学习(HCL)技术,利用历史源假设,以弥补缺乏源数据在UMA。HCL从两个角度应对UMA挑战。首先,它引入了历史对比实例判别(HCID),通过对比当前适应模型和历史模型生成的嵌入,从目标样本中学习。通过历史模型,HCID鼓励UMA学习实例判别目标表示,同时保留源假设。其次,它引入了历史对比类别歧视(HCCD),伪标签的目标样本学习类别歧视的目标表示。具体来说,HCCD根据伪标签在当前和历史模型中的预测一致性对其重新加权。大量的实验表明,HCL在各种视觉任务和设置中始终优于最先进的方法。
2022-06-04 cs.CV
Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation
Radboud University Medical Center(拉德堡德大学医学中心);The Netherlands Cancer Institute(荷兰癌症研究所);Macao Polytechnic University(澳门理工大学)
本文提出一种细粒度无监督跨模态域适应框架,通过向量控制生成器合成伪图像并搜索特征字典进行数据增强,显著提升了前庭神经鞘瘤和耳蜗的分割性能与鲁棒性。
2023-11-25 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
生成真实图像标签的成本很高,并且真实图像和模拟图像之间存在域差距,因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外,用流图增强RGB在简单的语义分割中具有改进的性能,并且跨域保留几何形状。因此,通过用密集光流图增强图像,可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks
Google Brain(谷歌大脑);Google Research(谷歌研究院)
收集注释良好的图像数据集来训练现代机器学习算法对于许多任务来说都是非常昂贵的。一个吸引人的替代方案是渲染合成数据,其中自动生成地面实况注释。不幸的是,纯粹在渲染图像上训练的模型往往无法推广到真实图像。为了解决这个缺点,先前的工作引入了无监督的领域自适应算法,该算法试图在两个域之间映射表示或学习提取域不变的特征。在这项工作中,我们提出了一种新的方法,学习,在无监督的方式,在像素空间中的变换从一个域到其他。我们基于生成对抗网络(GAN)的方法使源域图像看起来像是从目标域绘制的。我们的方法不仅产生合理的样本,而且在许多无监督领域自适应场景上的表现优于最先进的方法。最后,我们证明了自适应过程可以推广到训练过程中看不到的对象类。
2017-08-23 cs.CV
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST(大邱庆北科学技术院);POSTECH(浦项科技大学)
在本文中,我们提出了DRANet,一个网络架构,解开图像表示和转移的视觉属性在一个潜在的空间,无监督的跨领域自适应。与现有的领域自适应方法,学习共享域的相关功能,DRANet保留了每个域的特性的独特性。我们的模型编码的内容(场景结构)和风格(艺术外观)从源和目标图像的个人表示。然后,它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应,并对齐它们的域移位。此外,我们提出了一个内容自适应域转移模块,有助于保留场景结构,同时转移风格。大量的实验表明,我们的模型成功地分离内容风格的因素,并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Robust Unsupervised Domain Adaptation by Retaining Confident Entropy via Edge Concatenation
Kyungpook National University(庆北大学)
提出一种结合边缘信息与熵对抗网络的无监督域适应方法,通过边缘拼接增强边界清晰度,在SYNTHIA到Cityscapes和Mapillary基准上取得优于现有方法的性能。
2023-10-11 cs.CV
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation
University of California, Berkeley(加利福尼亚大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而,在许多应用中,获取大量的标记数据是非常昂贵和耗时的。为了应对有限的标记训练数据,许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记或未标记的目标域。不幸的是,跨域的直接传输通常由于域偏移或数据集偏差的存在而表现不佳。领域自适应是一种机器学习范例,其目的是从源域学习模型,该模型可以在不同(但相关)的目标域上表现良好。在本文中,我们回顾了最新的单源深度无监督领域自适应方法专注于视觉任务,并讨论了未来研究的新视角。我们首先定义了不同的领域自适应策略,并描述了现有的基准数据集。然后,我们总结和比较了不同类别的单源无监督领域自适应方法,包括基于差异的方法,对抗性判别方法,对抗性生成方法和基于自我监督的方法。最后,我们讨论了未来的研究方向与挑战和可能的解决方案。
2020-09-19 cs.CV cs.LG eess.IV
Sliced Wasserstein Discrepancy in Disentangling Representation and Adaptation Networks for Unsupervised Domain Adaptation
Faculty of Engineering and Computer Science, University of Victoria(工程与计算机科学学院,维多利亚大学)
本文提出DRANet-SWD,通过引入切片瓦瑟斯坦不相容性作为风格损失,提升无监督领域适应的性能。
2025-04-09 cs.CV
Unsupervised Domain Adaptation using Deep Networks with Cross-Grafted Stacks
University of Otago(奥塔哥大学);Institute of Information Engineering Chinese Academy of Sciences(中国科学院信息工程研究所)
当前在计算机视觉中使用的深度领域自适应方法主要集中于学习跨不同领域的区分性和领域不变特征。在本文中,我们提出了一种新的方法,通过将源域和目标域投影到一个共同的关联空间中,通过无监督的“交叉嫁接表示堆栈”(CGRS)机制来弥合域差距。具体来说,我们构建了两个域的变分自编码器(VAE),并通过交叉嫁接VAE的解码器堆栈来形成双向关联。此外,生成对抗网络(GAN)用于标签对齐(LA),将目标域数据映射到源域的已知标签空间。因此,整个适应过程由三个阶段组成:VAE的特征表示学习,关联生成和GANs的关联标签对齐。实验结果表明,我们的CGRS-LA方法优于国家的最先进的一些无监督领域自适应基准。
2019-03-25 cs.CV
Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations
Technische Universität Braunschweig(布伦瑞克工业大学)
在本文中,我们提出了一个解决方案的任务“无监督领域自适应(UDA)的一个给定的预先训练的语义分割模型,而不依赖于任何源域表示”。以前用于语义分割的UDA方法要么在源域和目标域中同时训练模型,要么依赖于额外的网络,在适应期间将源域知识重放到模型。相比之下,我们提出了一种新的无监督BatchNorm自适应(UBNA)方法,该方法将给定的预训练模型适应于一个看不见的目标域,而不使用-超出预训练的现有模型参数-任何源域表示(既不是数据,也不是网络),并且也可以应用于在线设置或以Few-Shot方式使用来自目标域的几个未标记图像。具体来说,我们使用指数衰减的动量因子将归一化层统计信息部分地适应目标域,从而混合来自两个域的统计信息。通过对语义分割的标准UDA基准的评估,我们表明,这优于没有适应的模型和仅使用目标域统计数据的基线方法。与标准的UDA方法相比,我们报告的性能和使用的源域表示之间的权衡。
2021-11-11 cs.CV
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)(丰田研究所)
模拟器可以有效地生成大量带标签的合成数据,并对难以标记的任务(如语义分割)进行完美的监督。然而,它们引入了一个域间隙,严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距,并提高模拟到真实的无监督领域自适应(UDA)。我们的几何无监督领域自适应方法(GUDA)通过多任务目标学习域不变表示,该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准,优于使用领域对抗学习,自我训练或其他自我监督代理任务的方法。此外,我们表明,我们的方法规模以及质量和数量的合成数据,同时也提高了深度预测。
2021-08-18 cs.CV
On Fine-Tuned Deep Features for Unsupervised Domain Adaptation
Durham University(杜伦大学)
无监督领域自适应(UDA)的基于先验特征变换的方法采用由预训练的深度模型提取的深度特征,而不针对特定领域自适应任务对它们进行微调。相比之下,基于端到端学习的方法同时优化预训练的骨干和定制的自适应模块,以学习UDA的域不变特征。在这项工作中,我们探讨了潜在的微调功能和基于UDA方法的特征变换相结合,以提高领域自适应性能。具体来说,我们将流行的渐进伪标签技术的微调框架,以提取微调功能,随后使用在一个国家的最先进的特征变换为基础的领域自适应方法SPL(选择性伪标签)。对包括ResNet-50/101和DeiT-small/base在内的多个深度模型进行了彻底的实验,以证明微调特征和SPL的组合可以在多个基准数据集上实现最先进的性能。
2022-10-25 cs.CV
Unsupervised Robust Domain Adaptation without Source Data
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们研究了在目标标签和源数据不可用的情况下的鲁棒领域自适应问题。所考虑的鲁棒性是对抗性扰动。本文旨在回答在没有源数据的无监督领域自适应环境下,寻找正确的策略使目标模型鲁棒性和准确性的问题。本文的主要发现是:(i)鲁棒源模型可以鲁棒地传递到目标;(ii)鲁棒领域自适应可以从非鲁棒伪标签和成对对比损失中受益。对于图像分类的任务,所提出的使用非鲁棒伪标签的方法在干净样本和对抗样本上都表现得令人惊讶地好。我们在四个基准数据集的测试基线上显示出一致的性能改进,准确性超过$10\%$。
2021-03-26 cs.CV
Restyling Data: Application to Unsupervised Domain Adaptation
Information Technologies Institute (ITI)(信息技术研究所(ITI));Centre for Research and Technology Hellas (CERTH)(希腊研究与技术中心(CERTH))
机器学习是由数据驱动的,然而,尽管它们的可用性不断增加,但训练数据需要费力、耗时且容易出错的标记或地面实况获取,这在某些情况下是非常困难甚至不可能的。最近的工作已经求助于合成数据生成,但是当应用于现实世界时,在合成数据上训练的模型的性能较差,引入了无监督领域自适应的挑战。在这项工作中,我们研究了一种无监督的领域自适应技术,从另一个角度下降,以避免对抗性训练和循环训练的复杂性。我们利用最新的进展,真实感风格转移,并采取完全数据驱动的方法。虽然这个概念已经隐含在领域自适应GANs的复杂目标中,但我们采用了一种明确的方法,并将其直接应用于数据预处理。由此产生的技术是可扩展的,高效的,易于实现,提供竞争力的性能,复杂的国家的最先进的替代品,并可以开辟新的途径,领域自适应。
2019-09-24 cs.CV
Multi-Target Domain Adaptation via Unsupervised Domain Classification for Weather Invariant Object Detection
Huawei(华为)
目标检测是自动驾驶的关键技术。如果训练图像的天气与测试图像的天气不同,则对象检测器的性能显著降低。领域自适应可用于解决域移位问题,以便提高对象检测器的鲁棒性。然而,大多数现有的领域自适应方法要么处理单个目标域,要么需要域标签。提出了一种新的无监督域分类方法,将单目标领域自适应方法推广到多目标域,并在此基础上设计了一个天气不变的目标检测器训练框架,在Cityscapes数据集及其合成变体(雾、雨、夜)上进行了实验。实验结果表明,该方法训练的目标检测器在不同天气条件下都能实现鲁棒的目标检测。
2021-03-25 cs.CV
A Domain Agnostic Normalization Layer for Unsupervised Adversarial Domain Adaptation
我们提出了一个规范化层的语义场景分割无监督域自适应。已知归一化层可以提高收敛性和泛化能力,并且是许多最先进的全卷积神经网络的一部分。我们发现,传统的归一化层恶化了当前无监督对抗域自适应(UADA)的性能,UADA是一种提高未标记数据集网络性能的方法,也是我们研究的重点。因此,我们提出了一种新的领域不可知的归一化层,从而释放了归一化层对无监督对抗领域自适应的好处。在我们的评估中,我们从合成的GTA5数据集适应真实的Cityscapes数据集,一个常见的基准实验,并超越了最先进的。由于我们的规范化层在测试时是领域不可知的,我们进一步证明了UADA使用领域不可知的规范化提高了看不见的领域的性能,特别是在Apolloscape和Mapillary上。
2018-09-14 cs.CV
Improving Online Source-free Domain Adaptation for Object Detection by Unsupervised Data Acquisition
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
本文针对自动驾驶目标检测中的在线无源域自适应问题,提出通过无监督数据采集优先选择信息量最大的无标签帧进行在线训练,并在真实数据集上验证其优于现有O-SFDA方法。
2024-08-30 cs.CV
Unsupervised Contrastive Domain Adaptation for Semantic Segmentation
University of Oxford(牛津大学);Intel Labs(英特尔实验室)
语义分割模型在领域转换的情况下难以推广。在本文中,我们介绍了对比学习的跨领域自适应的特征对齐。我们组装域内对比对和跨域对比对来学习跨域对齐的区分特征。基于得到的对齐良好的特征表示,我们引入了一种标签扩展方法,该方法能够在自适应过程中从硬类中发现样本,以进一步提高性能。所提出的方法始终优于国家的最先进的领域自适应的方法。当在合成的GTA 5数据集和未标记的Cityscapes图像上训练时,它在Cityscapes数据集上实现了60.2%mIoU。
2022-04-18 cs.CV
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University(罗格斯大学);Toutiao AI Lab(今日头条AI实验室);Snap Research(Snap研究)
在本文中,我们提出了因子化对抗网络(FAN)解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间,该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间,分别用于源域和目标域。无监督领域自适应通过对抗训练来实现,以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明,所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外,我们收集了两个比现有基准数据集大得多的真实世界的标记数据集,并在基线上得到了显着的改进,证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
WUDA: Unsupervised Domain Adaptation Based on Weak Source Domain Labels
Beijing University of Posts and Telecommunications(北京邮电大学)
用于语义分割的无监督领域自适应(UDA)解决了具有精细源域标签的跨域问题。然而,语义标签的获取一直是一个困难的步骤,许多场景只有弱标签(例如边界框)。针对弱监督和跨域问题并存的场景,定义了一个新的任务:基于弱源域标签的无监督领域自适应(WUDA)。为了探索这一任务的解决方案,本文提出了两个直观的框架:1)在源域中执行弱监督语义分割,然后实现无监督领域自适应; 2)使用源域数据训练目标检测模型,然后检测目标域中的对象,并实现弱监督语义分割。我们观察到,当数据集发生变化时,这两个框架的行为不同。因此,我们构建了具有大范围域移位的数据集对,并进行了扩展实验,以分析不同域移位对两个框架的影响。此外,为了度量域移位,我们首次将度量表示移位应用于城市景观图像分割。源代码和构建的数据集可在\url{https://github.com/bupt-ai-cz/WUDA}上获得。
2022-10-05 cs.CV
Unsupervised Multi-Target Domain Adaptation: An Information Theoretic Approach
Google(谷歌)
无监督领域自适应(uDA)模型关注成对自适应设置,其中存在单个标记的源和单个目标域。然而,在许多现实世界中,人们试图适应多个但有点相似的目标域。将成对适应方法应用于这种设置可能是次优的,因为它们无法利用多个域之间的共享信息。在这项工作中,我们提出了一个信息理论的方法领域自适应在新的背景下,多个目标域与未标记的实例和一个源域与标记的实例。我们的模型的目的是找到一个共享的潜在空间共同的所有领域,同时占其余的私人,特定领域的因素。使用统一的信息理论方法来实现共享和私有信息的解开,该方法还用于在潜在表示与观察到的数据之间建立更强的联系。由此产生的模型,伴随着一个有效的优化算法,允许同时适应从一个单一的源到多个目标域。我们在三个具有挑战性的公开数据集上测试了我们的方法,结果表明它优于几种流行的领域自适应方法。
2018-10-26 cs.CV
OTAdapt: Optimal Transport-based Approach For Unsupervised Domain Adaptation
University of Arkansas(阿肯色大学)
无监督的领域自适应是计算机视觉中具有挑战性的问题之一。提出了一种基于最优传输距离的无监督领域自适应方法。我们的方法允许对齐目标和源域,而不需要跨域的有意义的指标。此外,该方案还可以关联源域和目标域之间的正确映射,并保证源域和目标域之间的拓扑约束。该方法在不同的数据集上进行了各种问题的评估,即(i)MNIST,MNIST-M,USPS数据集上的数字识别,(ii)Amazon,Webcam,DSLR和VisDA数据集上的对象识别,(iii)IP 102数据集上的昆虫识别。实验结果表明,我们提出的方法一致地提高性能的准确性。此外,我们的框架可以与任何其他CNN框架结合在端到端深度网络设计中,以解决识别问题,从而提高其性能。
2022-05-22 cs.CV
Unsupervised Domain Adaptation for 3D Keypoint Estimation via View Consistency
The University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Snap Inc.(Snap公司)
在本文中,我们介绍了一种新的无监督领域自适应技术的任务,从一个单一的深度扫描或图像的3D关键点预测。我们的主要思想是利用这样一个事实,即从相同或相似对象的不同视图进行的预测应该是相互一致的。这种视图一致性可以为未标记实例上的关键点预测提供有效的正则化。此外,我们引入了一个几何对齐项来正则化目标域中的预测。所得到的损失函数可以通过交替最小化来有效地优化。我们证明了我们的方法在真实数据集上的有效性,并给出了实验结果,表明我们的方法优于最先进的通用领域自适应技术。
2018-07-26 cs.CV
Category Contrast for Unsupervised Domain Adaptation in Visual Tasks
Nanyang Technological University(南洋理工大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
近年来,无监督表示学习的实例对比取得了很大的成功。在这项工作中,我们探讨了无监督领域自适应(UDA)的实例对比学习的想法,并提出了一种新的类别对比技术(CaCo),引入语义先验的实例歧视视觉UDA任务。通过将实例对比学习视为字典查找操作,我们构建了一个语义感知的字典,其中每个目标样本被分配一个(伪)类别标签的基础上的类别先验的源样本和目标域的样本。这允许类别对比学习(在目标查询和类别级字典之间)用于类别区分但域不变的特征表示:相同类别的样本(来自源或目标域)被拉近,而不同类别的样本同时被推开。在多个视觉任务中进行了广泛的UDA实验(例如,分割、分类和检测)表明,与现有技术的方法相比,CaCo实现了优越的性能。实验还表明,CaCo是对现有UDA方法的补充,并可推广到其他学习设置,如无监督模型自适应,开集/部分集自适应等。
2022-03-17 cs.CV
CONDA: Continual Unsupervised Domain Adaptation Learning in Visual Perception for Self-Driving Cars
University of Arkansas(阿肯色大学)
针对自动驾驶视觉感知中分割模型遇新数据、旧数据因隐私不可用的问题,提出无需旧数据的CONDA持续无监督域自适应方法,通过双射最大似然损失防灾难性遗忘,在基准测试上性能先进。
2024-04-15 cs.CV
Instance Adaptive Self-Training for Unsupervised Domain Adaptation
Beijing University of Posts and Telecommunications(北京邮电大学);University of California, Berkeley(加州大学伯克利分校)
标记的训练数据和未标记的测试数据之间的分歧是最近深度学习模型的一个重大挑战。无监督领域自适应(UDA)试图解决这样的问题。最近的工作表明,自我训练是一个强大的方法UDA。然而,现有的方法在平衡可扩展性和性能方面存在困难。在本文中,我们提出了一个实例自适应自训练框架的UDA任务的语义分割。为了有效地提高伪标签的质量,我们开发了一种新的伪标签生成策略与实例自适应选择器。此外,我们还提出了区域引导的正则化方法来平滑伪标记区域和锐化非伪标记区域。该方法简洁高效,易于推广到其他无监督领域自适应方法。在“GTA5 to Cityscapes”和“SYNTHIA to Cityscapes”上的实验表明,与最先进的方法相比,我们的方法具有更好的性能。
2020-08-27 cs.CV
Domain Adaptation through Synthesis for Unsupervised Person Re-identification
Argo AI;Université Laval(拉瓦尔大学)
监控摄像机之间照明的剧烈变化使得人员重新识别问题极具挑战性。目前的大规模重识别数据集具有大量的训练对象,但缺乏光照条件的多样性。因此,经过训练的模型需要进行微调,以便在不可见的照明条件下变得有效。为了缓解这个问题,我们引入了一个新的合成数据集,其中包含数百个照明条件。具体来说,我们使用100个虚拟人照亮多个HDR环境地图,准确地模拟现实的室内和室外照明。为了在看不见的照明条件下实现更好的精度,我们提出了一种新的领域自适应技术,利用我们的合成数据,并在一个完全无监督的方式进行微调。我们的方法产生显着更高的准确性比半监督和无监督的最先进的方法,是非常有竞争力的监督技术。
2018-04-26 cs.CV
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University(卡尔顿大学)
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时,这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域,逐步增大源域,并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验,结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation
UC Merced(加州大学默塞德分校);Amazon Web Services(亚马逊云科技)
基于神经网络的语义分割在有大量标注数据时,即在有监督的情况下,取得了显著的效果。然而,收集这样的数据是昂贵的,因此已经开发了方法来适应在相关的、通常是合成数据上训练的模型,对于这些数据,标签是容易获得的。目前的适应方法不考虑这些模型的泛化/可转移性对网络架构的依赖。在本文中,我们执行神经架构搜索(NAS)提供架构级的观点和分析领域自适应。我们确定的优化差距时,存在的搜索架构无监督领域自适应,这使得这个NAS问题独特的困难。我们建议弥合这一差距,使用最大平均差异和区域加权熵估计的准确性度量。几个广泛采用的基准测试的实验结果表明,我们提出的AutoAdapt框架确实发现了一些现有的自适应技术,提高性能的架构。
2021-06-24 cs.CV
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft(微软);IIT Kanpur(印度理工学院坎普尔分校);Oracle(甲骨文公司);University of Bath(巴斯大学)
理解无监督领域自适应一直是一个重要的任务,已经很好地探索。然而,各种各样的方法都没有详细分析分类器的性能的作用。在本文中,我们彻底研究的作用,一个分类匹配的源和目标分布。我们通过匹配a)特征分布,b)样本的概率不确定性和c)确定性激活映射来专门研究分类器的能力。我们的分析表明,使用这三种分布确实可以在所有数据集上持续提高性能。因此,我们的工作扩展了目前的知识,从分类器获得的各种分布的作用,解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Tune it the Right Way: Unsupervised Validation of Domain Adaptation via Soft Neighborhood Density
Boston University(波士顿大学);University of California, Berkeley(加州大学伯克利分校);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
无监督领域自适应(UDA)方法可以显著提高未标记目标领域的泛化能力。然而,最佳的超参数选择对于实现高精度和避免负传递至关重要。如果没有标记的目标数据,监督超参数验证是不可能的,这就提出了一个问题:我们如何以现实的方式验证无监督自适应技术?我们首先经验分析现有的标准,并证明他们是不是很有效的调整超参数。直觉上,一个训练有素的源分类器应该嵌入附近同类的目标样本,在特征空间中形成密集的邻域。基于这一假设,我们提出了一种新的无监督验证标准,通过计算点之间的相似性分布的熵来测量软邻域的密度。我们的标准比竞争的验证方法更简单,但更有效;它可以调整图像分类和语义分割模型中的超参数和训练迭代次数。论文使用的代码可在\url{https://github.com/VisionLearningGroup/SND}上获得。
2021-08-24 cs.CV
Virtual Mixup Training for Unsupervised Domain Adaptation
The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学)
我们研究了无监督的领域自适应问题,其目的是将在标记的源域上训练的模型适应到完全未标记的目标域。最近,聚类假设已被应用于无监督领域自适应,并取得了很好的性能。成功训练聚类假设的一个关键因素是对模型施加局部Lipschitz约束。现有的方法只在训练点周围施加局部Lipschitz约束,而忽略了其他区域,例如训练数据之间的点。在本文中,我们通过鼓励模型在训练点之间线性行为来解决这个问题。我们提出了一种新的正则化方法,称为虚拟混合训练(VMT),它能够将局部Lipschitz约束的区域之间的训练数据。与传统的混淆模型不同,该方法不使用标签信息来构造组合样本,从而使其适用于无监督的领域自适应。所提出的方法是通用的,可以与大多数现有的模型,如最近的国家的最先进的模型称为VADA相结合。在6个领域自适应基准数据集上的实验表明,VMT显著提高了VADA的性能.对于MNIST到SVHN的适应性调整这一具有挑战性的任务,VMT可以将VADA的准确性提高30%以上。代码可在\url{https://github.com/xudonmao/VMT}上获得。
2019-09-06 cs.CV
UBR$^2$S: Uncertainty-Based Resampling and Reweighting Strategy for Unsupervised Domain Adaptation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
无监督领域自适应(UDA)处理模型到未标记目标域的自适应过程,而注释数据仅适用于给定的源域。这是一项具有挑战性的任务,因为源实例和目标实例之间的域转换如果不解决,会降低模型的性能。在本文中,我们提出了UBR $^2$ S -基于不确定性的恢复和重新加权策略-来解决这个问题。UBR $^2$ S采用基于蒙特卡罗丢弃的不确定性估计来获得每类概率分布,然后将其用于伪标签的动态重新排序,并基于其样本似然和伴随的决策误差进行重新加权。我们提出的方法在具有单源和多源适应任务的多个UDA数据集上实现了最先进的结果,并且可以应用于任何现成的网络架构。我们方法的代码可在https://gitlab.com/tringwald/UBR2S上获得。
2021-10-22 cs.CV
Domain Adaptation and Image Classification via Deep Conditional Adaptation Network
Guangdong Polytechnic Normal University(广东技术师范大学);Sun Yat-Sen University(中山大学);City University of Hong Kong(香港城市大学)
无监督领域自适应的目的是将在源域上训练的有监督模型推广到未标记的目标域。特征空间的边缘分布对齐被广泛用于减少源域和目标域之间的域差异。但是,它假设源域和目标域共享相同的标签分布,这限制了它们的应用范围。在本文中,我们考虑了一个更一般的应用场景,源和目标域的标签分布是不一样的。在这种情况下,基于边际分配的方法将容易受到负迁移的影响。为了解决这个问题,我们提出了一种新的无监督领域自适应方法,深度条件自适应网络(DCAN),基于特征空间的条件分布对齐。具体而言,通过最小化源域和目标域深度特征条件分布之间的条件最大均值离散度来减小域差异,通过最大化样本与预测标签之间的互信息来提取目标域的判别信息。此外,DCAN可用于解决一种特殊的场景,即部分无监督领域自适应,其中目标领域类别是源领域类别的子集。无监督领域自适应和部分无监督领域自适应的实验表明,DCAN取得了优于国家的最先进的方法的分类性能。
2022-05-03 cs.CV
Model Adaptation: Unsupervised Domain Adaptation without Source Data
City University of Hong Kong(香港城市大学);South China University of Technology(华南理工大学);The University of Hong Kong(香港大学)
针对无源数据的无监督域适应问题,提出协作类条件生成对抗网络,通过生成目标风格数据改进预测模型,并引入权重约束和聚类正则化,仅用无标签目标数据在多个任务上取得优越性能。
2025-02-26 cs.CV
ConDA: Continual Unsupervised Domain Adaptation
Rochester Institute of Technology(罗切斯特理工学院)
领域自适应(DA)技术对于克服用于训练的源域与进行测试的目标域之间的域移位是重要的。然而,当前的DA方法假设整个目标域在适应期间是可用的,这在实践中可能不成立。本文考虑了一个更现实的情况下,目标数据成为小批量和适应整个目标域是不可行的。在我们的工作中,我们引入了一个新的,数据约束的DA范例,未标记的目标样本批量接收和适应不断进行。我们提出了一种新的无源连续无监督领域自适应,利用缓冲区选择性重放以前看到的样本的方法。在我们的持续DA框架中,我们使用缓冲区管理策略选择性地将来自传入批次的样本与存储在缓冲区中的数据混合,并使用该组合来增量地更新我们的模型。我们评估的分类性能的连续DA方法与国家的最先进的DA方法的基础上,整个目标域。我们在三个流行的DA数据集上的结果表明,我们的方法优于许多现有的最先进的DA方法,在适应过程中可以访问整个目标域。
2021-04-07 cs.CV
StereoFlowGAN: Co-training for Stereo and Flow with Unsupervised Domain Adaptation
Washington University in St. Louis(圣路易斯华盛顿大学);RWTH Aachen University(亚琛工业大学);University of Kentucky(肯塔基大学)
本文提出StereoFlowGAN,通过合成与真实图像间的转换及双向特征扭曲模块,实现无监督域自适应下的立体匹配与光流估计协同训练,性能优于现有域转换方法。
2023-09-04 cs.CV
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
当前的无监督领域自适应方法可以解决许多类型的分布偏移,但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍,假设源数据不可用是合理的。我们提出了一种无监督的方法,用于使源分类器适应于从源域沿自然轴(例如亮度和对比度)变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度,对比度和旋转,并表明它优于微调基线的情况下,有限的标记数据。
2020-07-20 cs.CV cs.LG