CyCADA: Cycle-Consistent Adversarial Domain Adaptation
BAIR, UC Berkeley(加州大学伯克利分校伯克利人工智能研究院);OpenAI;CS, Boston University(波士顿大学计算机科学系)
领域自适应对于在新的、未知的环境中取得成功至关重要。在特征空间中应用的对抗适应模型发现了域不变表示,但难以可视化,有时无法捕获像素级和低级域偏移。最近的工作表明,结合循环一致性约束的生成对抗网络在域之间映射图像时非常有效,即使不使用对齐的图像对。提出了一种新的区分训练的循环一致性对抗领域自适应模型。CyCADA在像素级和特征级都适应表示,在利用任务丢失的同时加强周期一致性,并且不需要对齐对。我们的模型可以应用于各种视觉识别和预测设置。我们在多个适应任务中展示了新的最先进的结果,包括数字分类和道路场景的语义分割,展示了从合成到现实世界领域的转移。
2017-12-29 cs.CV
Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition
University of Science and Technology of China(中国科学技术大学)
目前的面部表情识别方法无法同时处理姿势和主题变化。在本文中,我们提出了一种新的无监督对抗领域自适应方法,可以同时减轻这两种变化。特别地,我们的方法由三种学习策略组成:对抗性领域自适应学习、跨对抗性特征学习和重建学习。第一个目标是学习源域中与姿势和表情相关的特征表示,并通过实施对抗性学习使两个特征分布适应目标域的特征分布。通过使用个性化的对抗性领域自适应,该学习策略可以减轻主题变化,并利用来自源领域的信息来帮助目标领域的学习。第二个用于通过推动姿势相关特征表示expression-undistinguished和姿势相关特征表示expression-undistinguished来执行姿势相关特征表示和表情相关特征表示之间的特征解纠缠。最后一个可以通过应用人脸图像重建来进一步增强特征学习,使得学习的表情相关特征表示更具姿态和身份鲁棒性。在四个基准数据集上的实验结果证明了该方法的有效性。
2020-07-12 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院)
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而,到目前为止,它已被用于像素空间中的输入样本,而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为,并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N,我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Towards Category and Domain Alignment: Category-Invariant Feature Enhancement for Adversarial Domain Adaptation
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
对抗性领域自适应通过对齐两个领域的特征分布,在将知识从源领域转移到目标领域方面取得了令人印象深刻的进展。这些方法的重点是最大限度地减少域分歧,并将适应性(衡量为这两个域上理想联合假设的预期误差)视为一个小常数。然而,这些方法仍然面临两个问题:(1)对抗性域对齐扭曲了原始特征分布,降低了适应性;(2)将特征表示转换为域不变需要牺牲特定域的变化,导致较弱的可区分性。为了缓解这些问题,我们提出了类别不变特征增强(CIFE),一种通用的机制,通过优化适应性来增强对抗性领域自适应。具体而言,CIFE方法引入类别不变特征,以提高域不变特征的可区分性,同时保持可转移性。实验表明,CIFE可以改善代表性的对抗性领域自适应方法,产生国家的最先进的结果在五个基准。
2021-08-14 cs.CV
Source-free unsupervised domain adaptation for cross-modality abdominal multi-organ segmentation
The Chinese University of Hong Kong(香港中文大学);University of Leicester(莱斯特大学)
在腹部多器官分割中,领域自适应是将知识从源标记CT数据集转移到目标未标记MR数据集的关键。同时,避免与目标数据集相关的高注释成本并保护源数据集隐私是非常可取的。因此,我们提出了一种有效的无源无监督领域自适应方法,用于跨模态腹部多器官分割,而无需源数据集访问。拟议的框架包括两个阶段。在第一阶段中,结合熵最小化的特征地图几何学引导的模型自适应被开发以帮助顶部分割网络可靠地分割目标图像。从顶部分割网络输出的伪标签用于引导风格补偿网络生成源图像。从中间分割网络输出的伪标签用于监督所需模型(底部分割网络)的学习进度。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需的模型性能。使用这种方法,我们取得了令人满意的腹部多器官分割性能,优于现有的国家的最先进的领域自适应方法。所提出的方法可以很容易地扩展到目标注释数据存在的情况。只有一个标记的MR卷,性能可以与监督学习的性能持平。此外,该方法被证明是有效的无源无监督领域自适应在反向。
2022-05-28 cs.CV
Adversarial Network with Multiple Classifiers for Open Set Domain Adaptation
Federation University(联邦大学);Murdoch University(莫道克大学)
领域自适应的目的是将知识从具有足够标记样本的领域转移到具有稀缺标记样本的领域。先前的研究已经在文献中引入了各种开集领域自适应设置,以扩展领域自适应方法在现实世界场景中的应用。本文重点研究了开集领域自适应的类型,其中目标域既有私有(“未知类”)标签空间,又有共享(“已知类”)标签空间。然而,源域只有“已知类”标签空间。流行的分布匹配领域自适应方法是不够的,在这样的设置,需要适应从一个较小的源域到一个更大的和不同的目标域与更多的类。为了解决这种特定的开集领域自适应设置,现有研究引入了一种领域对抗模型,该模型使用固定阈值来区分已知和未知的目标样本,并且缺乏处理负转移。我们扩展了他们的对抗模型,提出了一种新的对抗领域自适应模型与多个辅助分类器。所提出的多分类器结构引入了一个加权模块,该模块评估不同的域特征,用于为目标样本分配权重,这些权重更能代表它们是否可能属于已知和未知类,以鼓励对抗训练期间的积极转移,同时减少源域和目标域的共享类之间的域间隙。一个彻底的实验研究表明,我们提出的方法优于现有的领域自适应方法在一些领域自适应数据集。
2020-08-07 cs.CV
RDA: Robust Domain Adaptation via Fourier Adversarial Attacking
Singtel Cognitive and Artificial Intelligence Lab for Enterprises(Singtel企业认知与人工智能实验室);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
无监督领域自适应(Unsupervised domain adaptation,UDA)是一种在有标记的源域中进行监督损失,在无标记的目标域中进行无监督损失的自适应算法,由于监督源域损失具有明显的域间隙,而无监督目标域损失由于缺乏标注而往往带有噪声,因此UDA算法通常面临比经典监督学习更严重的过拟合问题。本文提出了一种鲁棒的领域自适应技术RDA,该技术引入对抗性攻击来减轻UDA中的过拟合。我们实现了强大的领域自适应通过一种新的傅立叶对抗攻击(FAA)的方法,允许大幅度的扰动噪声,但具有最小的修改图像的语义,前者是至关重要的,其生成的对抗样本的有效性,由于“域间隙”的存在。具体来说,FAA将图像分解为多个频率分量(FC),并通过扰动某些捕获很少语义信息的FC来生成对抗样本。使用FAA生成的样本,训练可以继续“随机游走”并漂移到具有平坦损耗景观的区域,从而导致更鲁棒的领域自适应。在多个领域自适应任务上的大量实验表明,RDA可以以优异的性能与不同的计算机视觉任务一起工作。
2021-08-15 cs.CV
Reproducibility of "FDA: Fourier Domain Adaptation forSemantic Segmentation
以下论文是CVPR 2020中发布的“FDA:用于语义分割的傅立叶领域自适应“的再现性报告,作为ML再现性挑战2020的一部分。原始代码由作者提供。包含所有消融研究的代码注释版本(源自原始代码以及WANDB集成)可在<github.com/thefatbandit/FDA>上获得,并在README中提供了执行实验的适当说明。
2021-04-30 cs.CV
Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations
Technische Universität Braunschweig(布伦瑞克工业大学)
在本文中,我们提出了一个解决方案的任务“无监督领域自适应(UDA)的一个给定的预先训练的语义分割模型,而不依赖于任何源域表示”。以前用于语义分割的UDA方法要么在源域和目标域中同时训练模型,要么依赖于额外的网络,在适应期间将源域知识重放到模型。相比之下,我们提出了一种新的无监督BatchNorm自适应(UBNA)方法,该方法将给定的预训练模型适应于一个看不见的目标域,而不使用-超出预训练的现有模型参数-任何源域表示(既不是数据,也不是网络),并且也可以应用于在线设置或以Few-Shot方式使用来自目标域的几个未标记图像。具体来说,我们使用指数衰减的动量因子将归一化层统计信息部分地适应目标域,从而混合来自两个域的统计信息。通过对语义分割的标准UDA基准的评估,我们表明,这优于没有适应的模型和仅使用目标域统计数据的基线方法。与标准的UDA方法相比,我们报告的性能和使用的源域表示之间的权衡。
2021-11-11 cs.CV
Unsupervised Domain Adaptation for Image Classification via Structure-Conditioned Adversarial Learning
Zhejiang University(浙江大学);Huawei Technologies(华为技术有限公司)
无监督领域自适应(UDA)通常通过对抗学习将知识从标签丰富的源领域转移到未标记的目标领域。原则上,现有的UDA方法主要关注域之间的全局分布对齐,而忽略了固有的局部分布特性。基于这一观察结果,我们提出了一种端到端的结构条件对抗学习方案(SCAL),该方案能够在域分布对齐过程中保持类内紧凑性。通过使用局部结构作为结构感知条件,该方案在结构条件对抗学习管道中实现。上述学习过程通过在局部结构建立和结构条件对抗学习之间交替来迭代执行。实验结果证明了该方案在UDA场景中的有效性。
2021-03-04 cs.CV
Adversarial Discriminative Domain Adaptation
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Boston University(波士顿大学)
对抗性学习方法是训练强大深度网络的一种很有前途的方法,并且可以在不同领域生成复杂的样本。尽管存在域偏移或数据集偏差,它们也可以提高识别率:最近引入了几种对抗无监督领域自适应的方法,它们减少了训练和测试域分布之间的差异,从而提高了泛化性能。先前的生成方法显示出令人信服的可视化,但在区分性任务上不是最佳的,并且可以限于较小的变化。先前的判别方法可以处理更大的域偏移,但对模型施加了绑定权重,并且没有利用基于GAN的损失。我们首先概述了一个新的广义框架对抗适应,其中包括最近的国家的最先进的方法作为特殊情况下,我们使用这种广义的观点,以更好地与以前的方法。我们提出了一个以前未探索的实例,我们的一般框架,结合了歧视性建模,untied权重共享,和GAN的损失,我们称之为对抗歧视性领域自适应(ADDA)。我们证明了ADDA比竞争领域对抗方法更有效,但也更简单,并通过在标准跨领域数字分类任务和新的更困难的跨模态对象分类任务上超过最先进的无监督自适应结果来证明我们的方法的前景。
2017-02-17 cs.CV
Unsupervised Contrastive Domain Adaptation for Semantic Segmentation
University of Oxford(牛津大学);Intel Labs(英特尔实验室)
语义分割模型在领域转换的情况下难以推广。在本文中,我们介绍了对比学习的跨领域自适应的特征对齐。我们组装域内对比对和跨域对比对来学习跨域对齐的区分特征。基于得到的对齐良好的特征表示,我们引入了一种标签扩展方法,该方法能够在自适应过程中从硬类中发现样本,以进一步提高性能。所提出的方法始终优于国家的最先进的领域自适应的方法。当在合成的GTA 5数据集和未标记的Cityscapes图像上训练时,它在Cityscapes数据集上实现了60.2%mIoU。
2022-04-18 cs.CV
GAMA: Geometry-Aware Manifold Alignment via Structured Adversarial Perturbations for Robust Domain Adaptation
针对域适应中源目标域流形差异大、现有方法忽略精确流形对齐与结构化扰动探索的问题,提出几何感知流形对齐框架GAMA,通过切空间探索和流形约束优化实现显式对齐,理论与实验均验证其在多数据集上的性能优势。
2025-05-21 cs.CV
Foreground-Aware Stylization and Consensus Pseudo-Labeling for Domain Adaptation of First-Person Hand Segmentation
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
手部分割是第一人称视觉中的一项重要任务。由于第一人称图像在不同的环境中表现出强烈的外观偏差,因此在手部分割中需要将预训练的分割模型适应新的领域。在这里,我们分别关注手部区域和背景的外观间隙。我们提出了(i)前景感知图像风格化和(ii)共识伪标记的领域自适应的手分割。我们使用目标图像作为样式,为前景和背景独立地对源图像进行样式化。为了解决风格化没有解决的领域转移,我们通过在源图像和风格化的源图像上训练的模型之间取得共识来应用谨慎的伪标签。我们验证了我们的方法领域自适应的手分割从真实和模拟图像。我们的方法在这两种情况下都达到了最先进的性能。我们还展示了具有挑战性的多目标领域自适应和领域泛化设置有前途的结果。代码可在https://github.com/ut-vision/FgSty-CPL上获得。
2022-03-27 cs.CV
Unsupervised Domain Adaptation with Adversarial Residual Transform Networks
Tongji University(同济大学);New Jersey Institute of Technology(新泽西理工学院);Macau University of Science and Technology(澳门科技大学)
领域自适应被广泛应用于缺乏标签的学习问题。最近的研究表明,深度对抗性领域自适应模型可以显著提高性能,包括对称和非对称架构。但前者泛化能力差,后者训练难度大。本文提出了一种新的对抗性领域自适应方法--对抗性残差变换网络(ARTNs),它直接将源特征变换到目标特征空间,提高了泛化能力。该模型利用剩余连接实现特征共享,重构了对抗损失,使模型具有更好的通用性和训练性。此外,一个特殊的正则化项被添加到损失函数,以减轻消失的梯度问题,这使得它的训练过程稳定。基于Amazon评论数据集、digits数据集和Office-31图像数据集的实验表明,本文提出的ARTN方法可以与现有方法相媲美。
2019-09-18 cs.CV
Adversarial Consistent Learning on Partial Domain Adaptation of PlantCLEF 2020 Challenge
Lehigh University(利哈伊大学)
领域自适应是解决领域迁移问题的关键技术之一。部分领域自适应解决了目标类别仅是源类别的子集的情况。在本文中,为了实现跨域植物图像的有效表示,我们首先从预训练模型中提取深度特征,然后在统一的深度架构中开发对抗一致性学习($ACL$),用于部分领域自适应。它包括源域分类损失、对抗学习损失和特征一致性损失。对抗性学习损失可以保持源域和目标域之间的域不变特征。此外,特征一致性损失可以保持两个域之间的细粒度特征过渡。通过对源域中不相关的类别进行降权,找到两个域的共享类别。实验结果表明,从NASNetLarge模型与建议的$ACL$架构的训练功能产生有前途的结果PlantCLEF 2020挑战。
2020-09-19 cs.CV
Partial Adversarial Domain Adaptation
Tsinghua University(清华大学);National Engineering Laboratory for Big Data Software(大数据系统软件国家工程实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
领域对抗学习在两个玩家的极大极小游戏中对齐源域和目标域的特征分布。现有的领域对抗网络通常假设不同领域的标签空间相同。在大数据存在的情况下,有强烈的动机将深度模型从现有的大领域转移到未知的小领域。本文引入部分领域自适应作为一种新的领域自适应方案,它将完全共享标签空间的假设放宽为源标签空间包含目标标签空间。以前的方法通常将整个源域与目标域进行匹配,由于标签空间之间存在较大的不匹配,因此很容易出现部分领域自适应问题的负迁移。我们提出了部分对抗领域自适应(PADA),它同时通过降低离群源类的数据权重来训练源分类器和域对手来消除负迁移,并通过匹配共享标签空间中的特征分布来促进正迁移。实验表明,PADA超过了国家的最先进的部分领域自适应任务的结果在几个数据集。
2018-08-10 cs.CV
Source-Free Domain Adaptation for Semantic Segmentation
East China Normal University(华东师范大学)
无监督领域自适应(UDA)可以解决基于卷积神经网络(CNN)的语义分割方法严重依赖于像素级注释数据的挑战,这是劳动密集型的。然而,在这方面,现有的UDA方法不可避免地需要完全访问源数据集,以减少模型自适应期间源域和目标域之间的差距,这在源数据集是私有的真实场景中是不切实际的,因此不能与经过良好训练的源模型一起发布。为了解决这个问题,我们提出了一个无源的领域自适应框架语义分割,即SFDA,其中只有一个训练有素的源模型和一个未标记的目标域数据集可用于适应。SFDA不仅能够在模型自适应过程中通过知识转移从源模型中恢复和保存源领域知识,而且还能够从目标领域中提取有价值的信息用于自监督学习。为语义分割量身定制的像素级和块级优化目标无缝集成在框架中。大量的基准数据集上的实验结果突出了我们的框架对依赖于源数据的现有UDA方法的有效性。
2021-03-30 cs.CV
Unsupervised Domain Adaptation in LiDAR Semantic Segmentation with Self-Supervision and Gated Adapters
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在本文中,我们专注于一个较少探索,但更现实和复杂的LiDAR语义分割领域自适应的问题。当训练(源域)和测试(目标域)数据来自不同的LiDAR传感器时,现有分割模型的性能会显着下降。为了克服这个缺点,我们提出了一个无监督的领域自适应框架,利用未标记的目标域数据进行自我监督,再加上一个不成对的掩码转移策略,以减轻域转移的影响。此外,我们引入了门控适配器模块与少量的参数到网络中,以占目标域特定的信息。从真实到真实和合成到真实LiDAR语义分割基准两者适配的实验证明了相对于现有技术的显著改进。
2022-03-21 cs.CV
Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation
Huawei Cloud(华为云);Huawei Technologies(华为技术有限公司);Dalian University of Technology(大连理工大学)
多源无监督领域自适应(MSDA)是将在多个已标记源域上训练的模型自适应到一个未标记目标域。在本文中,我们提出了一种新的多源领域自适应框架的基础上协作学习的语义分割。首先,引入一种简单的图像平移方法来对齐像素值分布,以在一定程度上减少源域和目标域之间的差距。然后,为了充分利用跨源域的基本语义信息,我们提出了一种协作学习方法,用于领域自适应,而无需看到任何来自目标域的数据。此外,与无监督领域自适应的设置类似,利用未标记的目标领域数据来进一步提高领域自适应的性能。这是通过附加地约束多个自适应模型的输出来实现的,所述输出具有由集成模型在线生成的伪标签。在语义分割中,对广泛使用的领域自适应基准数据集进行了广泛的实验和消融研究。我们提出的方法通过在标记的Synscapes和GTA 5数据集以及未标记的Cityscapes训练集上进行训练,在Cityscapes的验证集上实现了59.0\%的mIoU。它明显优于所有以前的国家的最先进的单源和多源无监督领域自适应方法。
2021-06-18 cs.CV
Probabilistic Domain Adaptation for Biomedical Image Segmentation
Georg-August-University Göttingen(哥廷根大学);Institute of Computer Science(计算机科学学院);Campus Institute Data Science (CIDAS)(校园数据科学研究所);CAIMed - Lower Saxony Center for AI & Causal Methods in Medicine(下萨克森人工智能与因果医学中心);Cluster of Excellence Multiscale Bioimaging (MBExC)(多尺度生物成像卓越中心)
针对生物医学图像分割中泛化不足的问题,提出基于自训练和概率UNet的概率域自适应方法,通过采样多个分割假设改进伪标签过滤,并在三个任务上验证有效性。
2025-08-03 cs.CV
SRDA: Generating Instance Segmentation Annotation Via Scanning, Reasoning And Domain Adaptation
Shanghai Jiaotong University(上海交通大学)
实例分割是计算机视觉中的一个重要问题。然而,为这项任务准备带注释的数据是非常耗时和昂贵的。通过结合3D扫描,推理和基于GAN的领域自适应技术的优点,我们引入了一种名为SRDA的新管道,以非常小的努力获得大量的训练样本。我们的管道非常适合可扫描的场景,即大多数室内和一些室外场景。为了评估我们的性能,我们构建了三个代表性的场景和一个新的数据集,其中包含各种常见对象类别的3D模型和带注释的真实场景图像。大量的实验表明,我们的流水线可以实现体面的实例分割性能给出非常低的人力成本。
2018-07-13 cs.CV
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)(丰田研究所)
模拟器可以有效地生成大量带标签的合成数据,并对难以标记的任务(如语义分割)进行完美的监督。然而,它们引入了一个域间隙,严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距,并提高模拟到真实的无监督领域自适应(UDA)。我们的几何无监督领域自适应方法(GUDA)通过多任务目标学习域不变表示,该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准,优于使用领域对抗学习,自我训练或其他自我监督代理任务的方法。此外,我们表明,我们的方法规模以及质量和数量的合成数据,同时也提高了深度预测。
2021-08-18 cs.CV
Few-Shot Adversarial Domain Adaptation
这项工作提供了一个框架,解决问题的监督领域自适应与深度模型。其主要思想是利用对抗学习来学习一个嵌入子空间,同时最大化两个域之间的混淆,同时在语义上对齐它们的嵌入。监督设置变得有吸引力,特别是当只有几个目标数据样本,需要标记。在这种少样本学习场景中,由于缺乏数据,语义概率分布的对齐和分离是困难的。我们发现,通过仔细设计一个训练方案,将典型的二进制对抗训练扩展到区分四个不同的类,可以有效地解决监督自适应问题。此外,该方法具有很高的适应速度,即它需要极少量的标记目标训练样本,甚至每个类别一个都可以是有效的。然后,我们广泛地比较这种方法的最先进的领域自适应在两个实验:一个使用数据集的手写数字识别,和一个使用数据集的视觉对象识别。
2017-11-05 cs.CV
Unsupervised Domain Adaptation through Shape Modeling for Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学);East China Normal University(华东师范大学)
形状信息是医学图像中器官分割的重要先验信息。然而,目前大多数基于深度学习的分割算法没有考虑形状信息,这可能导致偏向纹理。我们的目标是明确的形状建模和使用它来帮助医学图像分割。以前的方法提出了基于变分自编码器(VAE)的模型来学习特定器官的形状分布,并使用它通过将其拟合到学习的形状分布中来自动评估分割预测的质量。在此基础上,我们的目标是将VAE纳入当前的分割管道。具体来说,我们提出了一个新的无监督领域自适应管道的基础上的伪损失和VAE重建损失下的师生学习范式。这两种损失同时得到优化,反过来,提高了分割任务的性能。在三个公共胰腺分割数据集以及两个内部胰腺分割数据集上的广泛实验显示出一致的改进,Dice分数至少增加2.8分,证明了我们的方法在挑战无监督领域自适应场景中的有效性。我们希望这项工作将推进医学成像中的形状分析和几何学习。
2022-07-06 cs.CV
CoMaL: Conditional Maximum Likelihood Approach to Self-supervised Domain Adaptation in Long-tail Semantic Segmentation
University of Arkansas(阿肯色大学);Concordia University(康考迪亚大学);West Virginia University(西弗吉尼亚大学)
本文提出CoMaL方法,通过条件最大似然和结构依赖建模解决长尾语义分割中的自监督域自适应问题,并在SYNTHIA/GTA到Cityscapes基准上显著超越现有方法。
2023-04-14 cs.CV
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City(胡志明市科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);University of Liverpool(利物浦大学);University of Information Technology(信息技术大学)
领域自适应是训练强大的深度神经网络的一种潜在方法,它可以处理没有标记数据的情况。更准确地说,领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想,试图根据对抗对象的不同,使训练数据集和测试数据集之间的分布最小化。然而,一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位,或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应(SADDA),它可以克服其他领域自适应方法的局限性。我们还表明,SADDA具有更好的性能比其他对抗性的适应方法,并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
Correlated Adversarial Joint Discrepancy Adaptation Network
Lehigh University(理海大学)
领域自适应旨在缓解知识从一个领域转移到另一个相似但不同的领域时的领域转移问题。然而,大多数现有的作品依赖于提取边缘特征,而不考虑类标签。此外,一些方法将其模型命名为所谓的无监督领域自适应,同时使用目标域标签来调整参数。为了解决这些问题,我们提出了一种称为相关对抗联合差异自适应网络(CAJNet)的新方法,该方法最大限度地减少了两个域的联合差异,并通过使用相关标签调整参数来实现有竞争力的性能。通过训练联合特征,我们可以对齐两个域之间的边缘分布和条件分布。此外,我们引入了一个基于概率的顶部- $\mathcal{K}$相关标签($\mathcal{K}$ -label),这是一个强大的指标的目标域和有效的度量调整参数,以帮助预测。在基准数据集上进行的大量实验表明,与现有技术相比,分类精度有了显着提高。
2021-05-18 cs.CV
Unsupervised Domain Adaptation for Learning Eye Gaze from a Million Synthetic Images: An Adversarial Approach
IIT Kharagpur(印度理工学院卡拉格普尔分校)
随着图形引擎的当代进步,深度学习社区的最新趋势是在自动注释的模拟示例上训练模型,并在测试期间应用于真实数据。这减轻了手动注释的负担。然而,图形引擎生成的图像与真实世界的图像在分布上存在着固有的差异。这种域差异会降低在合成示例上训练的模型的测试时间性能。在本文中,我们通过跨合成域和实域的无监督对抗特征自适应来解决这个问题,用于眼睛注视估计的特殊用例,这是各种下游HCI任务的重要组成部分。我们首先学习从3D游戏引擎渲染的带注释的合成样本上的凝视估计器,然后通过零和极大极小对抗游戏来适应未注释的真实样本的特征,该对抗游戏遵循最近的生成对抗网络的范例。这种对抗性适应迫使两个域的特征无法区分,这使得我们能够使用在合成域上训练的回归模型来用于真实样本。在具有挑战性的MPIIGaze真实生活数据集上,我们的表现优于最近在手动注释的真实样本上训练的完全监督方法,并且与SimGAN的当前基准方法相比,在适应后还实现了13\%的相对增益
2018-10-18 cs.CV
Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation
Inria(法国国家信息与自动化研究所);Valeo(法雷奥)
领域自适应是在标签稀缺时实现学习的重要任务。虽然大多数作品只关注图像模态,但有许多重要的多模态数据集。为了利用多模态进行领域自适应,我们提出了跨模态学习,通过相互模仿来加强两种模态预测之间的一致性。我们限制我们的网络对标记数据进行正确的预测,并对未标记的目标域数据进行跨模态的一致预测。在无监督和半监督领域自适应环境下的实验证明了这种新的领域自适应策略的有效性。具体来说,我们评估的任务,3D语义分割从二维图像,三维点云或从两者。我们利用最近的驾驶数据集来产生各种各样的领域自适应场景,包括场景布局、照明、传感器设置和天气的变化,以及合成到真实的设置。我们的方法显着改善了以前的单峰适应基线的所有适应场景。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取
2022-06-22 cs.CV
DAVOS: Semi-Supervised Video Object Segmentation via Adversarial Domain Adaptation
Tongji University(同济大学)
域偏移一直是视频对象分割(VOS)中的主要问题之一,当在不熟悉的数据集上测试时,模型会退化。近年来,出现了许多在线方法,通过对通常不足的测试数据的注释进行微调,来缩小训练数据(源域)和测试数据(目标域)之间的性能差距。在本文中,我们提出了一种新的方法来解决域转移,首先引入对抗性领域自适应的VOS任务,与监督训练的源域和目标域上的无监督训练。通过将外观和运动特征与卷积层融合,并通过在运动分支上添加监督,我们的模型在DAVIS 2016上实现了最先进的性能,在监督训练后平均IoU得分为82.6%。同时,我们的对抗性领域自适应策略在FBMS 59和Youtube-Object上应用时显着提高了训练模型的性能,而无需利用额外的注释。
2021-05-24 cs.CV
Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation and Koos Grade Prediction based on Semi-Supervised Contrastive Learning
Radboud University Medical Center(拉德堡德大学医学中心);The Netherlands Cancer Institute(荷兰癌症研究所);Nanjing University of Information Science and Technology(南京信息工程大学)
领域自适应已被广泛采用,以在多个供应商和多个中心之间传输样式,以及补充缺失的模态。在这项挑战中,我们提出了一个无监督的领域自适应框架,用于跨模态前庭神经鞘瘤(VS)和耳蜗分割和Koos等级预测。我们从ceT 1和hrT 2图像中学习共享表示,并从潜在表示中恢复另一种模态,并且我们还利用VS分割和大脑分割的代理任务来限制领域自适应中图像结构的一致性。在生成缺失模态后,nnU-Net模型用于VS和耳蜗分割,而半监督对比学习预训练方法用于提高Koos等级预测的模型性能。在CrossMoDA验证阶段排行榜上,我们的方法在task 1中获得了4级,平均Dice得分为0.8394,在task 2中获得了2级,宏观平均均方误差为0.3941。我们的代码可在https://github.com/fiy2W/cmda2022.superpolymerization上获得。
2022-10-09 cs.CV
Gradually Vanishing Bridge for Adversarial Domain Adaptation
University of Chinese Academy of Sciences(中国科学院大学);Kingsoft Cloud(金山云);Peng Cheng Laboratory(鹏城实验室)
在无监督领域自适应中,丰富的领域特性给学习领域不变表示带来了巨大的挑战。然而,在现有的解决方案中,域差异被认为是直接最小化的,这在实践中是难以实现的。一些方法通过显式地对表示中的领域不变部分和领域特定部分进行建模来缓解这一困难,但显式构造的不利影响在于所构造的领域不变表示中残留的领域特定特征。在本文中,我们配备了对抗领域自适应逐渐消失桥(GVB)机制的发生器和同步器。在生成器上,GVB不仅可以降低整体的传输难度,而且可以减少域不变表示中剩余的域特定特征的影响。在训练过程中,GVB有助于提高识别能力,平衡对抗训练过程。在三个具有挑战性的数据集上的实验表明,我们的GVB方法优于强大的竞争对手,并与其他对抗方法合作良好。该代码可在https://github.com/cuishuhao/GVB上获得。
2020-03-30 cs.CV
Medical Image Segmentation with Domain Adaptation: A Survey
Perelman School of Medicine at the University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
该综述聚焦基于深度学习的医学图像分割域适应方法,梳理相关背景、应用现状,分析挑战与未来方向,为领域研究者提供最新参考。
2023-11-03 cs.CV eess.IV
Multi-step domain adaptation by adversarial attack to $\mathcal{H} Δ\mathcal{H}$-divergence
ITMO University(圣彼得堡国立信息技术机械与光学大学);Artificial Intelligence Research Institute(人工智能研究所);Tubingen Universitat(图宾根大学)
对抗性例子可以在不同的模型之间转换。在我们的论文中,我们建议使用此属性的多步领域自适应。在无监督的领域自适应设置中,我们证明了用对抗性示例替换源域到$\mathcal{H} Δ\mathcal{H}$ -发散可以提高目标域上的源分类器精度。我们的方法可以连接到大多数领域自适应技术。我们进行了一系列实验,并在Digits和Digi-Home数据集上实现了准确性的提高。
2022-07-18 cs.CR cs.CV cs.LG
Domain Adaptation with Adversarial Training on Penultimate Activations
Stony Brook University(石溪大学);XPeng Motors(小鹏汽车)
增强模型对目标数据的预测置信度是无监督领域自适应(UDA)的一个重要目标。在本文中,我们探讨了倒数第二次激活的对抗性训练,即,最终线性分类层的输入特征。我们表明,这种策略比以前的作品中使用的对输入图像或中间特征的对抗性训练更有效,并且与提高预测置信度的目标更相关。此外,激活归一化通常用于领域自适应,以减少域间隙,我们推导出两个变体,并系统地分析了归一化对我们的对抗训练的影响。这一点在理论上和实际的适应任务的实证分析都得到了说明。在标准设置和源数据自由设置下,对流行的UDA基准进行了广泛的实验。结果验证了我们的方法达到了最好的分数对以前的艺术。代码可在https://github.com/tsun/APA上获得。
2023-02-26 cs.CV cs.LG
Adversarial Robustness for Unsupervised Domain Adaptation
Dept. of Computer Science, Kyung-Hee University(庆熙大学计算机科学系);Dept. of Computer Science, The University of Hong Kong(香港大学计算机科学系)
广泛的无监督领域自适应(UDA)研究已经在实践中取得了巨大的成功,通过使用深度模型学习标记源域和未标记目标域的可转移表示。然而,以前的工作集中在提高UDA模型对干净样本的泛化能力,而没有考虑对抗鲁棒性,这在现实世界的应用中是至关重要的。传统的对抗训练方法不适用于UDA的未标记目标域上的对抗鲁棒性,因为它们使用由监督损失函数生成的对抗示例来训练模型。在这项工作中,我们利用多个强大的ImageNet模型学习的中间表示来提高UDA模型的鲁棒性。我们的方法通过将UDA模型的特征与ImageNet预训练模型以及领域自适应训练所学习的鲁棒特征进行对齐来工作。它利用标记和未标记的域,并在领域自适应训练期间注入鲁棒性,而无需任何对抗性干预或标签要求。实验结果表明,与基线相比,我们的方法显着提高了对抗鲁棒性,同时在各种UDA基准上保持了干净的准确性。
2021-09-02 cs.CV cs.LG
Discriminative Adversarial Domain Adaptation
South China University of Technology(华南理工大学)
无监督领域自适应的目标是在给定源域上的已标记实例和目标域上的未标记实例的情况下,学习一个能够很好地分类目标实例的任务分类器。最近的进展依赖于深度网络的领域对抗训练来学习领域不变特征。然而,由于任务和领域分类器的单独设计引起的模式坍塌的问题,这些方法在对齐跨领域的特征和类别的联合分布方面受到限制。为了克服这个问题,我们提出了一种新的对抗性学习方法,称为歧视性对抗领域自适应(DADA)。基于集成的类别和域分类器,DADA具有一个新的对抗性目标,该目标鼓励任何输入实例的类别和域预测之间的相互抑制关系。我们表明,在实际条件下,它定义了一个极大极小博弈,可以促进联合分布对齐。除了传统的闭集领域自适应,我们还扩展了DADA的部分和开集领域自适应的极具挑战性的问题设置。实验表明,我们提出的方法的有效性,我们实现了新的国家的最先进的基准数据集上的所有三个设置。
2019-12-17 cs.CV cs.LG
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University(深圳大学);IBM(国际商业机器公司);University of Nottingham(诺丁汉大学)
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响,即,攻击者故意设计的机器学习模型的输入,以使模型出错。为了提高神经网络的对抗鲁棒性,对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而,对抗性训练可能过度适应特定类型的对抗攻击,并且还导致干净图像的标准准确度下降。为此,我们提出了一种新的类感知领域自适应(CADA)方法,用于对抗性防御,而不直接应用对抗性训练。具体来说,我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外,我们还将一个类感知组件引入到网络中,以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明,我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击,并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University(罗格斯大学);Toutiao AI Lab(今日头条AI实验室);Snap Research(Snap研究)
在本文中,我们提出了因子化对抗网络(FAN)解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间,该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间,分别用于源域和目标域。无监督领域自适应通过对抗训练来实现,以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明,所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外,我们收集了两个比现有基准数据集大得多的真实世界的标记数据集,并在基线上得到了显着的改进,证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Vision Transformer-based Adversarial Domain Adaptation
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文首次将Vision Transformer(ViT)作为即插即用特征提取器引入对抗域适应,证明其直接替换现有无监督域适应方法中的CNN即可有效提升性能。
2024-04-24 cs.CV cs.LG
Self-adaptive Re-weighted Adversarial Domain Adaptation
Chongqing University(重庆大学)
现有的对抗性领域自适应方法主要考虑边缘分布,这些方法可能导致欠迁移或负迁移。为了解决这个问题,我们提出了一种自适应重加权对抗领域自适应方法,试图从条件分布的角度来增强域对齐。为了促进正迁移和对抗负迁移,我们降低了对齐特征的对抗性损失的权重,同时增加了那些通过条件熵测量的对齐不良特征的对抗性力量。此外,利用源样本和伪标记的目标样本的三重丢失在混淆域上被采用。这种度量损失确保类内样本对的距离比类间样本对更接近,以实现类级对齐。通过这种方式,可以在协同训练过程中同时捕获高精度的伪标记目标样本和语义对齐。我们的方法实现了理想源和目标假设的低联合误差。然后,预期的目标误差可以是遵循本-大卫定理的上限。实验结果表明,该模型在标准领域自适应数据集上的性能优于现有技术。
2020-06-02 cs.CV cs.LG
Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation
Fudan University(复旦大学)
无监督区域自适应算法在医学图像分割中具有重要的应用价值。特别地,当目标图像的地面实况不可用时,域自适应可以通过利用来自其他模态的现有标记图像来训练目标特定的模型。大多数已报道的作品都将源域和目标域的图像映射到一个共同的潜在特征空间中,然后通过对抗性训练隐式地或直接最小化差异度量来显式地减少它们的差异。在这项工作中,我们提出了一个新的框架,这两个域的潜在特征被驱动到一个共同的和参数化的变分形式,其条件分布给定的图像是高斯。这是通过基于变分自动编码器(VAE)的两个网络和这种变分近似的正则化来实现的。两个VAE,每个域,包含一个分割模块,其中源分割是以监督的方式训练,而目标分割是无监督地训练。我们使用两个心脏分割任务验证了所提出的域自适应方法,即,跨模态(CT和MR)全心脏分割和跨序列心脏MR分割。结果表明,该方法实现了更好的精度相比,两个国家的最先进的方法,并表现出良好的潜力,心脏分割。此外,所提出的显式正则化被证明是有效的,有效地缩小域之间的分布差距,这是有用的无监督域自适应。我们的代码和数据已通过https://zmiclab.github.io/projects.html发布。
2021-06-16 cs.CV eess.IV
Self-training Guided Adversarial Domain Adaptation For Thermal Imagery
Aselsan Inc(阿瑟尔桑公司);Middle East Technical University(中东技术大学);NOROM Neuroscience and Neurotechnology Excellency Center(NOROM神经科学与神经技术卓越中心)
在大规模RGB图像数据集上训练的深度模型已经取得了巨大的成功。重要的是将这种深层模型应用于现实世界的问题。然而,这些模型在光照变化下受到性能瓶颈的影响。热红外相机对这种变化更鲁棒,因此对现实世界的问题非常有用。为了研究结合特征丰富的可见光谱和热图像模态的有效性,我们提出了一种无监督的领域自适应方法,该方法不需要RGB到热图像对。我们采用大规模的RGB数据集MS-COCO作为源域和热数据集FLIR ADAS作为目标域来展示我们的方法的结果。虽然对抗性领域自适应方法旨在对齐源域和目标域的分布,但是简单地对齐分布不能保证对目标域的完美泛化。为此,我们提出了一种自训练引导的对抗性领域自适应方法,以提高对抗性领域自适应方法的泛化能力。为了执行自训练,将伪标签分配给目标热域上的样本,以学习目标域的更一般化的表示。大量的实验分析表明,我们提出的方法取得了更好的结果比国家的最先进的对抗性领域自适应方法。代码和模型是公开的。
2021-06-14 cs.CV cs.LG
Adv-4-Adv: Thwarting Changing Adversarial Perturbations via Adversarial Domain Adaptation
Nanyang Technological University(南洋理工大学)
本文提出 Adv-4-Adv 对抗训练方法,将不同攻击视为不同域并利用对抗域适应学习域不变表示,从而提升模型对未见强攻击的泛化鲁棒性。
2023-12-07 cs.AI cs.CV
Edge-preserving Domain Adaptation for semantic segmentation of Medical Images
Ryerson University(瑞尔森大学)
领域自适应是一种解决在不可见环境中缺乏大量标记数据的技术。提出了无监督领域自适应,以仅使用标记的源数据和未标记的目标领域数据来使模型适应新的模态。虽然已经提出了许多图像空间领域自适应方法来捕获像素级的域偏移,但是这样的技术可能无法为分割任务保持高级语义信息。对于生物医学图像的情况,在域之间的图像变换操作期间可能丢失诸如血管的精细细节。在这项工作中,我们提出了一个模型,适应域之间使用周期一致的损失,同时保持边缘的原始图像的细节,通过强制执行基于边缘的损失在适应过程中。我们证明了我们的算法的有效性,通过比较它与其他方法对两个眼底血管分割数据集。与SOTA相比,我们实现了1.1到9.2的DICE分数增量,与香草CycleGAN实现相比,增量约为5.2。
2021-11-18 cs.CV cs.LG
Cluster-to-adapt: Few Shot Domain Adaptation for Semantic Segmentation across Disjoint Labels
University of California San Diego(加州大学圣地亚哥分校)
跨由相同类别组成的数据集的语义分割的领域自适应最近已经取得了一些成功。然而,更一般的情况是源数据集和目标数据集对应于不重叠的标签空间。例如,分割数据集中的类别根据环境或应用程序的类型而变化很大,但共享许多有价值的语义关系。现有的方法的基础上的特征对齐或差异最小化不考虑这种类别的转变。在这项工作中,我们提出了一种基于聚类的计算高效的方法,用于在具有完全不同但可能相关的类别的分割数据集上进行领域自适应。我们表明,这样的聚类目标在变换后的特征空间中强制执行,用于自动选择跨源和目标域的类别,这些类别可以对齐以提高目标性能,同时防止不相关类别的负转移。我们证明了我们的方法的有效性,通过实验上的挑战性问题的室外到室内的适应语义分割在Few-Shot以及zero-shot设置,与现有的方法和基线在所有情况下的性能的一致改进。
2022-08-04 cs.CV cs.LG
AH-OCDA: Amplitude-based Curriculum Learning and Hopfield Segmentation Model for Open Compound Domain Adaptation
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
针对开放复合域适应中标签缺失问题,提出 AH-OCDA,利用 FFT 振幅课程学习和 Hopfield 分割模型实现跨域特征对齐,并在多个基准上达到最优性能。
2024-12-03 cs.AI cs.CV
Exploring Adversarially Robust Training for Unsupervised Domain Adaptation
Johns Hopkins University(约翰斯·霍普金斯大学)
无监督领域自适应(UDA)方法旨在将知识从标记的源域转移到未标记的目标域。UDA在计算机视觉文献中得到了广泛的研究。深度网络已被证明容易受到对抗攻击的攻击。然而,很少有人关注提高深度UDA模型的对抗鲁棒性,这引起了人们对模型可靠性的严重担忧。对抗性训练(AT)被认为是最成功的对抗性防御方法。然而,传统的AT需要地面实况标签来生成对抗性示例和训练模型,这限制了其在未标记目标域中的有效性。本文的目的是探索AT来增强UDA模型的鲁棒性:如何通过AT增强未标记数据的鲁棒性,同时学习UDA的域不变特征?为了回答这个问题,我们提供了一个系统的研究,可以应用于UDA的多种AT变体。此外,我们提出了一种新的UDA的对抗鲁棒训练方法,简称为ARTUDA。在多个对抗攻击和UDA基准测试上的大量实验表明,ARTUDA一致地提高了UDA模型的对抗鲁棒性。代码可在https://github.com/shaoyuanlo/ARTUDA上获得
2022-10-04 cs.CV cs.LG
Adversarial-Learned Loss for Domain Adaptation
Zhejiang University(浙江大学);Fabu Inc.(法布公司);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
近年来,跨领域的可迁移表征学习取得了显著的进展。领域自适应的研究主要基于两种技术:领域对抗学习和自训练。然而,领域对抗学习只对齐领域之间的特征分布,而不考虑目标特征是否具有区分性。另一方面,自训练利用模型预测来增强目标特征的区分度,但它无法显式地对齐域分布。为了结合这两种方法的优点,我们提出了一种新的方法称为领域自适应的不利学习损失(ALDA)。我们首先分析了伪标签方法,一种典型的自训练方法。然而,伪标签和地面事实之间存在差距,这可能导致不正确的训练。因此,我们引入了混淆矩阵,它是通过ALDA中的对抗方式学习的,以减少差距并对齐特征分布。最后,一个新的损失函数是自动构造的混淆矩阵,作为未标记的目标样本的损失。我们的ALDA在四个标准的领域自适应数据集上优于最先进的方法。我们的代码可在https://github.com/ZJULearning/ALDA上获得。
2020-01-04 cs.CV cs.LG
AED-PADA:Improving Generalizability of Adversarial Example Detection via Principal Adversarial Domain Adaptation
Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出 AED-PADA,通过识别覆盖主要对抗特征空间的 PADs 并引入多源无监督域适应,提升对抗样本检测在未知攻击和最小扰动场景下的泛化能力。
2024-12-04 cs.CR cs.CV cs.LG
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology(国防科技创新研究院)
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明,使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而,由于图像变换的不可微性质,必须应用诸如强化学习或演化策略的搜索算法,这对于大规模问题在计算上是不实用的。在这项工作中,我们表明,通过简单地应用随机数据增强的一致性训练,可以获得领域自适应(DA)和泛化(DG)的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性,提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外,所提出的方法显示出良好的鲁棒性腐败,这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
Active Adversarial Domain Adaptation
UMass Amherst(马萨诸塞大学阿默斯特分校);NEC Laboratories America(美国电气股份有限公司实验室);UC San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个主动学习的方法,跨域转移表示。我们的方法,主动对抗领域自适应(AADA),探讨了两个相关的问题之间的二元性:对抗域对齐和重要性采样跨域适应模型。前者使用域判别模型来对齐域,而后者利用它来加权样本以解释分布偏移。具体来说,我们的重要性权重促进样本具有较大的不确定性的分类和标记的例子的多样性,从而作为一个样本选择方案的主动学习。我们表明,这两种观点可以统一在一个框架的领域自适应和迁移学习时,源域有许多标记的例子,而目标域没有。当两个域密切相关时,AADA提供了基于微调的方法和其他采样方法的显着改进。具有挑战性的领域自适应任务的结果,例如,目标检测,证明了即使在数百个示例被主动注释之后,也保留了相对于基线方法的优势。
2020-03-09 cs.CV cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);Farsee2 Tech. Co.(Farsee2科技公司);Baidu Research(百度研究院)
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同,它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的,但更具挑战性,在传统的适应方法很容易失败,由于缺乏未标记的目标数据。为此,我们提出了一种新的对抗性风格挖掘方法,它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言,风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像,引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格,从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV