Multi-source Domain Adaptation for Visual Sentiment Classification
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校)
现有的视觉情感分类的领域自适应方法通常是在单源场景下研究的,其中从足够标记数据的源域学习的知识被转移到松散标记或未标记数据的目标域。然而,在实际应用中,来自单个源域的数据通常具有有限的量,并且难以覆盖目标域的特征。在本文中,我们提出了一种新的多源领域自适应(MDA)的方法,称为多源情感生成对抗网络(MSGAN),视觉情感分类。为了处理来自多个源域的数据,它学习找到一个统一的情感潜在空间,其中来自源域和目标域的数据共享类似的分布。这是通过端到端方式的周期一致性对抗学习来实现的。在四个基准数据集上进行的大量实验表明,MSGAN在视觉情感分类方面明显优于最先进的MDA方法。
2020-01-12 cs.CV
Category Contrast for Unsupervised Domain Adaptation in Visual Tasks
Nanyang Technological University(南洋理工大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
近年来,无监督表示学习的实例对比取得了很大的成功。在这项工作中,我们探讨了无监督领域自适应(UDA)的实例对比学习的想法,并提出了一种新的类别对比技术(CaCo),引入语义先验的实例歧视视觉UDA任务。通过将实例对比学习视为字典查找操作,我们构建了一个语义感知的字典,其中每个目标样本被分配一个(伪)类别标签的基础上的类别先验的源样本和目标域的样本。这允许类别对比学习(在目标查询和类别级字典之间)用于类别区分但域不变的特征表示:相同类别的样本(来自源或目标域)被拉近,而不同类别的样本同时被推开。在多个视觉任务中进行了广泛的UDA实验(例如,分割、分类和检测)表明,与现有技术的方法相比,CaCo实现了优越的性能。实验还表明,CaCo是对现有UDA方法的补充,并可推广到其他学习设置,如无监督模型自适应,开集/部分集自适应等。
2022-03-17 cs.CV
Domain Adaptation of Learned Features for Visual Localization
Facebook Reality Labs;Seoul National University(首尔大学);ASRI
我们在不断变化的条件下解决视觉定位问题,例如一天中的时间,天气和季节。最近基于深度神经网络学习的局部特征已经显示出优于经典手工制作的局部特征的性能。然而,在现实世界的场景中,训练图像和目标图像之间通常存在较大的域间隙,这会显着降低定位精度。虽然现有的方法利用大量的数据来解决这个问题,我们提出了一种新颖而实用的方法,只需要几个例子来减少域差距。特别是,我们提出了一个Few-Shot领域自适应框架学习的本地功能,处理不同条件下的视觉定位。实验结果表明,优于基线的性能,而使用的训练样本从目标域的数量稀少。
2020-08-21 cs.CV
Dynamic Adaptation on Non-Stationary Visual Domains
University of Amsterdam(阿姆斯特丹大学);TomTom
领域自适应的目标是在有监督的源域上学习模型,这些模型在无监督的目标上表现良好。先前的工作已经在固定域移位(即静态数据集)的上下文中检查了领域自适应。但是,对于大规模或动态数据源,来自已定义域的数据通常不能一次全部可用。例如,在流数据场景中,数据集统计数据实际上成为时间的函数。我们介绍了一个框架,适用于大规模和流数据场景的非平稳分布偏移的适应。该模型在传入的无监督流数据批次上顺序地适应。这可以在多个批次上进行改进,而不需要任何额外的注释数据。为了证明我们所提出的框架的有效性,我们修改关联领域自适应工作以及源和目标数据批次不平等的类分布。我们将我们的方法应用于几个自适应基准数据集进行分类,并显示出改进的分类器精度,不仅适用于当前适应的批次,而且适用于未来的流批次。此外,我们展示了我们的联想学习修改语义分割的适用性,在那里我们取得了有竞争力的结果。
2018-08-02 cs.CV
Learning Visual Conditioning Tokens to Correct Domain Shift for Fully Test-time Adaptation
Southern University of Science and Technology(南方科技大学);Pengcheng Lab(鹏城实验室);Huawei Technologies Co., LTD.(华为技术有限公司)
本文提出双层视觉条件令牌学习方法,利用Transformer类令牌捕获域特征,在测试时适应中去除域偏移,提升跨域性能达1.9%。
2024-07-17 cs.CV
Spectral Unsupervised Domain Adaptation for Visual Recognition
S-lab(S实验室);Nanyang Technological University(南洋理工大学)
尽管无监督领域自适应(UDA)近年来取得了令人瞩目的进展,但由于目标标注的缺失以及源和目标分布之间的差异,UDA仍然是一个巨大的挑战。我们提出了光谱UDA(SUDA),一个有效的和高效的UDA技术,工作在光谱空间,可以概括不同的视觉识别任务。SUDA从两个角度解决了UDA的挑战。首先,它引入了一个频谱Transformer(ST),减轻域间的差异,通过增强域不变的频谱,同时抑制源和目标样本的域变化的频谱。其次,它引入了多视图光谱学习,通过最大化每个目标样本的多个ST生成的光谱视图之间的互信息来学习有用的无监督表示。大量的实验表明,SUDA在目标检测、语义分割和图像分类等不同的视觉任务中都能保持较高的精度。此外,SUDA还与基于变压器的网络一起工作,并在目标检测方面实现了最先进的性能。
2022-06-05 cs.CV
Surgical Visual Domain Adaptation: Results from the MICCAI 2020 SurgVisDom Challenge
Intuitive, Inc.(直观医疗公司);Konica Minolta, Inc.(柯尼卡美能达公司);University College London(伦敦大学学院);University of Genoa(热那亚大学);University of Burgundy(勃艮第大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心)
手术数据科学通过启用上下文感知应用程序,正在彻底改变微创手术。然而,围绕开发情境感知模型所需的手术数据(以及更普遍的健康数据)存在许多挑战。这项工作-作为2020年医学图像计算和计算机辅助干预(MICCAI)会议上内窥镜视觉(EndoVis)挑战的一部分-旨在探索手术中视觉领域自适应的潜力,以克服数据隐私问题。特别是,我们建议使用虚拟现实(VR)模拟机器人辅助手术中的手术练习的视频来开发算法,以识别类似临床环境中的任务。我们提出了不同的方法来解决视觉领域自适应的挑战参与者开发的性能。我们的分析表明,所提出的模型无法单独从VR数据中学习有意义的基于运动的特征,但当少量临床数据也可用时,效果明显更好。基于这些结果,我们讨论了有前途的方法和进一步的工作,以解决问题的视觉领域自适应在手术数据科学。我们还在https://www.synapse.org/surgvisdom2020上公开发布挑战数据集。
2021-02-26 cs.CV
Visual Prompt Tuning for Test-time Domain Adaptation
Rutgers University(罗格斯大学);Amazon Web Services(亚马逊云科技)
模型应该能够在测试期间适应看不见的数据,以避免在实际部署场景中不可避免的分布偏移导致的性能下降。在这项工作中,我们解决了实际而具有挑战性的测试时自适应(TTA)问题,其中模型适应目标域,而无需访问源数据。我们提出了一个简单的配方称为\textit{Data-efficient Prompt Tuning}(DePT)与两个关键成分。首先,DePT将视觉提示插入到视觉Transformer中,并且仅在自适应期间调谐这些源初始化的提示。我们发现这种参数有效的微调可以有效地适应模型表示的目标域,而不会过度拟合的噪声在学习目标。其次,DePT通过基于存储体的在线伪标记将源表示引导到目标域。专门为提示设计的分层自监督正则化被联合优化,以减轻自训练期间的错误积累。由于可调参数少得多,DePT不仅在主要自适应基准VisDA-C、ImageNet-C和DomainNet-126上表现出最先进的性能,而且还具有卓越的数据效率,即,与100%数据相比,仅具有1%或10%数据的自适应没有太多性能降级。此外,DePT也是通用的,可以扩展到在线或多源TTA设置。
2022-11-30 cs.CV
CONDA: Continual Unsupervised Domain Adaptation Learning in Visual Perception for Self-Driving Cars
University of Arkansas(阿肯色大学)
针对自动驾驶视觉感知中分割模型遇新数据、旧数据因隐私不可用的问题,提出无需旧数据的CONDA持续无监督域自适应方法,通过双射最大似然损失防灾难性遗忘,在基准测试上性能先进。
2024-04-15 cs.CV
Open-Set Domain Adaptation with Visual-Language Foundation Models
The University of Tokyo(东京大学);Tokyo University of Science(东京理科大学)
本文探索将CLIP等视觉-语言基础模型应用于开放集域适应(ODA),通过研究零样本预测并提出熵优化策略辅助ODA模型,在多个基准上取得最优结果。
2023-07-30 cs.CV
Contrastive meta-domain adaptation for robust skin lesion classification across clinical and acquisition conditions
University of São Paulo(圣保罗大学)
提出基于视觉元域概念的适应策略,通过将大规模皮肤镜数据集的视觉表示迁移到临床图像域,提高皮肤病变分类的泛化鲁棒性。
2026-06-01 cs.CV
Open-Ended Visual Question Answering by Multi-Modal Domain Adaptation
Northwestern University(西北大学);Futurewei Technologies(华为未来技术研究院);University of Electronic Science and Technology of China(电子科技大学);University of Rochester(罗切斯特大学)
本文研究了图像中的视觉问答(VQA)问题,利用有监督的领域自适应,在源域中有大量的标记数据,而目标域中只有有限的标记数据,目的是训练一个好的目标模型。一个简单的解决方案是通过使用这些有限的标记目标数据来微调预训练的源模型,但由于源和目标域的数据分布之间存在相当大的差异,它通常不能很好地工作。此外,多种模式的可用性(即,VQA中的图像、问题和答案)对这些不同模式之间的可移植性建模提出了进一步的挑战。在本文中,我们解决了上述问题,提出了一种新的监督多模态领域自适应方法VQA学习跨不同领域和模态的联合特征嵌入。具体来说,我们通过考虑所有模态以及单独考虑每个模态来对齐源域和目标域的数据分布。基于广泛的实验基准VQA 2.0和VizWiz数据集的现实开放式VQA任务,我们证明了我们提出的方法优于现有的国家的最先进的方法,在这个具有挑战性的领域自适应设置VQA。
2019-11-11 cs.CV
Syn2Real: A New Benchmark forSynthetic-to-Real Visual Domain Adaptation
Boston University(波士顿大学);University of Tokyo(东京大学);University of California Berkeley(加州大学伯克利分校)
从合成数据到真实数据的对象识别模型的无监督传输是具有许多潜在应用的重要问题。挑战在于如何“适应”在模拟图像上训练的模型,使其在没有任何额外监督的情况下对真实世界的数据表现良好。不幸的是,这个问题的当前基准在规模和任务多样性方面是有限的。在本文中,我们提出了一个新的大型基准称为Syn2Real,它由一个合成域渲染的3D对象模型和两个真实的图像域包含相同的对象类别。我们在这个基准上定义了三个相关的任务:闭集对象分类、开集对象分类和目标检测。我们对多种最先进方法的评估揭示了更容易的闭集分类任务与更困难的开集和检测任务之间的适应性能存在很大差距。我们的结论是,开发适应方法,以及在所有三个任务的syn2real域转移提出了一个重大的未来挑战。
2018-06-26 cs.CV
Deep Learning Based Domain Adaptation Methods in Remote Sensing: A Comprehensive Survey
Department of Electronic and Information Engineering, Beihang University(北航电子与信息工程学院);Image Processing Center, School of Astronautics, Beihang University(北航航天学院图像处理中心);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
本文全面综述了基于深度学习的遥感域适应方法,涵盖任务分类、输入模式、监督范式和算法粒度,并总结数据集与最新性能,指出开放挑战,为遥感域适应研究提供系统性指导。
2025-10-17 cs.CV
Decoupling Vision and Language: Codebook Anchored Visual Adaptation
AWS;University of California, Los Angeles(加州大学洛杉矶分校)
CRAFT通过离散代码本解耦视觉与语言,实现无需修改其他部分的领域适应,提升LVLMs性能。
2026-02-23 cs.CV
AdaGraph: Unifying Predictive and Continuous Domain Adaptation through Graphs
Sapienza University of Rome(罗马第一大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Mapillary Research(Mapillary研究部);Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利理工学院);University of Trento(特伦托大学)
分类能力是视觉智能的基石,也是人工自主视觉机器的关键功能。如果没有能够适应和概括视觉领域的算法,这个问题将永远无法解决。在领域自适应和泛化的背景下,本文着重于预测领域自适应的情况下,即没有目标数据可用的情况下,系统必须学习从注释的源图像加上未标记的样本与辅助域的相关元数据进行泛化。我们的贡献是第一个处理预测域适应的深度架构,能够通过图形利用辅助域带来的信息。此外,我们提出了一个简单而有效的策略,使我们能够利用传入的目标数据在测试时,在一个连续的领域自适应的情况。三个基准数据库上的实验支持我们的方法的价值。
2019-06-12 cs.CV
Confidence-based Visual Dispersal for Few-shot Unsupervised Domain Adaptation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京国家信息科学与技术研究中心(BNRist));Hangzhou Zhuoxi Institute of Brain and Intelligence(杭州卓希脑与智能研究院)
针对少样本无监督域适应中源标签稀疏与目标样本难度差异问题,提出C-VisDiT,通过高置信度跨域迁移和易样本指导难样本的域内扩散提升性能。
2023-09-29 cs.CV
A Survey of Unsupervised Domain Adaptation for Visual Recognition
Lehigh University(里海大学)
虽然在许多领域中生成并提供了大量未标记的数据,但对视觉数据自动化理解的需求比以往任何时候都高。大多数现有的机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是,在现实世界的应用中无法满足这样的要求。标签的数量是有限的,手动注释数据是昂贵和耗时的。通常需要将知识从现有的标记域转移到新的域。然而,由于域之间的差异(域偏移或数据集偏差),模型性能会降低。领域自适应(DA)的目的是为了克服知识从一个领域转移到另一个相似但不同的领域时的领域转移问题。无监督DA(UDA)处理一个标记的源域和一个未标记的目标域。UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异,并在训练期间学习跨两个域的域不变表示。本文首先定义了UDA问题。其次,我们从传统方法和基于深度学习的方法两方面概述了不同类别UDA的最新方法。最后,我们收集了常用的基准数据集,并报告了UDA在视觉识别问题上的最新方法的结果。
2021-12-13 cs.CV
Domain Adaptation for Medical Image Analysis: A Survey
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
用于计算机辅助医学图像分析的机器学习技术通常遭受由源/参考数据和目标数据之间的不同分布引起的域移位问题。领域自适应作为一种很有前途的解决方案,近年来受到了广泛的关注。综述了医学图像分析中领域自适应方法的研究进展。我们首先介绍了引入领域自适应技术来解决医学图像分析领域异质性问题的动机。然后,我们提供了一个审查最近的领域自适应模型在各种医学图像分析任务。我们将现有的方法分为浅层模型和深层模型,每种模型又分为监督、半监督和无监督方法。我们还提供了一个简短的总结的基准医学图像数据集,支持当前的领域自适应研究。本次调查将使研究人员更好地了解当前的现状,挑战。
2021-02-18 cs.CV cs.LG eess.IV
FVP: Fourier Visual Prompting for Source-Free Unsupervised Domain Adaptation of Medical Image Segmentation
Beihang University(北京航空航天大学);Zhejiang Lab(之江实验室);Singapore University of Technology and Design(新加坡科技设计大学);BioMind Technology Center(BioMind技术中心);Zhongguancun Laboratory(中关村实验室)
针对医学图像分割SFUDA中测试模型需冻结的问题,本文提出FVP,通过学习输入频域中的少量低频视觉提示引导冻结模型适应目标域,并在三个公开数据集上取得优于现有方法的分割效果。
2023-11-02 cs.CV
MoCap-to-Visual Domain Adaptation for Efficient Human Mesh Estimation from 2D Keypoints
Middle East Technical University(中东技术大学);METU ROMER Robotics Center(中东技术大学ROMER机器人中心)
本文提出Key2Mesh,从2D关键点估计3D人体网格,并利用无需视觉3D标签的对抗域适应连接MoCap与视觉域,在H3.6M和3DPW上取得最优精度且速度至少提升12倍。
2024-04-10 cs.CV
VirDA: Reusing Backbone for Unsupervised Domain Adaptation with Visual Reprogramming
Hanoi University of Science and Technology(河内科学技术大学);Harvard University(哈佛大学)
VirDA通过视觉重编程层实现无监督域适应,利用领域特定纹理偏见提升性能,仅用1.5M参数达到92.8%准确率,超越现有方法。
2025-12-05 cs.CV
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST(大邱庆北科学技术院);POSTECH(浦项科技大学)
在本文中,我们提出了DRANet,一个网络架构,解开图像表示和转移的视觉属性在一个潜在的空间,无监督的跨领域自适应。与现有的领域自适应方法,学习共享域的相关功能,DRANet保留了每个域的特性的独特性。我们的模型编码的内容(场景结构)和风格(艺术外观)从源和目标图像的个人表示。然后,它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应,并对齐它们的域移位。此外,我们提出了一个内容自适应域转移模块,有助于保留场景结构,同时转移风格。大量的实验表明,我们的模型成功地分离内容风格的因素,并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation
The University of Tokyo(东京大学);RIKEN(理化学研究所);National Institutes of Health Clinical Center(美国国立卫生研究院临床中心);eBay Inc.(易贝公司);Temple University(天普大学)
现有的视频域自适应(video domain adaptation,DA)方法需要存储视频帧的所有时间组合或将源视频和目标视频配对,这不仅存储成本高,而且不能扩展到长视频。为了解决这些限制,我们提出了一个内存高效的基于图形的视频DA方法如下。首先,我们的方法模型的每个源或目标视频的图:节点表示视频帧和边缘表示帧之间的时间或视觉相似性关系。我们使用图注意力网络来学习单个帧的权重,并同时将源和目标视频对齐到域不变的图特征空间中。该方法不需要存储大量的子视频,而是只为一个视频构建一个具有图注意力机制的图,大大降低了存储开销。大量的实验表明,与最先进的方法相比,我们取得了优越的性能,同时降低了内存成本显着。
2022-08-13 cs.CV
Video Unsupervised Domain Adaptation with Deep Learning: A Comprehensive Survey
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡资讯通信研究院(新加坡科技研究局))
本文全面综述了基于深度学习的视频无监督域自适应(VUDA)的最新进展,涵盖其定义、闭集及多场景方法与基准数据集,并指出未来研究方向,以解决视频模型因域偏移导致的性能下降及标注成本高的问题。
2024-07-27 cs.CV
1st Place Solution to NeurIPS 2022 Challenge on Visual Domain Adaptation
Hanbat National University(韩巴大学);SI Analytics
视觉领域自适应(VisDA)2022挑战赛呼吁在工业废物分类的语义分割任务中使用无监督领域自适应模型。在本文中,我们介绍了SIA_Adapt方法,它结合了几种方法的域自适应模型。我们的方法的核心是从大规模的预训练中转移表示。在这个过程中,我们选择了一个网络架构,不同于国家的最先进的领域自适应。之后,使用伪标签的自训练有助于使初始适应模型更适应目标领域。最后,模型汤方案有助于提高目标域的泛化性能。我们的方法SIA_Adapt在VisDA 2022挑战赛中获得第一名。该代码可在https://github.com/DaehanKim-Korea/VisDA2022_Winner_Solution上获得。
2022-11-26 cs.AI cs.CV
Medical Image Segmentation with Domain Adaptation: A Survey
Perelman School of Medicine at the University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
该综述聚焦基于深度学习的医学图像分割域适应方法,梳理相关背景、应用现状,分析挑战与未来方向,为领域研究者提供最新参考。
2023-11-03 cs.CV eess.IV
CyCADA: Cycle-Consistent Adversarial Domain Adaptation
BAIR, UC Berkeley(加州大学伯克利分校伯克利人工智能研究院);OpenAI;CS, Boston University(波士顿大学计算机科学系)
领域自适应对于在新的、未知的环境中取得成功至关重要。在特征空间中应用的对抗适应模型发现了域不变表示,但难以可视化,有时无法捕获像素级和低级域偏移。最近的工作表明,结合循环一致性约束的生成对抗网络在域之间映射图像时非常有效,即使不使用对齐的图像对。提出了一种新的区分训练的循环一致性对抗领域自适应模型。CyCADA在像素级和特征级都适应表示,在利用任务丢失的同时加强周期一致性,并且不需要对齐对。我们的模型可以应用于各种视觉识别和预测设置。我们在多个适应任务中展示了新的最先进的结果,包括数字分类和道路场景的语义分割,展示了从合成到现实世界领域的转移。
2017-12-29 cs.CV
Unsupervised Domain Adaptation of Object Detectors: A Survey
Johns Hopkins University(约翰斯·霍普金斯大学)
深度学习的最新进展已经导致为各种计算机视觉应用(例如分类、分割和检测)开发准确且高效的模型。然而,学习高度准确的模型依赖于大规模注释数据集的可用性。因此,当在具有视觉上不同的图像的标签稀缺数据集上进行评估时,模型性能急剧下降,称为领域自适应问题。通过无监督的领域自适应来使分类和分割模型适应于标签稀缺的目标数据集的工作过多。鉴于检测是计算机视觉的一项基本任务,近年来的许多工作都集中在发展新的域自适应检测技术。在这里,我们详细描述了检测的领域自适应问题,并提出了各种方法的广泛调查。此外,我们强调提出的战略和相关的缺点。随后,我们确定了多个方面的问题,是最有前途的未来研究。我们相信,这项调查将是有价值的模式识别专家在计算机视觉,生物识别,医学成像,自主导航领域的工作,通过介绍他们的问题,并熟悉他们的进展现状,同时为未来的研究提供有前途的方向。
2021-07-04 cs.CV cs.LG
A Survey on Deep Domain Adaptation and Tiny Object Detection Challenges, Techniques and Datasets
Zhejiang University(浙江大学)
本文重点分析了基于计算机视觉的目标检测技术面临的挑战和解决方案.我们主要通过三种不同的趋势策略来强调目标检测,即,1)基于域自适应深度学习的方法(基于差异、基于对抗、基于重建、混合)。我们研究了一般以及微小目标检测相关的挑战,并通过历史和比较分析提供了解决方案。在第2部分中,我们主要关注微小目标检测技术(多尺度特征学习,数据增强,训练策略(TS),基于上下文的检测,基于GAN的检测)。在第3部分)中,为了获得知识性的发现,我们讨论了不同的目标检测方法,即,卷积和卷积神经网络(CNN),具有趋势类型的池化操作。此外,我们解释了一些目标检测算法的帮助下的结果,即,R-CNN、Fast R-CNN、Faster R-CNN、YOLO和SSD,它们通常被认为是CV、CNN和OD的基本骨架。我们对MS-COCO、PASCAL VOC 07、12和ImageNet等不同数据集进行了比较分析,以分析结果并提出发现。最后,我们展示了该领域现有挑战的未来方向。在未来,OD方法和模型可以被分析用于实时目标检测、跟踪策略。
2021-07-16 cs.CV
VT-DUDA: Visual Token Conditioning for Diffusion-guided Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genoa(热那亚大学);University of Verona(维罗纳大学)
提出VT-DUDA框架,通过将源图像映射为视觉令牌并与文本嵌入拼接作为条件,增强扩散模型生成目标风格图像时的实例级引导,提升无监督域适应性能。
2026-06-23 cs.CV
Self-Supervised Domain Adaptation for Visual Navigation with Global Map Consistency
Seoul National University(首尔大学)
我们提出了一个轻量级的,自我监督的适应视觉导航代理推广到看不见的环境。给定一个在无噪声环境中训练的具体代理,我们的目标是将代理转移到存在驱动和里程计传感器噪声的嘈杂环境中。我们的方法鼓励代理,以最大限度地提高在往返轨迹的不同时间步生成的全球地图之间的一致性。所提出的任务是完全自我监督的,不需要来自地面真实姿态数据或显式噪声模型的任何监督。此外,任务目标的优化是非常轻量级的,因为在商品GPU上训练在几分钟内终止。我们的实验表明,所提出的任务有助于代理成功地转移到新的,嘈杂的环境。转移的代理表现出改进的定位和映射精度,进一步提高下游视觉导航任务的性能。此外,我们证明了测试时自适应与我们的自我监督任务,以显示其潜在的适用性,在现实世界的部署。
2021-10-14 cs.CV cs.RO
Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation
Brandeis University(布兰迪斯大学);Tulane University(杜兰大学)
许多研究致力于无监督领域自适应(DA)问题,将从标记的源域学到的知识转移到未标记的目标域。近年来,各种DA方法在预测能力方面取得了显着的成果,这意味着上述知识转移的有效性。然而,最先进的方法很少深入探讨转移机制,使这些知识的真正本质模糊不清。认识到它的重要性,在适应过程中,我们提出了一个解释模型的无监督领域自适应,作为第一次尝试,以直观地揭开神秘的知识转移。适应现有的概念原型从视觉图像判读DA任务,我们的模型同样提取共享信息的域不变的表示为原型向量。此外,我们扩展了目前的原型方法与我们的新的预测校准和知识保真度保存模块,面向学习的原型,以实际转移的知识。通过可视化这些原型,我们的方法不仅为基础模型的预测提供了直观的解释,而且还通过在源域和目标域中匹配具有相同语义的图像块来揭示知识的传递。全面的实验和深入的探索表明,我们的方法在理解转移机制及其在下游任务,包括模型诊断的潜力的有效性。
2023-03-04 cs.CV cs.LG
Test-Time Adaptation for Visual Document Understanding
Google Cloud AI Research(谷歌云人工智能研究(Google Cloud AI Research))
针对视觉文档理解中测试时分布偏移适配的空白,提出无源域自适应方法DocTTA,结合掩码视觉语言建模与伪标签实现测试时适配,在三类VDU任务新基准上取得显著性能提升。
2023-08-23 cs.AI cs.CV cs.LG
Bridge then Begin Anew: Generating Target-relevant Intermediate Model for Source-free Visual Emotion Adaptation
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学);NavInfo(四维图新);Hangzhou Dianzi University(杭州电子科技大学)
针对无源领域适应下的视觉情感识别任务,提出BBA框架,通过生成中间模型桥接跨域差距并重新训练目标模型,显著优于现有SFDA和无监督领域适应方法。
2024-12-18 cs.AI cs.CV
A Survey on Computational Pathology Foundation Models: Datasets, Adaptation Strategies, and Evaluation Tasks
Baylor University(贝勒大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Arkansas(阿肯色大学)
本文系统综述计算病理学基础模型,涵盖数据集、适配策略与评估任务,分析对比学习等关键技术,并从四视角展望未来方向,为临床AI病理应用提供指南。
2025-02-26 cs.AI cs.CV
Improved Benthic Classification using Resolution Scaling and SymmNet Unsupervised Domain Adaptation
University of Sydney(悉尼大学);Norwegian University of Science and Technology(挪威科技大学)
自主水下航行器(AUV)对海洋环境进行定期目视调查,以确定和监测底栖生物的组成和多样性。机器学习分类器在此任务中的使用受到可用注释数量少和涉及许多细粒度类的限制。除了这些挑战之外,由于相机系统、成像高度、照明和水柱特性的变化,在不同的AUV勘测期间获取的图像集之间存在域偏移,导致来自不同勘测的图像的分类性能下降,其中一些或所有这些元素可能已经改变。本文提出了一个框架,以提高性能的底栖形态分类器时,用于分类图像从不同的调查相比,训练数据。我们采用SymmNet最先进的无监督领域自适应方法,采用高效的双线性池化层和图像缩放来归一化空间分辨率,并提高了分类精度。我们在两个数据集上测试了我们的方法,这些数据集具有不同成像有效载荷和位置的AUV调查图像。结果表明,通用的领域自适应可以得到增强,以产生一个显着增加的准确性从AUV调查的图像,从训练图像不同。
2023-03-20 cs.CV cs.RO
Unsupervised Domain Adaptation for Visual Navigation
Carnegie Mellon University(卡内基梅隆大学)
视觉导航方法的进步导致智能具身导航代理能够学习有意义的表示从原始RGB图像,并执行各种各样的任务,涉及结构和语义推理。然而,大多数基于学习的导航策略都是在仿真环境中训练和测试的。为了使这些政策实际上有用,它们需要被转移到现实世界中。本文提出了一种用于视觉导航的无监督领域自适应方法。我们的方法将目标域中的图像翻译到源域,使得翻译与导航策略所学习的表示一致。该方法优于几个基线在两个不同的导航任务的仿真。我们进一步表明,我们的方法可以用于将在模拟中学习的导航策略转移到现实世界中。
2020-11-12 cs.CV cs.LG cs.RO
Fuzzy-aware Loss for Source-free Domain Adaptation in Visual Emotion Recognition
The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
针对视觉情感识别无源域适应中模糊情感标签和模糊伪标签问题,提出模糊感知损失(FAL)调整非预测类别损失,理论证明其鲁棒性,并在26个子任务上验证有效性。
2025-01-26 cs.CV cs.LG
A Large-scale Study of Representation Learning with the Visual Task Adaptation Benchmark
Google(谷歌公司)
表示学习有望为视觉任务的长尾解锁深度学习,而无需昂贵的标记数据集。然而,缺乏一个统一的评价一般的视觉表现阻碍了进展。流行的协议通常过于约束(线性分类),多样性有限(ImageNet,CIFAR,Pascal-VOC),或仅与表示质量弱相关(ELBO,重建错误)。我们提出了视觉任务适应基准(VTAB),它定义了良好的表示为那些适应不同的,看不见的任务,很少的例子。使用VTAB,我们对许多流行的公开可用的表示学习算法进行了大规模的研究。我们谨慎地控制混杂因素,如架构和调优预算。我们解决这样的问题:ImageNet表示超出标准自然数据集的有效性如何?通过生成模型和判别模型训练的表征如何比较?自我监督在多大程度上可以取代标签?我们离一般的视觉表现有多近?
2020-02-21 cs.CV cs.LG stat.ML
Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey
University of California, Berkeley(加州大学伯克利分校);Didi Chuxing(滴滴出行)
在许多实际应用中,获得足够大规模的标记数据来训练深度神经网络以达到其全部能力通常是困难且昂贵的。因此,将学习到的知识从一个单独的、标记的源域转移到一个未标记的或稀疏标记的目标域成为一个有吸引力的替代方案。然而,由于域偏移,直接转移经常导致显著的性能衰减。领域自适应(DA)通过最小化源域和目标域之间的域移位的影响来解决这个问题。多源领域自适应(MDA)是一种强大的扩展,其中标记数据可以从具有不同分布的多个源收集。由于DA方法的成功和多源数据的普遍存在,MDA引起了学术界和工业界越来越多的关注。在本调查中,我们定义了各种MDA策略,并总结了可用的数据集进行评估。我们还比较了深度学习时代的现代MDA方法,包括潜在空间转换和中间域生成。最后,我们讨论了MDA未来的研究方向。
2020-02-26 cs.CV cs.LG stat.ML
A Survey on Deep Domain Adaptation for LiDAR Perception
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Research Center for Information Technology (FZI)(信息技术研究中心)
可扩展的自动驾驶系统必须可靠地应对开放世界的环境。这意味着,感知系统会受到剧烈的领域变化的影响,例如天气条件、时间依赖性方面或地理区域的变化。用注释数据覆盖所有域是不可能的,因为域的变化无穷无尽,注释过程既耗时又昂贵。此外,系统的快速开发周期还引入了硬件变化,例如传感器类型和车辆设置,以及来自仿真的所需知识转移。因此,为了实现可扩展的自动驾驶,以稳健和有效的方式解决这些领域的转变至关重要。在过去的几年里,大量不同的领域自适应技术的发展。已经存在许多关于相机图像上的领域自适应的调查论文,然而,缺少关于LiDAR感知的调查。然而,LiDAR是自动驾驶的重要传感器,可提供车辆周围环境的详细3D扫描。为了促进未来的研究,本文提出了一个全面的审查最近的进展,领域自适应方法,并制定了有趣的研究问题,专门针对激光雷达感知。
2021-06-07 cs.AI cs.CV cs.LG
Online Mutual Adaptation of Deep Depth Prediction and Visual SLAM
University of Alberta(阿尔伯塔大学);Universiti Putra Malaysia(马来西亚博特拉大学)
卷积神经网络(CNN)的准确深度预测能力是其在实际视觉同时定位与地图构建(SLAM)应用(诸如增强的相机跟踪和密集地图构建)中的广泛使用的主要挑战。本文旨在回答以下问题:即使CNN没有针对当前操作环境进行训练,我们是否可以在视觉SLAM算法的帮助下调整深度预测CNN,以便有益于SLAM性能?为此,我们提出了一种新的在线自适应框架,由两个互补的过程组成:一个SLAM算法,用于生成关键帧来微调深度预测和另一个算法,使用在线自适应深度来提高地图质量。一旦潜在的噪声地图点被删除,我们执行全球光度光束法平差(BA),以提高整体SLAM性能。在我们自己的实验环境中,在基准数据集和真实机器人上的实验结果表明,我们提出的方法提高了整体SLAM的准确性。虽然正则化已被证明是有效的多任务分类问题,我们目前的实验结果和消融研究显示正则化的有效性,防止灾难性遗忘的在线适应深度预测,单任务回归问题。此外,我们将我们的在线自适应框架与最先进的预训练深度预测CNN进行比较,以表明我们的在线自适应深度预测CNN优于在大量数据集上训练的深度预测CNN。
2022-02-01 cs.CV cs.RO
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation
University of California, Berkeley(加利福尼亚大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而,在许多应用中,获取大量的标记数据是非常昂贵和耗时的。为了应对有限的标记训练数据,许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记或未标记的目标域。不幸的是,跨域的直接传输通常由于域偏移或数据集偏差的存在而表现不佳。领域自适应是一种机器学习范例,其目的是从源域学习模型,该模型可以在不同(但相关)的目标域上表现良好。在本文中,我们回顾了最新的单源深度无监督领域自适应方法专注于视觉任务,并讨论了未来研究的新视角。我们首先定义了不同的领域自适应策略,并描述了现有的基准数据集。然后,我们总结和比较了不同类别的单源无监督领域自适应方法,包括基于差异的方法,对抗性判别方法,对抗性生成方法和基于自我监督的方法。最后,我们讨论了未来的研究方向与挑战和可能的解决方案。
2020-09-19 cs.CV cs.LG eess.IV
BoMuDANet: Unsupervised Adaptation for Visual Scene Understanding in Unstructured Driving Environments
University of Maryland(马里兰大学)
针对非结构化驾驶环境的视觉场景理解问题,提出BoMuDANet无监督自适应方法,结合基于无监督域自适应的语义分割技术与多源域自适应自训练算法Alt-Inc,在India Driving Dataset上达87.18%准确率,较现有方法提升5.17%-42.9%。
2021-05-23 cs.CV eess.IV
Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence
Tsinghua University(清华大学);BNRist(北京国家信息科学与技术研究院)
本文研究无源主动领域自适应(SFADA)问题,提出LFTL范式,通过对比主动采样选择信息量大的目标样本,并利用视觉持久性引导自适应进行特征对齐,在三个基准上实现了最先进性能与高计算效率。
2024-07-26 cs.AI cs.CV cs.LG
DeepAstroUDA: Semi-Supervised Universal Domain Adaptation for Cross-Survey Galaxy Morphology Classification and Anomaly Detection
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
人工智能方法在提高大型天文数据集的工作质量和速度方面显示出巨大的潜力,但这些方法的高度复杂性导致提取特定于天文数据集的非鲁棒特征。因此,这种方法不能很好地推广到多个数据集。我们提出了一个通用的域自适应方法,\textit{DeepAstroUDA},作为一种方法来克服这一挑战。该算法执行半监督域自适应,可以应用于不同的数据分布和类重叠的数据集。非重叠类可以存在于两个数据集中的任何一个(标记的源域或未标记的目标域),并且该方法甚至可以在存在未知类的情况下使用。我们将我们的方法应用于三个不同复杂度的星系形态分类任务的例子($3$类和$10$类问题),具有异常检测:1)在来自单个调查的不同观测年数之后创建的数据集($1$和$10$观测年的LSST模拟数据); 2)来自不同调查的数据(SDSS和DECaLS); 3)同一次测量中不同深度观测场的数据(SDSS的宽场和Stripe 82深场)。这是第一次,我们证明了非常不一致的观测数据集之间的域适应的成功使用。\textit{DeepAstroUDA}能够弥合两次天文调查之间的差距,提高两个领域的分类精度(在未标记数据上高达$40\%$),并使模型性能在数据集之间保持一致。此外,我们的方法也表现良好的异常检测算法,并成功地聚类未知类样本,即使在未标记的目标数据集。
2023-03-22 astro-ph.GA cs.AI cs.CV
A Comprehensive Survey on Source-free Domain Adaptation
University of Electronic Science and Technology of China(电子科技大学)
在过去的十年中,领域自适应已经成为迁移学习的一个广泛研究的分支,其目的是通过利用来自源领域的知识来提高目标领域的性能。传统的领域自适应方法通常假设同时访问源和目标域数据,由于隐私和机密性问题,这在现实世界的场景中可能是不可行的。因此,无源领域自适应(SFDA)的研究近年来受到越来越多的关注,它只利用源训练的模型和未标记的目标数据来适应目标领域。尽管国家药监局的工作迅速展开,但在该领域却没有及时、全面的调查。为了填补这一空白,我们提供了一个全面的调查,在SFDA的最新进展,并组织成一个统一的分类方案的基础上的框架迁移学习。我们不是单独介绍每种方法,而是将每种方法的几个组件模块化,以便根据每种方法的复合属性更清楚地说明它们的关系和机制。此外,我们比较了30多个有代表性的SFDA方法的结果在三个流行的分类基准,即Office-31,家庭和VisDA,探讨各种技术路线的有效性和它们之间的组合效应。此外,我们还简要介绍了SFDA的应用及相关领域。从我们对SFDA面临的挑战的分析中,我们对未来的研究方向和潜在的环境提供了一些见解。
2023-02-23 cs.CV cs.LG cs.MM
A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts
Center for Research on Intelligent Perception and Computing(智能感知与计算研究中心);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);CASIA(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Nanjing University(南京大学)
该综述针对分布偏移下模型性能下降问题,系统梳理了测试时自适应(TTA)这一新兴范式,按测试数据形式分类并梳理算法、场景与应用,指出未来方向。
2024-12-12 cs.AI cs.CV cs.LG
Visual Domain Adaptation with Manifold Embedded Distribution Alignment
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
视觉领域自适应旨在通过利用来自源领域的知识来学习目标领域的鲁棒分类器。现有的方法要么试图对齐跨域分布,或执行流形子空间学习。然而,存在两个显著的挑战:(1)退化特征变换,这意味着通常在原始特征空间中执行分布对齐,其中特征失真难以克服。另一方面,子空间学习不足以减少分布发散。(2)未评估的分布对齐,这意味着现有的分布对齐方法仅对齐具有相等重要性的边缘分布和条件分布,而它们在实际应用中未能评估这两种分布的不同重要性。在本文中,我们提出了一个流形嵌入分布对齐(MEDA)的方法来解决这些挑战。MEDA在Grassmann流形上学习一个具有结构风险最小化的域不变分类器,同时执行动态分布对齐以定量地说明边缘分布和条件分布的相对重要性。据我们所知,MEDA是第一次尝试执行动态分布对齐流形领域自适应。大量实验表明,与最先进的传统和深度方法相比,MEDA在分类准确性方面表现出显着提高。
2018-07-28 cs.CV cs.LG
Self-Supervised Sim-to-Real Adaptation for Visual Robotic Manipulation
DeepMind(深度思维)
为了训练强化学习算法,从真实的机器人视觉数据中收集和自动获取奖励信号可能非常具有挑战性和耗时。利用未标记数据的方法可以进一步加速机器人学习。我们在这里考虑的问题,从像素执行操作任务。在这些任务中,选择适当的状态表示对于规划和控制至关重要。这甚至与真实图像更相关,其中噪声、遮挡和分辨率影响状态估计的准确性和可靠性。在这项工作中,我们在模拟中使用深度强化学习隐式地学习潜在状态表示,然后使用未标记的真实机器人数据使其适应真实域。我们建议通过优化基于序列的自监督目标来实现这一点。这些利用了机器人经验的时间性质,并且在模拟和真实域中都是常见的,而无需假设模拟和未标记的真实图像中的底层状态的任何对齐。我们提出了对比前向动力学损失,它结合了动力学模型学习和时间对比技术。从我们的方法中学习到的状态表示可以用于鲁棒地解决模拟中的操作任务,并成功地将学习到的技能转移到真实系统上。我们证明了我们的方法的有效性,通过训练基于视觉的强化学习代理立方体堆叠。用我们的方法训练的代理,只使用5个小时的未标记的真实机器人数据进行适应,显示出明显的改善域随机化,和标准的视觉领域自适应技术的仿真到现实迁移。
2019-10-21 cs.CV cs.RO
Unifying Unsupervised Domain Adaptation and Zero-Shot Visual Recognition
Durham University(杜伦大学);Xi’an Jiaotong University(西安交通大学)
无监督领域自适应的目的是将知识从源领域转移到目标领域,使得目标领域的数据可以在没有任何明确的标记信息的情况下被识别。问题设置的一个限制是,尽管没有标签,但在训练期间需要来自目标域的测试数据,这阻止了训练模型被直接应用于对看不见的测试实例进行分类。我们制定了一个新的跨域分类问题,该问题源于现实世界的场景,其中标记数据可用于目标域中的类子集(已知类),并且我们期望在模型学习后识别属于任何类(已知和未知类)的新样本。这是一个广义的零样本学习问题,其中边信息以标记样本的形式来自源域,而不是传统零样本学习中常用的类级语义表示。我们提出了一个统一的领域自适应框架无监督和零样本学习条件。我们的方法从源和目标域学习一个联合子空间,使两个数据在子空间中的投影可以是域不变的,很容易分离。我们使用有监督的局部保持投影(SLPP)作为使能技术,并在无监督和零样本学习条件下进行实验,在三个领域自适应基准数据集上实现了最先进的结果:加州理工学院,加州理工学院31和加州理工学院。
2019-08-26 cs.CV cs.LG
Fashion CUT: Unsupervised domain adaptation for visual pattern classification in clothes using synthetic data and pseudo-labels
Zalando SE(扎兰多股份公司);Insight Centre for Data Analytics(洞察数据分析中心);Dublin City University(都柏林城市大学)
针对服装图像分类中合成数据与真实数据间的域偏移,提出结合生成网络与分类器联合训练,并利用真实伪标签减少偏差,实现无需真实标注的视觉图案分类,性能优于现有无监督域适应方法。
2023-05-09 cs.CV cs.LG
Transferrable Contrastive Learning for Visual Domain Adaptation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
自监督学习(Self-supervised learning,SSL)是近年来特征学习方法中最受欢迎的一种。因此,它是呼吁领域自适应的方法,考虑纳入SSL。直觉是强制执行实例级特征一致性,使得预测器在域之间变得不变性。然而,大多数现有的SSL方法在领域自适应的制度通常被视为独立的辅助组件,留下的领域自适应的签名无人看管。实际上,域间隙消失的最佳区域和SSL所阅读的实例级约束可能根本不一致。从这一点出发,我们提出了一种为领域自适应定制的自监督学习的特定范例,即,可迁移的对比学习(TCL),它将SSL和所需的跨域可迁移性一致地联系起来。我们发现对比学习本质上是领域自适应的一个合适的候选者,因为它的实例不变性假设可以方便地提升到跨领域类级不变性青睐的领域自适应任务。基于特定的存储体结构和伪标签策略,TCL然后通过干净和新颖的对比损失来惩罚源和目标之间的跨域类内域差异。免费的午餐是,由于结合了对比学习,TCL依赖于移动平均密钥编码器,该编码器自然地实现了目标数据的伪标签的时间集合版本,这避免了伪标签错误传播,而无需额外成本。因此,TCL有效地减少了跨域差距。通过对单源和多源领域自适应任务的基准测试(ESP-Home、VisDA-2017、Digits-five、PACS和DomainNet)进行广泛的实验,TCL展示了最先进的性能。
2021-12-14 cs.AI cs.CV cs.MM