CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation
Mercedes Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
在这项工作中，我们提出了CLUDA，一个简单的，但新颖的方法进行无监督领域自适应（UDA）的语义分割，通过将对比损失到学生-教师学习范式，利用教师网络从目标域生成的伪标签。更具体地说，我们从编码器中提取多级融合特征映射，并通过图像的源目标混合在不同类别和不同域中应用对比度损失。我们不断提高性能的各种特征编码器架构和不同的领域自适应数据集的语义分割。此外，我们引入了一个学习加权对比损失，以改进UDA中最先进的多分辨率训练方法。我们在GTA $\rightarrow$ Cityscapes（74.4 mIOU，+0.6）和Synthia $\rightarrow$ Cityscapes（67.2 mIOU，+1.4）数据集上生成了最先进的结果。CLUDA有效地展示了UDA中的对比学习作为一种通用方法，它可以很容易地集成到任何现有的UDA中，用于语义分割任务。有关执行的详细情况，请参阅补充材料。
2022-11-08 cs.CV
CDA: Contrastive-adversarial Domain Adaptation
Northeastern University（东北大学）；Hitachi Industrial AI Lab（日立工业人工智能实验室）
领域自适应的最新进展表明，深度神经网络上的对抗学习可以学习领域不变特征，以减少源域和目标域之间的移位。虽然这种对抗性方法实现了域级别的对齐，但它们忽略了类（标签）的变化。当类条件数据分布在源域和目标域之间存在显著差异时，它可能会在类边界附近生成模糊的特征，这些特征更有可能被错误分类。在这项工作中，我们提出了一个两阶段模型的领域自适应称为\textbf{C}对抗\textbf{D} omain \textbf{A}适应\textbf{(CDA)}。虽然对抗性组件有助于域级别的对齐，但两阶段对比学习利用类信息来实现跨域的更高的类内紧凑性，从而产生分离良好的决策边界。此外，所提出的对比框架被设计为一个即插即用的模块，可以很容易地嵌入现有的对抗方法的领域自适应。我们在两个广泛使用的领域自适应基准数据集上进行实验，即\textit{Office-31}和\textit{Digits-5}，并证明CDA在这两个数据集上都达到了最先进的结果。
2023-01-10 cs.CV
Contrastive Test-Time Adaptation
Toyota Research Institute（丰田研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
测试时自适应是无监督领域自适应的一种特殊设置，其中源域上的训练模型必须适应目标域而无需访问源数据。我们提出了一种新的方法来利用自监督对比学习来促进目标特征学习，以及一个在线伪标签方案，该方案具有显着的去噪伪标签。对比学习任务与伪标记联合应用，对比与MoCo类似但具有源初始化编码器的正对和负对，并且排除由伪标记指示的同类负对。同时，我们在线生成伪标签，并通过目标特征空间中最近邻居之间的软投票来细化它们，通过维护内存队列来实现。我们的方法AdaContrast在主要基准测试中实现了最先进的性能，同时与现有作品相比具有几个理想的特性，包括内存效率，对超参数不敏感以及更好的模型校准。项目页面：sites.google.com/view/adacontrast。
2022-04-21 cs.CV
Contrastive Vicinal Space for Unsupervised Domain Adaptation
Ajou University（亚洲大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Birmingham（伯明翰大学）
最近的无监督领域自适应方法利用了源域和目标域之间的邻近空间。然而，标签的平衡崩溃，在邻近实例的预测中源标签在目标标签上占主导地位的问题，从未得到解决。在本文中，我们提出了一个实例的minimax策略，最大限度地减少熵的高不确定性的情况下，在邻域空间来解决所述的问题。通过极大极小问题的求解，我们将邻空间划分为两个子空间：对比空间和一致空间。在对比空间中，通过约束实例具有对比视图和标签来减轻域间差异，并且共识空间减少了域内类别之间的混淆。我们的方法的有效性在公共基准测试中得到了证明，包括Office-31，MSP-Home和VisDA-C，实现了最先进的性能。我们进一步表明，我们的方法优于目前国家的最先进的方法PACS，这表明我们的实例明智的方法以及多源领域自适应。代码可在https://github.com/NaJaeMin92/CoVi上获得。
2022-07-18 cs.CV
Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization
CentraleSupélec（中央理工-高等电力学院）；VitaDX International（VitaDX国际公司）
多源无监督领域自适应（多源UDA）旨在从多个标记的源域中学习模型，同时在训练时只有未标记数据可用的不同目标域上表现良好。为了对齐源和目标特征分布，最近的一些作品使用源和目标显式统计匹配，如特征矩或类质心。然而，这些方法不能保证跨域的类条件分布对齐。在这项工作中，我们提出了一个新的框架，称为对比多源领域自适应（CMSDA）的多源UDA，解决这个限制。通过交叉熵最小化从内插的源示例中学习鉴别特征，通过一致性正则化和硬伪标记从目标示例中学习鉴别特征。同时，利用内插源示例通过监督对比损失的内插版本来对齐源类条件分布。这种对齐导致更一般和可转移的特征，这进一步提高了目标域上的泛化。在三个标准的多源UDA数据集上进行了广泛的实验，我们的方法报告了最先进的结果。
2021-09-27 cs.CV
Unsupervised domain adaptation via coarse-to-fine feature alignment method using contrastive learning
University of Electronic Science and Technology of China（电子科技大学）
以往的无监督领域自适应（UDA）特征对齐方法大多只对全局特征进行对齐，而没有考虑类间特征的失配。在这项工作中，我们提出了一种新的粗到精的特征对齐方法，使用对比学习称为CFContra。它比粗特征对齐或仅类特征对齐更接近类特征，因此在很大程度上提高了模型的性能。我们将其建立在UDA最有效的方法之一，称为熵最小化，以进一步提高性能。特别地，为了防止在语义分割中应用对比损失时过多的存储器占用，我们设计了一种新的方式来构建和更新存储体。通过这种方式，我们使算法更有效和可行的有限的内存。大量的实验表明，我们的方法和模型在GTA 5到Cityscapes数据集上训练的有效性，与MinEnt算法相比，mIOU提高了3.5。我们的代码将公开。
2021-03-23 cs.CV
Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation and Koos Grade Prediction based on Semi-Supervised Contrastive Learning
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Nanjing University of Information Science and Technology（南京信息工程大学）
领域自适应已被广泛采用，以在多个供应商和多个中心之间传输样式，以及补充缺失的模态。在这项挑战中，我们提出了一个无监督的领域自适应框架，用于跨模态前庭神经鞘瘤（VS）和耳蜗分割和Koos等级预测。我们从ceT 1和hrT 2图像中学习共享表示，并从潜在表示中恢复另一种模态，并且我们还利用VS分割和大脑分割的代理任务来限制领域自适应中图像结构的一致性。在生成缺失模态后，nnU-Net模型用于VS和耳蜗分割，而半监督对比学习预训练方法用于提高Koos等级预测的模型性能。在CrossMoDA验证阶段排行榜上，我们的方法在task 1中获得了4级，平均Dice得分为0.8394，在task 2中获得了2级，宏观平均均方误差为0.3941。我们的代码可在https://github.com/fiy2W/cmda2022.superpolymerization上获得。
2022-10-09 cs.CV
Learning Cross-modal Contrastive Features for Video Domain Adaptation
Boston University（波士顿大学）；NEC Labs America（NEC美国实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
从视频中学习可转移和域自适应特征表示对于视频相关任务（如动作识别）非常重要。现有的视频领域自适应方法主要依赖于从RGB图像空间导出的对抗性特征对齐。然而，视频数据通常与多模态信息相关联，例如，RGB和光流，因此设计一种在跨领域自适应设置下考虑跨模态输入的更好方法仍然是一个挑战。为此，我们提出了一个统一的框架，视频领域自适应，同时正则化跨模态和跨域的功能表示。具体来说，我们把一个领域中的每一个模态作为一个视图，并利用对比学习技术与适当设计的采样策略。因此，我们的目标规范化的特征空间，原来缺乏跨模态的连接或跨域的对齐较少。我们在领域自适应动作识别基准数据集上进行实验，即，UCF，HMDB和EPIC-Kitchener，并证明了我们的组件对国家的最先进的算法的有效性。
2021-08-26 cs.CV
Spatio-Temporal Pixel-Level Contrastive Learning-based Source-Free Domain Adaptation for Video Semantic Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）
语义分割的无监督领域自适应（UDA）技术通过同时访问源数据和目标数据，将已标记的源知识转移到未标记的目标领域。然而，在现实世界的场景中，对源数据的访问通常是受限的或不可行的。在源数据受限的情况下，UDA不太实用。为了解决这个问题，最近的工作已经探索了无源领域自适应（SFDA）设置下的解决方案，其目的是在不访问源数据的情况下将源训练的模型适应目标域。尽管如此，现有的SFDA方法仅使用图像级信息进行自适应，使得它们在视频应用中不是最佳的。本文研究了SFDA视频语义分割（VSS），利用时间信息来解决视频自适应。具体来说，我们提出了时空像素级（STPL）对比学习，一种新的方法，充分利用时空信息，以解决缺乏源数据更好。STPL显式地学习时空空间中像素之间的语义相关性，为适应未标记的目标域提供强大的自我监督。大量的实验表明，STPL实现了最先进的性能VSS基准相比，目前的UDA和SFDA的方法。代码可在：https://github.com/shaoyuanlo/STPL
2023-03-25 cs.CV
Contrastive Domain Adaptation
University of Lincoln（林肯大学）；University of Aberdeen（阿伯丁大学）
最近，对比自监督学习已经成为在许多计算机视觉任务和基准中学习视觉表示的关键组成部分。然而，在领域自适应的背景下，对比学习仍然在很大程度上未被探索。在本文中，我们建议将对比学习扩展到一个新的领域自适应设置，一个特殊的情况下发生的相似性学习和部署在样本以下不同的概率分布，而无需访问标签。对比学习通过在不访问源和目标标签的情况下在无监督设置中比较和对比正样本和负样本对来学习。我们已经开发了一个最近提出的对比学习框架的变体，该框架有助于解决领域自适应问题，进一步识别和去除与锚点类似的可能的否定，以减轻假否定的影响。大量实验表明，该方法适应性强，提高了下游领域自适应任务的性能。
2021-03-26 cs.CV cs.LG
Probabilistic Contrastive Learning for Domain Adaptation
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Science and Technology of China（中国科学技术大学）；Beijing Normal University（北京师范大学）
本文提出概率对比学习PCL，通过去除$\ell_{2}$归一化并用概率替代特征，引导概率分布趋向独热配置以缩小特征与类权重差异，在UDA、SSDA、SSL、检测和分割等五个任务上取得一致提升，且在SYNTHIA语义分割上以更低训练成本超越CPSL-D。
2024-06-08 cs.CV
Gradient Regularized Contrastive Learning for Continual Domain Adaptation
University of Sydney（悉尼大学）；The Chinese University of Hong Kong（香港中文大学）；Sensetime Group Limited（商汤集团有限公司）
人类可以通过利用学习经验快速适应环境变化。然而，通过机器学习算法使深度神经网络适应动态环境仍然是一个挑战。为了更好地理解这个问题，我们研究了连续领域自适应的问题，其中模型是由一个标记的源域和一系列未标记的目标域。这个问题的障碍是域转移和灾难性遗忘。我们提出了梯度正则化对比学习（GRCL）来解决这些障碍。在我们的方法的核心，梯度正则化起着两个关键作用：（1）强制梯度不损害源特征的区分能力，这反过来又有利于模型对目标域的适应能力;（2）约束梯度不增加旧目标域上的分类损失，这使得该模型在适应新的目标域时能够保持旧目标域上的性能。Digits，DomainNet和EST-Caltech基准上的实验表明，与其他最先进的方法相比，我们的方法具有很强的性能。
2021-03-23 cs.CV
Contrastive meta-domain adaptation for robust skin lesion classification across clinical and acquisition conditions
University of São Paulo（圣保罗大学）
提出基于视觉元域概念的适应策略，通过将大规模皮肤镜数据集的视觉表示迁移到临床图像域，提高皮肤病变分类的泛化鲁棒性。
2026-06-01 cs.CV
Unsupervised Domain Adaptation for Sim-to-Real Object Pose Estimation with Contrastive Alignment and Pseudo-Label Refinement
SnT, University of Luxembourg（卢森堡大学SnT中心）
提出CAPLR方法，通过局部区域对比对齐和基于一致性的伪标签精炼，实现无监督域自适应物体姿态估计，在多个基准上达到最优性能。
2026-06-23 cs.CV
Unsupervised Domain Adaptation for 3D LiDAR Semantic Segmentation Using Contrastive Learning and Multi-Model Pseudo Labeling
Universität Stuttgart（斯图加特大学）
针对3D LiDAR语义分割中的域偏移问题，提出两阶段无监督域适应框架，结合片段级对比预训练与多架构硬投票伪标签微调，在多个目标数据集上显著优于直接迁移和单模型方法。
2025-07-24 cs.CV
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California（南加州大学）
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而，在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法，用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此，我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
Contrastive Conditional Alignment based on Label Shift Calibration for Imbalanced Domain Adaptation
School of Communication
本文提出 CCA-LSC 方法，通过对比条件对齐解决协变量偏移，并利用标签偏移校准目标伪标签，以提升不平衡域自适应性能。
2024-12-29 cs.CV
Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；National University of Singapore（新加坡国立大学）
我们研究了一个实际的领域自适应任务，称为无源无监督领域自适应（UDA）问题，其中我们不能访问源域数据，由于数据隐私问题，但只有一个预训练的源模型和未标记的目标数据是可用的。然而，由于一个关键挑战，这项任务非常困难：缺乏源数据和目标域标签使得模型自适应非常具有挑战性。为了解决这个问题，我们提出挖掘源模型中隐藏的知识，并利用它来生成源化身原型（即，每个源类别的代表性特征）以及用于域对齐的目标伪标签。为此，我们提出了一个对比原型生成和适应（CPGA）的方法。具体来说，CPGA包括两个阶段：（1）原型生成：通过探索源模型的分类边界信息，我们训练一个原型生成器，通过对比学习生成化身原型。(2)原型改编：基于生成的源原型和目标伪标签，我们开发了一种新的鲁棒的对比原型适配策略，以将每个伪标签目标数据与对应的源原型对齐。在三个UDA基准数据集上的实验证明了该方法的有效性和优越性。
2021-06-18 cs.CV
Enhancing Whole Slide Image Classification through Supervised Contrastive Domain Adaptation
HUMAN-tech；Universidad Politécnica de Valencia (UPV)（瓦伦西亚理工大学）；Valencian Graduate School and Research Network for Artificial Intelligence (valgrAI)（瓦伦西亚人工智能研究生学院及研究网络）
针对组织病理学成像的域偏移问题，提出一种基于有监督对比学习的域适应方法，通过添加训练约束提升类间可分离性，在两中心六种皮肤癌亚型全切片图像实验中，性能优于无域适应或仅染色归一化的方案。
2024-12-05 cs.AI cs.CV
Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation
Stanford University（斯坦福大学）
我们考虑无监督领域自适应（UDA），其中来自源域的标记数据（例如，照片）和来自目标域的未标记数据（例如，草图）用于学习目标域的分类器。常规UDA方法（例如，域对抗训练）学习域不变特征以改进对目标域的泛化。在本文中，我们证明了对比预训练，即在未标记的源数据和目标数据上学习特征，然后在标记的源数据上进行微调，与强UDA方法相比具有竞争力。然而，我们发现对比预训练不会学习域不变特征，这与传统的UDA直觉不同。我们从理论上证明，对比预训练可以通过分解域和类信息来学习跨域细微变化的特征，但仍然可以推广到目标域。我们的研究结果表明，域不变性是不必要的UDA。我们在基准视觉数据集上实证验证了我们的理论。
2022-12-02 cs.CV cs.LG
What Has Been Overlooked in Contrastive Source-Free Domain Adaptation: Leveraging Source-Informed Latent Augmentation within Neighborhood Context
The University of British Columbia（不列颠哥伦比亚大学）；Department of Mechanical Engineering（机械工程系）；Department of Computer Science（计算机科学系）
针对无源域自适应中难以估计域差距的问题，本文提出一种基于源预训练模型引导的邻域潜在特征增强方法，通过提升正键信息量优化对比学习，在多个基准数据集上超越现有方法。
2024-12-18 cs.CV cs.LG
CoRe-DA: Contrastive Regression for Unsupervised Domain Adaptation in Surgical Skill Assessment
UCL Hawkes Institute, University College London（伦敦大学学院霍克斯研究所）；Dept of Computer Science, University College London（伦敦大学学院计算机科学系）；The Griffin Institute（格里芬研究所）
本文提出CoRe-DA，一种基于对比学习的无监督领域适应方法，用于手术技能评估，通过相对评分监督和目标域自训练，提升跨领域泛化能力，优于现有方法。
2026-03-31 cs.CV
Category Contrast for Unsupervised Domain Adaptation in Visual Tasks
Nanyang Technological University（南洋理工大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
近年来，无监督表示学习的实例对比取得了很大的成功。在这项工作中，我们探讨了无监督领域自适应（UDA）的实例对比学习的想法，并提出了一种新的类别对比技术（CaCo），引入语义先验的实例歧视视觉UDA任务。通过将实例对比学习视为字典查找操作，我们构建了一个语义感知的字典，其中每个目标样本被分配一个（伪）类别标签的基础上的类别先验的源样本和目标域的样本。这允许类别对比学习（在目标查询和类别级字典之间）用于类别区分但域不变的特征表示：相同类别的样本（来自源或目标域）被拉近，而不同类别的样本同时被推开。在多个视觉任务中进行了广泛的UDA实验（例如，分割、分类和检测）表明，与现有技术的方法相比，CaCo实现了优越的性能。实验还表明，CaCo是对现有UDA方法的补充，并可推广到其他学习设置，如无监督模型自适应，开集/部分集自适应等。
2022-03-17 cs.CV
Synthetic-to-Real Domain Adaptation using Contrastive Unpaired Translation
University of Bonn（波恩大学）
机器人技术中深度学习模型的有用性在很大程度上取决于训练数据的可用性。手动注释训练数据通常是不可行的。合成数据是一种可行的替代方案，但存在域缺口。我们提出了一种多步骤的方法来获得训练数据，而无需手动注释工作：从3D对象网格，我们使用现代合成管道生成图像。我们利用最先进的图像到图像的翻译方法，以适应合成图像的真实域，最大限度地减少域差距的学习方式。翻译网络是从未配对的图像中训练出来的，即只需要一个未注释的真实图像集合。然后可以使用生成和细化的图像来为特定任务训练深度学习模型。我们还提出并评估了进一步提高性能的翻译方法的扩展，例如基于补丁的训练，它缩短了训练时间并提高了全局一致性。我们评估我们的方法，并证明其有效性的两个机器人数据集。最后，我们深入了解学习的细化操作。
2022-06-28 cs.CV
Simplifying Source-Free Domain Adaptation for Object Detection: Effective Self-Training Strategies and Performance Insights
EPFL（洛桑联邦理工学院）
针对无源目标检测任务，研究提出仅适配批量统计量的强基线、无源无偏教师方法及固定伪标签训练策略，在多个驾驶数据集自适应任务上取得优于现有复杂方法的性能，且更高效、可缓解师生崩塌问题。
2024-07-10 cs.CV cs.LG
CAST: Contrastive Adaptation and Distillation for Semi-Supervised Instance Segmentation
Texas A&M University（德克萨斯大学）
CAST通过对比适应与蒸馏，利用半监督知识蒸馏将视觉基础模型压缩为紧凑专家，在Cityscapes和ADE20K上以约11倍小的模型超越教师和最先进SSKD方法。
2025-10-08 cs.AI cs.CV
ConFUDA: Contrastive Fewshot Unsupervised Domain Adaptation for Medical Image Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；Stanford University（斯坦福大学）
无监督领域自适应（UDA）旨在将从标记的源领域学习到的知识转移到未标记的目标领域。UDA背景下的对比学习（CL）可以帮助更好地分离特征空间中的类。然而，在图像分割中，由于逐像素对比度损失的计算而导致的大的存储器占用使得其无法使用。此外，标记的目标数据在医学成像中不容易获得，并且获得新的样本不经济。因此，在这项工作中，我们解决了一个更具挑战性的UDA任务时，只有几个（fewshot）或一个单一的（oneshot）图像可从目标域。我们应用了风格转换模块来缓解目标样本的稀缺性。然后，为了使源特征和目标特征对齐，并解决传统对比度丢失的记忆问题，提出了基于质心的对比学习（CCL）和质心范数正则化器（CNR），以优化方向和幅度上的对比度对。此外，我们还提出了多分区形心对比学习（MPCCL）来进一步减少目标特征的方差。MS-CMRSeg数据集上的Fewshot评估表明，与基线相比，ConFUDA在目标域上的分割性能提高了0.34的Dice分数，并且在更严格的oneshot设置中提高了0.31的Dice分数。
2022-06-08 cs.CV cs.LG
Transferrable Contrastive Learning for Visual Domain Adaptation
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
自监督学习（Self-supervised learning，SSL）是近年来特征学习方法中最受欢迎的一种。因此，它是呼吁领域自适应的方法，考虑纳入SSL。直觉是强制执行实例级特征一致性，使得预测器在域之间变得不变性。然而，大多数现有的SSL方法在领域自适应的制度通常被视为独立的辅助组件，留下的领域自适应的签名无人看管。实际上，域间隙消失的最佳区域和SSL所阅读的实例级约束可能根本不一致。从这一点出发，我们提出了一种为领域自适应定制的自监督学习的特定范例，即，可迁移的对比学习（TCL），它将SSL和所需的跨域可迁移性一致地联系起来。我们发现对比学习本质上是领域自适应的一个合适的候选者，因为它的实例不变性假设可以方便地提升到跨领域类级不变性青睐的领域自适应任务。基于特定的存储体结构和伪标签策略，TCL然后通过干净和新颖的对比损失来惩罚源和目标之间的跨域类内域差异。免费的午餐是，由于结合了对比学习，TCL依赖于移动平均密钥编码器，该编码器自然地实现了目标数据的伪标签的时间集合版本，这避免了伪标签错误传播，而无需额外成本。因此，TCL有效地减少了跨域差距。通过对单源和多源领域自适应任务的基准测试（ESP-Home、VisDA-2017、Digits-five、PACS和DomainNet）进行广泛的实验，TCL展示了最先进的性能。
2021-12-14 cs.AI cs.CV cs.MM
Joint Contrastive Learning for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；Hyundai Motor Group（现代汽车集团）
通过匹配边缘分布来增强特征可转移性已经导致了领域自适应的改进，尽管这是以特征鉴别为代价的。特别是，理想的联合假设误差的目标误差上限，这是以前被认为是分钟，已被发现是显着的，削弱其理论保证。在本文中，我们提出了一个替代上限的目标误差，明确考虑联合误差，使其更易于管理。在理论分析的基础上，提出了一种结合源域和目标域的联合优化框架。此外，我们引入了联合对比学习（JCL）来寻找类级判别特征，这对于最小化联合误差至关重要。在坚实的理论框架下，JCL使用对比损失来最大化特征与其标签之间的互信息，这相当于最大化条件分布之间的Jensen-Shannon散度。在两个真实数据集上的实验表明，JCL优于最先进的方法。
2020-06-18 cs.CV cs.LG
Label Shift Aware Adaptation for Online Zero-shot Learning with Contrastive Language-Image Pre-Training (CLIP)
Australian National University（澳大利亚国立大学）；China North Vehicle Research Institute（中国北方车辆研究所）；The Hong Kong Polytechnic University（香港理工大学）；Griffith University（格里菲斯大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；The University of Hong Kong（香港大学）
针对在线零样本学习中测试数据与CLIP训练数据分布不匹配的问题，提出标签偏移感知（LSA）方法，通过域自适应和标签偏移校正提升分类性能。
2026-06-16 cs.CV
Camera Alignment and Weighted Contrastive Learning for Domain Adaptation in Video Person ReID
ETS Montreal（蒙特利尔高等技术学院）
用于人员重新识别（ReID）的系统在大型全标记图像数据集上训练时可以实现高准确度。然而，域转移通常与不同的操作捕获条件（例如，摄像机视点和照明）可能转化为性能的显著下降。本文重点介绍了基于视频的ReID的无监督领域自适应（UDA）-一个相关的情况下，在文献中较少探讨。在这种情况下，ReID模型必须适应由基于tracklet信息的不同视频摄像机网络定义的复杂目标域。现有技术的方法对未标记的目标数据进行聚类，但是跨目标相机（子域）的域偏移可能导致聚类方法的初始化不佳，从而使噪声跨时期传播，从而阻止ReID模型准确地关联相同身份的样本。在本文中，为视频人物ReID引入了一种UDA方法，该方法利用视频轨迹的知识，以及在目标相机上捕获的帧的分布，以提高使用伪标签训练的CNN骨干的性能。我们的方法依赖于一种对抗性的方法，在这种方法中，引入了一个摄像机网络来提取与摄像机无关的判别表示，从而促进了后续的聚类。此外，提出了一种加权对比损失，以利用集群的信心，并减轻不正确的身份关联的风险。在三个具有挑战性的基于视频的人ReID数据集-PRID 2011，iLIDS-VID和MARS -上获得的实验结果表明，我们提出的方法可以优于相关的最先进的方法。我们的代码可从以下网址获得：\url{https://github.com/dmekhazni/CAWCL-ReID}
2022-11-07 cs.CV
Unsupervised Domain Adaptation for Brain Vessel Segmentation through Transwarp Contrastive Learning
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）
本文提出一种基于 Transwarp 对比学习的无监督域自适应框架，用于缩小带标签 3DRA 与无标签 MRA 模态间的域差距，并在脑血管数据集上验证其能有效提升无标签 MRA 数据的血管分割性能。
2024-02-23 cs.CV cs.LG
Robustified Domain Adaptation
Rensselaer Polytechnic Institute（伦斯勒理工学院）
无监督领域自适应（UDA）被广泛用于将知识从具有不同数据分布的标记源域转移到具有不同数据分布的未标记目标域。虽然广泛的研究表明，深度学习模型容易受到对抗攻击，但在领域自适应应用中，模型的对抗性鲁棒性在很大程度上被忽视了。本文指出UDA中不可避免的域分布偏差是影响模型在目标域上鲁棒性的关键障碍。为了解决这个问题，我们提出了一种新的类一致性无监督鲁棒领域自适应（CURDA）框架来训练鲁棒UDA模型。通过引入对比鲁棒训练和源锚定对抗对比损失，我们提出的CURDA框架可以通过同时最小化数据分布偏差和目标域清洁对抗对之间的距离来有效地鲁棒UDA模型，而不会产生分类混淆。在几个公共基准上的实验表明，CURDA可以显着提高模型在目标域的鲁棒性，而在干净样本上的精度只有很小的代价。
2021-03-24 cs.CV
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation with Dynamic Clustering and Contrastive Refinement for Gait Recognition
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院）
提出GaitDCCR模型，通过动态聚类参数与权重质心优化聚类，并结合基于置信度的伪标签精炼与对比教师模块减少噪声伪标签影响，显著提升无监督步态识别性能。
2025-04-06 cs.CV
Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation
Institute of Signal Processing and System Theory, University of Stuttgart（斯图加特大学信号处理与系统理论研究所）
深度卷积神经网络大大改善了语义分割的最新结果。然而，即使是现代架构也缺乏很好地泛化到来自不同领域的测试数据集的能力。为了避免对未知领域的训练数据进行昂贵的注释，无监督领域自适应（UDA）试图提供从标记的源领域到未标记的目标领域的有效知识转移。以前的工作主要集中在通过使用对抗训练或自我训练来最大限度地减少这两个领域之间的差异。虽然对抗训练可能无法对齐正确的语义类别，因为它最大限度地减少了全局分布之间的差异，但自我训练提出了如何提供可靠的伪标签的问题。为了调整正确的语义类别跨域，我们提出了一个对比学习的方法，适应跨域的类别明智的质心。此外，我们扩展了我们的方法与自我训练，在那里我们使用一个内存效率的时间合奏，以产生一致和可靠的伪标签。虽然对比学习和自我训练（CLST）通过时间集成使两个领域之间的知识转移，这是他们的组合，导致一个共生结构。我们验证了我们的方法上的两个领域自适应基准：GTA 5 $\rightarrow$城市景观和SYNTHIA $\rightarrow$城市景观。我们的方法比最先进的方法取得了更好或相当的结果。我们将公开代码。
2021-05-05 cs.AI cs.CV
Gradient Regularized Contrastive Learning for Continual Domain Adaptation
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
人类可以通过利用学习经验快速适应环境变化。然而，适应动态环境的能力差仍然是人工智能模型面临的主要挑战。为了更好地理解这个问题，我们研究了连续领域自适应的问题，其中模型是由一个标记的源域和一系列未标记的目标域。在这个问题上有两个主要的障碍：领域转移和灾难性遗忘。在这项工作中，我们提出了梯度正则化对比学习，以解决上述障碍。在我们的方法的核心，梯度正则化起着两个关键作用：（1）强制对比损失的梯度不增加源域上的监督训练损失，这保持了学习特征的区分能力;（2）正则化新域上的梯度更新以不增加旧目标域上的分类损失，这使得模型能够适应即将到来的目标域，同时保持先前观察到的域的性能。因此，我们的方法可以与标记的源域和未标记的目标域联合学习语义区分和域不变的功能。在Digits、DomainNet和E-Caltech基准测试上的实验表明，与最先进的方法相比，我们的方法具有很强的性能。
2020-07-25 cs.CV cs.LG
COMET: Contrastive Mean Teacher for Online Source-Free Universal Domain Adaptation
Institute of Signal Processing and System Theory（信号处理与系统理论研究所）；University of Stuttgart（斯图加特大学）
本文提出对比均值教师方法 COMET，首次研究在线无源通用域自适应问题，通过对比损失与熵损失结合均值教师框架，在域偏移与类别偏移并存的开放世界中实现稳定且领先的在线自适应性能。
2024-05-02 cs.CV
Unsupervised Domain Adaptation with Contrastive Learning for OCT Segmentation
F Hoffmann-La Roche AG（罗氏公司）；Genentech Inc（基因泰克公司）；ETH Zurich（苏黎世联邦理工学院）；Uppsala University（乌普萨拉大学）
三维光学相干断层扫描图像中视网膜液体的准确分割是眼科疾病诊断和个性化治疗的关键。虽然深度学习在这项任务上取得了成功，但训练的监督模型通常会在不类似标记示例的图像上失败，例如使用不同设备获取的图像。在此，我们提出了一种新的半监督学习框架分割的体积图像从新的未标记的域。我们联合使用监督和对比学习，还引入了一个对比配对方案，利用3D中附近切片之间的相似性。此外，我们提出了通道式聚合作为替代传统的空间池聚合对比特征映射投影。我们评估我们的领域自适应从（标记）源域到（未标记）目标域的方法，每个域包含用不同的采集设备采集的图像。在目标域中，我们的方法实现了比Simplified（最先进的对比框架）高13.8%的Dice系数，并导致与该域中监督训练的上限相当的结果。在源域中，我们的模型还通过成功利用来自许多未标记图像的信息，将结果提高了5.4%。
2022-08-03 cs.CV cs.LG eess.IV
Boosting Novel Category Discovery Over Domains with Soft Contrastive Learning and All-in-One Classifier
Westlake University（西湖大学）；Alibaba Group（阿里巴巴集团）
针对ODA与UNDA中新类别发现受增强视图噪声和分类器过度自信影响的问题，提出SAN框架，通过SCL损失与AIO分类器提升跨域新类别发现性能。
2023-07-23 cs.CV
Evidential Graph Contrastive Alignment for Source-Free Blending-Target Domain Adaptation
Sun Yat-Sen University（中山大学）；Tsinghua University（清华大学）
本文针对无源混合目标域适应（SF-BTDA）问题，提出证据对比对齐方法（ECA），通过校准证据学习模块提升伪标签质量，并利用图对比学习缓解标签偏移，显著优于现有方法。
2024-08-25 cs.AI cs.CV
Progressive Domain Adaptation with Contrastive Learning for Object Detection in the Satellite Imagery
Texas State University（德克萨斯州立大学）
本文针对卫星影像中小而密集目标检测难题，提出结合空间金字塔池化、跨阶段部分网络、热图区域提议和图像难度自适应焦点损失的小目标检测流程，并引入对比学习与渐进域自适应生成域不变特征，在高度不平衡卫星数据集上构建首个域自适应基准，使mAP提升7.4%。
2023-10-31 cs.CV cs.LG cs.MM
Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究院）
本文研究无源主动领域自适应（SFADA）问题，提出LFTL范式，通过对比主动采样选择信息量大的目标样本，并利用视觉持久性引导自适应进行特征对齐，在三个基准上实现了最先进性能与高计算效率。
2024-07-26 cs.AI cs.CV cs.LG
Cross-domain Contrastive Learning for Unsupervised Domain Adaptation
Fudan University（复旦大学）；Futurewei Technologies（未来wei技术公司）
无监督领域自适应（UDA）旨在将从完全标记的源领域学习到的知识转移到不同的未标记的目标领域。大多数现有的UDA方法通过最小化跨域的特征距离来学习域不变特征表示。在这项工作中，我们建立在对比自监督学习对齐功能，以减少训练集和测试集之间的域差异。探索由这两个域共享的同一组类别，我们介绍了一个简单而有效的框架CDCL，域对齐。特别是，给定一个锚图像从一个域，我们最小化其距离跨域样本从同一类相对于那些从不同的类别。由于目标标签不可用，我们使用基于聚类的方法，仔细初始化中心，以产生伪标签。此外，我们证明了CDCL是一个通用的框架，可以适应无数据设置，其中源数据在训练过程中不可用，修改最少。我们对两个广泛使用的领域自适应基准进行实验，即，Office-31和VisDA-2017，用于图像分类任务，并证明CDCL在两个数据集上都达到了最先进的性能。
2022-05-09 cs.AI cs.CV cs.LG
Contrastive Domain Adaptation for Early Misinformation Detection: A Case Study on COVID-19
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管最近在提高错误信息检测系统的性能方面取得了进展，但在看不见的领域中对错误信息进行分类仍然是一个难以捉摸的挑战。为了解决这个问题，一个常见的方法是引入域评论家，并鼓励域不变的输入功能。然而，早期的错误信息通常表现出相对于现有错误信息数据的条件性和标签偏移（例如，COVID-19数据集中的类别不平衡），使得这些方法对于检测早期错误信息的有效性降低。在本文中，我们提出了对比适应网络早期错误信息检测（CANMD）。具体来说，我们利用伪标记来生成高置信度的目标示例，用于与源数据进行联合训练。我们另外设计了标签校正组件来估计和校正标签偏移（即，类先验）之间的源域和目标域。此外，在目标函数中引入对比适应损失，以减小类内差异，扩大类间差异。因此，适应模型学习校正的类先验和跨两个域的不变条件分布，以改进对目标数据分布的估计。为了证明所提出的CANMD的有效性，我们研究了COVID-19早期错误信息检测的情况，并使用多个真实世界的数据集进行了广泛的实验。结果表明，CANMD可以有效地使错误信息检测系统适应看不见的COVID-19目标域，与最先进的基线相比有显着改进。
2022-10-02 cs.AI cs.CL cs.CV
Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain Adaptation
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）
本文提出一种结合视频转录文本与帧的多模态主题分割方法，并通过双对比域自适应框架提升模型在长视频和跨域场景下的准确性与可迁移性。
2023-11-30 cs.CL cs.CV cs.MM
Imbalance-Agnostic Source-Free Domain Adaptation via Avatar Prototype Alignment
South China University of Technology（华南理工大学）；National University of Singapore（新加坡国立大学）
针对无源域自适应中类别分布不平衡的实际问题，提出T-CPGA方法，利用源模型和对比语言-图像预训练模型生成准确伪标签，并设计目标标签分布感知分类器，显著提升了不平衡场景下的域自适应性能。
2023-05-22 cs.CV
Source-Free Domain Adaptation via Multi-view Contrastive Learning
School of Computer engineering, Iran university of Science and Technology（伊朗科学技术大学计算机工程学院）；Department of Computer Engineering, SR.C, Islamic Azad university（伊斯兰 Azad 大学计算机工程系）
本文针对无源无监督域适应中原型质量低和伪标签错误问题，提出结合可靠样本记忆、多视图对比学习和噪声标签过滤的三阶段方法，在多个基准数据集上取得显著准确率提升。
2025-07-04 cs.AI cs.CV
Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning
Nanjing University（南京大学）；Tencent America（腾讯美国）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Westlake University（西湖大学）
我们研究了一个实际的领域自适应任务，称为无源领域自适应（SFUDA），其中源预训练模型适应目标域，而无需访问源数据。现有技术主要利用自监督伪标记来实现类全局对齐[1]或依赖于局部结构提取，以鼓励邻域之间的特征一致性[2]。虽然已经取得了令人印象深刻的进展，这两种方法都有自己的缺点-“全球”的方法是敏感的噪音标签，而“本地”对应遭受源偏见。在本文中，我们提出了划分和对比（DaC），这是SFUDA的一种新范式，它致力于连接两个世界的美好结局，同时绕过它们的局限性。基于源模型的预测置信度，DaC将目标数据划分为类源样本和特定于目标的样本，其中任一组样本在自适应对比学习框架下用定制的目标进行处理。具体地说，类源样本由于其相对干净的标签而用于学习全局类聚类。在实例级利用更嘈杂的特定于目标的数据来学习固有的局部结构。我们进一步使用基于存储体的最大平均离散度（MMD）损失将源样域与目标特定的样本对齐，以减少分布失配。在VisDA、Domain-Home和更具挑战性的DomainNet上进行的大量实验已经验证了DaC优于当前最先进方法的性能。该代码可在https://github.com/ZyeZhang/DaC.git上获得。
2022-11-12 cs.AI cs.CV
Contrastive Adversarial Training for Unsupervised Domain Adaptation
Amazon（亚马逊）
针对域对抗训练在复杂场景下偏向源域的问题，提出对比对抗训练（CAT），利用源域样本调节目标域特征生成，解决特征分布不可区分、样本接近及不对齐三大挑战，可即插即用并显著提升性能。
2024-07-17 cs.CV cs.LG
Distance-based Hyperspherical Classification for Multi-source Open-Set Domain Adaptation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利技术研究院）
在封闭世界场景中训练的视觉系统在部署时遇到新的环境条件、新的数据分布和新的类别时会失败。如何走向开放世界学习是一个长期存在的研究问题。现有的解决方案主要集中在问题的特定方面（单域开集，多域闭集），或提出复杂的策略，结合几个损失和手动调整超参数。在这项工作中，我们通过引入HyMOS来解决多源开放集领域自适应：一个简单的模型，利用对比学习的力量及其超球面特征空间的属性来正确预测目标上的已知标签，同时拒绝属于任何未知类的样本。HyMOS在对比学习的实例转换中包含风格迁移，以获得领域不变性，同时避免负迁移的风险。根据观察到的数据分布定义自定进度的阈值，并在训练期间在线更新，从而允许处理已知-未知分离。我们在三个具有挑战性的数据集上验证了我们的方法。所获得的结果表明，HyMOS优于几个竞争对手，定义了新的国家的最先进的。https://github.com/silvia1993/HyMOS
2021-10-20 cs.CV
Image to Video Domain Adaptation Using Web Supervision
Microsoft Cognition（微软认知）
训练深度神经网络通常需要大量的标记数据，对于特定的目标域，获得这些标记数据可能是稀缺的或昂贵的。作为替代方案，我们可以利用相对丰富但可能包含噪声结果的网络监督数据（即来自公共搜索引擎的结果）。在这项工作中，我们提出了一种新的两阶段的方法来学习视频分类器使用webly监督的数据。我们认为，学习外观特征，然后依次时间特征，而不是同时，是一个更容易优化这项任务。我们通过首先从网络图像中学习图像模型来展示这一点，该图像模型用于初始化和训练视频模型。我们的模型应用领域自适应来解释源域（网络监督数据）和目标域之间存在的潜在域偏移，并通过添加新的注意力分量来解释噪声。我们报告的结果与UCF-101上最先进的网络监督方法具有竞争力（同时简化了训练过程），并对Kinetics进行了评估以进行比较。
2019-08-05 cs.CV
ReCLIP: Refine Contrastive Language Image Pre-Training with Source Free Domain Adaptation
University of Southern California（南加利福尼亚大学）；Amazon（亚马逊）
针对CLIP等视觉-语言模型应用于下游目标域时的域差距与跨模态失配问题，提出无源域适配方法ReCLIP，通过投影空间学习与跨模态自训练迭代优化，在22个基准上显著降低平均错误率。
2023-12-14 cs.CV cs.LG
ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation
University of Virginia（弗吉尼亚大学）；Cardiovascular Research Center, University of Virginia（弗吉尼亚大学心血管研究中心）；School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）
针对域适应语义分割中忽略数据分布的问题，提出ProtoGMM模型，利用高斯混合模型估计多原型源分布并结合多原型对比学习，有效实现类内聚合、类间分离与域对齐。
2024-06-27 cs.CV
