Achieving Domain Generalization in Underwater Object Detection by Domain Mixup and Contrastive Learning
Peking University（北京大学）；Chongqing University of Technology（重庆理工大学）；Peng Cheng Laboratory（鹏城实验室）
现有的水下目标检测方法在面对复杂的水下环境引起的区域漂移时，检测性能严重下降。由于数据集中领域数量的限制，深度检测器很容易记住少数几个已知的领域，导致泛化能力较低。提高领域泛化性能有两种常见的思路。首先，可以推断在尽可能多的域上训练的检测器是域不变的。第二，对于不同领域中语义内容相同的图像，其隐藏特征应该是等价的。本文进一步挖掘这两个想法，并提出了一个领域泛化框架（命名为DMC），学习如何从域混淆和对比学习跨领域的推广。首先，基于水下图像的形成，一幅图像在一个水下环境中是另一个水下环境的线性变换。因此，风格转移模型，它输出一个线性变换矩阵，而不是整个图像，提出了从一个源域到另一个域的图像转换，丰富的领域多样性的训练数据。其次，混合操作插值不同的域上的特征水平，采样新的域上的域流形。第三，对比损失被选择性地应用于来自不同领域的特征，以迫使模型学习领域不变特征，但保留区分能力。使用我们的方法，检测器将对域偏移具有鲁棒性。此外，一个领域泛化基准测试S-UODAC 2020的检测，以衡量我们的方法的性能。在S-UODAC 2020和两个目标识别基准（PACS和VLCS）上的综合实验表明，该方法能够学习领域不变表示，并且优于其他领域泛化方法.
2023-01-18 cs.CV
On the Generalization of Multi-modal Contrastive Learning
Peking University（北京大学）
本文建立 MMCL 与非对称矩阵分解的联系，给出其下游泛化保证，并从文本诱导正样本对角度统一解释 MMCL 与 SSCL，进而提出 CLIP 引导重采样方法提升 SSCL 的 ImageNet 性能。
2023-06-07 cs.CV
Generalized Semantic Segmentation by Self-Supervised Source Domain Projection and Multi-Level Contrastive Learning
Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；Peng Cheng Laboratory（鹏城实验室）
在源域上训练的深度网络在对不可见的目标域数据进行测试时表现出降级的性能。为了提高模型的泛化能力，现有的领域泛化方法大多通过抑制领域敏感特征来学习领域不变特征。与之不同的是，本文提出了一种基于域投影和对比学习的广义语义分割方法，该方法包括两个模块：自监督源域投影（SSDP）和多级对比学习（MLCL）。SSDP的目的是通过将数据投影到源域来减少域间隙，而MLCL是一种学习方案，用于学习投影数据上的区分性和可概括性特征。在测试过程中，我们首先通过SSDP对目标数据进行投影以减轻域偏移，然后通过基于MLCL的学习分割网络生成分割结果。在测试时，我们可以通过最小化我们提出的像素到像素的对比度损失来更新投影数据，以获得更好的结果。大量的语义分割实验表明，我们的方法在基准数据集上具有良好的泛化能力。
2023-03-03 cs.CV
Multi-Scale and Multi-Layer Contrastive Learning for Domain Generalization
Harokopio University of Athens（雅典哈罗科皮奥大学）
针对图像分类在未知视觉域中泛化不足的问题，提出融合多尺度多层特征并结合对比目标的域泛化框架，在四个基准上达到先进性能。
2024-05-10 cs.CV
DomCLP: Domain-wise Contrastive Learning with Prototype Mixup for Unsupervised Domain Generalization
Sungkyunkwan University（成均馆大学）
针对现有自监督域泛化方法难提取域无关特征、特征对齐假设强的问题，提出结合逐域对比学习和原型混合学习的DomCLP方法，在多数据集不同标签比例下性能优于SOTA。
2024-12-12 cs.CV
Contrastive Domain Disentanglement for Generalizable Medical Image Segmentation
University of Electronic Science and Technology of China（电子科技大学）；Shanghai AI Lab（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
有效地利用判别特征是卷积神经网络在医学图像分割中实现卓越性能的关键，也是跨多个领域模型泛化的重要因素，其中让模型识别多站点数据集之间的领域特定和领域不变信息是领域泛化的合理策略。不幸的是，大多数最近的解缠网络不能直接适应未知领域的数据集，因为提供的数据分布的限制。为了解决这个问题，我们提出了对比域解纠缠（CDD）网络的广义医学图像分割。我们首先引入一个解缠网络分解成一个解剖表示因子和一个模态表示因子的医学图像。然后，风格对比损失的建议，鼓励来自同一领域的情态表征分布尽可能接近，而不同的领域是彼此疏远。最后，我们提出了一个领域增强策略，可以随机生成新的领域模型泛化训练。在多位点眼底图像视杯和视盘分割数据集上的实验结果表明，CDD具有良好的模型泛化能力。我们提出的CDD优于几个国家的最先进的方法在域概括分割。
2022-05-13 cs.CV
Domain Generalization via Contrastive Causal Learning
Zhejiang University（浙江大学）
领域泛化（DG）的目标是从一组源域中学习一个模型，该模型可以很好地泛化到看不见的目标域。基于不变因果机制的思想，人们一直致力于学习由对象决定但对领域变化不敏感的鲁棒因果效应。尽管因果效应具有不变性，但它们很难被量化和优化。受人类通过先验知识适应新环境的能力的启发，我们开发了一种新的对比因果模型（CCM），将看不见的图像转换为已知图像的特征，并量化基于已知知识的因果效应。考虑到DG中的域转移对转移的影响，我们提出了一个更具包容性的因果图来描述DG任务。基于此因果图，CCM控制域因子来切断多余的因果路径，并使用剩余部分通过前门准则来计算图像对标签的因果影响。具体来说，CCM由三个部分组成：（i）领域条件监督学习，它教导CCM图像和标签之间的相关性，（ii）因果效应学习，它帮助CCM测量图像对标签的真实因果效应，（iii）对比相似性学习，它聚类属于同一类的图像特征，并提供相似性的量化。最后，我们在多个数据集上测试了CCM的性能，包括PACS，THEOHOME和TerraIncognita。大量的实验表明，CCM优于以往的DG方法具有明显的优势。
2022-10-06 cs.CV
ConDiSR: Contrastive Disentanglement and Style Regularization for Single Domain Generalization
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对医学图像分类中数据分布偏移且分类标签缺乏密集结构信息的单域泛化难题，提出结合通道对比解耦与重建式风格正则化的ConDiSR方法，在多中心组织病理分类任务上以1%准确率优势超越现有最优水平且性能更稳定。
2024-10-31 cs.CV
SelfReg: Self-supervised Contrastive Regularization for Domain Generalization
Kookmin University（国民大学）；NAVER Corp.（NAVER公司）；Korea University（高丽大学）
一般来说，深度学习的实验环境假设训练和测试数据集是从相同的分布中采样的。然而，在现实世界的情况下，两个数据集之间的分布差异，域转移，可能会发生，这成为阻碍模型泛化性能的主要因素。解决这一问题的研究领域称为领域泛化，它通过显式或隐式地提取领域不变特征来解决领域迁移问题。在最近的研究中，基于对比学习的领域泛化方法已经被提出并取得了很高的性能.这些方法需要对负数据对进行采样。然而，对比学习的性能从根本上取决于否定数据对的质量和数量。为了解决这个问题，我们提出了一种新的正则化方法领域泛化的基础上对比学习，自监督对比正则化（SelfReg）。该方法只使用正数据对，从而解决了负数据对抽样带来的各种问题。此外，我们提出了一个类特定的域扰动层（CDPL），这使得它可以有效地应用混合增强，即使只有正数据对使用。实验结果表明，SelfReg所采用的技术以兼容的方式对性能做出了贡献。在最近的基准测试中，DomainBed，所提出的方法显示出与传统的最先进的替代品相当的性能。代码可在https://github.com/dnap512/SelfReg上获得。
2021-04-20 cs.AI cs.CV
SCL: Towards Domain Generalization via Single-Temporal Multimodal Contrastive Learning for Remote Sensing Change Detection
Fudan University（复旦大学）；Tencent YouTu Lab（腾讯YouTu实验室）
提出基于视觉-语言预训练模型的单时相多模态对比学习（SCL）基础模型，结合动态文本-视觉上下文优化（DTCO）和可控生成与单时相训练策略（SAIN），无需目标数据集训练即可实现遥感变化检测的跨数据集泛化。
2026-06-01 cs.CV
Contrastive Learning-Enhanced Trajectory Matching for Small-Scale Dataset Distillation
Graduate School of Engineering, University of Fukui（福井大学工学研究科）
针对小规模数据集蒸馏中语义信息丢失问题，提出在轨迹匹配中融入对比学习以增强合成样本的判别性与多样性，实验证明该方法在极少量合成数据下显著提升模型性能。
2025-05-22 cs.CV
Implicit Data Synthesis for Contrastive Unsupervised Data Augmentation
School of Informatics, The University of Edinburgh（信息学院）；Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）
针对科学观测数据难以标注的问题，提出通过扰动网络权重而非数据生成对比样本，在雷达流星观测上使用SimCLR管道验证性能提升。
2026-06-05 cs.CV
Devil is in Channels: Contrastive Single Domain Generalization for Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Research and Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对医学图像分割模型在新医疗中心部署时性能下降的问题，提出通道级对比单域泛化模型C²SDG，通过对比训练解耦风格与结构表示并仅基于结构进行分割，在多域视杯视盘分割基准上以较大优势优于六种竞争方法。
2023-06-24 cs.CV
Generalization properties of contrastive world models
Baylor College of Medicine（贝勒医学院）；Shirley Ryan AbilityLab（雪莉·瑞安能力实验室）；Northwestern University（西北大学）
本文系统测试对比式世界模型在多种OOD场景下的泛化性质，发现其因对象属性变化破坏表征分解而泛化失败，表明当前模型学习以对象为中心表征的能力有限。
2023-12-29 cs.CV cs.LG
DCL: Differential Contrastive Learning for Geometry-Aware Depth Synthesis
Zhejiang University（浙江大学）；Stanford University（斯坦福大学）
针对非配对真实感深度合成中的几何一致性问题，提出任务无关的差分对比学习方法 DCL，使所学真实变化不改变底层几何，并在多项几何推理任务上验证其优越性能与迁移能力。
2022-02-28 cs.CV
Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Northwestern University（西北大学）
提出CISFA框架，结合单侧生成与逐块对比损失及自监督特征自适应，实现跨模态生物医学图像分割，显著优于现有方法。
2023-09-01 cs.CV
Calibration-based Dual Prototypical Contrastive Learning Approach for Domain Generalization Semantic Segmentation
Shenzhen University（深圳大学）
针对PCL中原型跨域不一致及类间原型相似导致的特征对齐难题，本文提出CDPCL，通过UPCL不确定性校准与HPCL硬加权校准双模块学习域不变特征，在域泛化语义分割上取得领先性能。
2023-09-25 cs.CV
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning
Peking University（北京大学）；Huawei（华为）；National University of Singapore（新加坡国立大学）
针对合成到真实新视角合成中合成数据导致体积密度不准确的问题，提出几何感知对比学习和跨视图注意力，提升泛化NeRF的渲染质量，在PSNR、SSIM和LPIPS上优于现有方法。
2023-06-23 cs.CV
Contrastive Learning with Synthetic Positives
University of Notre Dame（内布拉斯加大学达灵顿分校）；Guangdong Provincial People’s Hospital（广东省级人民医院）
提出CLSP方法，利用扩散模型生成合成正样本，提升对比学习性能，在多个基准上超越现有方法。
2025-04-24 cs.CV
Generalization Bounds for Robust Contrastive Learning: From Theory to Practice
Qualcomm AI Research（英伟达人工智能研究）
本文为对抗对比学习建立严格泛化理论，揭示良性对比损失与全局散度可提升鲁棒监督损失，并通过实验验证。
2025-10-27 cs.CV cs.LG
Continual Learning: Less Forgetting, More OOD Generalization via Adaptive Contrastive Replay
University of Cambridge（剑桥大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
针对基于排练的持续学习方法存在的OOD泛化差、遗忘率高的问题，提出自适应对比重放方法ACR，通过双重优化、自适应填充错分类样本均衡表征，实现稳定性与可塑性平衡，在多个数据集上OOD泛化性能显著提升。
2024-10-09 cs.CV cs.LG
Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters
University of Oulu（奥卢大学）；Nanyang Technological University（南洋理工大学）；ByteDance（字节跳动）；National University of Defense Technology（国防科技大学）
Few-Shot持续学习（FSCL）的目标是在有限的标记样本下增量学习新的任务，同时保持原有的能力，而目前的FSCL方法都是为了类增量的目的。而且，对FSCL解决方案的评价只是所有遇到的任务的累积性能，而没有探索领域泛化能力的工作。领域泛化是一个具有挑战性但又实用的任务，其目标是在训练领域之外进行泛化。在本文中，我们建立了一个广义的FSCL（GFSCL）协议，涉及类和领域的增量情况下，连同领域泛化评估。首先，新安排了两个基准数据集和协议，并为这种未探索的配置提供了详细的基线。我们发现，常见的持续学习方法在未知领域的泛化能力差，不能更好地应对交叉增量任务中的灾难性遗忘问题。通过这种方式，我们进一步提出了一个基于视觉Transformer（ViT）的无排练框架，称为适配器的对比混合（CMoA）。由于类增量和领域增量的优化目标不同，CMoA包含两个部分：（1）针对类增量问题，在ViT中引入了混合适配器（MoA）模块，并设计了余弦相似度正则化和动态权重，使每个适配器学习特定的知识，集中于特定的类。(2)对于领域相关问题和领域不变的表示学习，我们通过原型校准的对比学习来减轻类内变异。代码和协议可在https://github.com/yawencui/CMoA上获得。
2023-02-12 cs.CV
Generalizable Synthetic Image Detection via Language-guided Contrastive Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；State Key Laboratory of Internet of Things for Smart City（智慧城市物联网国家重点实验室）；Department of Computer and Information Science, Faculty of Science and Technology, University of Macau（澳门大学计算机与信息科学系）；Faculty of Applied Sciences, Macao Polytechnic University（澳门 polytechnic 大学应用科学系）
提出基于语言引导对比学习的合成图像检测方法LASTED，通过文本标签增强和视觉-语言对比监督学习泛化性更强的取证特征空间，在四个数据集上显著超越现有方法。
2025-04-30 cs.CV
PathoSCOPE: Few-Shot Pathology Detection via Self-Supervised Contrastive Learning and Pathology-Informed Synthetic Embeddings
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；University of Glasgow（格拉斯哥大学）；University College London（伦敦大学学院）
PathoSCOPE提出小样本无监督病理检测框架，仅需少量非病理样本，通过全局-局部对比损失和病理信息嵌入生成模块，在BraTS2020和ChestXray8上达到最先进性能且计算高效。
2025-05-23 cs.CV
Towards the Generalization of Contrastive Self-Supervised Learning
Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清源研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
最近，自监督学习引起了极大的关注，因为它只需要未标记的数据进行模型训练。对比学习是自监督学习的一种流行方法，并且已经取得了很好的实验效果。然而，对其泛化能力的理论认识仍然有限。为此，我们定义了一种$(σ,δ)$ -措施数学量化的数据增强，然后提供了一个上限的下游分类出错率的基础上的措施。结果表明，对比自监督学习的泛化能力与正样本的对齐、类中心的发散和扩充数据的集中度等三个关键因素有关。前两个因素是学习表示的属性，而第三个因素由预定义的数据增强确定。我们进一步研究了两个典型的对比损失，InfoNCE和互相关，以展示它们如何可证明地实现前两个因素。此外，我们进行实验来研究第三个因素，并观察到下游性能和增强数据的浓度之间的强相关性。
2023-03-02 cs.AI cs.CV cs.LG
SynCo: Synthetic Hard Negatives for Contrastive Visual Representation Learning
Imperial College London（伦敦帝国学院）
针对对比学习难负例获取成本高的问题，提出SynCo方法，直接在表征空间用缓存队列嵌入合成难负例，在MoCo框架下验证其能以极低计算成本提升表征效果和下游任务迁移性能，且长预训练周期下无性能下降。
2026-09-01 cs.AI cs.CV
FixCLR: Negative-Class Contrastive Learning for Semi-Supervised Domain Generalization
University of California, Davis（加州大学戴维斯分校）
针对半监督领域泛化中标签稀缺导致泛化性能不佳的问题，提出FixCLR方法，通过利用伪标签类别信息和仅使用排斥项改进对比学习，显式正则化学习领域不变表示，可叠加于现有方法实现互补提升。
2025-06-25 cs.AI cs.CV
SYNCS: Synthetic Data and Contrastive Self-Supervised Training for Central Sulcus Segmentation
Danish Research Centre for Magnetic Resonance (DRCMR)（丹麦磁共振研究中心）
针对双相障碍和精神分裂症高风险儿童的中央沟分割挑战，本研究提出结合合成数据生成与多任务自监督预训练的新方法，提升了跨人群分割性能并免除了繁重预处理。
2024-03-22 cs.CV
GS-EMA: Integrating Gradient Surgery Exponential Moving Average with Boundary-Aware Contrastive Learning for Enhanced Domain Generalization in Aneurysm Segmentation
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）
本文提出GS-EMA优化结合边界感知对比学习，通过学习领域不变特征提升3DRA脑动脉瘤分割在跨机构领域偏移下的鲁棒性与准确性。
2024-02-23 cs.CV cs.LG
Leveraging Contrastive Learning for Semantic Segmentation with Consistent Labels Across Varying Appearances
本文提出一个多天气城市场景合成数据集及利用对比学习实现特征一致性的域自适应方法，有效提升了跨域语义分割性能并确立了合成数据生成与域自适应的新范式。
2024-12-21 cs.CV
NSYNC: Negative Synthetic Image Generation for Contrastive Training to Improve Stylized Text-To-Image Translation
Dept. of Computer Engineering, Hacettepe University（计算机工程系，哈切特佩大学）；University of Luxembourg（卢森堡大学）
本文提出NSYNC对比学习框架，通过生成负样本合成图像并利用正负梯度的正交分量更新参数，消除平凡属性，有效提升了大型文本到图像扩散模型的风格化能力。
2025-11-03 cs.CV
Synthetic-to-Real Domain Adaptation using Contrastive Unpaired Translation
University of Bonn（波恩大学）
机器人技术中深度学习模型的有用性在很大程度上取决于训练数据的可用性。手动注释训练数据通常是不可行的。合成数据是一种可行的替代方案，但存在域缺口。我们提出了一种多步骤的方法来获得训练数据，而无需手动注释工作：从3D对象网格，我们使用现代合成管道生成图像。我们利用最先进的图像到图像的翻译方法，以适应合成图像的真实域，最大限度地减少域差距的学习方式。翻译网络是从未配对的图像中训练出来的，即只需要一个未注释的真实图像集合。然后可以使用生成和细化的图像来为特定任务训练深度学习模型。我们还提出并评估了进一步提高性能的翻译方法的扩展，例如基于补丁的训练，它缩短了训练时间并提高了全局一致性。我们评估我们的方法，并证明其有效性的两个机器人数据集。最后，我们深入了解学习的细化操作。
2022-06-28 cs.CV
Supervised Contrastive Machine Unlearning of Background Bias in Sonar Image Classification with Fine-Grained Explainable AI
Department of Computational Intelligence, Faculty of Engineering；Technology, SRM Institute of Science
本文提出结合目标对比遗忘和解释框架的水声图像分类方法，通过减少背景偏见提升模型泛化能力与可解释性。
2025-12-01 cs.CV
Feature Augmentation for Self-supervised Contrastive Learning: A Closer Look
Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sangfor Technologies Inc.（深信服科技股份有限公司）
本文提出一种与领域无关的特征增强统一框架，通过在特征空间增强数据多样性，系统研究其架构与原则，提升了自监督对比学习预训练模型的泛化能力与鲁棒性。
2024-10-16 cs.CV
SAGE: Saliency-Guided Contrastive Embeddings
University of Notre Dame（诺丁汉大学）
SAGE通过对比嵌入将人类显著性整合到网络训练中，提升分类性能，适用于多种任务和骨干网络。
2025-12-05 cs.CV
FISHing in Uncertainty: Synthetic Contrastive Learning for Genetic Aberration Detection
St. Anna Children’s Cancer Research Institute（圣安娜儿童癌症研究所）；TU Wien（维也纳技术大学）；Medical University of Vienna（维也纳医科大学）
针对FISH图像遗传畸变检测中人工标注成本高、不确定性处理不足的问题，提出基于合成图像的联合对比与分类训练方法，在真实数据上实现96.7%的高置信样本分类准确率，优化诊断流程。
2024-11-01 cs.CV
Domain Generalization for Mammography Detection via Multi-style and Multi-view Contrastive Learning
Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）；Yale University（耶鲁大学）；ShanghaiTech University（上海科技大学）
病灶检测是乳腺X线摄影计算机辅助诊断中的一个基本问题。深度学习技术的进步已经为这项任务取得了显着的进展，前提是训练数据很大，并且在图像风格和质量方面足够多样化。特别是，图像风格的多样性可能主要归因于供应商因素。然而，尽可能多地从供应商那里收集乳房X线照片是非常昂贵的，有时对于实验室规模的研究来说是不切实际的。因此，为了进一步增强深度学习模型对资源有限的各种供应商的泛化能力，开发了一种新的对比学习方案。具体地说，主干网首先训练与多风格和多视图的无监督自学习方案的不变特征嵌入到各种供应商的风格。之后，主干网然后被重新校准到具有特定监督学习的病变检测的下游任务。所提出的方法进行了评估与乳房X线照片从四个供应商和一个看不见的公共数据集。实验结果表明，我们的方法可以有效地提高检测性能的可见和不可见的领域，并优于许多国家的最先进的（SOTA）推广方法。
2021-11-21 cs.CV eess.IV
NoiseTransfer: Image Noise Generation with Contrastive Embeddings
Hanyang University（汉阳大学）
在大量合成训练数据集的帮助下，深度图像去噪网络取得了令人印象深刻的成功。然而，真实世界的去噪仍然是一个具有挑战性的问题，由于真实和合成噪声数据集之间的分布的差异。尽管已经提出了几个真实世界的噪声数据集，但是训练数据集的数量（即，干净和真实噪声图像对）是有限的，并且获取更多真实噪声数据集是费力且昂贵的。为了缓解这个问题，已经研究了使用生成模型来模拟真实噪声模型的许多尝试。然而，以前的工作必须训练多个网络来处理多个不同的噪声分布。相比之下，我们提出了一个新的生成模型，可以合成多个不同的噪声分布的噪声图像。具体来说，我们采用最近的对比学习来学习噪声的可区分的潜在特征。此外，我们的模型可以产生新的噪声图像，通过转移的噪声特性仅从一个单一的参考噪声图像。我们证明了我们的噪声模型的准确性和有效性，已知和未知的噪声去除。
2023-01-31 cs.CV
Contrastive Weighted Learning for Near-Infrared Gaze Estimation
通过使用深度学习，基于外观的注视估计已经非常成功。许多后续工作改进了用于注视估计的领域泛化。然而，尽管在用于凝视估计的领域泛化方面已经取得了很大进展，但最近的大多数工作都集中在跨数据集性能上-考虑照明，头部姿势和照明的不同分布。虽然改进RGB图像的不同分布中的注视估计是重要的，但是基于近红外图像的注视估计对于黑暗环境中的注视估计也是至关重要的。此外，对于回归任务，仅依赖于监督学习也存在固有的局限性。本文致力于解决这些问题，并提出了GazeCWL，一种新的框架与近红外图像使用对比学习的视线估计。这利用了用于数据增强的对抗攻击技术和专门用于回归任务的新型对比损失函数，该回归任务有效地聚类了潜在空间中不同样本的特征。在基于红外图像的视线估计中，我们的模型优于以前的领域泛化模型，比基线模型的性能提高了45.6%，同时比最先进的模型提高了8.6%，证明了我们的方法的有效性.
2022-12-08 cs.CV cs.LG
Synergizing Contrastive Learning and Optimal Transport for 3D Point Cloud Domain Adaptation
Fujitsu Research India（富士通印度研究院）；IIIT Hyderabad（海得拉巴国际信息技术学院）
针对三维点云无监督域适应中图像域方法不适用的问题，提出融合多模态对比学习与最优传输的点云分类域适应架构，在两个基准数据集上取得优异性能。
2023-08-27 cs.CV
Tubelet-Contrastive Self-Supervision for Video-Efficient Generalization
University of Amsterdam（阿姆斯特丹大学）
提出 Tubelet 对比自监督方法，通过合成运动轨迹学习外观不同但局部运动一致的视频表示，在仅用 25% 预训练视频时保持性能并展现跨域泛化能力。
2023-09-28 cs.AI cs.CV
Synthetic Hard Negative Samples for Contrastive Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出SSCL方法，通过混合负样本生成并采样更难负样本，同时进行去偏处理，以提升对比学习在图像分类任务中的性能。
2023-04-17 cs.CV cs.LG
Domain Generalization for Mammographic Image Analysis with Contrastive Learning
Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）；Southern Medical University（南方医科大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
针对乳腺X线图像分析中因不同厂商扫描仪导致的数据风格多样性和收集困难问题，提出一种新颖的对比学习方法，通过多风格多视图无监督自学习预训练提升模型风格泛化能力，并在肿块检测等四项下游任务中显著超越SOTA方法。
2023-09-07 cs.CV cs.LG
Improving Generalization in MRI-Based Deep Learning Models for Total Knee Replacement Prediction
University of Tehran（德黑兰大学）
针对MRI深度学习模型在不同来源数据上泛化性差的问题，提出用实例归一化替代批归一化、数据增强和对比损失的方法，在OAI数据集上显著提升分类性能。
2025-11-04 cs.CV eess.IV
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
A Generalization Theory of Cross-Modality Distillation with Contrastive Learning
The Hong Kong University of Science and Technology（香港科技大学）；Fudan University（复旦大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出跨模态对比蒸馏（CMCD）框架，结合正负对应进行对比学习，并通过收敛性分析揭示模态间距离对下游任务测试误差的影响，实验证明其在多种模态和任务上优于现有算法2-3%。
2024-05-28 cs.CV cs.LG
Towards better understanding and better generalization of few-shot classification in histology images with contrastive learning
Tencent AI Lab（腾讯人工智能实验室）；UC Los Angeles（加州大学洛杉矶分校）；Tsinghua University（清华大学）；Xiamen University（厦门大学）
在自然图像中，Few-Shot学习是一个已经建立了多年的研究课题，但很少有人关注组织学图像，这是一个具有很高临床价值的领域，因为良好标记的数据集和罕见的异常样本的收集是昂贵的。为了实现标签有效的学习和更好的泛化能力，我们建议将对比学习（CL）与潜在增强（LA）结合起来，构建一个Few-Shot系统。CL学习有用的表示而无需手动标签，而LA以无监督的方式传输基础数据集的语义变化。这两个组件充分利用了未标记的训练数据，并可以优雅地扩展到其他标签饥饿的问题。在实验中，我们发现i）CL学习的模型比监督学习更好地推广了看不见的类中的组织学图像，ii）LA带来了超过基线的一致收益。以前的自监督学习研究主要集中在类似ImageNet的图像上，这些图像只在中心呈现一个主要对象。近年来，多目标多纹理图像的研究得到了广泛的关注。组织学图像是这种研究的自然选择。我们展示了CL在这些数据的泛化方面优于监督学习，并为这一观察提供了我们的经验理解。这项工作中的发现可能有助于理解模型如何在表征学习和组织学图像分析的背景下推广。代码可用。
2022-02-18 cs.CV eess.IV
Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对合成图像与真实图像语义分布差异导致的语义失真问题，提出一种无监督合成图像优化方法，利用语义-结构一致性、对比学习和难负样本挖掘，实现最先进性能。
2023-04-26 cs.AI cs.CV eess.IV
Encouraging Intra-Class Diversity Through a Reverse Contrastive Loss for Better Single-Source Domain Generalization
LIRIS（里昂图像与信息系统实验室）；École Centrale de Lyon（里昂中央理工学院）；Thales LAS France（法国泰雷兹激光系统公司）
传统的深度学习算法在训练数据的域之外进行测试时通常无法推广。这个问题可以通过在训练时使用来自目标域的未标记数据来缓解，但是由于一旦部署了学习模型，数据分布就会在现实应用中动态变化，因此创建对未知和不可预见的域变化具有鲁棒性的网络至关重要。在本文中，我们将重点讨论神经网络无法做到这一点的原因之一：深度网络只关注最明显的、可能是虚假的线索来进行预测，而对有用但效率略低或更复杂的模式视而不见。这种行为已经被发现，有几种方法部分解决了这个问题。为了研究它们的有效性和局限性，我们首先设计了一个公开的基于MNIST的基准测试，以精确地测量算法找到“隐藏”模式的能力。然后，我们通过我们的基准测试评估最先进的算法，并表明这个问题在很大程度上是未解决的。最后，我们提出了一个部分反向的对比损失，以鼓励类内的多样性，并找到不太强的相关模式，其效率是由我们的实验证明。
2023-02-02 cs.AI cs.CV cs.LG
Joint semi-supervised and contrastive learning enables domain generalization and multi-domain segmentation
F Hoffmann-La Roche AG（F. 霍夫曼-拉罗什公司）；Genentech Inc（基因泰克公司）；Uppsala University（乌普萨拉大学）
针对不同域图像分割的挑战，提出SegCLR框架，联合半监督与对比学习，在3个3D视网膜OCT数据集上验证其优越性能，实现域泛化与多域分割，推动相关应用边界。
2025-04-14 cs.AI cs.CV eess.IV
Preserving Silent Features for Domain Generalization
Tsinghua University（清华大学）
针对自监督预训练模型在领域泛化中因沉默特征被抑制而泛化不佳的问题，提出STEP方法在监督微调时保留沉默特征，显著提升了模型在分布偏移基准上的性能。
2024-01-06 cs.CV cs.LG
Synth-by-Reg (SbR): Contrastive learning for synthesis-based registration of paired images
University of Sussex（萨塞克斯大学）；Polytechnique Montreal（蒙特利尔理工学院）；Cardiff University（卡迪夫大学）；University College London（伦敦大学学院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
非线性模态间配准通常是具有挑战性的，因为缺乏作为对准的良好代理的目标函数。在这里，我们提出了一个合成配准方法转换成一个更容易的模态内的任务这个问题。我们介绍了弱监督域之间的图像翻译，不需要完全对齐的训练数据的注册损失。这种损失利用了具有冻结权重的配准U-Net，以驱动合成CNN朝向所需的翻译。我们补充了这种损失与结构保持约束的基础上对比学习，防止模糊和内容移位，由于过拟合。我们将这种方法应用于组织切片与MRI切片的配准，这是3D组织学重建的关键步骤。在两个不同的公共数据集上的结果显示，与基于互信息（地标误差减少13%）和基于合成的算法（如CycleGAN（减少11%））的注册相比，注册性能有所改善，并且与具有标签监督的注册CNN相当。代码和数据可在\url{https://github.com/acasamitjana/SynthByReg}上公开获取
2023-01-27 cs.CV cs.LG eess.IV
Anatomy-Constrained Contrastive Learning for Synthetic Segmentation without Ground-truth
Yale University（耶鲁大学）
通常需要大量的手动分割来训练鲁棒的分割网络，使得其能够以新的成像模态分割感兴趣的对象。如果在一个成像模态中的手动分割（例如，CT）可用于训练另一成像模态中的分割网络（例如，CBCT/MRI/PET）。在这项工作中，我们开发了一个解剖结构约束的对比合成分割网络（AccSeg-Net），训练目标成像模式的分割网络，而不使用其地面实况。具体而言，我们提出使用解剖约束和补丁对比学习，以确保在无监督自适应过程中的解剖保真度，使得分割网络可以在具有正确解剖结构/内容的自适应图像上进行训练。我们的AccSeg-Net的训练数据包括1）源模态中与分割真值配对的成像数据，以及2）未配对的源和目标模态成像数据。我们证明了CBCT，MRI和PET成像数据的成功应用，并显示出优越的分割性能相比，以前的方法。
2021-07-12 cs.AI cs.CV eess.IV
HCVP: Leveraging Hierarchical Contrastive Visual Prompt for Domain Generalization
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；University of New South Wales（新南威尔士大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, San Diego（加州大学圣地亚哥分校）；CSIRO’s Data61（CSIRO数据61）；University of Sydney（悉尼大学）；Macquarie University（麦考瑞大学）
HCVP通过层次对比视觉提示方法提升领域泛化能力，有效分离不变特征与特定特征，优于现有算法。
2026-01-05 cs.AI cs.CV
