SCOT: Self-Supervised Contrastive Pretraining For Zero-Shot Compositional Retrieval
Yahoo Research（雅虎研究院）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
针对全监督组合图像检索数据标注成本高、泛化性弱的问题，提出自监督组合预训练策略SCOT，借助大语言模型与图文对数据对比训练嵌入组合网络，零样本性能超越现有最优方法及诸多全监督方案。
2025-01-12 cs.AI cs.CV
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding
University of Southern California（南加州大学）；MEGVII Technology（旷视科技）
新兴的兴趣已经被带到识别以前看不见的对象，给出很少的训练样本，称为Few-Shot目标检测（FSOD）。最近的研究表明，良好的特征嵌入是获得良好的少样本学习性能的关键。我们观察到具有不同交集（IoU）分数的对象提案类似于对比方法中使用的图像内增强。我们利用这种类比，并结合监督对比学习，以实现更强大的对象表示FSOD。我们提出了Few-Shot目标检测通过对比建议编码（FSCE），一个简单而有效的方法来学习对比感知的对象建议编码，便于检测到的对象的分类。我们注意到，对稀有对象的平均精度（AP）的下降主要来自错误分类的新实例混淆类。我们通过对比建议编码损失（CPE损失）来提高实例级类内紧凑性和类间方差，从而缓解误分类问题。我们的设计在任何镜头和所有数据分割方面都优于当前最先进的作品，在标准基准PASCAL VOC上高达+8.8%，在具有挑战性的COCO基准上高达+2.7%。代码可在：https：//github.com/MegviiDetection/FSCE
2021-03-13 cs.CV
Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment
Goethe University Frankfurt（法兰克福歌德大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联合会（DKTK））
NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。
2026-02-11 cs.AI cs.CV
Contrastive-Based Deep Embeddings for Label Noise-Resilient Histopathology Image Classification
Primaa；Institut Curie（居里研究所）；PSL University（巴黎文理研究大学）
针对组织病理学图像分类中标签噪声导致模型性能下降的问题，研究发现自监督对比学习训练的病理学基础模型提取的嵌入具备标签噪声鲁棒性，效果优于非对比嵌入及常用抗噪方法，代码已开源。
2024-04-11 cs.AI cs.CV
Multi-Level Contrastive Learning for Few-Shot Problems
Louisiana State University（路易斯安那州立大学）
对比学习是一种区别性的方法，旨在将相似的样本分组为更接近的样本，而将不同的样本分组为彼此远离的样本。它是一种有效的技术来训练编码器生成可区分的和信息的表示，并且它甚至可以增加编码器的可传递性。针对当前对比学习的应用中，编码器最后一层的一种表示形式只能得到一种学习效果的问题，提出了一种多级对比学习方法，该方法利用编码器不同层的对比损失来学习编码器的多种表示形式。之后，可以构建集成以利用下游任务的多个表示。我们在少样本学习问题上评估了所提出的方法，并使用mini-ImageNet和分层ImageNet数据集进行了实验。我们的模型在两个数据集上都取得了最新的结果，与以前的常规，集成和基于对比学习（单级）的方法相比。
2021-07-15 cs.CV
Few-Shot Classification with Contrastive Learning
Shenzhen University（深圳大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
当前少样本学习（FSL）研究中广泛采用由预训练和元训练两个阶段组成的两阶段训练范式。这些方法中的许多使用自监督学习和对比学习来实现新的最先进的结果。然而，对比学习在FSL训练范式的两个阶段中的潜力仍然没有得到充分的开发。在本文中，我们提出了一种新的基于对比学习的框架，无缝集成对比学习到这两个阶段，以提高性能的Few-Shot分类。在预训练阶段，我们提出了一种自监督的对比损失，其形式为特征向量与特征图和特征图与特征图，它使用全局和局部信息来学习良好的初始表示。在元训练阶段，我们提出了一个跨视图情节训练机制，对同一情节的两个不同视图进行最近质心分类，并采用基于它们的距离缩放对比损失。这两种策略迫使模型克服观点之间的偏见，促进表征的可转移性。在三个基准数据集上的大量实验表明，我们的方法取得了有竞争力的结果。
2022-09-17 cs.CV
Rethinking the Sample Relations for Few-Shot Classification
School of Big Data and Software Engineering, Chongqing University（重庆大学大数据与软件学院）；Chongqing University（重庆大学）；Fowler College of Business, San Diego State University（圣地亚哥州立大学福勒商学院）；San Diego State University（圣地亚哥州立大学）
提出多粒度关系对比学习（MGRCL），通过分别建模样本内、类内和类间关系提升少样本分类特征质量，在四个基准上超越多数先进方法并可集成到其他FSL方法中。
2025-01-23 cs.AI cs.CV
K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations
Shanghai Jiaotong University（上海交通大学）；Seattle Cloud Lab, Futurewei Technologies（未来wei技术西雅图云实验室）
在本文中，我们提出了$K$ -镜头对比学习（KSCL）的视觉特征，通过应用多个增强调查的样本变化在个别情况下。它旨在通过学习区分特征来区分不同的实例，以及通过将查询与实例上增强样本的变体相匹配来区分实例内的变化，从而结合实例间区分的优势。特别地，对于每个实例，它构造一个实例子空间来模拟$K$ -镜头增强中的变化的重要因素如何被组合以形成增强的变体的配置。给定一个查询，通过将查询投影到实例的子空间上来预测正实例类，从而检索实例的最相关变体。这推广了现有的对比学习，可以被视为一个特殊的一次性情况。通过特征值分解来构造实例子空间，并通过可微子空间构造来训练嵌入网络。实验结果表明，所提出的$K$ -shot对比学习取得了优于国家的最先进的无监督方法的性能。
2021-02-01 cs.CV
Boosting Few-Shot Classification with View-Learnable Contrastive Learning
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Lab（鹏城实验室）
Few-Shot分类的目标是在每个类别中使用很少的标记示例对新类别进行分类。目前，基于度量的元学习方法在处理Few-Shot分类问题上表现出了优异的性能。然而，在没有细粒度标签的嵌入空间中，以往的方法很难区分细粒度的子类别。这可能导致对细粒度子类别的概括不令人满意，从而影响模型解释。为了解决这个问题，我们将对比度损失引入到Few-Shot分类中，以学习嵌入空间中潜在的细粒度结构。此外，为了克服当前对比学习中使用的随机图像变换在产生噪声和不准确的图像对（即，视图），我们开发了一个学习到学习的算法来自动生成同一图像的不同视图。在标准少样本学习基准上的大量实验证明了我们方法的优越性。
2021-07-30 cs.CV
Hierarchical Attention Network for Few-Shot Object Detection via Meta-Contrastive Learning
Hanyang University（汉阳大学）
Few-Shot目标检测（FSOD）的目的是对新类别的少量图像进行分类和检测。现有的元学习方法没有充分利用支持和查询图像之间的功能，由于结构上的限制。我们提出了一个层次化的注意力网络与顺序大的感受野，充分利用查询和支持图像。此外，元学习不能很好地区分类别，因为它决定了支持图像和查询图像是否匹配。换句话说，基于度量的分类学习是无效的，因为它不直接工作。因此，我们提出了一种称为Meta对比学习的对比学习方法，它直接帮助实现元学习策略的目的。最后，我们建立了一个新的国家的最先进的网络，通过实现显着的利润。对于COCO数据集上的1-30个镜头的目标检测，我们的方法带来了2.3，1.0，1.3，3.4和2.4%的AP改进。我们的代码可在：https://github.com/infinity7428/hANMCL
2022-12-14 cs.CV
Spatial Contrastive Learning for Few-Shot Classification
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们探讨了对比学习的Few-Shot分类，在其中，我们建议使用它作为一个额外的辅助训练目标，作为一个数据依赖的正则化，以促进更一般和可转移的功能。特别是，我们提出了一种新的基于注意力的空间对比目标，以学习局部判别和类不可知的功能。因此，我们的方法克服了交叉熵损失的一些限制，例如对可见类的过度歧视，这降低了特征到不可见类的可转移性。通过大量的实验，我们表明，所提出的方法优于国家的最先进的方法，确认学习良好的和可转移的嵌入的重要性，少样本学习。
2021-06-20 cs.CV cs.LG
Shot Contrastive Self-Supervised Learning for Scene Boundary Detection
Amazon Prime Video（亚马逊Prime Video）
场景在将电影和电视剧的故事情节分解成语义上有凝聚力的部分方面起着至关重要的作用。然而，鉴于其复杂的时间结构，寻找场景边界可能是一项具有挑战性的任务，需要大量的标记训练数据。为了解决这一挑战，我们提出了一个自我监督的镜头对比学习方法（ShotCoL）学习镜头表示，最大限度地提高附近的镜头之间的相似性相比，随机选择的镜头。我们展示了如何将我们学习的镜头表示应用于场景边界检测任务，以在MovieNet数据集上提供最先进的性能，同时只需要约25%的训练标签，使用9倍的模型参数，并提供7倍的运行时间。为了评估ShotCoL在场景边界检测的新应用中的有效性，我们承担了在电影和电视剧中找到时间戳的问题，其中可以插入视频广告，同时提供最小的破坏性观看体验。为此，我们收集了一个名为AdCuepoints的新数据集，其中包含3，975部电影和电视剧集，220万个镜头和19，119个最小破坏性广告提示点标签。我们对该数据集进行了全面的实证分析，证明了ShotCoL用于广告提示点检测的有效性。
2021-04-28 cs.CV
Few-shot Single-view 3D Reconstruction with Memory Prior Contrastive Network
Fudan University（复旦大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
基于少样本学习的新类别的三维重建在现实世界中有着广泛的应用前景，并引起了越来越多的研究兴趣。以往的方法主要集中在如何设计形状先验模型的不同类别。他们在看不见的类别上的表现不是很有竞争力。在本文中，我们提出了一个记忆先验对比网络（MPCN），可以存储形状先验知识的少样本学习为基础的三维重建框架。在形状记忆的基础上，提出了一个多头注意力模块，用于捕获候选形状先验的不同部分，并将这些部分融合在一起，以指导新类别的3D重建。此外，我们还引入了一种3D感知的对比学习方法，该方法不仅可以补充记忆网络的检索精度，而且可以更好地组织图像特征以用于下游任务。与以前的Few-Shot三维重建方法相比，MPCN可以处理类间的变化，而无需类别注释。在基准合成数据集和Pascal3D+真实世界数据集上的实验结果表明，我们的模型明显优于当前最先进的方法。
2022-07-30 cs.CV
Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer
Kim Jaechul Graduate School of AI（金在哲人工智能研究生院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出零样本对比损失方法，利用预训练扩散模型中的分块对比损失，在无需微调或辅助网络的情况下实现文本引导的图像风格迁移，并优于现有方法。
2023-04-12 cs.AI cs.CV cs.LG
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
Transferable Contrastive Network for Generalized Zero-Shot Learning
University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
零样本学习（Zero-shot learning，ZRL）是一个具有挑战性的问题，其目标是在没有可见数据的情况下识别目标类别，其中利用语义信息从一些源类别中转移知识。尽管近年来ZSL取得了很大进展，但大多数现有方法在广义零样本学习（GZSL）任务中很容易过拟合源类，这表明它们对目标类的知识知之甚少。为了解决这个问题，我们提出了一种新的可转移对比网络（TCN），显式地将知识从源类转移到目标类。它自动将一幅图像与不同的类别进行对比，以判断它们是否一致。通过利用类的相似性，使知识转移从源图像到类似的目标类，我们的方法是更强大的目标图像识别。五个基准数据集上的实验表明，我们的方法的优越性GALML。
2019-08-16 cs.CV
Few-Shot Point Cloud Semantic Segmentation via Contrastive Self-Supervision and Multi-Resolution Attention
National University of Singapore（新加坡国立大学）；Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局制造技术研究所）
本文提出了一种有效的Few-Shot点云语义分割方法。现有的基于点云的Few-Shot分割方法严重依赖于大规模标注数据集的全监督预训练，这会导致学习到的特征提取偏向于那些预训练的类。然而，由于少样本学习的目的是处理未知/不可见的类，因此预训练中的这种类特定的特征提取对于推广到少样本学习的新类并不理想。此外，点云数据集几乎没有大量的类，由于注释的困难。为了解决这些问题，我们提出了一个对比自监督框架，用于少样本学习预训练，其目的是通过类不可知的对比监督来消除特征提取偏差。具体来说，我们实现了一种新的对比学习方法，具有可学习的增强器，用于3D点云，以实现逐点区分，从而通过自我监督来增强预训练与管理过拟合。此外，我们开发了一个多分辨率的注意力模块，使用最近和最远的点，以更有效地提取局部和全局点信息，并采用中心集中的多原型，以减轻类内稀疏。综合实验进行了评估所提出的方法，这表明我们的方法达到了最先进的性能。此外，一个实际的CAM/CAD分割的案例研究，以证明我们的方法在现实世界中的应用的有效性。
2023-02-21 cs.CV
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa，它最大限度地重用了预训练的图像-文本对比字幕（CoCa）模型，并使其适应视频-文本任务，只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型，但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入，从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外，我们还在VideoCoCa上探索了轻量级的微调，并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
Efficient Few-Shot Medical Image Analysis via Hierarchical Contrastive Vision-Language Learning
Autonomous University of Nuevo León（新莱昂自治大学）
针对医学图像小样本分类标注数据不足的问题，提出带分层对比对齐的自适应视觉-语言微调框架HiCA，通过两阶段微调实现多模态表征多层级对齐，在两个医学基准数据集的小样本、零样本任务上均达SOTA，兼具鲁棒性与可解释性。
2025-01-16 cs.CL cs.CV
Two-stream joint matching method based on contrastive learning for few-shot action recognition
Chongqing University（重庆大学）
本文提出基于对比学习的双流联合匹配方法TSJM，通过多模态对比学习模块和联合匹配模块解决少样本动作识别中的多模态信息利用不足及视频匹配问题。
2024-01-08 cs.CV
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research（脸书人工智能研究院）
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中，对比学习通过负样本对防止崩溃。已经表明，非对比方法遭受不同性质的较小崩溃问题：维度崩溃，其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里，我们表明，维度崩溃也发生在对比学习。在本文中，我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发，我们提出了一种新的对比学习方法，称为DirectRank，它直接优化表示空间，而不依赖于显式的可训练投影。实验表明，DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了VideoCLIP，这是一种对比方法，用于预训练zero-shot视频和文本理解的统一模型，而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比，来训练视频和文本的Transformer。我们对一系列下游任务的实验，包括序列级文本视频检索，VideoQA，令牌级动作定位和动作分割，揭示了最先进的性能，超过了先前的工作，在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV
PathoSCOPE: Few-Shot Pathology Detection via Self-Supervised Contrastive Learning and Pathology-Informed Synthetic Embeddings
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；University of Glasgow（格拉斯哥大学）；University College London（伦敦大学学院）
PathoSCOPE提出小样本无监督病理检测框架，仅需少量非病理样本，通过全局-局部对比损失和病理信息嵌入生成模块，在BraTS2020和ChestXray8上达到最先进性能且计算高效。
2025-05-23 cs.CV
Visual-Semantic Contrastive Alignment for Few-Shot Image Classification
少样本学习旨在训练和优化一个模型，该模型可以适应看不见的视觉类，只有少数标记的例子。现有的少样本学习（FSL）方法严重依赖于视觉数据，因此无法从很少的示例中捕获语义属性以学习更广义的视觉概念版本。然而，众所周知的事实是，人类视觉学习极大地受益于来自视觉、语言和音频等多种形式的输入。受人类学习本质的启发，将视觉类别的现有知识以语言的形式封装起来，我们引入了视觉和语义特征向量的对比对齐机制，以学习更广义的视觉概念，用于少样本学习。我们的方法只是简单地添加了一个辅助的对比学习目标，它捕获的上下文知识的视觉类别从一个强大的文本编码器除了现有的训练机制。因此，该方法更通用，可以插入到任何现有的FSL方法。我们在方法中使用的预训练语义特征提取器（从大规模文本语料库中学习）提供了强大的上下文先验知识来帮助FSL。在流行的FSL数据集上进行的实验结果表明，我们的方法本质上是通用的，并对现有的FSL基线提供了强有力的推动。
2022-10-20 cs.CV
A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
Universidade Federal do Rio Grande do Norte（联邦大学-里约格朗德杜北州分校）；CESAR；Lenovo（联想）
针对单目视频或2D姿态序列的手语识别难题，提出基于对比Transformer的模型，学习身体关键点序列的丰富表示，支持训练中未见手语的单样本和少样本分类任务，在LSA64数据集上效果良好。
2026-07-07 cs.AI cs.CL cs.CV
Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation
Yonsei University（延世大学）；Korea Aerospace University（韩国航空大学）
我们解决的问题，Few-Shot语义分割（FSS），其目的是分割新的类对象的目标图像与一些注释的样本。虽然最近的进展已经通过结合基于原型的度量学习，现有的方法仍然表现出有限的性能下极端的类内对象的变化和语义相似的类间对象，由于其穷人的功能表示。为了解决这个问题，我们提出了一个双原型对比学习的方法，适合于FSS的任务，有效地捕捉代表性的语义特征。其主要思想是通过在原型特征空间中增加类间距离同时减少类内距离来鼓励原型更具区分力。为此，我们首先提出了一个类特定的对比损失与动态原型字典，存储类感知的原型在训练过程中，从而使相同的类原型相似，不同的类原型是不相似的。此外，我们引入了一个类不可知的对比损失，以提高泛化能力，看不见的类，压缩每个情节内的语义类的特征分布。我们证明了所提出的双原型对比学习方法在PASCAL-5i和COCO-20 i数据集上的性能优于最先进的FSS方法。该代码可从以下网址获得：https://github.com/kwonjunn01/DPCL1。
2021-11-09 cs.CV
Semantics-Guided Contrastive Network for Zero-Shot Object detection
University of Technology Sydney（悉尼科技大学）；Wenzhou University（温州大学）
Zero-shot目标检测（ZSD）是将传统的检测模型扩展到从不可见的类别中检测目标的任务，已成为计算机视觉中的一个新的挑战。现有的大多数方法都采用严格的映射-迁移策略来处理ZSD任务，这可能会导致次优的ZSD结果：1）这些模型的学习过程忽略了可用的不可见类别信息，因此很容易偏向于可见类别; 2）原始视觉特征空间结构不佳，缺乏区分信息。为了解决这些问题，我们开发了一种新的语义引导的对比网络ZSD，名为ContrastZSD，一个检测框架，第一次把对比学习机制到领域的zero-shot检测。特别地，ContrastZSD结合了两个语义引导的对比学习模型，分别在区域-类别和区域-区域对之间进行对比。成对对比任务利用从地面真实标签和预定义的类相似性分布两者导出的额外监督信号。在这些显式语义监督的指导下，该模型可以学习更多的未见过类别的知识，以避免对已见概念的偏见问题，同时优化视觉特征的数据结构，使其更具区分性，以实现更好的视觉-语义对齐。在ZSD的两个流行基准上进行了大量的实验，即，PASCAL VOC和MS COCO。结果表明，我们的方法优于以前的国家的最先进的ZSD和广义ZSD任务。
2021-12-31 cs.CV
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon（亚马逊）；University of Freiburg（弗莱堡大学）
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近，该原理也被用于学习视频和文本的跨模态嵌入，但没有充分利用其潜力。特别是，之前的丢失没有考虑模态内的相似性，这会导致嵌入效率低下，因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink，我们提出了一个解决这个问题的对比损失。此外，我们根据输入嵌入定义了高度相关的样本集，并将其从阴性样本中排除，以避免假阴性问题。我们表明，这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning
Xidian University（西安电子科技大学）
成分零次学习（Compositional Zero-Shot Learning，CNOL）的目的是在训练过程中识别由可见状态和对象形成的不可见成分。由于相同的态在与不同的物体纠缠时，在视觉上可能会有不同的表现，因此，量子纠缠仍然是一个具有挑战性的任务。一些方法使用两个训练好的分类器识别状态和对象，忽略了对象和状态之间的交互影响;另一些方法试图学习状态-对象组合的联合表示，导致可见和不可见组合集之间的域间隙。在本文中，我们提出了一种新的暹罗对比嵌入网络（SCEN）（代码：https：//github.com/XDUxyLi/SCEN-master），用于不可见成分识别。考虑到状态和对象之间的纠缠，我们将视觉特征嵌入到一个暹罗对比空间中，分别捕获它们的原型，减轻了状态和对象之间的相互作用。此外，我们设计了一个状态转换模块（STM），以增加训练成分的多样性，提高识别模型的鲁棒性。大量的实验表明，我们的方法显着优于三个具有挑战性的基准数据集，包括最近提出的C-QGA数据集的最先进的方法。
2022-06-29 cs.CV
Dual Contrastive Network for Few-Shot Remote Sensing Image Scene Classification
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；CETC Key Laboratory of Aerospace Information Applications（中国电子科技集团公司第五研究院航空航天信息应用重点实验室）
本文提出双对比网络DCN，通过上下文引导和细节引导的对比学习分支提升遥感图像少样本分类性能，实验表明其在四个公开数据集上表现优异。
2026-03-24 cs.CV
Cluster-based Contrastive Disentangling for Generalized Zero-Shot Learning
Sichuan University（四川大学）
广义零样本学习（Generalized Zero-Shot Learning，GSML）通过只训练可见类来识别可见类和不可见类，其中不可见类的实例倾向于偏向可见类。在本文中，我们提出了一个基于对比分解（CCD）的方法，以改善GREML减轻语义差距和领域转移的问题。具体来说，我们首先对批处理数据进行聚类，形成包含相似类的几个集合。然后，将视觉特征分解为语义非特定和语义匹配变量，并根据聚类结果将语义匹配变量进一步分解为类共享和类唯一变量。具有随机交换和语义视觉对齐的分离学习模块弥合了语义鸿沟。此外，我们引入对比学习语义匹配和类唯一的变量，学习高的集内和类内的相似性，以及集间和类间的可区分性。然后，生成的视觉特征符合一般图像的底层特征，具有较强的区分信息，这很好地解释了域转移问题。我们在四个数据集上评估了我们提出的方法，并在常规和广义设置中获得了最先进的结果。
2022-03-05 cs.CV
Adversarial Lagrangian Integrated Contrastive Embedding for Limited Size Datasets
Kyungpook National University（庆北国立大学）
某些数据集包含有限数量的样本，具有高度多样的样式和复杂的结构。本文提出了一种新的适用于小规模数据集的对抗性拉格朗日集成对比嵌入（ALICE）方法。首先，在具有少量样本的各种数据集子集上显示了所提出的预训练对抗性转移的准确性提高和训练收敛性。其次，研究了一种新的使用各种增强技术的对抗性集成对比模型。该结构考虑了不同外观的输入样本，并通过对抗性迁移对比训练生成一个更好的表示。最后，多目标增广拉格朗日乘子鼓励所提出的对抗性对比嵌入的低秩和稀疏性，以自适应地自动估计正则化器的系数到最佳权重。稀疏约束抑制特征空间中代表性较低的元素。低秩约束消除了琐碎和冗余的组件，并使优越的泛化。所提出的模型的性能进行消融研究，通过使用基准数据集的情况下，小数据样本进行验证。
2022-10-06 cs.CV
Instance Adaptive Prototypical Contrastive Embedding for Generalized Zero Shot Learning
Arizona State University（亚利桑那州立大学）
针对广义零样本学习中合成特征判别力有限和嵌入空间表示重叠的问题，提出基于边界的原型对比学习嵌入网络与实例自适应对比损失，有效增强聚类监督与类间边界，在三个基准数据集上取得最优未见性能。
2023-09-14 cs.CV
Contrastive Learning with Large Memory Bank and Negative Embedding Subtraction for Accurate Copy Detection
DeNA Co., Ltd.（DeNA有限公司）
拷贝检测是一个尚未解决的问题，它是一个确定图像是否是数据库中任何图像的修改副本的任务。因此，我们通过用对比学习训练卷积神经网络（CNN）来解决拷贝检测。使用大内存库和硬数据增强进行训练，使CNN能够获得更具鉴别力的表示。我们提出的负嵌入减法进一步提高了复制检测的准确性。使用我们的方法，我们在Facebook AI图像相似性挑战：描述符跟踪中获得了第一名。我们的代码在这里公开：\url{https://github.com/lyakaap/ISC21-Descriptor-Track-1st}
2021-12-08 cs.CV
ACE: Zero-Shot Image to Image Translation via Pretrained Auto-Contrastive-Encoder
University of Michigan（密歇根大学）；University of Illinois（伊利诺伊大学）；YanShan University（燕山大学）；ShanghaiTech University（上海科技大学）
图像间的平移是计算机视觉中的一项基本任务。它将图像从一个域转换为另一个域中的图像，使它们具有特定的域特定特征。大多数先前的工作训练生成模型来学习从源域到目标域的映射。然而，学习域之间的这种映射是具有挑战性的，因为来自不同域的数据在质量和数量方面可能高度不平衡。为了解决这个问题，我们提出了一种新的方法来提取图像特征，通过学习相同的数据分布内的样本的相似性和差异，通过一种新的对比学习框架，我们称之为自动对比编码器（ACE）。ACE学习内容代码作为具有相同内容信息和不同风格扰动的样本之间的相似性。ACE的设计使我们能够实现zero-shot图像到图像的翻译，而无需对图像翻译任务进行训练。此外，我们的学习方法可以有效地学习不同领域的图像的风格特征。因此，我们的模型在多模态图像翻译任务上也取得了有竞争力的结果，具有零样本学习。此外，我们证明了我们的方法在迁移学习的潜力。通过微调，翻译图像的质量在看不见的领域得到改善。即使我们使用对比学习，我们所有的训练都可以在一个GPU上执行，批量大小为8。
2023-02-22 cs.CV
GenCo: An Auxiliary Generator from Contrastive Learning for Enhanced Few-Shot Learning in Remote Sensing
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Intelinair
本文提出基于生成器的对比学习框架GenCo，通过预训练骨干网络并在特征空间生成样本变体以丰富有限标注数据，有效提升了遥感图像分类与分割的少样本学习性能。
2023-07-27 cs.CV
Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning
Renmin University of China（中国人民大学）；University of Surrey（萨里大学）；Alibaba Group（阿里巴巴集团）
最近的少样本学习（FSL）方法是基于元学习与情节训练。在每个元训练片段中，首先在内部循环中从支持集构建区分性特征嵌入和/或分类器，然后在外部循环中使用查询集进行评估以进行模型更新。然而，这种以查询集样本为中心的学习目标在解决支持集中缺乏训练数据的问题方面本质上是有限的。本文提出了一种新的基于增强嵌入的对比原型学习（CPLAE）模型来克服这一局限性。首先，数据增强被引入到支持集和查询集，每个样本现在被表示为由原始和增强版本的级联嵌入组成的增强嵌入（AE）。其次，提出了一种新的以对比损失为中心的支持集类原型用于对比原型学习（CPL）。CPL以类原型为锚点，目的是将同一类的查询样本拉得更近，而将不同类的查询样本拉得更远。这种支持集样本中心损失是对现有查询中心损失的高度补充，充分利用了每个片段中有限的训练数据。在几个基准上的大量实验表明，我们提出的CPLAE实现了新的最先进的。
2021-01-23 cs.CV
Learnt Contrastive Concept Embeddings for Sign Recognition
University of Surrey（萨里大学）；Meta Reality Labs（Meta现实实验室）
本文提出弱监督对比框架 LCC，结合 NLP 词嵌入与概念相似度损失学习手语嵌入，实现手语自动时间定位，并在 WLASL、BOBSL 上达到基于关键点识别的最优性能。
2023-08-18 cs.CV
Self-Attention Message Passing for Contrastive Few-Shot Learning
Delft University of Technology（代尔夫特理工大学）；Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）
人类有一种独特的能力，可以在很少或没有监督的情况下，从少数几个例子中学习新的表征。然而，深度学习模型需要大量的数据和监督才能在令人满意的水平上执行。无监督少样本学习（U-FSL）是弥合机器和人类之间差距的追求。受图神经网络（GNNs）在发现复杂样本间关系方面的能力的启发，我们提出了一种新的基于自注意的消息传递对比学习方法（SAMP-BNN）用于U-FSL预训练。我们还提出了一种基于最优传输（OT）的微调策略（我们称之为OpT-Tune），以有效地将任务感知引入到我们新的端到端无监督Few-Shot分类框架（SAMPTransfer）中。我们广泛的实验结果证实了SAMPTransfer在各种下游Few-Shot分类场景中的有效性，在miniImagenet和tieredImagenet基准测试中为U-FSL设定了新的最先进水平，分别提供了高达7%+和5%+的改进。我们的进一步调查还证实，SAMPTransfer仍然与miniImagenet上的一些监督基线相当，并且在具有挑战性的跨域场景中优于所有现有的U-FSL基线。我们的代码可以在我们的GitHub存储库https://github.com/ojss/SAMPTransfer/中找到。
2022-10-12 cs.CV
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning
State Key Laboratory of Virtual Reality Technology and System, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
细粒度的动作识别正吸引越来越多的关注，由于在现实世界中的应用程序中的特定动作理解的新兴需求，而罕见的细粒度类别的数据是非常有限的。因此，我们提出了Few-Shot细粒度动作识别问题，旨在识别新的细粒度动作，只有很少的样本，为每个类。虽然已经取得了进展，在粗粒度的行动，现有的Few-Shot识别方法遇到两个问题处理细粒度的行动：无法捕捉微妙的行动细节和学习的不足，从数据与低类间方差。为了解决第一个问题，人类视觉启发的双向注意模块（BAM）的建议。BAM将自上而下的任务驱动信号与自下而上的显着刺激相结合，通过准确突出信息丰富的时空区域来捕捉微妙的动作细节。为了解决第二个问题，我们引入了对比元学习（CML）。与广泛采用的基于ProtoNet的方法相比，CML对低类间方差数据生成更具鉴别力的视频表示，因为它充分利用了每个训练片段中的潜在对比对。此外，为了公平地比较不同的模型，我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量的实验表明，我们的方法在评估的任务中始终达到最先进的性能。
2021-08-15 cs.CV
Few-shot Oriented Object Detection with Memorable Contrastive Learning in Remote Sensing Images
Wuhan University（武汉大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对遥感图像少样本目标检测中轴对齐候选框偏差和数据稀缺问题，提出FOMC方法，采用有向边界框与动态记忆库的监督对比学习，在DOTA和HRSC2016数据集上达到SOTA。
2024-03-20 cs.CV
Few-shot Human Action Anomaly Detection via a Unified Contrastive Learning Framework
University of Toyama（东大大学）；University of Fukui（福井大学）
针对现有HAAD方法需大量样本且一类一模型的局限，提出统一对比学习框架，通过类别无关表征空间和扩散生成动作增强，实现少样本场景下的异常检测，在HumanAct12数据集上取得SOTA效果。
2025-08-25 cs.CV
MoLo: Motion-augmented Long-short Contrastive Learning for Few-shot Action Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
本文提出运动增强长短对比学习方法MoLo，通过长短对比目标和运动自动解码器同时学习长距离时间上下文与运动线索，有效解决少样本动作识别中局部帧匹配不精确和忽略运动学习的问题，在五个基准上优于现有方法。
2023-04-03 cs.CV
Non-Contrastive Learning Meets Language-Image Pre-Training
Microsoft（微软）
对比语言图像预训练（CLIP）是图像和文本对齐的事实标准。然而，网络抓取数据的图像和文本之间的松散相关性使得对比客观数据效率低下，并且需要大量的训练批量。在这项工作中，我们探索了非对比语言图像预训练（nCLIP）的有效性，并研究了视觉自监督模型中表现出的良好特性是否可以出现。我们经验性地观察到，非对比性目标在zero-shot识别下充分表现不佳的同时，也会抑制表示学习。在此基础上，进一步介绍了一个结合CLIP和nCLIP的多任务框架xCLIP，并说明了nCLIP有助于CLIP增强特征语义。两个目标之间的协同作用使xCLIP能够两全其美：在zero-shot迁移和表示学习方面都具有卓越的性能。系统的评估进行了各种各样的下游任务，包括zero-shot分类，域外分类，检索，视觉表示学习，和文本表示学习，展示了一致的性能增益和验证xCLIP的有效性。
2022-10-17 cs.CV
Few-Shot Segmentation with Global and Local Contrastive Learning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Institute of Big Data, Fudan University（复旦大学大数据学院）；Cardiff University（卡迪夫大学）
本文提出一种独立于支持分支的查询信息提取方法，利用全局-局部对比学习学习先验并生成区域图指导交互，在PASCAL-5$^{i}$和COCO上达到SOTA。
2025-03-25 cs.CV
CICA: Content-Injected Contrastive Alignment for Zero-Shot Document Image Classification
RPTU（莱茵兰-普法尔茨技术大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出 CICA 框架，通过内容注入和耦合对比损失对齐文档文本与 CLIP 多模态特征，并在 RVL-CDIP 的 ZSL/GZSL 基准上显著提升性能。
2024-05-06 cs.CV
Contrastive Spectral Rectification: Test-Time Defense towards Zero-shot Adversarial Robustness of CLIP
University of Electronic Science and Technology of China（电子科技大学）
提出对比谱校正（CSR）方法，利用对抗样本在频率衰减下的特征不一致性，通过谱引导对比目标优化校正扰动，在16个分类基准上平均提升18.1%的强攻击鲁棒性，且推理开销低。
2026-06-09 cs.CV
Consistency-Guided Asynchronous Contrastive Tuning for Few-Shot Class-Incremental Tuning of Foundation Models
Vector Institute（矢量研究所）；York University（约克大学）
提出CoACT方法，通过异步对比微调、受控微调和一致性引导增量微调，在少样本类增量学习及新提出的FSCIT设置下有效微调基础模型，显著降低遗忘并提升性能。
2025-04-01 cs.CV
Region Embedding with Intra and Inter-View Contrastive Learning
Nanyang Technological University（南洋理工大学）
无监督区域表示学习旨在从未标记的城市数据中提取密集有效的特征。虽然已经基于多个视图做出了一些努力来解决这个问题，但是现有方法在提取视图中的表示和/或合并来自不同视图的表示方面仍然不足。基于对比学习在表示学习中的成功，我们提出将其用于多视图区域表示学习，并设计了一个称为ReMVC（Region Embedding with Multi-View对比学习）的模型，该模型遵循两个指导原则：i）在每个视图中将区域与其他区域进行比较，以实现有效的表征提取; ii）在不同视图中将区域与自身进行比较，以实现跨视图信息共享。我们设计了视图内对比学习模块和视图间对比学习模块，前者用于学习不同的区域嵌入，后者作为软共正则化器来约束嵌入参数并在多视图间传递知识。我们在两个下游任务中利用学习到的区域嵌入，即土地使用聚类和区域流行度预测。大量的实验表明，我们的模型实现了令人印象深刻的改进相比，七个国家的最先进的基线方法，在土地利用聚类任务的利润率超过30%。
2022-11-15 cs.CV cs.LG
DRG-Font: Dynamic Reference-Guided Few-shot Font Generation via Contrastive Style-Content Disentanglement
Indian Statistical Institute Kolkata（印度统计研究院科里切斯特分校）；Indian Institute of Technology Kharagpur（印度理工学院哈里科尔分校）
本文提出DRG-Font，通过对比式风格-内容解耦实现少样本字体生成，动态选择最佳风格参考并结合多尺度风格和内容模块生成风格一致的字体。
2026-04-15 cs.CV
A Simple Task-aware Contrastive Local Descriptor Selection Strategy for Few-shot Learning between inter class and intra class
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对少样本图像分类中现有局部描述符选择方法忽略背景特征任务价值的问题，提出TCDSNet，通过计算对比判别分数选择支持描述符子集，再自适应选查询描述符，在通用和细粒度数据集上性能超SOTA。
2024-08-12 cs.CV cs.MM
COFT-AD: COntrastive Fine-Tuning for Few-Shot Anomaly Detection
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局信息通信研究院）；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）
针对少样本异常检测中正常样本稀缺及域偏移问题，本文提出COFT-AD，利用源域预训练模型并结合对比微调、跨实例正负样本对学习紧凑正常表示，在多项受控与真实任务上验证有效。
2024-02-29 cs.CV
