Unsupervised Visual Representation Learning by Synchronous Momentum Grouping
Shanghai Jiao Tong University（上海交通大学）；HuaWei Technologies Co., Ltd.（华为技术有限公司）
在本文中，我们提出了一种真正的组级对比视觉表示学习方法，其在ImageNet上的线性评估性能超过了普通的监督学习。两种主流的无监督学习方案是实例级对比框架和基于聚类的方案。前者采用极细粒度的实例级判别，其监督信号由于漏报而效率不高。虽然后者解决了这个问题，但它们通常会带来一些影响性能的限制。为了综合它们的优点，我们设计了SMoG方法。SMoG遵循对比学习的框架，但从实例到组替换对比单元，模仿基于聚类的方法。为了实现这一点，我们提出了动量分组方案，同步进行特征分组与表示学习。这样，SMoG解决了基于聚类的方法通常面临的监督信号滞后的问题，并减少了实例对比方法的误报。我们进行了详尽的实验，以表明SMoG在CNN和Transformer骨干上都能很好地工作。实验结果表明，该方法优于现有的SOTA无监督表示学习方法.此外，它的线性评价结果优于香草监督学习的性能，并表示可以很好地转移到下游任务。
2022-07-13 cs.CV
Federated Momentum Contrastive Clustering
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了联邦动量对比聚类（FedMCC），一个学习框架，不仅可以在分布式本地数据中提取判别表示，而且还可以进行数据聚类。在FedMCC中，转换后的数据对同时通过在线和目标网络，从而产生四种表示，通过这些表示来确定损失。FedMCC生成的高质量表示可以优于几种现有的线性评估和半监督学习任务的自监督学习方法。FedMCC可以很容易地适应普通的集中式集群，通过我们所谓的动量对比集群（MCC）。我们证明了MCC在STL-10和ImageNet-10等特定数据集中实现了最先进的聚类精度结果。我们还提出了一种方法来减少我们的聚类方案的内存占用。
2022-06-10 cs.CV cs.LG stat.ML
AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in Image Classification
Arizona State University（亚利桑那州立大学）
用于分类问题的深度学习架构涉及交叉熵损失，有时辅助辅助损失函数，如中心损失，对比损失和三重损失。这些辅助损失函数有助于更好地区分不同的兴趣类别。然而，最近的研究表明，这些损失函数没有考虑到低级别和高级别的特征表示所表现出的内在角分布的事实。这导致来自同一类的样本之间的紧凑性降低，并且不同类的数据聚类之间的边界分离不清楚。在本文中，我们解决这个问题，提出使用几何约束，植根于黎曼几何。具体来说，我们提出了角裕度对比损失（AMC-损失），一个新的损失函数与传统的交叉熵损失一起使用。AMC-损失采用的判别角距离度量，这是等效于超球面流形上的测地线距离，使它可以服务于一个明确的几何解释。我们通过提供定量和定性的结果证明了AMC损失的有效性。我们发现，尽管提出的几何约束损失函数适度地改善了定量结果，但它在质量上对增加深网决策的可解释性具有令人惊讶的有益影响，如Grad-CAM等技术生成的视觉解释所示。我们的代码可在https://github.com/hchoi71/AMC-Loss上获得。
2020-04-21 cs.CV
Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction
OMRON SINIC X Corporation（OMRON SINIC X公司）；Nara Institute of Science and Technology（名取科学技術大學院）
针对医疗多模态数据融合中模态不平衡和缺失问题，提出集成增强模态丢弃与对比学习的框架，引入可学习模态标记改进缺失感知融合，在大规模临床数据集上实现SOTA性能，尤其单模态场景表现优异，且适配CT基础模型，为临床应用提供高效方案。
2025-09-22 cs.CV
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
Supervised Contrastive Learning and Feature Fusion for Improved Kinship Verification
Ecole Nationale Supérieure d’Informatique Algiers（阿尔及尔国立高等计算机学院）
人脸亲属关系验证是确定两张人脸图像之间的亲属关系程度的任务。它最近在法医学，社交媒体和人口统计学研究的各种应用中获得了很大的兴趣。在过去的十年中，基于深度学习的方法已经成为解决这个问题的一个有前途的解决方案，实现了最先进的性能。在本文中，我们提出了一种新的方法来解决亲属关系验证，通过使用监督对比学习，训练模型，以最大限度地提高相关个体之间的相似性，并最小化它之间的无关个体。我们的实验显示了最先进的结果，并在野生家族（FIW）数据集中达到了81.1%的准确率。
2023-02-19 cs.CV eess.IV
Expediting Contrastive Language-Image Pretraining via Self-distilled Encoders
LG AI Research（LG人工智能研究院）
提出ECLIPSE框架，通过共享文本编码器的自蒸馏架构，在统一文本嵌入空间中加速在线图像编码器，解决弱相关图像-文本对的数据效率问题，实现更优性能与更快推理。
2023-12-19 cs.CV
Improved Face Representation via Joint Label Classification and Supervised Contrastive Clustering
Tencent（腾讯）
针对人脸识别中聚类知识利用不足的问题，本文提出标签分类与监督对比聚类联合优化框架，通过聚类引导角度间隔和聚类中心对齐提升人脸表征性能。
2023-12-07 cs.AI cs.CV
IBoxCLA: Towards Robust Box-supervised Segmentation of Polyp via Improved Box-dice and Contrastive Latent-anchors
Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology（光学电子国家重点实验室，华中科技大学）
研究针对盒监督息肉分割中模型形状坍塌问题，提出改进的盒式骰子（IBox）和对比潜在锚点（CLA）两种学习方式，结合训练出IBoxCLA模型，该模型在多数据集实验中表现出色，相比其他盒监督技术有显著性能提升。
2026-07-22 cs.CV
Text-driven 3D Human Generation via Contrastive Preference Optimization
Beihang University（北京航空航天大学）
针对文本驱动三维人体生成中对齐困难，提出引入对比偏好与否定偏好模块的框架，提升长复杂文本下的纹理真实感和视觉对齐，达到最先进性能。
2025-03-25 cs.CV
CODER: Coupled Diversity-Sensitive Momentum Contrastive Learning for Image-Text Retrieval
Department of Computer Vision Technology (VIS), Baidu Inc., Beijing, China（百度公司计算机视觉技术部（VIS），北京，中国）；Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, Beijing, China（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所，北京，中国）；College of Information Science & Electronic Engineering, Zhejiang University, Hangzhou, China（浙江大学信息与电子工程学院，杭州，中国）；School of Electrical & Information Engineering, Tianjin University, Tianjin, China（天津大学电气与信息工程学院，天津，中国）；The University of Sydney, Sydney, Australia（悉尼大学，悉尼，澳大利亚）
本文提出CODER，通过耦合多样性敏感动量对比学习提升跨模态表示，引入动态字典扩大图像-文本对规模，结合常识知识图谱生成概念级描述，实验表明在MSCOCO和Flickr30K上优于现有方法。
2026-03-26 cs.CV
Momentum Contrast for Unsupervised Visual Representation Learning
Facebook AI Research (FAIR)（Facebook人工智能研究院(FAIR)）
我们提出了用于无监督视觉表示学习的动量对比（MoCo）。从对比学习作为字典查找的角度，我们建立了一个动态字典与队列和移动平均编码器。这使得能够在运行中构建一个大而一致的字典，从而促进对比无监督学习。MoCo在ImageNet分类的通用线性协议下提供了有竞争力的结果。更重要的是，MoCo学习到的表示可以很好地转移到下游任务中。MoCo可以在PASCAL VOC，COCO和其他数据集上的7个检测/分割任务中优于其监督的预训练对手，有时甚至远远超过它。这表明，在许多视觉任务中，无监督和有监督的表示学习之间的差距已经很大程度上缩小了。
2020-03-23 cs.CV
Intermediate Layers Matter in Momentum Contrastive Self Supervised Learning
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
我们表明，使中间层的表示的两个增强版本的图像更接近在自监督学习有助于改善动量对比（MoCo）的方法。为此，除了对比损失之外，我们还最小化中间层表示之间的均方误差，或者使它们的互相关矩阵更接近单位矩阵。这两个损失目标要么优于标准MoCo，要么在三个不同的医学成像数据集上实现类似的性能：NIH胸部X射线，乳腺癌组织病理学和糖尿病视网膜病变。改进的MoCo的增益在低标记数据状态（例如，1%标记数据）中特别大，在三个数据集上的平均增益为5%。我们通过特征相似性分析和逐层探测来分析使用我们的新方法训练的模型。我们的分析表明，与标准MoCo相比，通过我们的方法训练的模型具有更高的特征重用，并且在网络中更早地学习信息特征。最后，通过比较在小与大标记数据上微调的模型的输出概率分布，我们得出结论，与标准MoCo相比，我们提出的预训练方法导致更低的Kolmogorov-Smirnov距离。这提供了额外的证据，证明我们提出的方法在预训练阶段学习了更多信息特征，可以在低标签数据机制中利用这些特征。
2021-10-27 cs.AI cs.CV
Can representation learning for multimodal image registration be improved by supervision of intermediate layers?
Uppsala University（乌普萨拉大学）
多模态成像和相关分析通常需要图像对准。对比学习可以生成多模态图像的表示，将多模态图像配准的挑战性任务减少到单模态。以前，在对比学习中对中间层的额外监督已经改进了生物医学图像分类。我们评估了类似的方法是否可以改进注册学习的表示，以提高注册性能。我们探索了三种方法来增加对比监督的潜在功能的瓶颈层的U-Nets编码的多模态图像和评估三个不同的批评功能。我们的研究结果表明，在没有对潜在特征进行额外监督的情况下学习的表示在两个公共生物医学数据集的注册下游任务中表现最好。我们研究的性能下降，利用最近的见解在分类和自监督学习的对比学习。我们通过多维尺度可视化学习表示的空间关系，并表明对瓶颈层的额外监督可能导致中间嵌入空间的部分维度崩溃。
2023-03-01 cs.CV cs.LG
Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文提出一种基于强文本MT模型、神经适配器和引导式自注意力的多模态机器翻译方法，并构建对比式多语言多模态评估集CoMMuTE，在标准基准上取得有竞争力结果，在对比测试集上大幅超越现有MMT系统。
2023-05-26 cs.CL cs.CV
Contrastive Representation Learning for Hand Shape Estimation
University of Freiburg（弗莱堡大学）
这项工作提出了改进单目手形估计的最新进展，在无监督学习的基础上。我们扩展了动量对比学习，并提供了一个结构化的手部图像集合，非常适合视觉表示学习，我们称之为HanCo。我们发现，通过建立对比学习方法学习的表示可以通过利用先进的背景去除技术和多视图信息得到显着改善。这些使我们能够生成更多样化的实例对比通常使用的基于范例的方法中的扩增。我们的方法为手形估计任务提供了更合适的表示，与ImageNet预训练基线相比，网格误差减少了4.7%，F分数提高了3.6%。我们公开了我们的基准数据集，以鼓励进一步研究这一方向。
2021-07-02 cs.CV
Improved Object-Centric Diffusion Learning with Registers and Contrastive Alignment
Sony AI（索尼人工智能）；Stanford University（斯坦福大学）；Sony Group Corporation（索尼集团）
CODA通过注册槽位和对比对齐损失改进物体中心学习，提升物体发现、属性预测和图像生成性能。
2026-02-19 cs.AI cs.CV
Momentum Contrastive Voxel-wise Representation Learning for Semi-supervised Volumetric Medical Image Segmentation
Yale University（耶鲁大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比学习（CL）的目的是学习有用的表示，而不依赖于医学图像分割的背景下，专家的注释。现有的方法主要对比单个正向量（即，同一图像的增强）相对于该批次的整个剩余部分内的一组底片，通过简单地将所有输入特征映射到同一恒定向量中。尽管令人印象深刻的经验性能，这些方法有以下缺点：（1）它仍然是一个艰巨的挑战，以防止崩溃的问题微不足道的解决方案;（2）我们认为，不是所有的体素在同一图像是同样积极的，因为存在不同的解剖结构与同一图像。在这项工作中，我们提出了一种新的对比逐体素表示学习（CVRL）方法，有效地学习低级别和高级别的功能，通过捕捉3D空间上下文和丰富的解剖信息沿功能和批量尺寸。具体来说，我们首先介绍了一种新的CL策略，以确保功能多样性的3D表示尺寸之间的提升。我们通过双层对比优化来训练框架（即，低级和高级）在3D图像上。在两个基准数据集和不同的标记设置上的实验证明了我们提出的框架的优越性。更重要的是，我们还证明了我们的方法继承了标准CL方法的硬度感知属性的好处。
2022-03-07 cs.CV cs.LG eess.IV
Improved baselines for vision-language pre-training
FAIR, Meta（FAIR，Meta公司）；University of Trento（特伦托大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）
本研究针对视觉-语言预训练中额外损失与实现细节贡献难区分的问题，通过结合对比学习与自监督学习进展构建基线，发现改进训练方案（含数据增强）可让简单CLIP基线大幅提升，在四个标准数据集上取得SOTA且更简洁。
2023-11-04 cs.CV
Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality
Meta AI
针对视觉-语言模型在组合推理上的局限，提出基于场景图的图分解与增强框架及粗到细对比学习方法，在多个基准上显著提升属性绑定与关系理解等能力。
2023-10-24 cs.CL cs.CV
4DContrast: Contrastive Learning with Dynamic Correspondences for 3D Scene Understanding
Technical University of Munich（慕尼黑工业大学）
我们提出了一种新的方法，通过无监督的预训练将4D动态对象先验知识灌输到学习的3D表示中。我们观察到，通过一个环境中的对象的动态运动提供了重要的线索，其对象性，从而提出灌输学习的三维表示与这样的动态理解，然后可以有效地转移到下游的三维语义场景理解任务的性能提高。我们提出了一种新的数据增强方案，利用合成的3D形状在静态3D环境中移动，并采用3D-4D约束下的对比学习，将4D不变性编码到学习的3D表示。实验表明，我们的无监督表示学习的结果在下游的3D语义分割，目标检测，和实例分割任务的改进，而且，显着提高了数据稀缺的情况下的性能。
2022-07-22 cs.CV
Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）；National Cheng Kung University（国立成功大学）
针对现有无监督图像检索方法全局特征利用不足、假负例致偏差的问题，提出融合Transformer全局编码、乘积量化与裁剪对比学习的TransClippedCLR模型，在多个基准数据集上性能优于现有深度模型。
2024-01-27 cs.CV
MoMA: Momentum Contrastive Learning with Multi-head Attention-based Knowledge Distillation for Histopathology Image Analysis
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
针对计算病理学特定任务优质数据匮乏的问题，提出MoMA方法，通过结合多头注意力的动量对比学习实现无源数据的师生知识蒸馏，在多场景下性能优于相关方法，还为不同任务的学习策略提供指导。
2024-12-11 cs.CV eess.IV
Contrastive Losses Are Natural Criteria for Unsupervised Video Summarization
Osaka University（大阪大学）；CyberAgent, Inc.（赛博艾坚特公司）
视频摘要旨在选择视频中信息量最大的帧子集，以促进高效的视频浏览。无监督方法通常依赖于启发式训练目标，如多样性和代表性。然而，这种方法需要引导在线生成的摘要来计算重要性分数回归的目标。我们认为这样的管道效率低下，并寻求直接量化的帧级的重要性的对比损失的帮助下，在表示学习文献。利用对比损失，我们提出了三个指标，具有理想的关键帧：局部相异性，全局一致性和唯一性。通过在图像分类任务中预先训练的特征，这些指标已经可以产生高质量的重要性分数，表现出比过去经过大量训练的方法更有竞争力或更好的性能。我们表明，通过使用轻量级的对比学习投影模块来细化预训练的特征，可以进一步提高帧级重要性分数，并且该模型还可以利用大量的随机视频并推广到测试性能良好的视频。代码可在https://github.com/pangzss/pytorch-CTVSUM获得。
2022-11-18 cs.CV
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning
University of Cambridge（剑桥大学）；Snap Inc.（Snap公司）；Singapore University of Technology and Design（新加坡科技设计大学）
虽然生成对抗网络（GANs）是许多生成建模应用的基础，但它们存在许多问题。在这项工作中，我们提出了一个原则性的框架，以同时减轻GANs中的两个基本问题：灾难性遗忘的发生器和模式坍塌。我们通过为GANs采用对比学习和互信息最大化方法来实现这一点，并进行广泛的分析以了解改进的来源。我们的方法显着稳定了GAN训练，并提高了GAN在相同的训练和评估条件下对最先进的作品进行图像合成的性能。特别是，与最先进的SSGAN相比，我们的方法不会在人脸等图像域上表现较差，反而显著提高了性能。我们的方法实现简单且实用：它只涉及一个辅助目标，计算成本低，并且在广泛的训练设置和数据集上表现稳健，无需任何超参数调整。为了重现性，我们的代码可以在Mimicry中找到：https://github.com/kwotsin/mimicry。
2020-11-22 cs.CV cs.LG stat.ML
SOrT-ing VQA Models : Contrastive Gradient Learning for Improved Consistency
Georgia Tech（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）；University of California, San Diego（加州大学圣迭戈分校）；Salesforce Research（Salesforce研究院）
视觉问答（VQA）的最新研究表明，最先进的模型在对世界的理解上是不一致的--它们回答了看似困难的问题，需要正确的推理，但却把更简单的相关子问题弄错了。这些子问题涉及图像中的较低级别的视觉概念，模型理想地应该理解这些概念以能够正确地回答较高级别的问题。为了解决这个问题，我们首先提出了一种基于梯度的可解释性方法来确定与图像上的推理问题最密切相关的问题，并使用它来评估VQA模型识别回答推理问题所需的相关子问题的能力。接下来，我们提出了一种基于对比梯度学习的方法，称为面向子问题的调整（SOrT），它鼓励模型将相关子问题的排名高于<image，reasoning-question>对的不相关问题。我们表明，SOrT提高了模型的一致性高达6.5%的点比现有的基线，同时也提高了视觉基础。
2020-12-01 cs.AI cs.CL cs.CV
PECon: Contrastive Pretraining to Enhance Feature Alignment between CT and EHR Data for Improved Pulmonary Embolism Diagnosis
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Sheikh Shakbout Medical City（谢赫·沙赫布特医疗城）
针对仅靠CT影像特征不足以精准诊断肺栓塞的问题，提出融合CT与EHR数据的有监督对比预训练方法PECon，通过对齐双模态特征提升诊断效果，在RadFusion数据集上取得SOTA性能并探究了可解释性。
2023-08-27 cs.AI cs.CV
Momentum Contrastive Learning for Few-Shot COVID-19 Diagnosis from Chest CT Images
University of New South Wales（新南威尔士大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）；Stanford University（斯坦福大学）
由二零一九年十二月爆发的新型冠状病毒（COVID-19）引起的当前大流行导致全球紧急情况，对全球经济、医疗保健系统和个人福祉造成重大影响。控制这种快速发展的疾病需要高度敏感和特异性的诊断。虽然实时RT-PCR是最常用的方法，但这些方法可能需要长达8小时，并且需要医疗保健专业人员的大量努力。因此，迫切需要一种快速和自动的诊断系统。从胸部CT图像诊断是一个很有前途的方向。然而，目前的研究受到缺乏足够的训练样本的限制，因为获取注释的CT图像是耗时的。为此，我们提出了一种新的深度学习算法，用于COVID-19的自动诊断，该算法只需要少量样本进行训练。具体来说，我们使用对比学习来训练编码器，该编码器可以捕获大型和公开可用的肺数据集上的表达特征表示，并采用原型网络进行分类。我们验证了所提出的模型与其他竞争方法相比，在两个公开的和注释的COVID-19 CT数据集的有效性。我们的结果证明了我们的模型在基于胸部CT图像的COVID-19准确诊断方面的优越性能。
2020-06-16 cs.CV cs.LG eess.IV
Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
掩码图像建模（MIM）学习具有非常好的微调性能的表示，掩盖了以前流行的预训练方法，例如图像分类，实例对比学习和图文对齐。在本文中，我们证明了这些预训练方法的低劣微调性能可以通过简单的特征蒸馏（FD）形式的后处理来显着改善。特征提取将旧的表示转换为新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。这些属性，我们统称为优化友好性，识别和分析的一组注意力和优化相关的诊断工具。有了这些属性，新的表示显示出强大的微调性能。具体而言，对比自监督学习方法在微调方面与最先进的掩码图像建模（MIM）算法一样具有竞争力。CLIP模型的微调性能也得到了显着提高，CLIP ViT-L模型在ImageNet-1 K分类上达到了89.0%的top-1准确率。在30亿参数的SwinV 2-G模型上，微调精度在ADE 20 K语义分割和COCO目标检测上分别提高了+1.5 mIoU / +1.1 mAP至61.4 mIoU / 64.2 mAP，在两个基准测试上都创造了新的记录。更重要的是，我们的工作为未来的研究提供了一种方法，可以将更多的精力集中在学习表示的通用性和可扩展性上，而不必专注于优化友好性，因为它可以很容易地增强。该代码将在https://github.com/SwinTransformer/Feature-Distillation上提供。
2022-08-24 cs.CV cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而，关于它们对无监督对比学习（CL）的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒（CP），第一个有效的这种攻击CL。我们的经验表明，对比中毒，不仅大大降低了CL算法的性能，但也攻击监督学习模型，使其成为最普遍的无差别中毒攻击。我们还表明，CL算法与动量编码器是更强大的不分青红皂白中毒，并提出了一个新的对策的基础上矩阵完成。代码可在：https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling
Bayer AG（拜耳股份公司）
本文介绍了对比重建，ConRec -一种自监督学习算法，通过联合优化对比和自重建损失来获得图像表示。我们展示了最先进的对比学习方法（例如Simplified）在其表示中捕获细粒度视觉特征方面存在缺陷。ConRec通过添加（1）自我重建任务和（2）对比学习任务中的注意力机制扩展了Simplified框架。这是通过应用具有两个头的简单编码器-解码器架构来实现的。我们表明，这两个扩展有助于改善图像的矢量表示与细粒度的视觉特征。结合这些概念，ConRec在细粒度分类数据集上的性能优于Simplified和Simplified with Attention-Pooling。
2022-02-22 cs.AI cs.CV cs.LG
Finetune like you pretrain: Improved finetuning of zero-shot vision models
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Bosch Center for AI（博世人工智能中心）
微调图像-文本模型（如CLIP）在各种基准测试中达到了最先进的精度。然而，最近的作品，如WiseFT（Wortsman等人，2021）和LP-FT（Kumar等人，2022）已经表明，即使微调过程中的细微差异也会导致最终性能的惊人差异，无论是对于分布内（ID）还是分布外（OOD）数据。在这项工作中，我们证明了一种自然而简单的模仿对比预训练的方法始终优于其他微调方法。具体来说，我们将下游类标签转换为文本提示，并继续优化图像嵌入和类描述性提示嵌入之间的对比损失（对比微调）。我们的方法在7个分布偏移、6个迁移学习和3个少样本学习基准测试中始终优于基线。在WILDS-iWILDCam上，我们提出的方法FLYP通过$2.3\%$ ID和$2.7\%$ OOD优于排行榜的顶部，给出了最高的报告准确度。在7个OOD数据集（2个WILDS和5个ImageNet相关偏移）上取平均值，FLYP在标准微调上获得了$4.2\%$ OOD的增益，并且在ID和OOD方面都超过了$1\%$。类似地，在3个少样本学习基准测试中，我们的方法比标准微调和$4.4\%$的性能提高了$4.6\%$。总的来说，这些基准测试将对比微调确定为一种简单，直观和最先进的方法，用于像CLIP这样的图像-文本模型的监督微调。代码可在https://github.com/locuslab/FLYP上获得。
2022-12-01 cs.CV cs.LG
Homography augumented momentum constrastive learning for SAR image retrieval
University of Florida（佛罗里达大学）；Miami University（迈阿密大学）；Air Force Research Laboratory（空军研究实验室）
基于深度学习的图像检索在计算机视觉中一直受到重视。深度神经网络（DNN）提取的表示嵌入不仅旨在包含图像的语义信息，而且可以管理大规模的图像检索任务。在这项工作中，我们提出了一种基于深度学习的图像检索方法，使用单应性变换增强对比学习来执行大规模合成孔径雷达（SAR）图像搜索任务。此外，我们提出了一种训练方法的DNN诱导的对比学习，不需要任何标记过程。这可以相对容易地实现大规模数据集的易处理性。最后，我们通过极化SAR图像数据集进行实验，验证了所提出的方法的性能。
2021-09-21 cs.CV cs.IR cs.LG
Learning Video Representations using Contrastive Bidirectional Transformer
Google Research（谷歌研究）；Univ. Lyon, INSA-Lyon, CNRS, LIRIS（里昂大学、里昂国立应用科学学院、法国国家科学研究中心、里昂信息科学与应用实验室）
本文提出了一种视频特征的自监督学习方法，与现有方法相比，该方法在下游任务（如视频分类，字幕和分割）上的性能得到了显着提高。我们的方法扩展了文本序列的BERT模型的实值特征向量序列的情况下，通过替换softmax损失与噪声对比估计（NCE）。我们还展示了如何从视觉特征序列和来自ASR（自动语音识别）的单词序列中学习表示，并表明这种跨模态训练（如果可能的话）甚至更有帮助。
2019-09-27 cs.CV cs.LG stat.ML
Masked Momentum Contrastive Learning for Zero-shot Semantic Understanding
University of Surrey（萨里大学）；Carnegie Mellon University（卡内基梅隆大学）
针对大模型微调成本高的问题，提出结合掩码图像建模、动量自蒸馏与全局对比的MMC自监督预训练方法，无需微调即可提升零样本语义分割性能。
2023-08-22 cs.CV cs.LG
Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment
Goethe University Frankfurt（法兰克福歌德大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联合会（DKTK））
NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。
2026-02-11 cs.AI cs.CV
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Qinwu Xu, PhD（秦武 Xu 博士）
提出MoFore框架，通过预测未来潜在嵌入进行自监督视频表示学习，结合对比正则化防止表示崩溃，在UCF101上验证了时间一致性和语义结构。
2026-06-16 cs.AI cs.CV cs.LG
Contrastive Weighted Learning for Near-Infrared Gaze Estimation
通过使用深度学习，基于外观的注视估计已经非常成功。许多后续工作改进了用于注视估计的领域泛化。然而，尽管在用于凝视估计的领域泛化方面已经取得了很大进展，但最近的大多数工作都集中在跨数据集性能上-考虑照明，头部姿势和照明的不同分布。虽然改进RGB图像的不同分布中的注视估计是重要的，但是基于近红外图像的注视估计对于黑暗环境中的注视估计也是至关重要的。此外，对于回归任务，仅依赖于监督学习也存在固有的局限性。本文致力于解决这些问题，并提出了GazeCWL，一种新的框架与近红外图像使用对比学习的视线估计。这利用了用于数据增强的对抗攻击技术和专门用于回归任务的新型对比损失函数，该回归任务有效地聚类了潜在空间中不同样本的特征。在基于红外图像的视线估计中，我们的模型优于以前的领域泛化模型，比基线模型的性能提高了45.6%，同时比最先进的模型提高了8.6%，证明了我们的方法的有效性.
2022-12-08 cs.CV cs.LG
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
VideoMoCo: Contrastive Video Representation Learning with Temporally Adversarial Examples
Tencent AI Lab（腾讯AI实验室）；Tencent Data Platform（腾讯数据平台）
MoCo是一种有效的无监督图像表示学习方法。在本文中，我们提出了VideoMoCo的无监督视频表示学习。给定一个视频序列作为输入样本，我们从两个角度改进的时间特征表示的MoCo。首先，我们引入一个生成器，从这个样本中暂时丢弃几帧。然后，学习编码相似的特征表示，而不管帧删除。通过在对抗学习的训练迭代过程中自适应地丢弃不同的帧，我们增加了这个输入样本来训练时间鲁棒编码器。其次，我们使用时间衰减模型的关键衰减在内存队列中计算对比损失。由于动量编码器在键排队后更新，当我们使用当前输入样本进行对比学习时，这些键的表示能力降低。这种退化通过时间衰减来反映，以将输入样本关注到队列中的最近键。因此，我们适应MoCo学习视频表示没有经验设计借口任务。通过增强编码器的时间鲁棒性并对密钥的时间衰减进行建模，我们的VideoMoCo基于对比学习在时间上改进了MoCo。在UCF 101和HMDB 51等基准数据集上的实验表明，VideoMoCo是一种最先进的视频表示学习方法。
2021-03-17 cs.CV cs.LG cs.MM
