Contrastive Learning of Visual-Semantic Embeddings
Cadence Design Systems (India) Private Limited（楷登电子科技（印度）私人有限公司）；Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
对比学习是一种强大的技术，可以学习语义独特且几何不变的表示。虽然大多数早期的方法已经证明了其对单模态学习任务（如图像分类）的有效性，但最近有一些尝试将此想法扩展到多模态数据。在本文中，我们提出了两个损失函数的归一化交叉熵的基础上执行的任务，学习联合视觉语义嵌入使用批量对比训练。在一个批次中，对于来自一个模态的给定锚点，我们只考虑来自另一个模态的否定，并基于所有否定引起的预期违规来定义我们的第一个对比损失。接下来，我们更新这个损失，并定义第二个对比损失的基础上，违反所招致的只有最难的负面。我们将我们的结果与现有的视觉语义嵌入方法进行比较，使用MS-COCO和Flickr 30 K数据集进行跨模态图像到文本和文本到图像检索任务，我们在MS-COCO数据集上的表现优于最先进的技术，并在Flickr 30 K数据集上取得了可比的结果。
2021-10-17 cs.CV cs.IR cs.LG
Sequential Contrastive Audio-Visual Learning
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Dolby Laboratories（杜比实验室）
针对传统音视对比学习依赖时间聚合、忽视序列结构的问题，提出 SCAV，用多维序列距离在非聚合表示空间中对比，显著提升检索召回率并支持高效混合检索。
2025-03-16 cs.CV cs.LG cs.MM
Energy-Based Contrastive Learning of Visual Representations
KAIST（韩国科学技术院）
对比学习是一种通过训练深度神经网络（DNN）来学习视觉表示的方法，以增加正对（相同图像的变换）表示之间的相似性并降低负对（不同图像的变换）表示之间的相似性。在这里，我们将探讨基于能量的对比学习（EBM），它通过将对比学习与基于能量的模型（EBM）相结合来利用生成学习的力量。理论上，EBBBER可以解释为学习正对的联合分布，并且它在中小规模数据集（如MNIST，Fashion-MNIST，CIFAR-10和CIFAR-100）上显示出有希望的结果。具体来说，我们发现EBBEE在训练时间方面与Simplified和MoCo v2相比，从X4到X20的加速。此外，与Simplified相比，我们观察到EBSFET在每个阳性对254个阴性对（批量128）和30个阴性对（批量16）的情况下实现了几乎相同的性能，证明了EBSFET对少量阴性对的鲁棒性。因此，EBARGO为改进对比学习方法提供了一种新的途径，这种方法通常需要每次迭代具有大量负对的大型数据集，以在下游任务上实现合理的性能。代码：https://github.com/1202kbs/EBCLR
2022-10-25 cs.LG
Understand and Improve Contrastive Learning Methods for Visual Representation: A Review
Georgia Tech（佐治亚理工学院）
传统的监督学习方法由于依赖于昂贵的人工标记数据以及泛化能力有限和易受对抗攻击等弱点而遇到瓶颈。作为无监督学习的一种，自监督学习是一种很有前途的替代方法，由于其在不需要人工标记的情况下学习有效的数据表示的潜力而受到欢迎。在自监督学习算法中，对比学习在多个研究领域取得了最新的性能。这篇文献综述旨在提供一个最新的分析研究人员的努力，以了解自监督学习的关键组成部分和局限性。
2021-06-06 cs.CV cs.LG
A Simple Framework for Contrastive Learning of Visual Representations
本文介绍了Simplified：一个简单的框架，对比学习的视觉表征。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或存储体。为了理解是什么使对比预测任务能够学习有用的表征，我们系统地研究了我们框架的主要组成部分。我们表明，（1）数据增强的组成在定义有效的预测任务中起着关键作用，（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量，（3）与监督学习相比，对比学习受益于更大的批量和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。在Simplified学习的自监督表示上训练的线性分类器达到了76.5%的top-1准确率，比以前的最先进技术相对提高了7%，与监督ResNet-50的性能相匹配。当仅对1%的标签进行微调时，我们实现了85.8%的前5名准确率，在标签数量减少100倍的情况下优于AlexNet。
2020-07-01 cs.CV cs.LG stat.ML
SigCLR: Sigmoid Contrastive Learning of Visual Representations
Koç University（科克大学）
本文提出SigCLR，用仅作用于样本对的逻辑损失替代SimCLR的交叉熵损失，在多个数据集上取得有竞争力的性能，并验证了可学习偏置与固定温度的重要性。
2024-10-22 cs.CV cs.LG
Spatial-Functional awareness Transformer-based graph archetype contrastive learning for Decoding Visual Neural Representations from EEG
Hybrid Intelligence Lab（混合智能实验室）；Durham University（杜伦大学）
提出SFTG框架，结合EEG图Transformer与图原型对比学习，在Things-EEG数据集上显著提升视觉解码性能，优于现有最先进方法。
2025-10-09 cs.AI cs.LG
Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning
National University of Singapore（新加坡国立大学）；Chinese Academy of Sciences（中国科学院）；SEA AI Lab（SEA AI实验室）
对比自监督学习（CSL）在利用未标记数据进行模型预训练方面受到越来越多的关注。所得到的CSL模型提供均匀分散在特征空间中的实例判别视觉特征。在部署过程中，通常的做法是直接用交叉熵来微调CSL模型，但这在实践中可能不是最佳策略。虽然交叉熵倾向于分离类间特征，但由此产生的模型在减少CSL模型中存在的类内特征分散方面的能力仍然有限。在本文中，我们调查是否应用对比学习微调将带来进一步的好处，并分析发现，优化对比损失的区别表示学习和模型优化在微调过程中的好处。受这些发现的启发，我们提出了对比正则化调整（核心调整），微调CSL模型的一种新方法。Core-tuning不是简单地将对比度损失添加到微调的目标，而是进一步应用了一种新的硬对挖掘策略以进行更有效的对比度微调，以及平滑决策边界以更好地利用学习到的判别特征空间。在图像分类和语义分割上的大量实验验证了核心调整的有效性。
2021-10-14 cs.CV cs.LG
Active Contrastive Learning of Audio-Visual Video Representations
Microsoft（微软）；Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
对比学习已被证明通过最大化实例的不同视图之间的互信息（MI）的下限来产生音频和视觉数据的可概括表示。然而，获得严格的下限需要MI中的样本量指数，因此需要大量的阴性样本。我们可以通过构建一个大型的基于负样本的字典来合并更多的样本，但是即使有大量的负样本，性能改进也有理论上的限制。我们假设，\textit{random negative sampling}导致一个高度冗余的字典，导致下游任务的次优表示。在本文中，我们提出了一种主动对比学习方法，该方法构建了一个具有多样性和信息性项目的\textit{actively sampled}字典，该字典提高了负样本的质量，并提高了数据中具有高互信息的任务的性能，例如，视频分类我们的模型在具有挑战性的音频和视频下游基准测试中实现了最先进的性能，包括UCF 101，HMDB 51和ESC 50。\footnote{Code is available at: \url{https://github.com/yunyikristy/CM-ACC}}
2021-04-16 cs.CV cs.LG
Visually Robust Adversarial Imitation Learning from Videos with Contrastive Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
针对智能体与专家领域视觉不匹配的视频模仿学习问题，提出结合对比学习与数据增强的C-LAIfO算法，在机器人任务上表现优于基线方法并开源代码。
2024-09-14 cs.CV cs.LG
Conditional Negative Sampling for Contrastive Learning of Visual Representations
Stanford University（斯坦福大学）
最近的方法学习无监督的视觉表示，被称为对比学习，优化噪声对比估计（NCE）之间的互信息的图像的两个视图。NCE使用随机抽样的负面例子来规范目标。在本文中，我们表明，选择困难的否定，或那些更相似的当前实例，可以产生更强的表示。为了做到这一点，我们引入了一个家庭的互信息估计，抽样消极的条件-在一个“环”周围的每个积极的。我们证明了这些估计下界互信息，具有较高的偏差，但较低的方差比NCE。在实验中，我们发现我们的方法，应用于现有的模型（IR，CMC和MoCo），在每种情况下，通过对四个标准图像数据集进行线性评估，准确度提高了2-5%。此外，我们发现在将特征从元数据集集合转移到各种新的图像分布以及转移到各种下游任务（如目标检测、实例分割和关键点检测）时，仍有好处。
2020-10-05 cs.LG stat.ML
EquiAV: Leveraging Equivariance for Audio-Visual Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对数据增强易破坏视听输入配对对应关系、限制自监督视听表征学习效果的问题，提出基于等变性的EquiAV框架，通过共享注意力变换预测器聚合多增强特征，以低计算开销实现更优的视听表征性能。
2024-06-20 cs.AI cs.LG cs.MM
Linking data separation, visual separation, and classifier performance using pseudo-labeling by contrastive learning
University of Campinas（坎皮纳斯大学）；Utrecht University（乌得勒支大学）
缺乏监督数据是训练深度神经网络（DNN）时的一个问题，主要是在考虑监督成本高昂的医学和生物数据时。最近，嵌入式伪标签（EPL）通过使用从DNN的特征空间到2D空间的非线性投影（t-SNE），然后使用基于连接性的方法（OPFSemi）进行半监督标签传播来解决这个问题。我们认为，最终分类器的性能取决于数据分离存在于潜在空间和视觉分离存在于投影。我们首先提出使用对比学习产生的潜在空间EPL的两种方法（Simplified和SupCon）和它们的组合，其次通过显示，通过一组广泛的实验，上述数据分离，视觉分离和分类器性能之间的相关性。我们证明了我们的研究结果的分类，只有1%的监督样本的人类肠道寄生虫的五个现实世界的挑战性的图像数据集。
2023-02-06 cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
Masked Contrastive Representation Learning
The University of Melbourne（墨尔本大学）
掩蔽图像建模（例如，掩码自编码器）和对比学习（例如，Momentum Contrast）在无监督视觉表示学习上表现出令人印象深刻的性能。这项工作提出了掩蔽对比表示学习（MACRL）的自我监督的视觉预训练。特别是，MACRL利用了掩蔽图像建模和对比学习的有效性。我们对连体网络采用非对称设置（即，两个分支中的编码器-解码器结构），其中一个分支具有较高的掩码比和较强的数据增强，而另一个分支采用较弱的数据破坏。我们优化的对比学习目标的基础上学习的功能，从编码器在两个分支。此外，我们最小化的$L_1$重建损失，根据解码器的输出。在我们的实验中，MACRL在各种视觉基准测试中表现出优异的结果，包括CIFAR-10，CIFAR-100，Tiny-ImageNet和其他两个ImageNet子集。我们的框架提供了关于自我监督视觉预训练和未来研究的统一见解。
2022-11-11 cs.CV cs.LG
MOOSS: Mask-Enhanced Temporal Contrastive Learning for Smooth State Evolution in Visual Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）
MOOSS框架通过图构建时空掩码与多级时序对比学习显式建模视觉强化学习中的状态演化，在多个控制基准上以更高样本效率超越现有方法。
2024-09-02 cs.CV cs.LG
Comparing Reconstruction- and Contrastive-based Models for Visual Task Planning
University of Torontoland（多伦托兰大学）；Googol ShallowMind（古戈尔浅智公司）；University of Edenborrow（伊登伯罗大学）
学习状态表示使机器人能够直接从原始观察（如图像）进行规划。大多数方法通过利用基于从低维潜在空间重构原始观测的损失来学习状态表示。图像空间中的观测之间的相似性通常被假设并用作估计系统的基本状态之间的相似性的代理。然而，观测通常包含与任务无关的变化因素，这些因素对于重建来说仍然很重要，例如变化的照明和不同的相机视点。在这项工作中，我们定义了相关的评估指标，并进行了深入的研究不同的损失函数的状态表示学习。我们发现，利用任务先验的模型，如具有简单对比损失的连体网络，在视觉任务规划中优于基于重建的表示。
2021-09-14 cs.LG cs.RO
Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；School of Computer Science and Tech., University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Information Engineering, CAS（信息工程研究所，中国科学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出通过对比信号优化扩散重建，以提升CLIP中判别能力和细节感知能力，解决传统方法在平衡视觉表示上的不足。
2026-03-20 cs.AI cs.CV cs.LG
CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations
Dongguk University（东国大学）
随着对多模态在线内容的需求不断增长，多模态情感分析已经成为越来越受欢迎的研究领域。对于多模态情感分析，词语可以根据语言上下文和非语言信息而具有不同的含义，因此理解词语的含义是至关重要的。此外，词义的理解应在包含非言语信息的整个话语语境中进行。本文提出了一种基于对比学习的语境驱动的语言、视觉、听觉表征的模态转换BERT（CMSBERT-STABILITY）方法，该方法通过对比学习整合了整个语境中的非言语和言语信息，从而更有效地调整了模态。首先，我们介绍了一种语境驱动的情态转换（CMS），将非言语信息和言语信息整合到句子话语的整个语境中。然后，为了改善在一个共同的嵌入空间内的不同模态的对齐，我们应用对比学习。此外，我们使用指数移动平均参数和标签平滑作为优化策略，这可以使网络的收敛更稳定，增加对齐的灵活性。在我们的实验中，我们证明了我们的方法达到了最先进的结果。
2022-08-21 cs.CL cs.LG cs.SD
Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation
Chang Gung Memorial Hospital（长庚纪念医院）
医疗报告生成是一项具有挑战性的任务，因为它是耗时的，需要经验丰富的放射科医生的专业知识。医学报告生成的目标是准确地捕获和描述图像发现。以往的研究工作都是用不同领域的大数据集对视觉编码神经网络进行预训练，无法学习特定医学领域的通用视觉表征。在这项工作中，我们提出了一个医疗报告生成框架，使用对比学习的方法来预训练的视觉编码器，不需要额外的Meta信息。此外，我们采用肺部分割作为对比学习框架中的增强方法。这种分割引导网络专注于对肺部区域内的视觉特征进行编码。实验结果表明，该框架提高了性能和质量的生成的医疗报告定量和定性。
2023-01-08 cs.CV cs.LG
Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
对比自监督学习在许多下游任务（如分割和目标检测）上的表现优于监督预训练。然而，目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中，我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明，目前的对比方法在以下几个方面的效果令人惊讶：（i）对象与场景为中心，（ii）统一与长尾，以及（iii）一般与特定领域的数据集。其次，考虑到该方法的一般性，我们试图通过微小的修改来实现进一步的收益。我们表明，学习额外的不变性-通过使用多尺度裁剪，更强的增强和最近的邻居-提高了表示。最后，我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外，结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
Bidirectional Contrastive Split Learning for Visual Question Answering
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对隐私保护型视觉问答，提出BiCSL分割学习框架，通过模块解耦、梯度与权重共享及对比损失实现去中心化训练，并在VQA-v2上验证性能与抗后门攻击稳健性。
2023-12-11 cs.CV cs.LG
Learning a Domain-Agnostic Visual Representation for Autonomous Driving via Contrastive Loss
Seoul National University（首尔大学）
深度神经网络在自动驾驶应用中得到了广泛的研究，例如语义分割或深度估计。然而，以监督的方式训练神经网络需要大量的注释标签，这是昂贵和耗时的collect.Recent研究利用从虚拟环境中收集的合成数据，这是更容易获得和更准确的数据相比，从现实世界中，但他们通常遭受由于固有的域移位问题的泛化能力差。在本文中，我们提出了一个领域不可知的对比学习（DACL），这是一个两阶段的无监督领域自适应框架与循环对抗训练和对比损失。DACL引导神经网络学习领域无关的表示，以克服训练数据和测试数据分布之间存在差异时的性能下降。我们提出的方法实现了更好的性能相比，以前的国家的最先进的方法，在单目深度估计任务，也显示了有效性的语义分割任务。
2021-03-10 cs.CV cs.LG cs.RO
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出多模态保相似性对比学习（MUSE）框架，通过定制多元时间序列编码器和正则化对比EEG-Image预训练，解决零样本EEG图像分类问题，在200路分类中达到SOTA，并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Tencent PCG（腾讯平台与内容事业群）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
与从单一模态学习相比，获得多模态提示（例如视觉和音频）使一些认知任务能够更快地完成。在这项工作中，我们建议跨异构模态的知识转移，即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示，而是跨模态组合音频、图像和视频表示，以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入，关闭跨模态的语义差距，并捕捉任务相关的语义，这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的，全面的多模态蒸馏基准：UCF101，ActivityNet和VGGSound。此外，我们证明，我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识，以提高视频表示学习。代码发布在这里：https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning
本文提出KnowCoL框架，结合图像与文本描述，在基于Wikidata的结构化信息空间中实现开放领域视觉实体识别，通过对比学习提升稀有和未见过实体的识别准确率。
2025-11-18 cs.CV cs.LG
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations
University of Georgia（佐治亚大学）；Stanford University（斯坦福大学）；Google Inc（谷歌公司）；Carnegie Mellon University（卡内基梅隆大学）
针对地理标记图像标签稀缺问题，提出自监督对比空间预训练（CSP）框架，利用双编码器结合地理信息学习表征，在iNat2018和fMoW上提升性能，其中iNat2018相对提升10-34%。
2023-05-09 cs.AI cs.CV cs.LG
Aligning Visual Contrastive learning models via Preference Optimization
L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出用偏好优化（PO）方法训练对比学习模型，以对齐模型行为与人类偏好，增强对字体攻击和归纳偏差的鲁棒性，并缓解性别偏差，实验证明优于标准对比学习技术。
2025-03-26 cs.CV cs.LG
Few-shot Visual Reasoning with Meta-analogical Contrastive Learning
Samsung Advanced Institute of Technology（三星先进技术研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
虽然人类可以通过观察少量样本来解决需要逻辑推理的视觉难题，但对于最先进的深度推理模型来说，需要在大量数据上进行训练，才能在同一任务上获得类似的性能。在这项工作中，我们建议解决这样一个Few-Shot（或低镜头）的视觉推理问题，通过诉诸类比推理，这是一种独特的人类能力，以确定两组之间的结构或关系相似性。具体来说，给定包含相同类型的视觉推理问题的训练集和测试集，我们提取两个域中元素之间的结构关系，并通过类比学习使它们尽可能相似。我们反复应用这个过程，在假设它不影响训练样本和测试样本之间的关系的情况下，对同一问题的查询进行稍微修改。这允许以有效的方式学习两个样本之间的关系相似性，即使是单对样本。我们验证了我们的方法在RAVEN数据集上，它优于国家的最先进的方法，具有更大的增益时，训练数据是稀缺的。我们进一步元学习我们的类比对比学习模型在相同的任务与不同的属性，并表明，它推广到相同的视觉推理问题与看不见的属性。
2020-07-23 cs.AI cs.LG stat.ML
ProbMCL: Simple Probabilistic Contrastive Learning for Multi-label Visual Classification
University of Toronto（多伦多大学）
针对多标签图像分类现有方法计算复杂、可解释性差的问题，提出概率多标签对比学习框架ProbMCL，结合有监督对比学习与混合密度网络，在多领域数据集上以更低计算开销取得优于SOTA的性能，且保留语义拓扑。
2024-04-12 cs.CV cs.LG
How do Cross-View and Cross-Modal Alignment Affect Representations in Contrastive Learning?
TU Delft（代尔夫特理工大学）
各种最先进的自监督视觉表示学习方法通过跨视图和/或模态对齐特征表示来利用来自多个传感器的数据。在这项工作中，我们研究对齐表示如何影响图像和点云上的跨视图和跨模态对比学习获得的视觉特征。在五个真实世界的数据集和五个任务，我们训练和评估108个模型的基础上四个预训练的变化。我们发现，跨模态表示对齐丢弃互补的视觉信息，如颜色和纹理，而是强调冗余的深度线索。从预训练中获得的深度线索提高了下游深度预测性能。此外，总体而言，跨模态对齐导致比通过跨视图对齐进行的预训练更鲁棒的编码器，特别是在深度预测、实例分割和目标检测方面。
2022-11-23 cs.CV cs.LG
Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation
New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
无监督表示学习的最新进展显着提高了模拟环境中训练强化学习策略的样本效率。然而，类似的收益还没有看到真正的机器人强化学习。在这项工作中，我们专注于从像素实现数据高效的真实机器人学习。我们提出了用于高效机器人学习（CoDER）的对比预训练和数据增强，这是一种利用数据增强和无监督学习来实现稀疏奖励的真实机器人手臂策略的样本有效训练的方法。虽然对比预训练、数据增强、演示和强化学习本身不足以实现有效的学习，但我们的主要贡献是将这些不同的技术结合起来，从而产生了一种简单但数据高效的方法。我们证明，只要给出10个演示，一个机器人手臂就可以从像素中学习稀疏奖励操作策略，例如在30分钟的平均真实训练时间内达到，拾取，移动，拉动大型物体，翻转开关和打开抽屉。我们在项目网站上提供了视频和代码：https://sites.google.com/view/efficient-robotic-manipulation/home
2022-10-17 cs.AI cs.LG cs.RO
A simple, efficient and scalable contrastive masked autoencoder for learning visual representations
University of Maryland（马里兰大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们介绍了CAN，这是一种简单、高效且可扩展的视觉表示自监督学习方法。我们的框架是（C）对比学习，（A）掩码自编码器和（N）扩散模型中使用的噪声预测方法的最小和概念上清晰的合成。这些学习机制是相互补充的：对比学习在一批图像样本中塑造嵌入空间;掩码自编码器专注于单个图像样本中低频空间相关性的重建;噪声预测鼓励图像高频分量的重建。结合的方法，结果在一个强大的，可扩展的和易于实现的算法。训练过程是对称的，在两个视图中有50%的补丁被随机掩蔽，与现有的对比学习方法相比，效率得到了相当大的提高。大量的实证研究表明，CAN实现强大的下游性能下的线性和微调评估迁移学习和鲁棒性任务。在ImageNet上进行预训练时，CAN的性能优于MAE和Simplified，但对于JFT-300 M等大型未策划数据集的预训练尤其有用：对于ImageNet上的线性探针，CAN达到75.4%，而Simplified和MAE分别为73.4%和64.1%。我们的ViT-L模型在ImageNet上的微调性能为86.1%，而Simplified为85.5%，MAE为85.4%。Simplified的总体FLOP负载比ViT-L模型的CAN高70%。
2022-10-30 cs.CV cs.LG
Balanced Contrastive Learning for Long-Tailed Visual Recognition
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；La Trobe University（乐卓博大学）
真实世界的数据通常遵循长尾分布，其中少数多数类别占据大部分数据，而大多数少数类别包含有限数量的样本。最小化交叉熵的分类模型很难表示和分类尾类。虽然学习无偏分类器的问题已经得到了很好的研究，表示不平衡的数据的方法是探索不足。在本文中，我们专注于不平衡数据的表示学习。最近，监督对比学习在平衡数据上表现出了良好的性能。然而，通过我们的理论分析，我们发现，对于长尾数据，它未能形成一个规则的单纯形，这是一个理想的几何配置的表示学习。为了纠正SCL的优化行为，进一步提高长尾视觉识别的性能，我们提出了一种新的损失平衡对比学习（BCL）。与SCL相比，BCL有两个改进：类平均，它平衡了负类的梯度贡献;类补充，它允许所有类出现在每个小批次中。提出的平衡对比学习（BCL）方法满足形成正则单纯形的条件，并辅助交叉熵的优化。配备BCL，所提出的两分支框架可以获得更强的特征表示，并在CIFAR-10-LT，CIFAR-100-LT，ImageNet-LT和iNaturalist 2018等长尾基准数据集上实现具有竞争力的性能。我们的代码可在https://github.com/FlamieZhu/BCL上获得。
2022-09-10 cs.CV cs.LG
SPARC: SuperPixel-Aware Region Contrastive Learning for Self-Supervised Dense Prediction
University of Waterloo（滑铁卢大学）
SPARC提出一种基于超像素的区域级对比学习框架，通过区域对比分支与全局目标联合优化，在语义分割和检测上显著超越现有方法，提升密集预测性能。
2026-09-23 cs.CV cs.LG
Probabilistic Contrastive Learning for Long-Tailed Visual Recognition
Tsinghua University（清华大学）
针对长尾视觉识别中的数据不平衡问题，提出概率对比学习（ProCo）算法，通过假设归一化特征服从vMF混合分布，实现高效分布估计与无限对比对采样，并推导闭式损失以优化性能。
2024-03-14 cs.CV cs.LG
On Mutual Information in Contrastive Learning for Visual Representations
Stanford University（斯坦福大学）
近年来，视觉中的几种无监督的“对比”学习算法已被证明可以学习在迁移任务中表现出色的表示。我们发现，这个家庭的算法最大限度地提高了一个下界的互信息之间的两个或多个“意见”的图像，其中典型的意见来自图像增强的组合。我们的界限概括了InfoNCE目标，以支持从“困难”对比的限制区域进行负采样。我们发现，负样本和视图的选择是这些算法的成功的关键。根据互信息重新制定以前的学习目标也简化和稳定了它们。在实践中，我们的新目标产生的表示优于那些学习与以前的方法转移到分类，限界框检测，实例分割，和关键点检测。%的实验表明，选择更困难的负样本导致更强的表示，在分类，限界框检测，实例分割和关键点检测方面优于使用IR，LA和CMC学习的那些。互信息框架提供了一个统一的对比学习方法的比较，并揭示了影响表示学习的选择。
2020-06-05 cs.CV cs.LG stat.ML
Contrastive Learning of Medical Visual Representations from Paired Images and Text
FUJIFILM Corporation（富士胶片公司）；AWS AI Labs（AWS人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
学习医学图像的视觉表示（例如，X射线）是医学图像理解的核心，但由于缺乏人工注释，其进展一直受到阻碍。现有的工作通常依赖于从ImageNet预训练中转移的微调权重，由于图像特征差异巨大，这是次优的，或者从与医学图像配对的文本报告数据中提取基于规则的标签，这是不准确的，难以推广。同时，最近的一些研究显示了令人兴奋的结果，从自然图像的无监督对比学习，但我们发现这些方法帮助不大的医学图像，因为它们的高类间相似性。我们提出了ConVIRT，一种替代的无监督策略，通过利用自然发生的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比目标用成对文本数据预训练医学图像编码器的新方法是领域不可知的，并且不需要额外的专家输入。我们通过将我们的预训练权重转移到4个医学图像分类任务和2个zero-shot检索任务来测试ConVIRT，并表明它导致图像表示在大多数设置中大大优于强基线。值得注意的是，在所有4个分类任务中，我们的方法只需要ImageNet初始化对应物的10%的标记训练数据，就可以实现更好或相当的性能，证明了卓越的数据效率。
2022-09-19 cs.CL cs.CV cs.LG
Hyperbolic Contrastive Learning for Visual Representations beyond Objects
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）；Meta
虽然自我/无监督方法已经导致视觉表示学习的快速发展，这些方法通常使用相同的镜头处理对象和场景。在本文中，我们专注于学习对象和场景的表示，保持它们之间的结构。出于观察，视觉上相似的对象是接近的表示空间，我们认为，场景和对象，而不是应该遵循一个层次结构的基础上，他们的组合。为了利用这样的结构，我们提出了一个对比学习框架，其中欧几里德损失用于学习对象表示和双曲损失用于鼓励场景的表示接近其组成对象在双曲空间中的表示。这种新颖的双曲目标通过优化其范数的大小来鼓励表示之间的场景对象上位性。我们发现，在COCO和OpenImages数据集上进行预训练时，双曲线损失提高了多个数据集和任务（包括图像分类、目标检测和语义分割）中多个基线的下游性能。我们还表明，学习表示的属性，使我们能够解决各种视觉任务，涉及场景和对象之间的互动，在zero-shot的方式。我们的代码可以在\url{https://github.com/shlokk/HCL/tree/main/HCL}中找到。
2022-12-01 cs.CV cs.LG
Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning
University of Michigan（密歇根大学）；University of California San Francisco（加利福尼亚大学旧金山分校）
在自然语言处理中，大多数模型试图仅仅从文本中学习语义表示。学习的表示编码的分布语义，但未能连接到任何有关物理世界的知识。相比之下，人类通过感知和行动中的基础概念来学习语言，大脑为认知编码基础语义。受这一概念和最近在视觉语言学习方面的工作的启发，我们设计了一个双流模型，用于在视觉中进行语言学习。该模型包括基于VGG的视觉流和基于Bert的语言流。这两个流合并成一个联合代表空间。通过跨模态对比学习，模型首先学习将视觉和语言表示与MS COCO数据集对齐。该模型进一步学习通过跨模态注意模块检索具有语言查询的视觉对象，并通过具有Visual Genome数据集的双线性运算符推断检索到的对象之间的视觉关系。在训练之后，该模型的语言流是能够将概念嵌入在视觉上接地的语义空间中的独立语言模型。这个语义空间表现出人类直觉和神经生物学知识可以解释的主要维度。在这个语义空间中的词嵌入是人类定义的语义特征规范的预测，并被分离成感知上独特的集群。此外，基于视觉的语言模型还使得能够实现基于视觉知识的组合语言理解和具有基于图像、文本或其组合的查询的多模态图像搜索。
2021-11-13 cs.CL cs.LG
Contrastively Learning Visual Attention as Affordance Cues from Demonstrations for Robotic Grasping
School of CS & AI, Arizona State University（亚利桑那州立大学计算机科学与人工智能学院）
传统的作品，学习掌握示能表示从示范需要明确地预测把握配置，如抓手接近角度或把握预形。然后，经典的运动规划器可以通过使用这种预测的配置来采样轨迹。在这项工作中，我们的目标是通过将这两个目标整合到基于深度神经网络的端到端模仿学习框架中，来填补启示发现和基于启示的政策学习之间的差距。从心理学的角度来看，注意力和示能性之间有着密切的联系。因此，与端到端的神经网络，我们建议学习启示线索作为视觉注意，作为一个有用的指示信号，演示如何完成任务，而不是明确建模启示。为了实现这一点，我们提出了一个对比学习框架，包括一个暹罗编码器和一个轨迹解码器。我们进一步引入了一个耦合的三重损失，以鼓励发现的启示线索，以更实惠的相关性。我们的实验结果表明，我们的模型与耦合三重损失实现了最高的抓取成功率在模拟机器人环境。我们的项目网站可以访问www.example.com。
2021-08-14 cs.AI cs.LG cs.RO
Unifying Contrastive and Generative Objectives for Visual Understanding and Text-to-Image Generation
MIT Computer Science \& Artificial Intelligence Laboratory（Meta AI）；Meta AI
本文提出DREAM框架，通过Masking Warmup解决对比学习与文本到图像生成的矛盾，提升模型在多个任务上的性能。
2026-05-17 cs.CV cs.LG
Contrastive Supervised Distillation for Continual Representation Learning
Università degli Studi di Firenze（佛罗伦萨大学）
在本文中，我们提出了一种新的训练过程中的连续表示学习问题，其中神经网络模型顺序学习，以减轻视觉搜索任务中的灾难性遗忘。我们的方法，称为对比监督蒸馏（CSD），减少特征遗忘，同时学习判别特征。这是通过在蒸馏设置中利用标签信息来实现的，在蒸馏设置中，学生模型是从教师模型中对比学习的。大量的实验表明，CSD在减轻灾难性遗忘方面表现良好，优于当前最先进的方法。我们的研究结果还提供了进一步的证据，视觉检索任务中的特征遗忘评估是不是灾难性的分类任务。代码：https://github.com/NiccoBiondi/ContrastiveSupervisedDistillation。
2022-06-10 cs.AI cs.CV cs.LG
