Investigating the Role of Negatives in Contrastive Representation Learning
Microsoft Research（微软研究院）
噪声对比学习是一种流行的无监督表示学习技术。在这种方法中，通过简化为监督学习来获得表示，其中给定语义相似性的概念，学习者试图将相似的（正面）示例与随机（负面）示例的集合区分开。现代对比学习流水线的成功依赖于许多参数，例如数据增强的选择、反例的数量和批量大小;然而，对于这些参数如何相互作用并影响下游性能的理解有限。我们专注于消除这些参数之一的作用：负面的例子的数量。从理论上讲，我们表明存在一个冲突覆盖权衡表明，最佳数量的负面的例子应该规模与数据中的基本概念的数量。从经验上讲，我们仔细研究了消极数量在NLP和视觉任务中的作用。在NLP任务中，我们发现结果与我们的理论基本一致，而我们的视觉实验则更加模糊，表现有时甚至对否定的数量不敏感。我们讨论了这种行为的合理解释，并提出了未来的方向，以更好地调整理论和实践。
2021-06-18 cs.CL cs.LG stat.ML
Probing Negative Sampling Strategies to Learn GraphRepresentations via Unsupervised Contrastive Learning
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
图的表示学习一直是一个重要的，但具有挑战性的任务，为各种现实世界的应用。然而，它们的下游任务主要是在监督或半监督学习的设置中执行的。受无监督对比学习最新进展的启发，本文旨在研究如何进行节点级对比学习。特别地，我们分别解决了类冲突问题和负数据分布不平衡问题。在三个真实数据集上进行了大量的实验，所提出的方法达到了SOTA模型的性能。
2021-04-13 cs.LG
On the Similarities of Embeddings in Contrastive Learning
Department of Statistics and Data Science, Yonsei University, Seoul, Korea（统计与数据科学系，延世大学，首尔，韩国）
本文提出统一框架基于余弦相似性理解对比学习，揭示了全批次下负对相似性阈值导致正对无法完美对齐，以及小批次引起负对相似性高方差降低表示质量，并提出辅助损失有效提升小批次性能。
2025-07-15 cs.LG stat.ML
Synthetic Hard Negative Samples for Contrastive Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出SSCL方法，通过混合负样本生成并采样更难负样本，同时进行去偏处理，以提升对比学习在图像分类任务中的性能。
2023-04-17 cs.CV cs.LG
Hard Negative Sampling Strategies for Contrastive Representation Learning
Virginia Tech（弗吉尼亚理工大学）
对比学习的挑战之一是在没有标签信息的情况下选择适当的\textit{hard negative}示例。基于特征相似性的随机采样或重要性采样方法通常导致次优性能。在这项工作中，我们介绍了UnReMix，一个硬负采样策略，考虑到锚相似性，模型的不确定性和代表性。在几个基准测试上的实验结果表明，UnReMix与最先进的对比学习方法相比，改进了负样本选择，并随后提高了下游性能。
2022-06-02 cs.AI cs.CV cs.LG
On the Surrogate Gap between Contrastive and Supervised Losses
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
对比表示学习鼓励数据表示使语义相似的对比随机抽取的负样本更接近，这在视觉、语言和图形等各个领域都取得了成功。最近的理论研究试图解释的好处，大负样本量的上限下游分类损失的对比损失。然而，以前的替代边界有两个缺点：它们只适用于有限范围的负样本大小，即使在该范围内也过大。由于这些缺点，在负样本量理论上如何与下游分类性能相关方面仍然没有达成共识。根据简化设置，其中从真实分布中提取阳性对（不是通过数据增强生成的;如先前研究中所假设的），本研究为所有阴性样本量的下游分类损失建立了替代上限和下限，最好地解释了早期研究中阴性样本量的经验观察结果。我们的界限表明，对比损失可以被视为下游损失的替代目标，较大的负样本量可以改善下游分类，因为对比损失和监督损失之间的替代差距衰减。我们验证了我们的理论与合成，视觉和语言数据集上的实验是一致的。
2022-05-30 cs.LG
Momentum Contrastive Learning with Enhanced Negative Sampling and Hard Negative Filtering
FPT University（FPT大学）；Queensland University of Technology（昆士兰科技大学）
本文提出增强的对比学习框架，通过引入双视图损失函数平衡优化查询与键嵌入，并采用基于余弦相似度的选择性负采样策略过滤噪声并聚焦困难负样本，显著提升了无监督表示学习的质量与下游任务性能。
2025-01-20 cs.AI cs.LG
Multi-Marginal Inverse Optimal Transport for Contrastive Learning Via Explicit Anchor-Positive-Negative Coupling
Tufts University（塔夫茨大学）；East Tennessee State University（东田纳西州立大学）；Boston University（波士顿大学）
针对逆最优传输对比学习忽略负样本导致维度坍缩的问题，提出多边际逆最优传输对比学习方法Neg-MMIOT-CL，通过显式锚点-正样本-负样本耦合缓解坍缩，并证明其等角性质，同时提出高效变体Neg-IOT-CL-PushPull，在合成与真实数据上显著优于现有方法。
2026-10-21 cs.LG stat.ML
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland（三星研发院波兰分院）；AGH University of Krakow（波兰克拉科夫AGH大学）
针对说话人验证中对比学习的难负样本利用问题，提出CHNS聚类式难负样本采样方法，通过聚类相似说话人嵌入并优化批次难易负样本比例，在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%，优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning
针对自监督对比学习中相似语义假负样本被错误推开的问题，提出GloFND方法，在训练中在线学习阈值以全局识别假负样本，且计算成本与数据集大小无关，在图像和图文数据上验证了有效性。
2026-10-09 cs.AI cs.CV cs.LG
Contrastive Attraction and Contrastive Repulsion for Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Microsoft Research（微软研究院）；Xidian University（西安电子科技大学）
针对传统对比学习正负样本二元划分的局限，本文提出 CACR 双重对比策略，通过组内比较及吸引远正样本、排斥近负样本提升表征性能，并在基准与不平衡数据集上验证了效果和鲁棒性。
2023-08-11 cs.CV cs.LG stat.ML
Time-Series Contrastive Learning against False Negatives and Class Imbalance
Beijing Jiaotong University（北京交通大学）
本文分析了时间序列对比学习中被忽视的假负样本和类别不平衡问题，基于SimCLR框架提出构建实例图模拟监督对比学习以减轻假负样本影响，并结合图结构和少量标签进行半监督分类以增强少数类表征，在四个真实数据集上显著提升了整体性能。
2024-08-24 cs.AI cs.LG
FedCL: Federated Contrastive Learning for Privacy-Preserving Recommendation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
对比学习被广泛用于推荐模型学习，其中选择具有代表性和信息丰富的负样本是至关重要的。现有的方法通常集中在集中的数据，其中丰富和高质量的负样本很容易获得。然而，集中的用户数据存储和利用可能会导致隐私风险和担忧，而单个客户端上的分散用户数据对于精确的对比学习来说可能过于稀疏和有偏见。本文提出了一种用于隐私保护推荐的联邦对比学习方法FedCL，该方法可以利用高质量的负样本进行有效的模型训练，同时很好地保护了隐私。我们首先通过每个客户端上的本地模型从本地用户数据中推断用户嵌入，然后在将它们发送到中央服务器进行硬负采样之前，使用本地差分隐私（LDP）对其进行扰动。由于个体用户嵌入包含大量的噪声，由于LDP，我们建议在服务器上聚类用户嵌入，以减轻噪声的影响，并使用聚类中心从项目池中检索硬负样本。这些硬阴性样本被交付给用户客户端，并与来自本地数据的观察到的阴性样本以及由阳性样本构建的批量阴性样本混合，用于联邦模型训练。在四个基准数据集上的大量实验表明，FedCL可以以隐私保护的方式为各种推荐方法提供支持。
2022-04-21 cs.LG
Boosting Contrastive Self-Supervised Learning with False Negative Cancellation
Google（谷歌）；Google Research（谷歌研究院）；TTI-Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
自我监督表示学习在对比学习的进步推动下取得了重大飞跃，对比学习试图学习将正输入对嵌入附近，同时将负输入对推离很远的转换。虽然可以可靠地生成正对（例如，作为同一图像的不同视图），很难准确地建立否定对，否定对被定义为来自不同图像的样本，而不管它们的语义内容或视觉特征。对比学习的一个基本问题是减轻假阴性的影响。对比假否定导致了表示学习中的两个关键问题：丢弃语义信息和收敛速度慢。在本文中，我们提出了新的方法来识别假阴性，以及两种策略，以减轻其影响，即假阴性消除和吸引力，同时系统地进行严格的评估，详细研究这个问题。我们的方法表现出一致的改进现有的对比学习为基础的方法。在没有标签的情况下，我们在ImageNet上的1000个语义类中以40%的准确率识别假阴性，并且在使用1%标签进行微调时，与之前的最先进技术相比，top-1准确率绝对提高了5.8%。我们的代码可在https://github.com/google-research/fnc上获得。
2022-01-02 cs.CV cs.LG
Energy-Based Contrastive Learning of Visual Representations
KAIST（韩国科学技术院）
对比学习是一种通过训练深度神经网络（DNN）来学习视觉表示的方法，以增加正对（相同图像的变换）表示之间的相似性并降低负对（不同图像的变换）表示之间的相似性。在这里，我们将探讨基于能量的对比学习（EBM），它通过将对比学习与基于能量的模型（EBM）相结合来利用生成学习的力量。理论上，EBBBER可以解释为学习正对的联合分布，并且它在中小规模数据集（如MNIST，Fashion-MNIST，CIFAR-10和CIFAR-100）上显示出有希望的结果。具体来说，我们发现EBBEE在训练时间方面与Simplified和MoCo v2相比，从X4到X20的加速。此外，与Simplified相比，我们观察到EBSFET在每个阳性对254个阴性对（批量128）和30个阴性对（批量16）的情况下实现了几乎相同的性能，证明了EBSFET对少量阴性对的鲁棒性。因此，EBARGO为改进对比学习方法提供了一种新的途径，这种方法通常需要每次迭代具有大量负对的大型数据集，以在下游任务上实现合理的性能。代码：https://github.com/1202kbs/EBCLR
2022-10-25 cs.LG
Robust Contrastive Learning Using Negative Samples with Diminished Semantics
Carnegie Mellon University（卡内基梅隆大学）；Google Cloud AI（谷歌云人工智能）
由于更有效的对比学习方法的发展，无监督学习最近取得了非凡的进展。然而，CNN倾向于依赖于人类认为非语义的低级特征。这种依赖性已被证明是导致缺乏鲁棒性的图像扰动或域移位。在本文中，我们表明，通过生成精心设计的负样本，对比学习可以学习更强大的表示，更少的依赖于这些功能。对比学习利用保留语义信息的正对，同时扰动训练图像中的表面特征。同样，我们建议以相反的方式生成负样本，其中仅保留多余的而不是语义特征。我们开发了两种方法，基于纹理和基于补丁的增强，产生负样本。这些样本实现了更好的泛化，特别是在域外设置下。我们还分析了我们的方法和生成的基于纹理的样本，表明纹理特征在分类特定的ImageNet类，特别是更精细的类时是不可或缺的。我们还表明，模型偏见有利于纹理和形状特征不同，在不同的测试设置。我们的代码，训练模型和ImageNet-Texture数据集可以在https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives上找到。
2022-01-03 cs.CV cs.LG
Beyond Spectral Decomposition: Bayesian Contrastive Learning and its Non-negative Formulation via Factor Analysis
Xidian University（西安电子科技大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出对比因子分析框架，结合因子分析和对比学习的优势，通过非负因子分析提升可解释性，验证了其在表达能力、鲁棒性、可解释性和不确定性估计上的有效性。
2026-06-27 cs.AI cs.CV cs.LG
An Empirical Study on Disentanglement of Negative-free Contrastive Learning
Tsinghua University（清华大学）；Shanghai Qi-Zhi Institute（上海期智研究院）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
无负对比学习方法因其简单性和大规模预训练的优异性能而受到广泛关注。然而，它的解缠结性质仍然未被探索。在本文中，我们检查负自由的对比学习方法来研究的解纠缠性能的经验。我们发现现有的解纠缠度量不能对高维表示模型进行有意义的测量，因此我们提出了一种新的基于潜在表示和数据因子之间的互信息的解纠缠度量.有了这个建议的度量，我们在流行的合成数据集和真实世界的数据集CelebA上对无负对比学习的解纠缠特性进行了基准测试。我们的研究表明，所研究的方法可以学习一个良好的解纠缠子集的表示。据我们所知，我们是第一个将非纠缠表示学习的研究扩展到高维表示空间，并将无负对比学习方法引入这一领域的人。本文的源代码可在\url{https://github.com/noahcao/disentanglement_lib_med}上获得。
2022-10-15 cs.AI cs.CV cs.LG
Bayesian Self-Supervised Contrastive Learning
Southwest Jiaotong University（西南交通大学）；Huazhong University of Science and Technology（华中科技大学）
针对自监督对比学习中随机负样本易出现假负例导致训练偏差的问题，提出BCL损失，在贝叶斯框架下设计带位置与浓度参数的参数化采样分布，用重要性权重修正偏差并挖掘难负例，实验验证了其有效性与优越性。
2024-01-31 cs.LG
Contrasting the landscape of contrastive and non-contrastive learning
Carnegie Mellon University（卡内基梅隆大学）
无监督特征学习的许多最新进展都是基于设计在语义数据增强下不变的特征。一种常见的方法是对比学习，它使用正样本和负样本。然而，最近的一些工作已经显示出有希望的结果，非对比学习，它不需要负样本。然而，非对比度损失具有明显的“塌陷”最小值，其中编码器输出与输入无关的恒定特征嵌入。一个民间猜想是，只要避免这些崩溃的解决方案，产生的特征表示应该是好的。在我们的论文中，我们对这个故事表示怀疑：我们通过理论结果和对照实验表明，即使在简单的数据模型上，非对比损失也具有非崩溃坏极小值的优势。此外，我们表明，训练过程并没有避免这些最小值。
2022-03-29 cs.CV cs.LG stat.ML
Global Contrastive Batch Sampling via Optimization on Sample Permutations
Stanford University（斯坦福大学）；Two Sigma Ventures（双西格玛创投）；Microsoft Research（微软研究院）
针对难负例挖掘效率低、需维护索引并增加训练时长的问题，本文提出 GCBS，通过样本排列优化近似批次分配并界定全局与训练损失差距，在句子嵌入和代码搜索任务中提升性能且几乎不增加实现成本。
2023-06-07 cs.CL cs.LG stat.ML
How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为了避免自监督学习（SSL）中的崩溃，对比损失被广泛使用，但通常需要大量的负样本。在没有负样本的情况下，还没有达到有竞争力的性能，最近的一项工作引起了人们的极大关注，因为它提供了一种极简的简单暹罗（SimSiam）方法来避免崩溃。然而，在没有负样本的情况下它如何避免崩溃的原因仍然不完全清楚，我们的调查从重新审视原始SimSiam中的解释性声明开始。在反驳了他们的观点后，我们引入了基于$l_2$归一化表示向量的梯度分析的向量分解来分析崩溃。这对阴性样本和SimSiam如何缓解崩溃产生了统一的观点。这样一个统一的视角对于理解SSL的最新进展来说是及时的。
2022-03-30 cs.AI cs.LG
Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples
School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
针对异构图对比学习中元路径上下文缺失和负样本未区分的问题，提出 MEOW 及自适应变体 AdaMEOW，通过粗细粒度视图和加权负样本提升节点表示性能。
2024-04-05 cs.LG
Semantically-Conditioned Negative Samples for Efficient Contrastive Learning
University of Liverpool（利物浦大学）
负采样是w.r.t.的一个限制因素。度量学习神经网络的推广。我们发现，均匀负采样提供的类边界的信息很少，因此提出了三种新的技术，有效的负采样：绘制负样本（1）顶部- $k$最语义相似的类，（2）顶部- $k$最语义相似的样本和（3）之间的对比潜在的表示，以创建伪否定。我们在CIFAR-10，CIFAR-100和Tiny-ImageNet-200上的实验表明，我们提出的\textit{Semantically Conditioned Negative Sampling}和潜在混合导致一致的性能改进。在标准的监督学习设置中，我们在各种网络架构上将CIFAR-10的测试准确率平均提高了1.52个百分点。在知识蒸馏设置中，（1）与没有教师训练的学生网络相比，学生网络的性能在Tiny-ImageNet-200上增加了4.56个百分点，在CIFAR-100上增加了3.29个百分点，（2）与\textit{hard-to-beat}基线相比，分别增加了1.23个百分点和1.72个百分点（Hinton等人，2015）。
2021-02-12 cs.CV cs.LG
Does GCL Need a Large Number of Negative Samples? Enhancing Graph Contrastive Learning with Effective and Efficient Negative Sampling
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Department of Data Science, George Washington University（乔治华盛顿大学数据科学系）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院）
本文质疑图对比学习需大量负样本的共识，发现大量负节点反损判别力，提出仅用少量高质量非拓扑耦合负样本的E2Neg方法，显著降低计算开销并加速训练。
2025-03-23 cs.LG
Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples
China Agricultural University（中国农业大学）
在这项研究中，我们提出了一个特征提取框架的基础上对比学习与自适应积极和消极的样本（CL-FEFA），适用于无监督，监督和半监督的单视图特征提取。CL-FEFA从特征提取的结果中自适应地构造正样本和负样本，使其更加合适和准确。然后，根据InfoNCE损失的大小，在前两次正样本和负样本的基础上重新提取鉴别特征，使类内样本更加紧凑，类间样本更加分散。同时，利用子空间样本的潜在结构信息动态地构造正样本和负样本，可以使我们的框架对噪声数据具有更强的鲁棒性。此外，CL-FEFA还考虑了正样本之间的互信息，即潜在结构中的相似样本，这为其在特征提取中的优势提供了理论支持。最后的数值实验证明，该框架与传统的特征提取方法和对比学习方法相比具有很强的优势。
2022-01-11 cs.AI cs.CV cs.LG
Generating Counterfactual Hard Negative Samples for Graph Contrastive Learning
University of Technology Sydney（悉尼科技大学）；The Chinese University of Hong Kong（香港中文大学）；Curtin University（科廷大学）；City University of Hong Kong（香港城市大学）
本文提出CGC方法，利用反事实机制为图对比学习生成与正样本相似但标签不同的人工困难负样本，有效避免假负样本问题，并在多个数据集上取得优异结果。
2023-05-18 cs.AI cs.LG
Contrastive Learning with Positive-Negative Frame Mask for Music Representation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自监督学习，特别是对比学习，为深度学习的许多研究领域的发展做出了突出贡献。最近，声学信号处理领域的研究人员注意到了它的成功，并利用对比学习来更好地表示音乐。通常，现有方法最大化从相同音乐采样的两个失真音频段之间的相似性。换句话说，它们确保了音乐层面的语义一致性。然而，这些粗粒度的方法忽略了一些不必要的或嘈杂的元素在帧级，这可能是不利的模型学习的有效表示的音乐。为此，本文提出了一种新的正负框架面具的音乐表示的基础上的对比学习框架，简称PEMR。具体地，PEMR结合了正-负掩码生成模块，其利用Transformer块来在Log-Mel频谱图上生成帧掩码。我们可以通过分别屏蔽重要成分或不重要成分来生成自增强的负样本和正样本。我们设计了一个新的对比学习目标，以适应两个自我增强的积极/消极采样从相同的音乐。我们在四个公共数据集上进行了实验。两个音乐相关的下游任务，音乐分类，翻唱歌曲识别的实验结果，证明了泛化能力和转移的音乐表征学习PEMR。
2022-04-03 cs.LG cs.SD eess.AS
Khan-GCL: Kolmogorov-Arnold Network Based Graph Contrastive Learning with Hard Negatives
提出Khan-GCL框架，将KAN集成到图对比学习编码器，并利用KAN系数生成语义硬负样本，提升图表示判别力，在多个数据集上达到最先进性能。
2025-08-08 cs.LG
DropMix: Better Graph Contrastive Learning with Harder Negative Samples
East China Normal University（华东师范大学）
针对图对比学习中的硬负样本合成，提出DropMix方法，通过局部与全局难度评估选择硬负样本，并在部分维度混合以减少信息丢失，在六个基准数据集上验证了有效性。
2023-10-15 cs.AI cs.LG
Disentangling Shared and Target-Enriched Topics via Background-Contrastive Non-negative Matrix Factorization
本文提出背景对比非负矩阵分解方法，通过联合分解目标数据和背景数据，有效分离高维数据中的目标增强主题，提升生物信号解析能力。
2026-02-25 cs.LG
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta（阿尔伯塔大学）
针对 SimCSE 未充分利用难负样本的问题，提出结合难负样本挖掘的无监督对比学习框架，通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数，使模型聚焦于难负样本，在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Multiplex Graph Contrastive Learning with Soft Negatives
Soochow University（苏州大学）；Shaanxi Normal University（陕西师范大学）；Ningxia University（宁夏大学）
针对现有跨尺度图对比学习易丢失一致信息、受干扰特征污染的问题，提出采用多重表示作为补丁、结合位置亲和度修正假负例的MUX-GCL范式，取得多项SOTA结果并获理论支撑。
2024-09-12 cs.LG
Smoothed Graph Contrastive Learning via Seamless Proximity Integration
École polytechnique, IP Paris（巴黎综合理工学院、巴黎理工学院）
针对传统图对比学习对负样本同等处理的问题，提出SGCL模型，利用增强图几何结构注入邻近度信息调整损失惩罚，并结合子图划分策略提升可扩展性，在大规模基准上表现优于现有基线。
2024-11-26 cs.AI cs.LG
Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation
Guangdong University of Technology（广东工业大学）；The University of Sydney（悉尼大学）
不成对图像到图像翻译的目的是找到源域和目标域之间的映射。为了缓解源图像缺乏监督标签的问题，已经提出了基于循环一致性的方法，通过假设不成对图像之间的可逆关系来进行图像结构保存。然而，该假设仅使用图像对之间的有限对应。最近，对比学习（CL）已被用于通过使用基于块的正/负学习来进一步研究不成对图像翻译中的图像对应性。基于块的对比例程通过自相似性计算获得阳性，并将其余块识别为阴性。这种灵活的学习范式以低成本获得辅助情境化信息。由于否定词拥有大量的样本，出于好奇，我们基于一个问题进行了调查：所有的否定词都是特征对比学习所必需的吗？与以往的CL方法，尽可能多地使用否定，在本文中，我们从信息论的角度研究的否定，并介绍了一种新的负修剪技术的不成对的图像到图像的翻译（PUT）的稀疏化和排名的补丁。该算法具有高效、灵活的特点，能够稳定地学习对应面片间的基本信息。通过把质量放在数量之上，只需要几个负面的补丁就可以达到更好的效果。最后通过对比实验验证了该模型的优越性、稳定性和通用性。
2022-07-13 cs.AI cs.CV cs.LG
SamToNe: Improving Contrastive Loss for Dual Encoder Retrieval Models with Same Tower Negatives
Google Inc.（谷歌公司）
本文提出 SamToNe 对比损失，将同编码器塔中的查询或文档作为负样本，提升对称与非对称双编码器在多个检索基准上的表现，并从嵌入对齐和正则化角度解释其机理。
2023-06-05 cs.IR cs.LG
Hard Negative Mixing for Contrastive Learning
NAVER LABS Europe（NAVER LABS欧洲）
对比学习已成为计算机视觉的自监督学习方法的关键组成部分。通过学习将同一图像的两个增强版本彼此靠近地嵌入，并将不同图像的嵌入分开，可以训练高度可转移的视觉表示。正如最近的研究所揭示的那样，大量的数据增强和大量的否定集在学习这种表示时都是至关重要的。与此同时，在图像或特征级别的数据混合策略通过合成新的示例来改善监督和半监督学习，迫使网络学习更鲁棒的特征。在本文中，我们认为，对比学习的一个重要方面，即，硬底片的影响，迄今为止一直被忽视。为了获得更有意义的负样本，当前的顶级对比自监督学习方法要么大幅增加批量大小，要么保持非常大的存储体;然而，增加存储体大小会导致性能方面的收益递减。因此，我们首先深入研究一个表现最好的框架，并证明需要更难的否定来促进更好更快的学习。基于这些观察结果，并受到数据混合成功的激励，我们提出了在特征级别的硬负混合策略，可以以最小的计算开销实时计算。我们详尽地消融我们的线性分类，目标检测和实例分割的方法，并表明，采用我们的硬负混合过程提高了质量的视觉表示学习的最先进的自监督学习方法。
2020-12-04 cs.CV cs.LG
Conditional Contrastive Learning with Kernel
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
条件对比学习框架考虑了条件采样过程，该过程构造以特定变量为条件的正或负数据对。例如，公平对比学习从相同的性别（以敏感信息为条件）构建负对，这反过来又减少了来自学习的表示的不期望的信息;弱监督对比学习构建具有相似注释属性的正对（以辅助信息为条件），这反过来又被纳入表示中。虽然条件对比学习可以实现许多应用，但如果我们无法获得条件变量的某些值的足够数据对，则条件采样过程可能具有挑战性。本文提出了带核的条件对比学习（CCL-K），将现有的条件对比目标转换为替代形式，以减轻数据不足的问题。CCL-K不是根据条件变量的值对数据进行采样，而是使用核条件嵌入运算符，该运算符从所有可用数据中采样数据，并根据条件变量值之间的核相似性为每个采样数据分配权重。我们使用弱监督，公平和硬否定对比学习进行实验，显示CCL-K优于最先进的基线。
2022-03-15 cs.LG
Similarity Choice and Negative Scaling in Supervised Contrastive Learning for Deepfake Audio Detection
University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）
本文研究了对比学习中相似性选择和负样本缩放对深度伪造音频检测的影响，通过实验发现使用余弦相似度和延迟队列能有效降低EER，而角相似度在无队列负样本时表现优异，表明对大规模负样本集的依赖减少。
2026-04-28 cs.LG eess.AS
Exploiting Negative Preference in Content-based Music Recommendation with Contrastive Learning
Seoul National University（首尔国立大学）
随着机器学习的发展，先进的音乐推荐系统正在被引入。然而，设计一个音乐推荐系统，能够通过理解用户的音乐品味来提高用户满意度，而不是通过模型的复杂性来提高用户满意度是至关重要的。尽管一些与利用负面偏好的音乐推荐系统相关的研究表明了性能的改善，但缺乏对它们如何导致更好的推荐的解释。在这项工作中，我们分析了用户的音乐品味的负面偏好的作用，通过比较音乐推荐模型与对比学习利用偏好（CLEP），但有三种不同的训练策略-利用偏好的积极和消极的（CLEP-PN），积极的（CLEP-P），和消极的（CLEP-N）。我们评估的有效性，通过验证每个系统与少量的个性化数据，通过调查获得的负面偏好，并进一步阐明利用负面偏好的音乐推荐的可能性。实验结果表明，CLEP-N在准确率和误报率方面优于其他两种方法。此外，所提出的训练策略产生了一致的趋势，无论不同类型的前端音乐特征提取器，证明了所提出的方法的稳定性。
2022-07-28 cs.IR cs.LG
From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning
University of Science and Technology of China（中国科学技术大学）；Manchester Metropolitan University（曼彻斯特城市大学）
为解决图对比学习中的过拟合问题，提出综合考虑负样本质量、多样性和数量的CSS算法及NegAmplify框架，通过构建不同难度的负样本池并结合决策智能体动态调整采样比例，在多个数据集上提升了节点分类准确率。
2024-06-21 cs.AI cs.LG
Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对比学习已成功地应用于学习文本的矢量表示。先前的研究表明，学习高质量的表征受益于大量否定的批量对比损失。在实践中，使用了批内否定技术，其中对于一个批中的每个示例，其他批示例的肯定将被视为其否定，避免编码额外的否定。然而，这仍然会影响每个示例在所有批处理示例上的丢失，并且需要将整个大批处理适配到GPU内存中。本文介绍了一种梯度缓存技术，该技术在对比度损失和编码器之间进行反向传播，消除了编码器沿批处理维度的反向传递数据依赖。因此，每次可以为批处理的一个子集计算梯度，从而导致几乎恒定的内存使用。
2021-06-14 cs.CL cs.IR cs.LG
Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning
Tufts University（塔夫茨大学）；Boston University（波士顿大学）
该研究针对无监督对比表示学习的难负例采样问题，提出基于正则化最优传输的极小极大框架，通过正则化传输耦合控制负例难度，设计新的基代价函数，提升了下游任务性能。
2023-12-14 cs.LG math.ST stat.TH
Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval
Microsoft（微软）
在一个稠密的学习表示空间中进行文本检索比稀疏检索有许多有趣的优点。然而，稠密检索（DR）的有效性往往需要结合稀疏检索。在本文中，我们确定主要的瓶颈是在训练机制，在训练中使用的负面实例是不代表测试中的不相关的文件。本文提出了近似最近邻负对比估计（ANCE），这是一种训练机制，它从语料库的近似最近邻（ANN）索引中构建否定，该索引随着学习过程的不断更新，以选择更真实的否定训练实例。这从根本上解决了DR训练和测试中使用的数据分布之间的差异。在我们的实验中，ANCE提升了BERT-Siamese DR模型，使其优于所有竞争密集和稀疏检索基线。它几乎与在ANCE学习的表示空间中使用点积的稀疏检索和BERT重新排序的准确性相匹配，并提供了近100倍的速度提升。
2020-10-20 cs.CL cs.IR cs.LG
Are all negatives created equal in contrastive instance discrimination?
Facebook AI Research（脸书人工智能研究院）；Columbia University（哥伦比亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；ITS, CUNY Graduate Center（纽约市立大学研究生中心智能交通系统实验室）
自监督学习最近开始在计算机视觉任务上与监督学习竞争。最近的许多方法都是基于对比实例判别（CID）的，在这种方法中，网络被训练成识别同一实例的两个增强版本（查询和肯定），同时对其他实例池（否定）进行判别。然后将学习的表示用于下游任务，例如图像分类。使用来自MoCo v2（Chen等人，2020），我们将否定词除以给定查询的难度，并研究了哪些难度范围对于学习有用的表示最重要。我们发现，少数的负面信息--最难的5% --对于下游任务达到几乎完全的准确性来说是必要的，也是足够的。相反，最简单的95%的否定是不必要的和不充分的。此外，最困难的0.1%的负面影响是不必要的，有时甚至是有害的。最后，我们研究了影响否定词硬度的否定词属性，发现硬否定词在语义上与查询更相似，并且一些否定词的容易或困难程度比我们偶然预期的要一致。总之，我们的结果表明，阴性的重要性各不相同，CID可能会受益于更明智的阴性治疗。
2020-10-25 cs.CV cs.LG eess.IV
AdNGCL: Adaptive Negative Scheduling for Graph Contrastive Learning
Jinan University（暨南大学）；University of Science and Technology of China（中国科学技术大学）；Hainan University（海南大学）；Manchester Metropolitan University（曼彻斯特城市大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
AdNGCL是面向图对比学习的自适应负样本调度框架，通过HANS等机制优化负样本选择，在10个基准数据集上8项获最高平均Micro-F1，提升达1.30个百分点，表现优于多数自监督图学习方法。
2026-10-14 cs.LG
On Mutual Information in Contrastive Learning for Visual Representations
Stanford University（斯坦福大学）
近年来，视觉中的几种无监督的“对比”学习算法已被证明可以学习在迁移任务中表现出色的表示。我们发现，这个家庭的算法最大限度地提高了一个下界的互信息之间的两个或多个“意见”的图像，其中典型的意见来自图像增强的组合。我们的界限概括了InfoNCE目标，以支持从“困难”对比的限制区域进行负采样。我们发现，负样本和视图的选择是这些算法的成功的关键。根据互信息重新制定以前的学习目标也简化和稳定了它们。在实践中，我们的新目标产生的表示优于那些学习与以前的方法转移到分类，限界框检测，实例分割，和关键点检测。%的实验表明，选择更困难的负样本导致更强的表示，在分类，限界框检测，实例分割和关键点检测方面优于使用IR，LA和CMC学习的那些。互信息框架提供了一个统一的对比学习方法的比较，并揭示了影响表示学习的选择。
2020-06-05 cs.CV cs.LG stat.ML
Efficient block contrastive learning via parameter-free meta-node approximation
University of Queensland（昆士兰大学）
对比学习近年来在包括图在内的许多领域取得了显著的成功。然而，对比度损失，特别是对于图，需要大量的负样本，这是不可扩展的和计算上禁止的二次时间复杂度。二次抽样不是最优的，不正确的负抽样会导致抽样偏差。在这项工作中，我们提出了一个基于元节点的近似技术，可以（a）代理所有的负组合（b）在二次集群大小时间复杂度，（c）在图形级别，而不是节点级别，（d）利用图形稀疏。通过将节点对替换为加性簇对，我们在图级计算簇时间的负值。基于简单优化的GPU操作，得到的代理近似元节点对比度（PamC）损失捕获了全部负数集，但具有线性时间复杂度。通过避免抽样，我们有效地消除了样本偏差。我们满足更大数量的样本的标准，从而实现块对比度，这被证明优于成对损失。我们使用学习软集群分配的元节点收缩，并避免可能的异质性和噪声添加在边缘创建。理论上，我们表明，现实世界的图形很容易满足我们的近似所需的条件。从经验上讲，我们在6个基准测试中显示了比最先进的图聚类更有希望的准确性。重要的是，我们的效率大幅提升;训练时间提高了3倍，推理时间提高了1.8倍，GPU内存减少了5倍以上。
2022-09-28 cs.IR cs.LG
Non-negative Contrastive Learning
Peking University（北京大学）；MIT（麻省理工学院）；National Key Lab of General Artificial Intelligence（通用人工智能全国重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
提出非负对比学习（NCL），通过施加非负性约束复兴非负矩阵分解（NMF），以提取更稀疏、解耦且可解释的特征，在特征解耦、选择及下游分类任务上显著优于标准对比学习。
2024-04-22 cs.AI cs.CV cs.LG
Graph Contrastive Learning via Cluster-refined Negative Sampling for Semi-supervised Text Classification
College of Computer and Mathematics（计算机与数学学院）；Central South University of Forestry and Technology（中南林业科技大学）；State University of New York（纽约州立大学）
针对图对比学习中的负采样偏差与过度聚类问题，本文提出ClusterText，通过跨簇负采样和基于欧氏距离的自校正机制提升半监督文本分类性能。
2024-10-18 cs.CL cs.LG
Twin Contrastive Learning for Online Clustering
Sichuan University（四川大学）；Zhejiang Lab（之江实验室）
本文提出通过在实例和聚类级别进行孪生对比学习（TCL）来执行在线聚类。具体地说，我们发现，当数据被投影到一个特征空间的目标聚类数的维数，其特征矩阵的行和列对应的实例和集群表示，分别。基于观察，对于给定的数据集，所提出的TCL首先通过数据增强来构造正对和负对。此后，在特征矩阵的行和列空间中，通过将正对拉在一起而将负对推开来分别进行实例级和聚类级对比学习。为了减轻固有的假阴性对的影响和纠正聚类分配，我们采用了基于置信度的标准来选择伪标签，以促进实例级和聚类级的对比学习。结果，聚类性能进一步提高。除了孪生对比学习的优雅思想之外，TCL的另一个优点是它可以独立地预测每个实例的聚类分配，从而毫不费力地适应在线场景。在六个广泛使用的图像和文本基准上的实验证明了TCL的有效性。代码将在GitHub上发布。
2022-10-21 cs.LG
EMC$^2$: Efficient MCMC Negative Sampling for Contrastive Learning with Global Convergence
The Chinese University of Hong Kong（香港中文大学）；Amazon Web Services（亚马逊网络服务）；University of Minnesota（明尼苏达大学）
针对对比学习中softmax负采样计算配分函数成本高的问题，提出高效MCMC负采样方法EMC$^2$，采用自适应Metropolis-Hastings在线生成难负样本，证明其全局收敛性，小批量训练下性能优异。
2024-04-16 cs.AI cs.CV cs.LG
Structure-Aware Hard Negative Mining for Heterogeneous Graph Contrastive Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Emory University（埃默里大学）
近年来，异构图神经网络（GNN）已成为分析HGs的事实模型，但它们中的大多数依赖于相对大量的标记数据。在这项工作中，我们调查对比学习（CL），在自我监督的方法，对HG的关键组成部分，以减轻标签稀缺的问题。我们首先根据元路径和网络模式生成多个语义视图。然后，通过将对应于不同语义视图的节点嵌入推到彼此接近（正面）并将其他嵌入拉开（负面），可以在没有人类注释的情况下获得信息表示。然而，这种CL方法忽略了阴性样本的相对硬度，这可能导致次优性能。考虑到复杂的图结构和GNN的平滑性质，我们提出了一个结构感知的硬负挖掘方案，通过结构特征来衡量HGs的硬度。通过合成更多的负节点，我们以有限的计算开销为更硬的负节点赋予更大的权重，以进一步提高性能。在三个真实数据集上的实验结果表明了该方法的有效性。所提出的方法始终优于现有的最先进的方法，值得注意的是，甚至超过了几个监督同行。
2021-08-31 cs.LG cs.SI
Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method
Renmin University of China（中国人民大学）；Kuaishou Technology（快手科技）；University of Chinese Academy of Sciences（中国科学院大学）
针对图对比学习中InfoNCE因缺乏标签导致的假负样本问题，提出简单高效的GraphRank方法，通过重新定义负样本概念避免假负样本，并在节点、边和图级别任务上验证了其有效性。
2024-03-21 cs.AI cs.LG
