SCD: Self-Contrastive Decorrelation for Sentence Embeddings
SAP AI Research（思爱普人工智能研究院）
在本文中，我们提出了自对比解相关（SCD），一种自监督的方法。给定一个输入句子，它优化了一个联合的自对比和去相关目标。通过利用以不同速率的标准辍学的实例化所产生的对比来促进学习表示。所提出的方法是概念简单，但经验强大。它在多个基准上实现了与最先进的方法相当的结果，而不使用对比对。这项研究为有效的自监督学习方法开辟了道路，这些方法比当前的对比方法更强大。
2022-03-15 cs.CL cs.LG
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
From Representation to Clusters: A Contrastive Learning Approach for Attributed Hypergraph Clustering
本文提出了一种端到端的对比学习方法CAHC，用于属性超图聚类，通过联合嵌入和聚类优化实现节点嵌入学习与聚类结果的同步生成。
2026-03-10 cs.LG
Optimization Dynamics Imprint Semantic Specificity in Contrastive Embedding Norms
University of Chicago（芝加哥大学）
本文通过分析优化动态，推导出嵌入长度自然编码语义信息的解析公式，为对比学习中嵌入范数与语义属性的相关性提供理论解释，并展示其在模型校准中的应用。
2026-06-29 cs.AI cs.LG math.OC
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Analysis of Using Sigmoid Loss for Contrastive Learning
Yonsei University（延世大学）
本文从嵌入几何结构角度理论分析对比学习中使用sigmoid损失，提出双常数嵌入模型CCEM，证明其包含sigmoid损失最优嵌入，并揭示最优嵌入随温度参数从单纯形等角紧框架变化到对极结构，合成实验验证了理论结果。
2024-02-20 cs.LG
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta（阿尔伯塔大学）
针对 SimCSE 未充分利用难负样本的问题，提出结合难负样本挖掘的无监督对比学习框架，通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数，使模型聚焦于难负样本，在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Region Embedding with Intra and Inter-View Contrastive Learning
Nanyang Technological University（南洋理工大学）
无监督区域表示学习旨在从未标记的城市数据中提取密集有效的特征。虽然已经基于多个视图做出了一些努力来解决这个问题，但是现有方法在提取视图中的表示和/或合并来自不同视图的表示方面仍然不足。基于对比学习在表示学习中的成功，我们提出将其用于多视图区域表示学习，并设计了一个称为ReMVC（Region Embedding with Multi-View对比学习）的模型，该模型遵循两个指导原则：i）在每个视图中将区域与其他区域进行比较，以实现有效的表征提取; ii）在不同视图中将区域与自身进行比较，以实现跨视图信息共享。我们设计了视图内对比学习模块和视图间对比学习模块，前者用于学习不同的区域嵌入，后者作为软共正则化器来约束嵌入参数并在多视图间传递知识。我们在两个下游任务中利用学习到的区域嵌入，即土地使用聚类和区域流行度预测。大量的实验表明，我们的模型实现了令人印象深刻的改进相比，七个国家的最先进的基线方法，在土地利用聚类任务的利润率超过30%。
2022-11-15 cs.CV cs.LG
Deep Contrastive Multiview Network Embedding
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
多视图网络嵌入的目的是将网络中的节点投影到低维向量上，同时保留它们的多重关系和属性信息。对比学习方法在这项任务中表现出了良好的性能。然而，他们忽略了融合和视图表示之间的语义一致性，并且难以建模不同视图之间的互补信息。针对这些不足，本文提出了一种新的多视图网络嵌入对比学习框架（CREME）。在我们的工作中，不同的视图可以根据节点之间的各种关系。然后，我们通过适当的视图编码器生成视图嵌入，并利用一个细心的多视图聚合器来融合这些表示。特别地，我们设计了两个协作对比目标，视图融合InfoMax和视图间InfoMin，以自监督的方式对模型进行训练。前一个目标从不同视图生成的嵌入中提取信息，而后者捕获视图之间的互补信息，以促进独特的视图嵌入。我们还表明，这两个目标可以统一为一个目标的模型训练。在三个真实世界数据集上的广泛实验表明，我们提出的CREME能够始终优于最先进的方法。
2022-08-17 cs.AI cs.LG
Instance Smoothed Contrastive Learning for Unsupervised Sentence Embedding
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
提出IS-CSE方法，通过动态记忆缓冲区检索正例嵌入组并利用自注意力聚合生成平滑实例嵌入，在标准STS任务上显著超越unsup-SimCSE基线。
2023-05-18 cs.CL cs.LG
Adversarial Contrastive Estimation
Borealis AI；University of Toronto（多伦多大学）
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计（NCE）和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中，我们将对比学习视为所有此类方法的抽象，并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本，这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入，顺序嵌入和知识图谱嵌入的建议，并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
Cluster Analysis with Deep Embeddings and Contrastive Learning
Iowa State University（爱荷华州立大学）；John Deere（约翰迪尔公司）
无监督解纠缠表示学习是计算机视觉中一个长期存在的问题。这项工作提出了一种新的框架，通过结合实例级对比学习与基于深度嵌入的聚类中心预测器，从深度嵌入执行图像聚类。我们的方法以端到端的方式联合学习表示并预测聚类中心。这是通过一个三管齐下的方法来实现的，该方法结合了聚类损失、实例对比损失和锚点损失。我们的基本直觉是，使用集成损失，结合实例级的功能和聚类过程集中在语义相似性加强学习更好的表示在潜在的空间。我们观察到，我们的方法在使用标准聚类度量（如归一化互信息（NMI））进行评估时，在流行的视觉数据集上表现得非常好，此外还产生了由欧几里得距离定义的几何分离的聚类嵌入。我们的框架与广泛接受的聚类方法不相上下，并且在CIFAR-10数据集上的表现优于最先进的对比学习方法，NMI得分为0.772，在强基线上提高了7-8%。
2021-10-02 cs.CV cs.LG
Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language
University of Turin（都灵大学）
词嵌入在当今的自然语言处理任务和应用中扮演着重要的角色。虽然预先训练的模型可以直接使用并集成到现有的管道中，但它们通常会进行微调，以更好地适应特定的语言或领域。在本文中，我们试图通过结合对比学习（CL）和知识图谱嵌入（KGE）来提高意大利医学领域未覆盖利基中的可用嵌入。主要目标是提高医学术语之间语义相似度的准确性，这也被用作一个评估任务。由于意大利语缺乏医学文本和受控词汇，我们已经开发了一个特定的解决方案，结合现有的CL方法（多相似性损失，上下文，动态采样）和KGE的集成，创建一个新的变体的损失。虽然没有超过以多语言模型为代表的最新技术水平，但所获得的结果令人鼓舞，与初始模型相比，性能有了显着的飞跃，同时使用的数据量显着减少。
2022-11-09 cs.CL cs.LG
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本文介绍了SimCSE，一个简单的对比学习框架，大大提高了最先进的句子嵌入。我们首先描述了一个无监督的方法，它需要一个输入句子，并预测自己在一个对比的目标，只有标准的辍学作为噪音。这个简单的方法工作得出奇的好，与以前的监督对应物表现相当。我们发现，dropout作为最小的数据增强，并删除它会导致一个表示坍塌。然后，我们提出了一种监督的方法，它将注释对从自然语言推理数据集到我们的对比学习框架，使用“蕴涵”对作为积极和“矛盾”对硬否定。我们在标准语义文本相似性（STS）任务上评估SimCSE，我们使用BERT基础的无监督和有监督模型分别达到平均76.3%和81.6%的斯皮尔曼相关性，与以前的最佳结果相比，分别提高了4.2%和2.2%。我们还从理论上和经验上证明，对比学习的目标是使预训练的嵌入的各向异性空间更加均匀，并且在监督信号可用时更好地对齐正对。
2022-05-18 cs.CL cs.LG
Latent Planning via Embedding Arithmetic: A Contrastive Approach to Strategic Reasoning
Department of Computer Science（计算机科学系）；Baylor University（贝勒大学）
针对高维决策空间规划问题，提出基于监督对比学习的SOLIS方法，在评估对齐嵌入空间中通过向量运算简化规划，在国际象棋中以浅层搜索达到竞争力，为传统方法提供轻量级替代。
2025-11-12 cs.LG
Composition-contrastive Learning for Sentence Embeddings
Texas A&M University（德州农工大学）
针对无标注句子表示学习，本文提出文本与其短语成分组合对齐的成分对比学习目标，在语义文本相似度任务上达到可比最先进水平，且无需辅助目标或额外参数。
2023-07-14 cs.CL cs.LG
Interpretable contrastive word mover's embedding
Tufts University（塔夫茨大学）
本文表明，一种流行的方法，监督嵌入文件的分类，即对比词移动器的嵌入，可以显着提高通过增加可解释性。这种可解释性是通过将聚类促进机制纳入对比损失来实现的。在几个公共数据集上，我们表明我们的方法在现有基线的基础上显着改进，同时通过识别一组最能代表特定类别的关键字来提供对集群的解释。我们的方法的动机部分是需要开发自然语言处理（NLP）方法的\textit{novel problem of assessing student work for scientific writing and thinking} -一个问题，是中央（教育）学习科学（LS）的领域。在这种情况下，我们表明，我们的方法导致一个有意义的评估学生的工作相关的实验室报告，从生物类，可以帮助LS研究人员深入了解学生的理解和评估科学思维过程的证据。
2021-11-01 cs.CL cs.LG
Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying
Computational Methods Lab, HafenCity University Hamburg（汉堡港城大学计算方法实验室）；Dept. of Operations & Technology, Technical University of Munich（慕尼黑工业大学运营与技术系；海尔布隆数据科学中心；慕尼黑数据科学研究所）；Heilbronn Data Science Center（波恩大学大地测量与地理信息研究所）；Munich Data Science Institute；Institute of Geodesy and Geoinformation, University of Bonn
提出两种多模态对比学习架构MELT和SALT，通过位置绑定整合未配对地理数据，在四个下游任务中匹配最强双模态基线SATCLIP，但增加模态数未持续提升性能，表明位置编码器是主要瓶颈。
2026-06-19 cs.LG
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.（BA公司）
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型，使用软标签微调以提升语义相似性和检索能力，在MTEB多个检索任务上优于基准模型，适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research（脸书人工智能研究院）
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中，对比学习通过负样本对防止崩溃。已经表明，非对比方法遭受不同性质的较小崩溃问题：维度崩溃，其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里，我们表明，维度崩溃也发生在对比学习。在本文中，我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发，我们提出了一种新的对比学习方法，称为DirectRank，它直接优化表示空间，而不依赖于显式的可训练投影。实验表明，DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss
University of British Columbia（不列颠哥伦比亚大学）
本研究针对监督对比损失的特征嵌入几何结构调控问题，提出通过加入原型调整几何结构的方法，揭示了原型数量远超批次大小时与带固定分类器和归一化嵌入的交叉熵损失的关联，并通过视觉数据集实验验证了结论。
2023-10-02 cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research（Meta人工智能研究院）；NYU（纽约大学）
自监督学习（SSL）推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑：在许多模态\dots中优于监督方法，但理论基础有限，方法特定，并且未能为从业者提供原则性的设计指南。在本文中，我们提出了一个统一的框架下的频谱流形学习，以解决这些限制。通过这项研究的过程中，我们将严格证明VICReg，Simplified，BarlowTwins等。对应于epsilon谱方法，如Laplacian Eigenmaps，Multidimensional Scaling等。这种统一将使我们能够获得（i）每种方法的闭合形式最佳表示，（ii）每种方法的线性区域中的闭合形式最佳网络参数，（iii）训练过程中使用的成对关系对每个量和下游任务性能的影响，最重要的是，（iv）对比和非对比方法之间的第一个理论桥梁，分别通向全局和局部谱嵌入方法，暗示每个方法的优点和局限性。例如，（i）如果成对关系与下游任务对齐，则可以成功地采用任何SSL方法并将恢复监督方法，但在低数据状态下，VICReg的不变性超参数应该较高;（ii）如果成对关系与下游任务不对齐，则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Contrastive Learning of Asset Embeddings from Financial Time Series
School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）
本文提出一种基于假设检验统计采样的对比学习框架，利用资产在子窗口的收益相似性生成正负样本，从金融时间序列中学习资产嵌入，在行业分类与投资组合优化任务上显著优于基线。
2024-07-26 cs.LG q-fin.ST
Contrastive Learning of Visual-Semantic Embeddings
Cadence Design Systems (India) Private Limited（楷登电子科技（印度）私人有限公司）；Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
对比学习是一种强大的技术，可以学习语义独特且几何不变的表示。虽然大多数早期的方法已经证明了其对单模态学习任务（如图像分类）的有效性，但最近有一些尝试将此想法扩展到多模态数据。在本文中，我们提出了两个损失函数的归一化交叉熵的基础上执行的任务，学习联合视觉语义嵌入使用批量对比训练。在一个批次中，对于来自一个模态的给定锚点，我们只考虑来自另一个模态的否定，并基于所有否定引起的预期违规来定义我们的第一个对比损失。接下来，我们更新这个损失，并定义第二个对比损失的基础上，违反所招致的只有最难的负面。我们将我们的结果与现有的视觉语义嵌入方法进行比较，使用MS-COCO和Flickr 30 K数据集进行跨模态图像到文本和文本到图像检索任务，我们在MS-COCO数据集上的表现优于最先进的技术，并在Flickr 30 K数据集上取得了可比的结果。
2021-10-17 cs.CV cs.IR cs.LG
Subset-Contrastive Multi-Omics Network Embedding
King’s College London（伦敦国王学院）；Institute for Infocomm Research, Agency for Science Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）
针对多组学网络分析中方法内存空间消耗大、依赖相似性网络缺乏离散拓扑的问题，提出SCONE方法，通过可扩展子图对比学习实现大数据集分析，在单细胞和批量多组学整合中表现优异。
2025-04-15 cs.LG
Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）；Institute of Artificial Intelligence, University of Science and Technology Beijing（北京科技大学人工智能研究院）
针对对比学习依赖正负样本且难以建模时间序列连续语义的问题，本文提出非对比方法 FEI，通过双向频率掩码提示与嵌入推理学习表示，并在8个数据集上验证其泛化优势。
2025-01-06 cs.AI cs.LG
Embedding And Clustering Your Data Can Improve Contrastive Pretraining
Snowflake Inc.（雪花公司）
本研究利用预训练文本嵌入模型和 k-means 聚类算法，将训练数据按来源内部的语义簇进一步分层拆分，显著提升了基于 BERT 的模型在 MSMARCO 数据集上的 NDCG@10 指标，并统一了 TAS-B 和 ANCE 方法，为对比预训练数据组织提供了新视角。
2024-07-26 cs.CL cs.LG
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架，通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解，并提供交集、差分等集合操作，显著提升模型判别能力，支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology（北京工业大学）
近年来，高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是，图分类需要对不同层次的拓扑信息进行分层积累，以生成有区别的图嵌入，节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此，如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先，我们提出了一个数据驱动的图增强策略，可以发现额外的连接，以增强现有的边集。具体地说，我们诉诸于一个结构推理阶段的基础上扩散级联，以恢复可能的连接与高节点相似性。其次，为了提高图神经网络的对比度，我们提出了使用监督对比损失进行图分类。通过标签信息的整合，可以将one-vs-many对比学习扩展到many-vs-many，从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中，其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明，该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon（亚马逊）；University of Freiburg（弗莱堡大学）
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近，该原理也被用于学习视频和文本的跨模态嵌入，但没有充分利用其潜力。特别是，之前的丢失没有考虑模态内的相似性，这会导致嵌入效率低下，因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink，我们提出了一个解决这个问题的对比损失。此外，我们根据输入嵌入定义了高度相关的样本集，并将其从阴性样本中排除，以避免假阴性问题。我们表明，这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
Integrating Contrastive Learning with Dynamic Models for Reinforcement Learning from Images
TU Darmstadt（达姆施塔特工业大学）；Huazhong University of Science and Technology（华中科技大学）
最近的图像强化学习方法使用辅助任务来学习智能体的策略或Q函数所使用的图像特征。特别地，基于对比学习的方法，其将潜在动态的线性或不变性引入到数据增强，已经被证明大大提高了强化学习算法的样本效率和学习嵌入的泛化能力。我们进一步认为，显式地提高学习嵌入的Markovianity是可取的，并提出了一种自监督的表示学习方法，该方法将对比学习与动态模型相结合，以协同地结合这三个目标：（1）最大化状态和动作之间的互信息的InfoNCE界，嵌入和下一状态的嵌入以引起线性预测嵌入而无需显式地学习线性转换模型，（2）我们通过使用回归显式学习非线性转换模型来进一步改进学习嵌入的马尔可夫性，以及（3）我们最大化基于当前动作和两个独立增强的下一个嵌入的两个非线性预测之间的互信息的当前状态，这自然导致变换不变性不仅为状态嵌入，而且为非线性过渡模型。在Deepmind控制套件上的实验评估表明，与基于对比学习或重构的最新方法相比，我们提出的方法实现了更高的样本效率和更好的泛化能力。
2022-03-02 cs.AI cs.LG
SemCSE: Semantic Contrastive Sentence Embeddings Using LLM-Generated Summaries For Scientific Abstracts
Bielefeld University, Germany（比勒菲尔德大学）
SemCSE 利用大语言模型生成的摘要进行无监督对比学习，以增强科学文本语义嵌入，并在 SciRepEval 基准上取得同等规模模型中的最优性能。
2025-07-17 cs.CL cs.IR cs.LG
Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach
The University of Hong Kong（香港大学）；University of Science and Technology of China（中国科学技术大学）
本文针对通用文本嵌入在任务区分上的不足，提出PGCL方法，通过多流结合的正则化模块生成任务适配表示，在三个代理任务数据集上均优于原始冻结嵌入，明确了方法适用边界并修订了理论分析。
2026-08-25 cs.LG
Temporal Contrastive Transformer for Financial Crime Detection: Self-Supervised Sequence Embeddings via Predictive Contrastive Coding
NICE Actimize
本文提出了一种名为时间对比变压器（TCT）的表示学习框架，旨在捕捉金融交易序列中的时间动态。通过自监督对比目标训练模型，生成编码时间行为模式的嵌入，以支持下游的欺诈检测任务。实验结果显示，嵌入本身能实现有意义的预测性能（AUC 0.8644），但结合领域工程特征时，性能提升不显著（AUC 0.9205 vs. 0.9245），表明学习到的表示与现有特征抽象有较大重叠。这些发现表明TCT是一种有前景的表示学习方法，能够捕捉相关的行为信号，同时凸显了在强领域特征上实现加性价值的挑战。
2026-03-31 cs.CR cs.LG
Isolating authorship from content with semantic embeddings and contrastive learning
Universidad Politécnica de Madrid（马德里理工大学）
针对作者身份识别中内容与风格纠缠导致内容泄露的问题，提出结合语义相似性模型生成难负样本的对比学习（InfoNCE）解耦技术，提升多产作者识别准确率并保留零样本能力。
2024-11-27 cs.CL cs.LG
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Hotel Recognition via Latent Image Embedding
HSE University（高等经济大学）
我们用深度度量学习来解决酒店识别问题。我们概述了现有的方法，并提出了一个修改的对比损失称为对比三重损失。我们构建了一个强大的管道来对度量学习模型进行基准测试，并在Hotels-50 K和CUB 200数据集上进行了实验。对比三重损失被证明可以在Hotels-50 k上实现更好的检索。我们开源我们的代码。
2021-06-15 cs.CV cs.IR cs.LG
HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender
Ming Hsieh Department of Electrical and Computer Engineering（电气与计算机工程系）
提出HSTU-BLaIR混合框架，将轻量级对比文本嵌入模型BLaIR与HSTU生成式推荐器结合，在电商数据集上以更少参数超越OpenAI嵌入增强变体，验证了对比文本嵌入在高效推荐中的有效性。
2025-06-19 cs.IR cs.LG
Metapath-based Hyperbolic Contrastive Learning for Heterogeneous Graph Embedding
提出MHCL框架，利用多个双曲空间捕获异构图中多样幂律结构，通过对比学习增强元路径嵌入可区分性，实验证明其优于现有基线。
2025-06-20 cs.AI cs.LG cs.SI
Contrastive Learning Boosts Deterministic and Generative Models for Weather Data
Imperial College London（帝国理工学院伦敦分校）；The Grantham Institute for Climate Change（格兰塔姆气候变化研究所）
本文研究对比学习在天气数据压缩中的应用，提出SPARTA模型，通过对比损失和图神经网络融合提升稀疏数据的嵌入质量，提升下游任务性能。
2026-03-25 cs.LG
Triangular Contrastive Learning on Molecular Graphs
Seoul National University（首尔国立大学）；AIGENDRUG Co. Ltd（AIGENDRUG有限公司）；MOGAM Institute for Biomedical Research（慕岩生物医学研究所）
最近的对比学习方法已被证明在各种任务中是有效的，学习对数据增强不变的可推广表示，从而导致最先进的性能。关于在自监督学习中使用的大型未标记数据的多面性，而大多数真实字下游任务使用单一格式的数据，可以训练单一模态以从其他模态学习不同视角的多模态框架是一个重要的挑战。在本文中，我们提出了TriCL（三角对比学习），三模态对比学习的通用框架。TriCL利用了三角区域损失，这是一种新型的模态间对比损失，通过同时对比正三元组和负三元组的面积来学习嵌入空间的角度几何。在对齐和均匀性方面对嵌入空间的系统观察表明，三角区域损失可以通过按角度区分模态来解决线塌陷问题。我们的实验结果也证明了TriCL在分子性质预测的下游任务上的优异性能，这意味着嵌入空间的优势确实有利于下游任务的性能。
2022-05-26 cs.LG
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering
College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院）；Beijing University of Technology（北京工业大学）；The University of Sydney Business School, The University of Sydney（悉尼大学商学院）
针对现有对比属性图聚类忽略边级增强及样本对差异的问题，提出融合混合协同增强与对比样本自适应差分感知的鲁棒聚类方法，在六个基准数据集上性能优于现有最优方法。
2025-10-03 cs.LG
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University（约翰斯·霍普金斯大学）
考虑到大量的未标记语音数据和高昂的标记成本，无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法，它需要负采样：对替代样本进行采样，以与当前样本（锚）进行对比。然而，很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation（DINO），并将其应用于语音领域。与对比方法不同，DINO不需要负采样。这些嵌入进行了评估，说话人确认和情感识别。在说话人验证中，无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道，不需要说话人标签，进一步提高了EER到1.89%。在情感识别方面，DINO嵌入在IEMOCAP，Crema-D和MSP-Podcast上的micro-f1得分分别为60.87，79.21和56.98%。结果表明，DINO嵌入的通用性，不同的语音应用。
2022-08-10 cs.LG eess.AS
Embedding Geometries of Contrastive Language-Image Pre-Training
Cohere For AI Community（Cohere AI 社区）；Cisco Meraki（思科 Meraki）
本文重新审视了CLIP的L2归一化和余弦相似度设计，提出基于欧几里得几何的变体EuCLIP，实验证明其性能匹配或超越CLIP，且能更好支持层次关系。
2024-09-19 cs.CL cs.CV cs.LG
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University Health Network（大学健康网络）
句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入一样，句子嵌入通常在大型文本语料库中学习，然后转移到各种下游任务中，例如聚类和检索。与词嵌入不同，学习句子嵌入的最高性能解决方案需要标记数据，这限制了它们对标记数据丰富的语言和领域的有用性。在本文中，我们提出了DeCLUTR：用于无监督文本表示的深度对比学习。受深度度量学习（DML）最新进展的启发，我们仔细设计了一个自监督目标，用于学习通用句子嵌入，不需要标记的训练数据。当用于扩展基于transformer的语言模型的预训练时，我们的方法缩小了通用句子编码器的无监督和监督预训练之间的性能差距。重要的是，我们的实验表明，学习嵌入的质量与可训练参数的数量和未标记的训练数据的数量成比例。我们的代码和预训练模型是公开的，可以轻松适应新领域或用于嵌入看不见的文本。
2021-05-27 cs.CL cs.LG
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering（亨利·M·罗恩工程学院）；Rowan University（罗恩大学）；MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法，通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性，在CIFAR-10上验证其能形成结构良好的类别邻域，为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究揭示了说话人嵌入中存在情感聚类现象，并提出一种基于聚类的对比预训练策略，利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
Enhancing Hyperbolic Graph Embeddings via Contrastive Learning
Harbin Institute of Technology(Shenzhen)（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies co.ltd（华为技术有限公司）；Shenzhen University（深圳大学）
最近，双曲空间已经成为半监督图表示学习的一个有前途的替代方案。已经做出了许多努力来设计神经网络操作的双曲线版本。然而，这种独特的几何形状的鼓舞人心的几何特性尚未得到充分的探索。由双曲空间驱动的图模型的潜力仍然在很大程度上被低估。此外，大量未标记样本所携带的丰富信息也没有得到很好的利用。受最近活跃的和新兴的自监督学习的启发，在本研究中，我们试图通过利用对比学习的优点来增强双曲图模型的表示能力。更具体地说，我们提出了一种新的双曲图对比学习（HGCL）框架，通过多个双曲空间学习节点表示，隐式地捕捉不同视图之间共享的层次结构。然后，我们设计了一个基于双曲距离和同伦假设的双曲位置一致性（HPC）约束，使对比学习适合于双曲空间。在多个真实数据集上的实验结果表明了所提出的HGCL的优越性，因为它在节点分类任务上始终优于竞争方法。
2022-01-21 cs.LG
Text and Code Embeddings by Contrastive Pre-Training
OpenAI（OpenAI（OpenAI公司））
文本嵌入在诸如语义搜索和计算文本相似度等许多应用中是有用的特征。以前的工作通常训练为不同用例定制的模型，这些用例在数据集选择、训练目标和模型架构方面各不相同。在这项工作中，我们证明了在大规模的无监督数据上进行对比预训练可以获得高质量的文本和代码矢量表示。同样的无监督文本嵌入在线性探针分类中实现了新的最先进的结果，也显示出令人印象深刻的语义搜索能力，有时甚至与微调模型竞争。在平均超过7个任务的线性探针分类准确率上，我们最好的无监督模型分别比以前最好的无监督和有监督文本嵌入模型相对提高了4%和1.8%。相同的文本嵌入在大规模语义搜索上进行评估时，在MSMARCO、Natural Questions和TriviaQA基准测试中，分别比以前最好的无监督方法提高了23.4%、14.7%和10.6%。与文本嵌入类似，我们在（文本，代码）对上训练代码嵌入模型，在代码搜索上获得了20.8%的相对改进。
2022-01-24 cs.CL cs.LG
Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance
Netflix（网飞公司）；Massachusetts Institute of Technology（麻省理工学院）
当今一些最先进的深度学习模型的卓越性能在一定程度上归功于大规模数据集上的广泛（自）监督对比预训练。在对比学习中，网络被呈现成对的正（相似）和负（不相似）数据点，并被训练为找到每个数据点的嵌入向量，即，一种表示法，可以针对各种下游任务进行进一步微调。为了在关键决策系统中安全地部署这些模型，为它们配备一个衡量其不确定性或可靠性的标准至关重要。然而，由于训练对比模型的成对性质，以及在输出（抽象嵌入向量）上缺乏绝对标签，使常规不确定性估计技术适应于这样的模型是不平凡的。在这项工作中，我们研究这种表示的不确定性是否可以量化为一个单一的数据点在一个有意义的方式。换句话说，我们探索给定数据点的下游性能是否可以直接从其预训练的嵌入中预测。我们表明，这一目标可以通过直接估计的训练数据在嵌入空间中的分布，并占局部一致性的表示。我们的实验表明，这种嵌入向量的不确定性的概念往往与其下游的准确性密切相关。
2022-07-19 cs.AI cs.CV cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab（腾讯人工智能实验室）
在这项研究中，我们研究了用于说话人确认（SV）的自监督表示学习。首先，我们研究了一个简单的对比学习方法（Simplified）与动量对比（MoCo）学习框架，其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现，更好的发言人嵌入可以通过动量对比学习。接下来，替代增强策略进行了探讨，规范化的两个随机段从同一语音话语的外在说话人变异。具体而言，波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时，所提出的MoCo说话人嵌入得到进一步改进，这鼓励说话人嵌入更接近其分配的原型，并具有中间聚类步骤。此外，我们将自监督框架推广到半监督场景，其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明，与现有技术相比，我们提出的自监督方法具有竞争力的性能，并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology（大连理工大学）；Macquarie University（麦考瑞大学）
知识图谱嵌入在知识图谱自动补全和知识驱动任务中显示出巨大的潜力。然而，最近的KGE模型遭受高训练成本和大存储空间，从而限制了它们在现实世界中的应用的实用性。为了应对这一挑战，基于对比学习领域的最新研究成果，我们提出了一种新的KGE训练框架，称为Hardness-aware Low-dimensional Embedding（HaLE）。在查询抽样的基础上，设计了一种新的损失函数，取代了传统的负抽样方法，该函数能够平衡两个重要的训练目标：对齐度和一致性。此外，我们分析了最近的低维双曲模型的硬度感知能力，并提出了一个轻量级的硬度感知激活机制。实验结果表明，在有限的训练时间内，HaLE能有效提高KGE模型在5种常用数据集上的性能和训练速度.经过几分钟的训练后，HaLE训练的模型在低维和高维条件下与最先进的模型相比都具有竞争力。
2022-05-24 cs.AI cs.LG
Improving Molecular-Morphology Contrastive Pretraining using Deep-Learning-based Morphology Profiles
GSK（葛兰素史克）
本研究通过引入深度学习形态特征提取，改进MoCoP对比预训练方法，增强分子嵌入对细胞形态扰动的编码，提升QSAR、毒性等预测性能。
2026-09-28 cs.LG q-bio.BM
Boundary Embedding Shaping with Adaptive Contrastive Learning for Graph Structural Disentanglement
Yunnan Normal University（云南师范大学）；Adelaide University（阿德莱德大学）；The University of New South Wales（新南威尔士大学）
针对图结构纠缠导致的分类性能下降，提出边界嵌入塑造模块，通过自适应对比学习选择性抑制决策边界处的虚假结构噪声，提升节点分类和链接预测精度。
2026-07-23 cs.AI cs.LG
