Augment with Care: Contrastive Learning for Combinatorial Problems
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；ETH Zürich（苏黎世联邦理工学院）
监督学习可以改进组合问题的最新求解器的设计，但是由于指数最坏情况的复杂性，标记大量的组合实例通常是不切实际的。受最近图像对比预训练成功的启发，我们对增强设计对布尔可满足性问题的对比预训练的影响进行了科学研究。虽然典型的图对比预训练使用标签不可知的增强，但我们的关键见解是，许多组合问题具有经过充分研究的不变性，这允许设计标签保持增强。我们发现，保留标签的增强是成功的对比预训练的关键。我们表明，我们的表示能够实现与完全监督学习相当的测试准确度，同时只使用1%的标签。我们还表明，我们的陈述是更大的问题，从看不见的域转移。我们的代码可在https://github.com/h4duan/contrastive-sat上获得。
2022-06-20 cs.AI cs.LG cs.LO
Hyperbolic Contrastive Learning
Worcester Polytechnic Institute（伍斯特理工学院）；Tohoku University（东北大学）
在计算机视觉中，学习有利于下游任务的良好图像表示是一项具有挑战性的任务。因此，已经提出了各种各样的自监督学习方法。其中，对比学习在几个基准数据集上表现出了竞争力。对比学习的嵌入被安排在一个超球面上，这导致在欧几里得空间中使用内积（点积）作为距离测量。然而，许多科学领域的底层结构，如社交网络，大脑成像和计算机图形数据，表现出高度非欧几里德潜在几何。我们提出了一个新的对比学习框架来学习双曲空间中的语义关系。双曲空间是树的一个连续版本，它自然拥有对层次结构建模的能力，因此有利于有效的对比表示学习。我们还将提出的双曲对比学习（HCL）扩展到监督域，并研究了HCL的对抗鲁棒性。综合实验表明，我们提出的方法取得了更好的自我监督的预训练，监督分类的结果，和更高的鲁棒性准确率比基线方法。
2023-02-02 cs.CV cs.LG
Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
The University of Hong Kong（香港大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；Fudan University（复旦大学）；School of Artificial Intelligence, OPtics（人工智能学院）；ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学电子学院）
本文研究对比学习与正激励噪声的联系，定义了任务熵并提出正激励噪声生成器，通过可视化证明所提方法有效。
2026-05-08 cs.CV cs.LG
Extracting Governing Equations from Latent Dynamics via Multi-View Contrastive Learning
EPFL（瑞士联邦理工学院洛桑）
提出DYSCO算法，利用多视图时间对比学习从噪声高维观测中联合恢复潜在轨迹和动力学方程，并通过结构化基函数实现符号恢复，理论保证强可识别性。
2026-06-12 cs.LG q-bio.NC
Surrogate- and invariance-boosted contrastive learning for data-scarce applications in science
Massachusetts Institute of Technology（麻省理工学院）
深度学习技术已经越来越多地应用于自然科学，例如，用于性质预测和优化或材料发现。这种方法的一个基本要素是训练模型所需的大量标记数据;这在数据稀缺的环境中构成了严峻的挑战，在这种环境中，获得标签需要大量的计算或劳动力资源。在这里，我们介绍了替代和不变性增强的对比学习（SIB-CL），这是一个深度学习框架，它包含了三个“廉价”且易于获得的辅助信息源，以克服数据稀缺性。具体来说，这些是：1）~丰富的未标记数据，2）~对称性或不变性的先验知识，3）~以接近零的成本获得的替代数据。我们证明了SIB-CL在各种科学问题上的有效性和通用性，例如，预测二维光子晶体的态密度和求解三维非时薛定谔方程。SIB-CL一致地导致实现相同网络精度所需的标签数量的数量级减少。
2021-10-15 cond-mat.mtrl-sci cs.LG physics.app-ph
MoRI: Learning Motivation-Grounded Reasoning for Scientific Ideation in Large Language Models
School of Economics and Management, East China Normal University（东华大学经济管理学院）
MoRI通过强化学习奖励机制提升大语言模型在科学构想中的推理能力，优于现有方法，在新颖性、技术严谨性和可行性方面表现突出。
2026-04-30 cs.CL
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis（加州大学戴维斯分校）
本文提出 CHANGES，通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示，用于抽取式科学论文摘要，并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
SciToolAgent-Evo: An Ontology-Aware Self-Evolving Agent for Open-World Scientific Tool Acquisition
针对LLM智能体依赖静态工具空间难以适配开放世界科学工作流的问题，提出SciToolAgent-Evo本体感知自进化智能体，结合进化记忆与本体化工具图，利用LinUCB平衡探索利用，推出OpenSciToolBench基准并取得最优性能。
2026-08-03 cs.AI cs.CL
Navigating Ideation Space: Decomposed Conceptual Representations for Positioning Scientific Ideas
Virginia Tech（弗吉尼亚理工大学）；University of California, Davis（加州大学戴维斯分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出构想空间，通过分解科学知识的三个维度，实现科学思想的定位与评估，提升文献检索和创新性判断的效率与准确性。
2026-10-27 cs.AI cs.CL cs.IR
Taylor-Sensus Network: Embracing Noise to Enlighten Uncertainty for Scientific Data
University of Science and Technology Beijing（北京科技大学）；Zhejiang University（浙江大学）
针对科学数据不确定性估计忽略数据噪声建模、噪声估计难适配无时空依赖结构化数据的问题，提出TSNet，用泰勒展开建模异方差噪声，结合多模块与新损失函数，性能优于现有方法，将开源助力AI for Science。
2024-09-12 cs.LG
Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）；Institute of Artificial Intelligence, University of Science and Technology Beijing（北京科技大学人工智能研究院）
针对对比学习依赖正负样本且难以建模时间序列连续语义的问题，本文提出非对比方法 FEI，通过双向频率掩码提示与嵌入推理学习表示，并在8个数据集上验证其泛化优势。
2025-01-06 cs.AI cs.LG
HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights
Argonne National Laboratory（阿贡国家实验室）；The University of Chicago（芝加哥大学）；NVIDIA Inc.（NVIDIA公司）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；California Institute of Technology（加州理工学院）
HiPerRAG利用高性能计算、Oreo多模态解析和ColTrast查询感知微调，实现对360万篇科学文章的高效检索增强生成，在SciQ和PubMedQA上超越领域模型与GPT-4。
2025-05-07 cs.CE cs.CL cs.DC
FocusFace: Multi-task Contrastive Learning for Masked Face Recognition
INESC TEC；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
SARS-CoV-2给科学界带来了直接和间接的挑战。最突出的间接挑战之一是许多国家强制使用口罩。人脸识别方法很难在蒙面和未蒙面的个体上以相似的准确度执行身份验证。它已被证明，这些方法的性能下降相当大的面罩的存在下，特别是如果参考图像是未掩蔽的。我们提出了FocusFace，一个多任务架构，使用对比学习，能够准确地执行蒙面人脸识别。所提出的架构被设计为从头开始训练或在最先进的人脸识别方法之上工作，而不牺牲现有模型在传统人脸识别任务中的能力。我们还探讨了不同的方法来设计对比学习模块。结果呈现在掩蔽掩蔽（M-M）和非掩蔽掩蔽（U-M）的人脸验证性能。对于这两种设置，结果与已发表的方法相当，但具体对于M-M，所提出的方法能够优于与之相比的所有解决方案。我们进一步表明，当在现有方法的基础上使用我们的方法时，训练计算成本显着降低，同时保持相似的性能。实现和训练的模型可以在GitHub上找到。
2021-11-01 cs.CV cs.LG
Embed and Emulate: Contrastive representations for simulation-based inference
The University of Chicago（芝加哥大学）
本文提出基于对比学习的SBI新方法E&E，通过学习低维潜在嵌入和快速仿真器高效处理高维数据与多模态后验，无需昂贵模拟即可实现优于现有方法的参数估计。
2024-09-27 cs.LG stat.ML
SciImpact: A Multi-Dimensional, Multi-Field Benchmark for Scientific Impact Prediction
Texas A&M University（德克萨斯A&M大学）；Verdent AI；University of Waterloo（滑铁卢大学）
本文提出SciImpact基准，涵盖19个领域，通过整合异构数据源评估科学影响的多维度，验证了多任务监督微调对不同模型性能的影响。
2026-04-21 cs.CL
Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language
该研究提出双语义化学嵌入模型CheMatE，通过两阶段训练将SMILES与自然语言联合表示，在分子性质预测等下游任务上表现具竞争力。
2026-08-07 cs.LG
SciTopic: Enhancing Topic Discovery in Scientific Literature through Advanced LLM
Computer Network Information Center, Chinese Academy of Sciences, Beijing, China（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）；Department of Computer Science, Portland State University, Portland, US（波特兰州立大学计算机科学系）；Information Science and Technology College, Dalian Maritime University, Dalian, China（大连海事大学信息科学与技术学院）
本文提出 SciTopic 方法，利用大语言模型引导的文本编码器、空间优化模块和三元组对比学习，在三个科学文献数据集上超越现有最先进方法，提升主题发现效果。
2025-11-07 cs.CL
Your Graph Recommender is Provably a Single-view Graph Contrastive Learning
Fudan University（复旦大学）
本文从编码器和损失函数角度证明图推荐系统等价于单视图图对比学习模型，发现推荐损失与GCL损失可互换使用，为跨领域研究提供新视角。
2024-07-25 cs.LG
Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings
DFKI GmbH（德国人工智能研究中心）；University of Göttingen（哥廷根大学）；University of Copenhagen（哥本哈根大学）
通过对比学习目标，可以大大改善学习科学文档表示，其中的挑战在于创建编码所需相似性语义的正训练样本和负训练样本。先前的工作依赖于离散引用关系来生成对比样本。然而，离散引用强制执行硬截止相似性。这与基于相似性的学习是反直觉的，并且忽略了科学论文尽管缺乏直接引用也可以非常相似-这是寻找相关研究的核心问题。相反，我们使用受控的最近邻采样引用图嵌入对比学习。这种控制使我们能够学习连续的相似性，对难以学习的阴性和阳性样本进行采样，并通过控制它们之间的采样裕度来避免阴性和阳性样本之间的冲突。由此产生的方法SciNCL在Sciencore基准测试中优于最先进的方法。此外，我们证明，它可以训练（或调整）模型的样本效率，它可以与最近的训练效率的方法相结合。也许令人惊讶的是，即使是以这种方式训练通用领域的语言模型，其性能也优于在领域内预先训练的基线。
2022-10-19 cs.CL
Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning
Faculdade de Tecnologia, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学技术学院）；Federal Institute of São Paulo（圣保罗联邦学院）
本文通过对比学习微调句子Transformer生成科学论文句级嵌入，并引入全文句子数据集PMC-Sents-FULL，在分类与聚类任务上显著优于基线模型。
2024-03-30 cs.CL
Global Concept Explanations for Graphs by Contrastive Learning
Institute of Theoretical Informatics, Karlsruhe Insitute of Technology, Kaiserstr. 12, 76131 Karlsruhe, Germany Institute of Nanotechnology, Karlsruhe Insitute of Technology, Kaiserstr. 12, 76131 Karlsruhe, Germany
提出从图神经网络预测中提取全局概念解释的方法，通过识别自解释Megan模型潜在空间中的密集簇并优化原型图，结合GPT-4生成假设，在合成与真实分子任务中验证了其恢复结构规则和经验法则的能力。
2024-04-25 cs.AI cs.LG
Optimizing contrastive learning for cortical folding pattern detection
CEA（法国原子能和替代能源委员会）；Sorbonne（索邦大学）
针对皮层折叠模式个体差异大、表征关联难的问题，本研究优化对比学习模型SimCLR，结合拓扑增强在大规模MRI数据集训练，实现扣带回双平行折叠模式检测，AUC达0.76，为脑区生物标志物检测提供新方法。
2024-01-31 cs.LG
Expert Preference-based Evaluation of Automated Related Work Generation
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science and Hessian Center for AI (hessian.AI) Technical University of Darmstadt（乌普萨拉知识处理实验室（UKP实验室）计算机科学系海斯赛人工智能中心（hessian.AI）达姆施塔特技术大学）；Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA)（克诺尔兹塞学校卓越学习和智能系统（ELIZA））
提出GREP多轮评估框架，结合经典标准与专家偏好，通过细粒度分解和对比示例提升LLM评估相关工作质量的能力，与人类专家评估高度相关。
2026-06-23 cs.CL
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research（VietAI研究院）
提出Distillation Contrastive Decoding（DCD）方法，结合对比提示与Dropout、Quantization等蒸馏技术，免除业余模型需求并降低内存，在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
Unsupervised Graph Poisoning Attack via Contrastive Loss Back-propagation
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）
图对比学习是最先进的无监督图表示学习框架，并已显示出与监督方法相当的性能。然而，评估图对比学习是否对对抗攻击具有鲁棒性仍然是一个悬而未决的问题，因为大多数现有的图对抗攻击都是有监督的模型，这意味着它们严重依赖于标签，并且只能用于评估特定场景下的图对比学习。对于图对比学习等无监督图表示方法，在真实场景中获取标签比较困难，使得传统的有监督图攻击方法难以应用于测试其鲁棒性。在本文中，我们提出了一种新的无监督的基于梯度的对抗攻击，不依赖于标签的图对比学习。我们计算两个视图的邻接矩阵的梯度，并使用梯度上升翻转边缘以最大化对比损失。通过这种方式，我们可以充分利用由图对比学习模型生成的多个视图，并在不知道其标签的情况下选择信息量最大的边，因此可以有希望地支持我们的模型适应更多种类的下游任务。大量的实验表明，我们的攻击优于无监督的基线攻击，并具有相当的性能与监督攻击在多个下游任务，包括节点分类和链接预测。我们进一步表明，我们的攻击也可以转移到其他图表示模型。
2022-01-27 cs.IR cs.LG
Multi-Functional Embedding Models for Funder Name Disambiguation in Scientific Publication Records
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出一个多语言多功能资助者名称消歧框架，利用多任务学习微调嵌入模型，在匹配准确率上显著超越通用大模型，并构建相似性网络处理未索引名称，为科学文献分析提供可复用方案。
2026-09-10 cs.CL
Improving Music Performance Assessment with Contrastive Learning
Georgia Institute of Technology（佐治亚理工学院）
过去已经提出了几种用于客观音乐表演评估（MPA）的自动方法，然而，现有系统还不能以与专业评委相同的准确度可靠地预测评级。本研究探讨对比学习作为一种潜在的方法，以改善现有的MPA系统。对比学习是表示学习中广泛使用的技术，用于学习能够单独聚类多个类的结构化潜在空间。它已被证明产生基于图像的分类问题的最先进的结果。我们引入了一个加权的对比损失适用于回归任务的卷积神经网络，并表明对比损失的结果在回归任务MPA的性能增益。我们的研究结果表明，基于对比的方法能够通过在神经网络的潜在空间内创建更好的类聚类来匹配并超过MPA回归任务的SoTA性能。
2021-08-03 cs.IR cs.LG cs.SD
Heterogeneous Contrastive Learning for Foundation Models and Beyond
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文系统综述了面向基础模型的异构对比学习，涵盖视图异构性与任务异构性两类场景，梳理现有方法并指出开放挑战与未来方向。
2024-03-30 cs.LG
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Contrastive Laplacian Eigenmaps
Data61/CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Australian National University（澳大利亚国立大学）
图对比学习在某种相似性概念下吸引/分散相似/不相似节点对的节点表示。它可以与节点的低维嵌入相结合，以保持图的内在和结构属性。本文利用对比学习对著名的Laplacian特征映射进行了推广，称之为对比Laplacian特征映射（COLES）。从GAN启发的对比公式开始，我们证明了许多对比图嵌入模型的Jensen-Shannon发散在不相交的正负分布下失败，这可能在对比设置中的采样过程中自然出现。相比之下，我们分析表明，COLES基本上最大限度地减少了代理Wasserstein距离，这是已知的不相交分布下，以及应付。此外，我们表明，COLES的损失属于所谓的块对比损失的家庭，以前被证明是优于对比方法通常使用的成对损失相比。我们在流行的基准/主干上显示，与DeepWalk，GCN，Graph 2Gauss，DGI和GRACE基线相比，COLES提供了有利的准确性/可扩展性。
2022-01-14 cs.LG
SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction using Electronic Health Records
Weill Cornell Medicine（威尔康奈尔医学院）
对比学习在图像和文本领域以自监督或监督的方式表现出很好的性能。在这项工作中，我们将监督对比学习框架扩展到基于纵向电子健康记录（EHR）的临床风险预测问题。我们提出了一种通用的监督对比损失$\mathcal{L}_{\text{Contrastive Cross Entropy} } + λ\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$，用于在统一的框架中学习二元分类（例如，住院死亡率预测）和多标签分类（例如，表型）。我们的监督对比损失实践了对比学习的关键思想，即同时通过其两个组件将相似的样本拉近并将不相似的样本彼此分开：$\mathcal{L}_{\text{Contrastive Cross Entropy} }$尝试将样本与代表正和负集群的学习锚进行对比，而$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$尝试根据其监督标签将样本彼此进行对比。我们提出了上述监督对比损失的两个版本，并且我们对真实世界EHR数据的实验表明，我们提出的损失函数在提高强基线甚至最先进模型在临床风险预测基准任务上的性能方面表现出益处。我们的损失函数可以很好地处理临床风险预测问题中常见的极不平衡数据。我们的损失函数可以很容易地用来取代现有临床预测模型中采用的（二进制或多标记）交…
2021-10-11 cs.LG
Calibrating and Improving Graph Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）
针对无监督图对比学习中部分对比对与下游任务真相相悖、降低其损失会损害下游性能的问题，提出即插即用正则化方法Contrast-Reg，经理论和实验验证可有效提升不同配置下GNN模型的泛化性与下游任务性能。
2023-08-22 cs.LG
The Impact of Negative Sampling on Contrastive Structured World Models
Northeastern University（东北大学）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
通过对比学习训练的世界模型是基于自动编码器的世界模型的一种引人注目的替代方案，后者通过重建像素状态来学习。在本文中，我们描述了三种情况下，我们如何在对比损失中采样负状态的微小变化会导致模型性能的急剧变化。在先前研究的Atari数据集中，我们表明，利用时间步长相关性可以使对比结构化世界模型的性能提高一倍。我们还收集了完整版本的数据集，以研究在更多样化的经验下的对比学习。
2021-07-24 cs.LG
Contrasting the landscape of contrastive and non-contrastive learning
Carnegie Mellon University（卡内基梅隆大学）
无监督特征学习的许多最新进展都是基于设计在语义数据增强下不变的特征。一种常见的方法是对比学习，它使用正样本和负样本。然而，最近的一些工作已经显示出有希望的结果，非对比学习，它不需要负样本。然而，非对比度损失具有明显的“塌陷”最小值，其中编码器输出与输入无关的恒定特征嵌入。一个民间猜想是，只要避免这些崩溃的解决方案，产生的特征表示应该是好的。在我们的论文中，我们对这个故事表示怀疑：我们通过理论结果和对照实验表明，即使在简单的数据模型上，非对比损失也具有非崩溃坏极小值的优势。此外，我们表明，训练过程并没有避免这些最小值。
2022-03-29 cs.CV cs.LG stat.ML
Understanding the Behaviour of Contrastive Loss
Beijing National Research Center for Information Science and Technology(BNRist)（北京信息科学与技术国家研究中心）；Department of Computer Science and Technology Tsinghua University（清华大学计算机科学与技术系）
无监督的对比学习取得了显著的成功，而对比丢失的机制却研究得较少。在本文中，我们集中在无监督的对比损失的行为的理解。我们将证明对比损失是一个硬度感知的损失函数，温度τ控制着硬负样本上的惩罚强度。以往的研究表明，一致性是对比学习的一个重要特性。我们建立了均匀性和温度τ之间的关系。我们将表明，一致性有助于对比学习学习可分离的功能，但过度追求的一致性，使对比损失不容忍语义相似的样本，这可能会打破底层的语义结构，并不利于形成有用的功能，为下游任务。这是由实例判别目标的内在缺陷造成的。具体而言，实例判别目标试图将所有不同的实例分开，忽略样本之间的潜在关系。将语义一致的样本分开对于获取先前的信息性任务没有积极的影响。一个设计良好的对比损失应该对语义相似的样本的接近程度有一定程度的容忍度。因此，我们发现，对比度损失满足一致性公差的困境，一个好的温度选择可以适当地折衷这两个属性，既学习可分离的功能和容忍语义相似的样本，提高特征质量和下游性能。
2021-03-20 cs.LG
Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE
Salesforce AI Research（赛富时人工智能研究院）
Wasserstein自动编码器（WAE）表明，匹配两个分布相当于最小化一个简单的自动编码器（AE）的潜在空间匹配预先指定的先验分布的约束下的损失。这种潜在的空间分布匹配是WAE的核心组成部分，也是一项具有挑战性的任务。在本文中，我们建议使用对比学习框架，已被证明是有效的自我监督表示学习，作为一种手段来解决这个问题。我们这样做是利用这样一个事实，即对比学习目标优化潜在的空间分布是均匀的单位超球体，可以很容易地从采样。我们表明，使用对比学习框架来优化WAE损失实现更快的收敛速度和更稳定的优化相比，现有的流行算法WAE。这也反映在CelebA和CIFAR-10数据集上的FID评分以及CelebA-HQ数据集上的真实生成图像质量中。
2023-02-15 cs.CV cs.LG
AutoGCL: Automated Graph Contrastive Learning via Learnable View Generators
Nanyang Technological University（南洋理工大学）；Baidu Research（百度研究院）；Harvard University（哈佛大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
对比学习在图表示学习中有着广泛的应用，视图生成器在生成有效的对比样本中起着至关重要的作用。大多数现有的对比学习方法采用预定义的视图生成方法，例如，节点丢失或边扰动，通常不能很好地适应输入数据或保持原始语义结构。为了解决这个问题，我们提出了一个新的框架命名为自动图对比学习（AutoGCL）在本文中。具体来说，AutoGCL采用了一组由自动增强策略编排的可学习的图形视图生成器，其中每个图形视图生成器学习由输入调节的图形的概率分布。AutoGCL中的图视图生成器在生成每个对比样本时保留原始图的最具代表性的结构，而自动增强学习策略在整个对比学习过程中引入足够的增强方差。此外，AutoGCL采用联合训练策略，以端到端的方式对可学习视图生成器、图编码器和分类器进行训练，从而在生成对比样本的过程中保持拓扑异构性和语义相似性.对半监督学习、无监督学习和迁移学习的大量实验证明了我们的AutoGCL框架在图对比学习中的优越性。此外，可视化结果进一步证实，可学习的视图生成器可以提供更紧凑和语义上有意义的对比样本相比，现有的视图生成方法。
2022-01-02 cs.LG
InfoGCL: Information-Aware Graph Contrastive Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Labs America（美国NEC实验室）
近年来，各种图对比学习模型被提出来改善图数据集上的学习任务的性能。这些模式虽然有效且普遍，但通常都经过精心定制。特别是，虽然所有最近的研究创建两个对比的观点，他们在视图增强，架构和目标有很大的不同。如何为特定的图学习任务和数据集从头开始构建图对比学习模型仍然是一个悬而未决的问题。在这项工作中，我们的目标是填补这一空白，通过研究如何图信息的转换和传输过程中的对比学习，并提出了一个信息感知图对比学习框架称为InfoGCL。该框架的关键是遵循信息瓶颈原则，在保持任务相关信息完整的同时，减少对比部分之间的互信息，从而最大限度地减少图表示学习过程中的信息损失。我们第一次表明，所有最近的图对比学习方法可以统一我们的框架。我们在节点和图分类基准数据集上实证验证了我们的理论分析，并证明我们的算法显着优于最先进的算法。
2021-10-28 cs.LG
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore（新加坡国立大学）；Youtu Lab Tencent（腾讯优图实验室）
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的，并且涉及温度超参数，该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球，我们推导出一个新的损失函数，涉及到一个置信度的措施，量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明，这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Conditional Contrastive Learning with Kernel
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
条件对比学习框架考虑了条件采样过程，该过程构造以特定变量为条件的正或负数据对。例如，公平对比学习从相同的性别（以敏感信息为条件）构建负对，这反过来又减少了来自学习的表示的不期望的信息;弱监督对比学习构建具有相似注释属性的正对（以辅助信息为条件），这反过来又被纳入表示中。虽然条件对比学习可以实现许多应用，但如果我们无法获得条件变量的某些值的足够数据对，则条件采样过程可能具有挑战性。本文提出了带核的条件对比学习（CCL-K），将现有的条件对比目标转换为替代形式，以减轻数据不足的问题。CCL-K不是根据条件变量的值对数据进行采样，而是使用核条件嵌入运算符，该运算符从所有可用数据中采样数据，并根据条件变量值之间的核相似性为每个采样数据分配权重。我们使用弱监督，公平和硬否定对比学习进行实验，显示CCL-K优于最先进的基线。
2022-03-15 cs.LG
Backdoor Attacks on Multi-modal Contrastive Learning
本文研究了多模态对比学习中的后门攻击问题，分析了攻击方法、威胁模型及防御措施，并探讨了该领域的发展挑战与未来方向。
2026-01-16 cs.LG
Enhancing Contrastive Link Prediction With Edge Balancing Augmentation
National Tsing Hua University（国立清华大学）；National Central University（国立中央大学）
针对对比学习在链接预测中缺乏理论分析和未充分考虑节点度的问题，本文首次提供相关理论分析并提出边平衡增强（EBA）方法，结合新对比损失形成CoEBA，在8个基准数据集上显著优于现有模型。
2025-08-20 cs.LG
When can we Approximate Wide Contrastive Models with Neural Tangent Kernels and Principal Component Analysis?
Indian Institute of Technology Madras（印度马德拉斯理工学院）；Technical University of Munich（慕尼黑工业大学）
本文分析两层对比模型训练动态，首次给出对比损失下神经正切核收敛性结果，证明宽模型在余弦相似度损失下接近核PCA，且所学表示接近随机特征矩阵主成分。
2024-03-13 cs.LG stat.ML
Towards a Unified Framework of Contrastive Learning for Disentangled Representations
fortiss GmbH（fortiss 有限公司）
该研究将对比学习解耦的理论保证拓展至更广泛的对比方法家族，放宽数据分布假设，证明四种对比损失下真实隐变量的可辨识性，经基准数据集验证并探究了方法的实际局限。
2023-11-08 cs.LG stat.ML
ARIEL: Adversarial Graph Contrastive Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本文提出对抗性图对比学习（ARIEL），通过对抗性图视图增强数据，结合信息正则化与子图采样，在节点和图级分类任务上优于现有方法，并更具鲁棒性。
2024-02-06 cs.LG
Contrastive MIM: A Contrastive Mutual Information Framework for Unified Generative and Discriminative Representation Learning
NVIDIA
提出cMIM框架，通过对比目标增强MIM，统一生成式与判别式表示学习，无需正样本增强且对批次大小鲁棒，实验表明其在分类回归任务上优于MIM和InfoNCE。
2025-09-08 cs.LG
Contrastive Representation Learning: A Framework and Review
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（数据分析洞察中心）
对比学习由于其在计算机视觉领域的自监督表示学习中的成功而受到关注。然而，对比学习的起源可以追溯到20世纪90年代，其发展跨越了许多领域和领域，包括度量学习和自然语言处理。在本文中，我们提供了一个全面的文献综述，我们提出了一个通用的对比表示学习框架，简化和统一了许多不同的对比学习方法。我们还为对比学习的每个组成部分提供了一个分类法，以便总结它并将其与其他形式的机器学习区分开来。然后，我们讨论了归纳的偏见，这是目前在任何对比学习系统，我们分析我们的框架下，从不同的角度从各个子领域的机器学习。还介绍了对比学习如何应用于计算机视觉、自然语言处理、音频处理等以及强化学习的例子。最后，我们讨论了未来的挑战和一些最有前途的研究方向。
2020-10-27 cs.LG stat.ML
Understanding Contrastive Learning Requires Incorporating Inductive Biases
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
对比学习是自监督学习的一种流行形式，它鼓励相同输入的增强（视图）与不同输入的增强相比具有更相似的表示。最近试图从理论上解释下游分类任务上的对比学习的成功证明了依赖于{\em增强}的属性和表示的{\em对比损失}的值的保证。我们证明，这种分析，忽略{\em归纳偏见}的功能类和训练算法，不能充分解释对比学习的成功，甚至{\em probably}导致在某些设置中的空洞的保证。在图像和文本领域的大量实验突出了这个问题的普遍性-不同的函数类和算法在下游任务上的行为非常不同，尽管具有相同的增强和对比损失。线性表示类的理论分析，其中将归纳偏见的功能类允许对比学习与较不严格的条件相比，以前的分析。
2022-02-28 cs.AI cs.LG
Deep Temporal Contrastive Clustering
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
近年来，深度学习在时间序列数据的表示学习和聚类方面显示出了其优势。尽管取得了相当大的进展，但现有的深度时间序列聚类方法大多寻求通过基于实例重构或基于聚类分布的目标来训练深度神经网络，然而，这些方法缺乏利用样本方面（或扩增方面）的对比信息或甚至更高级别（例如，集群级）对比性，用于学习区分性和集群友好的表示。鉴于此，本文提出了一种深度时间对比聚类（DTCC）方法，首次将对比学习范式引入到深度时间序列聚类研究中。具体来说，通过从原始时间序列及其增强生成的两个并行视图，我们利用两个相同的自动编码器来学习相应的表示，同时通过结合k-means目标来执行聚类分布学习。此外，两个级别的对比学习同时实施，以捕获实例级和集群级的对比信息，分别。通过对自动编码器的重构损失、聚类分布损失和两级对比度损失进行联合优化，以自监督的方式训练网络结构，从而得到聚类结果。各种时间序列数据集上的实验表明，我们的DTCC方法的优越性，在国家的最先进的。
2022-12-29 cs.LG
Motif-Driven Contrastive Learning of Graph Representations
University of California, Los Angeles（加州大学洛杉矶分校）
基于自监督对比学习的图神经网络（GNN）的预训练最近引起了人们的广泛关注。然而，现有的工作大多集中在节点级的对比学习，不能捕捉全局图结构。进行子图级对比学习的关键挑战是对语义上有意义的信息子图进行采样。为了解决这个问题，我们建议学习图基序，这是频繁出现的子图模式（例如分子的官能团），以便更好地进行子图采样。我们的框架Motif驱动的图表示的对比学习（MICRO-Graph）可以：1）使用GNN从大型图数据集中提取motif; 2）利用学习到的motif对GNN的对比学习的信息子图进行采样。我们将模体学习归结为一个可微聚类问题，并采用EM-聚类方法将相似且重要的子图分成几个模体。在这些学习到的基序的指导下，训练采样器以生成更多信息的子图，并且这些子图用于通过图到子图对比学习来训练GNN。通过使用MICRO-Graph对ogbg-molhiv数据集进行预训练，预训练的GNN在各种下游基准数据集上实现了2.04%的ROC-AUC平均性能提升，这显著高于其他最先进的自监督学习基线。
2021-04-16 cs.LG
Supervised Contrastive Learning for Product Matching
University of Mannheim（曼海姆大学）
近年来，对比学习已经推动了计算机视觉和信息检索中许多任务的发展。这张海报是第一个将监督对比学习应用于电子商务中使用来自不同电子商店的产品报价的产品匹配任务的工作。更具体地说，我们采用监督对比学习技术来预训练Transformer编码器，该编码器随后使用成对训练数据针对匹配任务进行微调。我们进一步提出了一个源感知的采样策略，使对比学习应用于用例中的训练数据不包含产品标识符。我们表明，将监督对比预训练与源感知采样相结合，可以显着提高几个广泛使用的基准测试的最新性能：对于Abt-Buy，我们达到了94.29的F1分数（与之前的最新水平相比，+3.24），对于Amazon-Google 79.28（+3.7）。对于WDC Computers数据集，根据训练集的大小，我们的F1得分在+0.8到+8.84之间。进一步的实验与数据增强和自我监督对比预训练表明，前者可以帮助较小的训练集，而后者会导致性能显着下降，由于固有的标签噪声。因此，我们得出结论，对比预训练具有很高的潜力，在产品匹配的用例中，明确的监督是可用的。
2022-05-02 cs.LG
What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks?
Nanyang Technological University（南洋理工大学）
自监督学习建立了一个新的范式，学习表示少得多，甚至没有标签注释。近年来，需要大量计算资源的大规模对比学习模型取得了显著的进展，但这种模型对于小规模任务并不是最佳的。为了填补这一空白，我们的目标是研究基于可穿戴设备的活动识别任务的对比学习。具体而言，我们从算法级和任务级两个角度对对比学习进行了深入研究。对于算法级分析，我们将对比模型分解为几个关键组件，并进行严格的实验评估，以更好地理解对比学习背后的有效性和原理。更重要的是，对于任务级分析，我们表明，基于可穿戴设备的信号给现有的对比模型带来了独特的挑战和机遇，这些挑战和机遇无法通过现有的算法轻松解决。我们全面的实证研究提出了重要的实践，并阐明了未来的研究挑战。同时，本文还介绍了一个开源的PyTorch库\texttt{CL-HAR}，可作为研究人员的实用工具。该库高度模块化，易于使用，为将来快速探索新的对比模型开辟了途径。
2022-02-12 cs.AI cs.LG
Edge Contrastive Learning: An Augmentation-Free Graph Contrastive Learning Model
Northwestern Polytechnical University（西北工业大学）；China Telecom（中国电信）；The University of Hong Kong（香港大学）
针对图对比学习中边缘级对比未被充分探索且计算负担重的问题，提出无增强边缘对比学习模型AFECL，通过节点嵌入拼接生成边缘特征并定义正负边缘对，在链接预测和半监督节点分类上达到SOTA性能。
2024-12-15 cs.LG
