Molecular Contrastive Learning with Chemical Element Knowledge Graph
Zhejiang University（浙江大学）；Westlake Laboratory of Life Sciences and Biomedicine（西湖大学生命科学与生物医学实验室）
分子表示学习有助于多个下游任务，如分子性质预测和药物设计。为了正确地表示分子，图对比学习是一种有前途的范例，因为它利用自我监督信号并且不需要人类注释。然而，以前的工作未能将基本的领域知识到图的语义，从而忽略了原子之间的相关性，具有共同的属性，但不直接连接的债券。为了解决这些问题，我们构建了一个化学元素知识图谱（KG）来总结元素之间的微观关联，并提出了一个新的知识增强的对比学习（KCL）框架的分子表示学习。KCL框架由三个模块组成。第一个模块，知识引导的图形增强，基于化学元素KG增强原始分子图。第二个模块，知识感知图表示，提取分子表示与一个共同的图形编码器的原始分子图和知识感知的消息传递神经网络（KMPNN）的复杂信息编码的扩增分子图。最后一个模块是一个对比的目标，我们最大限度地提高这两个分子图的观点之间的一致性。广泛的实验表明，KCL在8个分子数据集上获得了优于最先进基线的性能。可视化实验正确地解释了KCL从增强分子图中的原子和属性中学到的东西。我们的代码和数据可在https://github.com/ZJU-Fangyin/KCL上获得。
2022-03-11 cs.AI cs.LG q-bio.QM
Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts
Toyota Central R&D Labs., Inc.（丰田中央研发实验室股份有限公司）
提出基于异构相似度的监督对比学习正则化方法，通过在对比损失中引入可变参数构建边际效应，有效缓解过拟合并提升模型在分布偏移下的泛化能力。
2023-04-07 cs.LG stat.ML
Contrastive Self-Supervised Learning Based Approach for Patient Similarity: A Case Study on Atrial Fibrillation Detection from PPG Signal
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；United International University（联合国际大学）；University of Maryland（马里兰大学）；United Arab Emirates University（阿联酋大学）
本文提出一种基于对比学习的深度学习框架，利用生理信号进行患者相似性搜索，并引入多种邻居选择算法，在170多名个体的PPG信号心房颤动检测数据集上验证了其优于基线方法的有效性。
2023-07-22 cs.LG eess.SP
Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning
Université Paris-Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会实验室）；Normandie Univ（诺曼底大学）；INSA Rouen（鲁昂国立应用科学学院）；LITIS（信息与工业科学实验室）
本文提出相似性对比估计（SCE），一种基于实例间语义相似性的软对比学习目标，通过估计连续分布并锐化消除噪声关系，在ImageNet上达到领先性能。
2022-09-29 cs.AI cs.CV cs.LG
Contrastive Similarity Learning for Market Forecasting: The ContraSim Framework
University of Guelph（圭尔夫大学）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）；Dalhousie University（达尔豪斯大学）
ContraSim 框架通过加权头条增强与自监督对比学习构建语义嵌入空间，提升金融预测准确率7%，并聚类同向市场日，辅助分析师参考历史相似事件预测趋势。
2025-02-22 cs.LG q-fin.ST
Similarity Choice and Negative Scaling in Supervised Contrastive Learning for Deepfake Audio Detection
University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）
本文研究了对比学习中相似性选择和负样本缩放对深度伪造音频检测的影响，通过实验发现使用余弦相似度和延迟队列能有效降低EER，而角相似度在无队列负样本时表现优异，表明对大规模负样本集的依赖减少。
2026-04-28 cs.LG eess.AS
Similarity-Dissimilarity Loss for Multi-label Supervised Contrastive Learning
University of Essex（埃塞克斯大学）；Queen Mary University of London（伦敦大学玛丽女王学院）
本文提出相似性-差异性损失，通过动态加权样本解决多标签场景下正样本确定问题，提供理论证明并统一单标签与多标签对比学习框架，实验表明方法在图像、文本和医疗领域均优于基线。
2026-06-13 cs.CL cs.CV cs.LG
Contrastive Trajectory Similarity Learning with Dual-Feature Attention
The University of Melbourne（墨尔本大学）；National University of Singapore（新加坡国立大学）
轨迹相似性度量作为轨迹数据库中的查询谓词，使其成为决定查询结果的关键因素。它们对查询效率也有很大的影响。一个理想的度量应该能够在很短的时间内准确地评估任何两个轨迹之间的相似性。为此，我们提出了一种基于对比学习的轨迹建模方法TrajCL。我们提出了四种轨迹增强方法和一种新的双特征自注意轨迹骨干编码器。由此产生的模型可以共同学习轨迹的空间和结构模式。我们的模型不涉及任何经常性的结构，因此具有较高的效率。此外，我们预先训练的骨干编码器可以微调到其他计算昂贵的措施，最少的监督数据。实验结果表明，TrajCL是一致的，显着更准确的比国家的最先进的轨迹相似性措施。在微调之后，即，作为启发式度量的估计器，TrajCL在处理轨迹相似性查询的准确性方面甚至可以超过最先进的监督方法高达56%。
2023-02-20 cs.DB cs.LG
Towards Understanding the Mechanism of Contrastive Learning via Similarity Structure: A Theoretical Analysis
Tokyo Institute of Technology（东京工业大学）；Fujitsu（富士通）；RIKEN AIP（理化学研究所人工智能研究中心）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；SNCF（法国国家铁路公司）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
本文提出 KCL 框架并以统计依赖刻画表征相似性结构，证明其能描述对比学习形成的聚类，同时给出下游分类误差、泛化误差及代理泛化保证。
2023-04-01 cs.LG stat.ML
Similarity search generalisation in contrastive learning with InfoNCE loss
School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究对比学习中InfoNCE损失用于相似性搜索的泛化，通过加托微分引入新连续性界，量化泛化性能，证明随着k增长，InfoNCE损失中k个负样本平均效应可使泛化误差稳定。
2026-07-13 cs.LG stat.ML
Divergence-Based Similarity Function for Multi-View Contrastive Learning
Department of Mathematics, Seoul National University（首尔国立大学数学系）；Research Institute of Mathematics, Seoul National University（首尔国立大学数学研究所）
本文提出基于分歧的多视图对比学习相似度函数，通过分布分歧建模多视图联合结构，提升多种任务性能并提高效率。
2026-09-11 cs.CV cs.LG
$\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs
Meta FAIR；New York Univeristy（纽约大学）；Brown University（布朗大学）；Genentech（基因泰克）；CIFAR（加拿大高级研究院）
针对传统对比损失仅采用二元相似图、忽略样本间跨相似性的不足，提出$\mathbb{X}$-样本对比损失，显式编码样本关联关系，在多数据集视觉任务中性能优于CLIP等基线模型。
2024-09-11 cs.CV cs.LG
How Molecules Impact Cells: Unlocking Contrastive PhenoMolecular Retrieval
Valence Labs；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila- Quebec AI Institute（米拉-魁北克人工智能研究所）
针对分子对细胞功能影响的预测难题，提出对比型表型分子检索任务与MolPhenix模型，通过预训练表型组学模型、相似性感知损失等实现活性分子零样本检索性能8.1倍提升，助力药物发现。
2024-09-10 cs.LG q-bio.QM
Attention-wise masked graph contrastive learning for predicting molecular property
Nanjing Tech University（南京工业大学）；Central South University（中南大学）
准确、高效地预测药物的分子性质是药物研究和开发的基本问题之一。表征学习的最新进展已被证明可以大大提高分子性质预测的性能。然而，由于有限的标记数据，基于监督学习的分子表示算法只能搜索有限的化学空间，导致泛化能力差。在这项工作中，我们提出了一个大规模的未标记分子的自监督表示学习框架。我们开发了一种新的分子图增强策略，称为attention-wise graph mask，以生成具有挑战性的阳性样本进行对比学习。我们采用图注意力网络（GAT）作为分子图编码器，并利用学习的注意力分数作为掩蔽指导来生成分子增强图。通过最小化原始图和掩码图之间的对比损失，我们的模型可以捕获重要的分子结构和高阶语义信息。大量的实验表明，我们的注意力图形掩码对比学习在几个下游分子性质预测任务中表现出最先进的性能。
2022-05-02 cs.LG q-bio.BM
Molecular Graph Contrastive Learning with Line Graph
School of Statistics and Mathematics, Central University of Finance and Economics（中央财经大学统计与数学学院）；School of Journalism, Communication University of China（中国传媒大学新闻学院）
针对分子性质预测中标签稀缺及现有图对比学习视图生成方法的缺陷，提出结合线图的LEMON方法，通过图与线图对比、边属性融合补丁及局部对比损失提升分子性质预测性能。
2025-01-15 cs.LG
Molecular Property Prediction by Semantic-invariant Contrastive Learning
Fudan University（复旦大学）；Tongji University（同济大学）
在人工智能辅助药物设计和发现中，对比学习已被广泛用作自监督预训练分子表征学习模型的借口任务。然而，现有的方法，通过噪声添加操作生成分子视图的对比学习可能面临的语义不一致的问题，这导致假阳性对，从而预测性能差。为了解决这个问题，在本文中，我们首先提出了一个语义不变的视图生成方法，适当地打破分子图片段对。然后，我们开发了一个基于片段的语义不变的对比学习（FraSICL）模型的基础上，这种视图生成方法的分子性质预测。FraSICL模型由两个分支组成，用于生成用于对比学习的视图表示，同时引入多视图融合和辅助相似性损失，以更好地利用不同片段对视图中包含的信息。在各种基准数据集上的大量实验表明，与现有的主要对应模型相比，FraSICL可以用最少的预训练样本实现最先进的性能。
2023-03-13 cs.LG q-bio.BM
Contrastive Learning Is Spectral Clustering On Similarity Graph
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qizhi Institute（上海期智研究院）
本文证明基于 InfoNCE 损失的对比学习等价于相似度图上的谱聚类，并将该理论扩展到 CLIP 模型，进而提出 Kernel-InfoNCE 损失以提升视觉任务表现。
2024-02-23 cs.AI cs.CV cs.LG
Understanding Contrastive Learning Through the Lens of Margins
Sungkyunkwan University（成均馆大学）；Hyundai Mobis（现代摩比斯）；NC Soft（NCSoft公司）
该研究从梯度分析新视角拆解间隔对对比学习梯度的影响，明确强化正样本、按正样本角度与logits缩放梯度是提升其泛化性能的关键，为对比学习改进提供方向。
2023-10-10 cs.LG
PhenoGnet: A Graph-Based Contrastive Learning Framework for Disease Similarity Prediction
School of Computing Clemson University Clemson, SC, U.S.A.（计算学院 哥伦比亚大学 哥伦比亚，南卡罗来纳州，美国）
本文提出PhenoGnet，一种基于图的对比学习框架，通过整合基因功能网络与HPO并利用GCN、GAT及共享权重MLP对齐基因与表型嵌入来预测疾病相似性，在精选基准上表现优于现有方法。
2025-09-17 cs.AI cs.LG q-bio.GN
Triangular Contrastive Learning on Molecular Graphs
Seoul National University（首尔国立大学）；AIGENDRUG Co. Ltd（AIGENDRUG有限公司）；MOGAM Institute for Biomedical Research（慕岩生物医学研究所）
最近的对比学习方法已被证明在各种任务中是有效的，学习对数据增强不变的可推广表示，从而导致最先进的性能。关于在自监督学习中使用的大型未标记数据的多面性，而大多数真实字下游任务使用单一格式的数据，可以训练单一模态以从其他模态学习不同视角的多模态框架是一个重要的挑战。在本文中，我们提出了TriCL（三角对比学习），三模态对比学习的通用框架。TriCL利用了三角区域损失，这是一种新型的模态间对比损失，通过同时对比正三元组和负三元组的面积来学习嵌入空间的角度几何。在对齐和均匀性方面对嵌入空间的系统观察表明，三角区域损失可以通过按角度区分模态来解决线塌陷问题。我们的实验结果也证明了TriCL在分子性质预测的下游任务上的优异性能，这意味着嵌入空间的优势确实有利于下游任务的性能。
2022-05-26 cs.LG
Traffic Scene Similarity: a Graph-based Contrastive Learning Approach
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种基于图的对比学习方法，将交通场景映射到有意义的嵌入空间并形成主题簇，从而识别相似场景、减少高度自动化驾驶验证中的冗余测试。
2023-09-18 cs.CV cs.LG
Rethinking Graph Contrastive Learning through Relative Similarity Preservation
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, UCAS（国科大杭州高等研究院）；School of Computing and Information Technology, Great Bay University（大湾区大学计算与信息技术学院）；Department of Computer and Information Science, IOTSC, University of Macau（澳门大学计算机与信息科学系）
针对图对比学习中绝对相似性不可靠的问题，提出RELGCL框架，通过成对与列表式集体目标保持图天然的相对相似性，并在多类图上优于20种方法。
2025-05-12 cs.AI cs.LG
GraphCL-DTA: a graph contrastive learning with molecular semantics for drug-target binding affinity prediction
Ningbo Artificial Intelligence Institute, Shanghai Jiao Tong University（上海交通大学宁波人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
针对现有药物-靶点结合亲和力预测模型依赖监督数据、忽略表征均匀性的问题，提出GraphCL-DTA方法，通过带分子语义的图对比学习和新损失函数优化表征质量，在KIBA、Davis数据集上性能超越现有最优模型。
2023-07-18 cs.IR cs.LG q-bio.QM
GeomGCL: Geometric Graph Contrastive Learning for Molecular Property Prediction
Baidu Research（百度研究院）
近年来，图神经网络（GNNs）在分子性质预测中的应用成为计算药物和材料发现的一项基础性工作。标记数据的缺乏是阻碍GNN成功预测分子性质的主要障碍之一。虽然图对比学习（GCL）方法在标记数据不足的情况下取得了非凡的性能，但大多数方法都集中在为一般图设计数据增强方案。然而，一个分子的基本性质可以改变与分子图上的增广方法（如随机扰动）。然而，在目前的GNN和GCL结构下，分子的关键几何信息仍然很少被探索。为此，我们提出了一种新的图对比学习方法，利用分子的几何形状在2D和3D视图，这是命名为GeomGCL。具体来说，我们首先设计了一个双视图几何消息传递网络（GeomMPNN），以自适应地利用分子的2D和3D图形的丰富信息。在不同层次上引入几何性质可以极大地促进分子表示学习。然后设计了一种新的几何图对比方案，使两个几何视图协同监督，以提高GeomMPNN的泛化能力。我们通过微调过程评估GeomGCL在各种下游属性预测任务上的表现。七个现实生活中的分子数据集上的实验结果表明，我们提出的GeomGCL对国家的最先进的基线的有效性。
2021-09-24 cs.LG
Structure-guided molecular design with contrastive 3D protein-ligand learning
Acellera Labs（Acellera实验室）
本文提出结合对比学习3D结构编码与自回归分子生成的统一框架，用于解决结构导向分子设计中的挑战，生成具有优良结合性质的候选分子。
2026-04-21 cs.LG
Extracting Molecular Properties from Natural Language with Multimodal Contrastive Learning
Stanford University（斯坦福大学）
本研究通过多模态对比学习对齐分子图与文本描述，实现性质信息迁移，并引入化学有效的图增强策略，在MoleculeNet任务上较图预训练模型AUROC提升4.26%。
2023-07-22 cs.AI cs.CL cs.IR
Hard Negative Sampling Strategies for Contrastive Representation Learning
Virginia Tech（弗吉尼亚理工大学）
对比学习的挑战之一是在没有标签信息的情况下选择适当的\textit{hard negative}示例。基于特征相似性的随机采样或重要性采样方法通常导致次优性能。在这项工作中，我们介绍了UnReMix，一个硬负采样策略，考虑到锚相似性，模型的不确定性和代表性。在几个基准测试上的实验结果表明，UnReMix与最先进的对比学习方法相比，改进了负样本选择，并随后提高了下游性能。
2022-06-02 cs.AI cs.CV cs.LG
Learning Human-Aligned Representations with Contrastive Learning and Generative Similarity
Princeton University（普林斯顿大学）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）
本文提出利用生成式相似性的贝叶斯概念并将其纳入对比学习目标，使模型能够学习表达人类认知的嵌入，从而捕捉形状规律性、欧几里得几何概念及自然图像语义层级的人类对齐表示。
2025-01-31 cs.AI cs.LG q-bio.NC
Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning
University of Haute Alsace（阿尔萨斯大学）；Université Paris-Saclay（巴黎萨克雷大学）
本文提出一种两阶段框架，通过对比学习和知识蒸馏，解决脚本相似性学习中的历史关系不确定性问题，实现对不同书写系统间硬边界与软相似性的有效建模。
2026-03-06 cs.AI cs.CL cs.CV
Knowledge-aware contrastive heterogeneous molecular graph learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
针对传统同构图分子表示学习的局限，提出知识感知对比异质分子图学习框架KCHML，通过多视角异质图与双消息传递结合对比学习融入外部知识，在分子性质预测等任务上性能优于现有最优模型。
2025-03-21 cs.AI cs.LG
Adaptive Multi-head Contrastive Learning
Australian National University（澳大利亚国立大学）；Data61/CSIRO；Curtin University（科廷大学）
针对对比学习中单一投影头难以处理复杂样本相似度的问题，提出自适应多头对比学习（AMCL），通过多个投影头生成特征并结合自适应温度的损失函数，有效增强了 SimCLR、MoCo 和 Barlow Twins 等方法的性能。
2024-09-23 cs.AI cs.CV cs.LG
Similarity Preserving Adversarial Graph Contrastive Learning
KAIST（韩国科学技术院）
针对现有对抗训练GCL方法无法保持节点特征相似性的问题，提出SP-AGCL框架，通过对比干净图与节点相似性保持视图及对抗视图，在多种下游任务和复杂场景中实现了有竞争力的性能与鲁棒性。
2023-06-24 cs.AI cs.CR cs.LG
GCC-Spam: Spam Detection via GAN, Contrastive Learning, and Character Similarity Networks
IEEE
针对垃圾文本检测中的对抗混淆与标注稀缺问题，提出融合字符相似性网络、对比学习和 GAN 的 GCC-Spam 框架，以更少标注样本取得优于基线的检测性能。
2025-07-24 cs.AI cs.CL cs.LG
Molecular Contrastive Learning of Representations via Graph Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
分子机器学习（ML）为高效的分子性质预测和药物发现带来了希望。然而，标记的分子数据可能是昂贵的和耗时的获取。由于有限的标记数据，监督学习ML模型推广到巨大的化学空间是一个巨大的挑战。在这项工作中，我们提出了Molten：通过图神经网络（GNNs）进行表征的分子对比学习，这是一个利用大型未标记数据（约10M独特分子）的自监督学习框架。在molecular预训练中，我们构建分子图并开发GNN编码器来学习可微表示。提出了三种分子图增强方法：原子掩蔽、键删除和子图删除。一个对比估计最大限度地提高同一分子的协议，同时最大限度地减少不同分子的协议。实验表明，我们的对比学习框架显着提高了GNN在各种分子特性基准测试（包括分类和回归任务）上的性能。得益于在大型未标记数据库上进行的预训练，Moltron甚至在微调后在几个具有挑战性的基准测试中达到了最先进的水平。此外，进一步的研究表明，Molly学会将分子嵌入到可以区分化学上合理的分子相似性的表示中。
2022-01-17 cs.LG physics.chem-ph
Adversarial Contrastive Learning by Permuting Cluster Assignments
Virginia Tech（弗吉尼亚理工大学）
对比学习作为一种有效的自监督表示学习技术已经得到普及。几个研究方向改进了传统的对比方法，例如，原型对比方法更好地捕捉实例之间的语义相似性，并通过考虑聚类原型或聚类分配来减少计算负担，而对抗性实例对比方法提高了对各种攻击的鲁棒性。据我们所知，没有以前的工作联合考虑鲁棒性，聚类语义相似性和计算效率。在这项工作中，我们提出了SwARo，一个对抗性的对比框架，它结合了集群分配排列来生成代表性的对抗性样本。我们在多个基准数据集上评估了SwARo，并针对各种白盒和黑盒攻击进行了评估，在最先进的基线上获得了一致的改进。
2022-04-21 cs.AI cs.CV cs.LG
Multilingual Molecular Representation Learning via Contrastive Pre-training
Microsoft Corporation（微软公司）
分子表示学习在化学信息学中起着重要的作用。最近，基于语言模型的方法作为传统的专家设计的特征来编码分子的替代方案已经得到普及。然而，这些方法仅利用单个分子语言进行表示学习。一个给定的分子可以使用不同的语言，如简化的分子线输入系统（SMILES），国际纯粹与应用化学联合会（IUPAC），和国际化学标识符（InChI）的动机，我们提出了一种多语言的分子嵌入生成方法，称为MM-Deacon（通过对比学习的多语言分子结构域嵌入分析）。MM-Deacon使用SMILES和IUPAC作为大规模分子的两种不同语言进行预训练。我们评估了我们的方法对MoleculeNet基准的七个分子性质预测任务，zero-shot跨语言检索和药物相互作用预测任务的鲁棒性。
2022-04-18 cs.CL cs.LG physics.chem-ph
Supervised Contrastive CSI Representation Learning for Massive MIMO Positioning
National University of Defense Technology（国防科技大学）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
在利用信道状态信息（CSI）的大规模MIMO定位中，相似性度量是关键.本文提出了一种基于深度卷积神经网络~（DCNN）和对比学习的大规模MIMO CSI相似性学习方法。考虑从训练数据集中提取的多个正和负CSI样本，设计对比损失函数。DCNN编码器使用损失进行训练，使得正样本被映射到接近锚点编码的点，而负样本的编码在表示空间中远离锚点。在真实CSI数据集上的基于指纹的定位的评估结果表明，与其他已知的最先进的方法相比，学习的相似性度量显著提高了定位精度。
2022-06-06 cs.IT cs.LG math.IT
Enhancing Graph Contrastive Learning with Node Similarity
New Jersey Institute of Technology（新泽西理工学院）
图神经网络（GNN）在学习图表示方面取得了巨大成功，从而促进了各种与图相关的任务。然而，大多数GNN方法采用监督学习设置，由于难以获得标记数据，这在现实世界的应用中并不总是可行的。因此，图自监督学习越来越受到人们的关注。图对比学习是自监督学习的代表性框架。一般来说，GCL通过对比语义相似的节点（正样本）和不同的节点（负样本）与锚节点来学习节点表示。在不访问标签的情况下，通常通过数据增强来生成正样本，并且从整个图中均匀地采样负样本，这导致次优目标。具体地，数据增强自然地限制了过程中涉及的正样本的数量（通常仅采用一个正样本）。另一方面，随机采样过程将不可避免地选择假阴性样本（与锚共享相同语义的样本）。这些问题限制了GCL的学习能力。在这项工作中，我们提出了一个解决上述问题的增强目标。我们首先介绍了一个无法实现的理想目标，包含所有的正样本，没有假阴性样本。这个理想的目标，然后转换成一个概率形式的基础上的分布抽样阳性和阴性样本。然后，我们用节点相似性对这些分布进行建模，并推导出增强的目标。在不同数据集上的综合实验证明了所提出的增强目标在不同设置下的有效性。
2022-08-13 cs.LG
MoCL: Data-driven Molecular Fingerprint via Knowledge-aware Contrastive Learning from Molecular Graph
Michigan State University（密歇根州立大学）；Agios Pharmaceuticals（阿吉奥斯制药公司）
近年来，在生物医学领域利用图神经网络（GNN）来解决药物相关问题的增长迅速。然而，像任何其他深度架构一样，GNN是数据饥渴的。虽然在现实世界中需要标签通常是昂贵的，但以无监督的方式预训练GNN已被积极探索。其中，图对比学习，通过最大化成对图增强之间的互信息，已被证明是有效的各种下游任务。然而，目前的图对比学习框架有两个局限性。首先，增广是为一般图设计的，因此可能不适合或不够强大的某些领域。其次，对比方案只学习对局部扰动不变的表示，因此不考虑数据集的全局结构，这对下游任务也可能有用。因此，在本文中，我们研究图对比学习的背景下，生物医学领域，分子图。我们提出了一个新的框架称为MoCL，它利用领域知识在本地和全球层面，以协助表示学习。本地级别的领域知识指导增强过程，使得在不改变图语义的情况下引入变化。全局级知识编码整个数据集中图之间的相似性信息，并有助于学习具有更丰富语义的表示。整个模型是通过双对比物镜学习的。我们在线性和半监督设置下对各种分子数据集进行了MoCL评估，结果表明MoCL达到了最先进的性能。
2022-05-02 cs.LG physics.bio-ph
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出多模态保相似性对比学习（MUSE）框架，通过定制多元时间序列编码器和正则化对比EEG-Image预训练，解决零样本EEG图像分类问题，在200路分类中达到SOTA，并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning
Berlin Institute of Health（柏林卫生研究所）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；Freie Universität Berlin（柏林自由大学）；Intelligent Medicine Institute（智能医学研究所）；Fudan University（复旦大学）
该研究针对多模态对比学习，提出先验拟合评分器（PFS），发现冻结的Transformer评分器性能优于手工基线，先验拟合可进一步提升效果，表明Transformer结合因果预置可替代人工相似度函数。
2026-10-14 cs.AI cs.LG
Contrastive Corpus Attribution for Explaining Representations
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
针对无监督模型表征缺乏语义难以解释的问题，提出基于参考语料与对比箔集的对比语料相似度，结合多种事后归因生成COCOA，经定量验证有效，可用于对比学习增强解释与CLIP零样本定位。
2023-06-12 cs.AI cs.CV cs.LG
Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；GE HealthCare（GE医疗）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对GNN难以捕捉分子表示全部复杂性的问题，提出GODE方法，通过双级对比学习融合分子内在图结构与知识图谱多域生化数据，在11个化学性质任务上显著优于现有基准，分类和回归性能均超越当前领先模型。
2025-02-16 cs.AI cs.LG q-bio.QM
Local-Global Multimodal Contrastive Learning for Molecular Property Prediction
School of Mathematical Sciences（数学科学学院）；University of Electronic Science and Technology of China（电子科技大学）；Department of Computer Science and Engineer（计算机科学与工程系）；Oakland University（奥克兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Management Science（管理科学学院）；Chengdu University of Technology（成都理工大学）
LGM-CL通过局部-全局多模态对比学习框架，整合分子结构和化学语义信息，提升分子性质预测的准确性与性能。
2026-01-30 cs.AI cs.LG
TEX-MEX: Similarity-Guided Temporal Contrastive Learning for Time Series
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Computer Science, University of Memphis（孟菲斯大学计算机科学系）
TEX-MEX是首个统一时间序列结构与时序相似度的对比学习方法，在多类生理等数据上达最优性能，其56万参数PPG基础模型规模小、性能优，将开源支持相关研究。
2026-10-14 cs.AI cs.LG
3D Graph Contrastive Learning for Molecular Property Prediction
自监督学习（SSL）是一种通过利用数据中固有的监督来学习数据表示的方法。这种学习方法在药物领域备受关注，由于耗时和昂贵的实验而缺乏注释数据。使用大量未标记数据的SSL在分子性质预测方面表现出优异的性能，但存在一些问题。(1)现有的SSL模型是大规模的;在计算资源不足的情况下，实现SSL存在限制。(2)在大多数情况下，他们不利用3D结构信息进行分子表征学习。药物的活性与药物分子的结构密切相关。然而，目前大多数模型不使用3D信息或部分使用它。(3)以前将对比学习应用于分子的模型使用置换原子和键的增强。因此，具有不同特征的分子可以在相同的阳性样品中。本文提出了一种新的用于分子性质预测的对比学习框架--小规模3D图对比学习（3DGCL）。3DGCL通过预训练过程反映分子的结构来学习分子表示，该过程不会改变药物的语义。仅使用1，128个样本进行预训练数据和100万个模型参数，我们在四个回归基准数据集中实现了最先进或相当的性能。大量的实验表明，基于化学知识的3D结构信息对于性质预测的分子表示学习是必不可少的。
2022-08-18 cs.LG q-bio.BM
Extending Contrastive Learning to Unsupervised Coreset Selection
KAIST（韩国科学技术院）；Kyungpook National University（庆北国立大学）
自监督对比学习提供了一种从未标记数据池中学习信息特征的方法。在本文中，我们深入研究了另一种有用的方法-提供了一种选择完全未标记的核心集的方法。在这方面，对比学习，大量的自我监督的方法之一，最近提出，并一直提供最高的性能。这促使我们选择了两种主要的对比学习方法：视觉表征对比学习的简单框架（Simplified）和动量对比学习框架（MoCo）。我们计算了对比学习过程的整个持续时间内每个时期的余弦相似度，随后累积余弦相似度值以获得coreset分数。我们的假设是，具有低相似性的样本可能表现为coreset。与现有的核心选择方法与标签相比，我们的方法减少了与人类注释相关的成本。在本研究中实现的用于核心集选择的无监督方法在随机选择的子集上获得了改进的结果，并且与各种分类数据集上的现有监督核心集选择（例如，CIFAR、SVHN和QMNIST）。
2021-04-07 cs.LG
CDPAM: Contrastive learning for perceptual audio similarity
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多基于深度学习的语音处理方法都需要一个自动的、可微分的音频度量作为损失函数。Manocha等人的DPAM方法学习了直接根据人类判断训练的全参考度量，因此与人类感知很好地相关。然而，它需要大量的人类注释，并且在训练的扰动范围之外不能很好地泛化。本文介绍了CDPAM，一个建立在DPAM的基础上并对其进行了改进的度量。主要的改进是结合对比学习和多维表示，从有限的数据中构建强大的模型。此外，我们收集人类对三重比较的判断，以提高对更广泛的音频扰动的泛化能力。CDPAM在九个不同的数据集上与人类反应良好相关。我们还表明，将此度量添加到现有的语音合成和增强方法产生显着的改善，客观和主观的测试。
2021-02-09 cs.LG cs.SD eess.AS
A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning
Salesforce Research（赛富时研究院）
对于图像查询，无监督对比学习将同一图像的裁剪标记为阳性，而将其他图像裁剪标记为阴性。虽然直观，这样的原生标签分配策略不能揭示查询与其肯定词和否定词之间的潜在语义相似性，并且损害性能，因为一些否定词在语义上与查询相似，或者甚至与查询共享相同的语义类。在这项工作中，我们首先证明了对比学习，不准确的标签分配严重损害其泛化语义实例歧视，而准确的标签有利于其泛化。受此启发，我们提出了一种新的自标记细化方法的对比学习。它通过两个互补的模块来提高标签质量：（i）自标记精炼（SLR）以生成准确的标签;（ii）动量混合（MM）以增强查询与其正面之间的相似性。SLR使用查询的肯定来估计查询与其肯定和否定之间的语义相似度，并将估计的相似度与对比学习中的香草标签分配相结合，以迭代地生成更准确和信息量更大的软标签。我们从理论上证明了我们的SLR可以准确地恢复标签损坏数据的真实语义标签，并监督网络在分类任务上实现零预测错误。MM随机组合查询和肯定，以增加生成的虚拟查询和它们的肯定之间的语义相似度，从而提高标签准确性。在CIFAR10、ImageNet、VOC和COCO上的实验结果表明了该方法的有效性。PyTorch代码和模型将在线发布。
2021-06-28 cs.AI cs.CV cs.LG
Improving Molecular Contrastive Learning via Faulty Negative Mitigation and Decomposed Fragment Contrast
Carnegie Mellon University（卡内基梅隆大学）
深度学习已经在计算化学中流行，并广泛应用于分子性质预测。近年来，自监督学习（SSL），特别是对比学习（CL），因其具有学习推广到巨大化学空间的分子表征的潜力而受到越来越多的关注。与监督学习不同，SSL可以直接利用大量未标记的数据，这大大减少了通过昂贵且耗时的模拟或实验来获取分子属性标签的工作。然而，大多数分子SSL方法借用了来自机器学习社区的见解，但忽视了独特的化学信息学（例如，分子指纹）和多级图形结构（例如，官能团）的分子。在这项工作中，我们提出了iMoltron：改进的分子对比学习的表示与图神经网络（GNNs）在两个方面，（1）减少错误的负面对比情况下，通过考虑分子对之间的化学信息学相似性;（2）片段水平之间的对比分子内和分子间的子结构分解。实验表明，所提出的策略显着提高GNN模型的性能，对各种具有挑战性的分子性质的预测。与之前的CL框架相比，iMoltron在7个分类基准上的ROC-AUC平均提高了1.3%，在5个回归基准上的误差平均降低了4.8%。在大多数基准测试中，由iMoltron预训练的通用GNN可以与具有复杂架构设计和工程特性的监督学习模型相媲美，甚至超过后者。进一步的研究表明，通过iMolybdenum学习的表征本质上嵌入了可以推理分子相似性的支架和官能团。
2022-02-18 cs.LG physics.chem-ph
Anchor Divergence for Semantic Geometry in Contrastive Learning
University of Chicago（芝加哥大学）
本文提出锚点散度方法，通过对比学习、指数族与信息几何的对应，在固定表示上定义上下文相关的语义几何，实验证明其能高效指定特定语义相似性。
2026-10-07 cs.AI cs.CV cs.LG
Discriminative Representation learning via Attention-Enhanced Contrastive Learning for Short Text Clustering
本文提出AECL方法，通过伪标签生成模块和对比学习模块构建样本级注意力机制，解决短文本聚类中假负分离问题，提升表示学习效果。
2025-01-26 cs.LG
Rethinking Positive Pairs in Contrastive Learning
Surrey Institute for People-Centred AI（苏格兰人本人工智能研究所）；Centre For Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心）；Jiangnan University（江南大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出SimLAP框架，从语义不同的样本对中学习视觉表示，通过优化任意样本对相似性并学习使能子空间，为对比学习提供了新方法。
2025-05-29 cs.CV cs.LG
Contrastive Representation Learning of Longitudinal Disease Trajectories on Temporal Graphs
针对从纵向临床数据理解疾病轨迹的难题，提出以时间图建模多变量疾病轨迹，用对比图神经网络学习表示，借结构感知随机游走引导对比学习，实现相似疾病进展模式患者的稳健聚类并揭示数据潜在结构。
2026-07-29 cs.AI cs.LG q-bio.QM
