Molecular Graph Contrastive Learning with Line Graph
School of Statistics and Mathematics, Central University of Finance and Economics（中央财经大学统计与数学学院）；School of Journalism, Communication University of China（中国传媒大学新闻学院）
针对分子性质预测中标签稀缺及现有图对比学习视图生成方法的缺陷，提出结合线图的LEMON方法，通过图与线图对比、边属性融合补丁及局部对比损失提升分子性质预测性能。
2025-01-15 cs.LG
Triangular Contrastive Learning on Molecular Graphs
Seoul National University（首尔国立大学）；AIGENDRUG Co. Ltd（AIGENDRUG有限公司）；MOGAM Institute for Biomedical Research（慕岩生物医学研究所）
最近的对比学习方法已被证明在各种任务中是有效的，学习对数据增强不变的可推广表示，从而导致最先进的性能。关于在自监督学习中使用的大型未标记数据的多面性，而大多数真实字下游任务使用单一格式的数据，可以训练单一模态以从其他模态学习不同视角的多模态框架是一个重要的挑战。在本文中，我们提出了TriCL（三角对比学习），三模态对比学习的通用框架。TriCL利用了三角区域损失，这是一种新型的模态间对比损失，通过同时对比正三元组和负三元组的面积来学习嵌入空间的角度几何。在对齐和均匀性方面对嵌入空间的系统观察表明，三角区域损失可以通过按角度区分模态来解决线塌陷问题。我们的实验结果也证明了TriCL在分子性质预测的下游任务上的优异性能，这意味着嵌入空间的优势确实有利于下游任务的性能。
2022-05-26 cs.LG
Knowledge-aware Contrastive Molecular Graph Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Pharmaceutical Informatics Institute, College of Pharmaceutical Sciences, Zhejiang University（浙江大学药学院药物信息学研究所）
在分子表示学习中利用指纹图谱和官能团等领域知识对于化学性质预测和药物发现至关重要。在隐式地建模图结构与分子性质之间的关系时，现有的工作很难捕捉结构或性质的变化以及复杂的结构，原子词汇量小得多，原子频率高。在本文中，我们提出了对比知识感知GNN（CKGNN）的自我监督分子表示学习融合领域知识到分子图表示。在对比学习框架下，通过知识感知的分子编码器对领域知识进行显式编码，确保生成的分子嵌入具有化学领域知识，能够区分化学式相似但功能不同的分子。在8个公开数据集上的实验表明，该模型的有效性，与强有力的竞争对手相比，平均有6%的绝对改进.消融研究和进一步的调查也验证了两全其美：将化学领域的知识纳入自监督学习。
2021-03-24 cs.LG q-bio.QM
GeomGCL: Geometric Graph Contrastive Learning for Molecular Property Prediction
Baidu Research（百度研究院）
近年来，图神经网络（GNNs）在分子性质预测中的应用成为计算药物和材料发现的一项基础性工作。标记数据的缺乏是阻碍GNN成功预测分子性质的主要障碍之一。虽然图对比学习（GCL）方法在标记数据不足的情况下取得了非凡的性能，但大多数方法都集中在为一般图设计数据增强方案。然而，一个分子的基本性质可以改变与分子图上的增广方法（如随机扰动）。然而，在目前的GNN和GCL结构下，分子的关键几何信息仍然很少被探索。为此，我们提出了一种新的图对比学习方法，利用分子的几何形状在2D和3D视图，这是命名为GeomGCL。具体来说，我们首先设计了一个双视图几何消息传递网络（GeomMPNN），以自适应地利用分子的2D和3D图形的丰富信息。在不同层次上引入几何性质可以极大地促进分子表示学习。然后设计了一种新的几何图对比方案，使两个几何视图协同监督，以提高GeomMPNN的泛化能力。我们通过微调过程评估GeomGCL在各种下游属性预测任务上的表现。七个现实生活中的分子数据集上的实验结果表明，我们提出的GeomGCL对国家的最先进的基线的有效性。
2021-09-24 cs.LG
Structure-guided molecular design with contrastive 3D protein-ligand learning
Acellera Labs（Acellera实验室）
本文提出结合对比学习3D结构编码与自回归分子生成的统一框架，用于解决结构导向分子设计中的挑战，生成具有优良结合性质的候选分子。
2026-04-21 cs.LG
Knowledge-aware contrastive heterogeneous molecular graph learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
针对传统同构图分子表示学习的局限，提出知识感知对比异质分子图学习框架KCHML，通过多视角异质图与双消息传递结合对比学习融入外部知识，在分子性质预测等任务上性能优于现有最优模型。
2025-03-21 cs.AI cs.LG
MoCL: Data-driven Molecular Fingerprint via Knowledge-aware Contrastive Learning from Molecular Graph
Michigan State University（密歇根州立大学）；Agios Pharmaceuticals（阿吉奥斯制药公司）
近年来，在生物医学领域利用图神经网络（GNN）来解决药物相关问题的增长迅速。然而，像任何其他深度架构一样，GNN是数据饥渴的。虽然在现实世界中需要标签通常是昂贵的，但以无监督的方式预训练GNN已被积极探索。其中，图对比学习，通过最大化成对图增强之间的互信息，已被证明是有效的各种下游任务。然而，目前的图对比学习框架有两个局限性。首先，增广是为一般图设计的，因此可能不适合或不够强大的某些领域。其次，对比方案只学习对局部扰动不变的表示，因此不考虑数据集的全局结构，这对下游任务也可能有用。因此，在本文中，我们研究图对比学习的背景下，生物医学领域，分子图。我们提出了一个新的框架称为MoCL，它利用领域知识在本地和全球层面，以协助表示学习。本地级别的领域知识指导增强过程，使得在不改变图语义的情况下引入变化。全局级知识编码整个数据集中图之间的相似性信息，并有助于学习具有更丰富语义的表示。整个模型是通过双对比物镜学习的。我们在线性和半监督设置下对各种分子数据集进行了MoCL评估，结果表明MoCL达到了最先进的性能。
2022-05-02 cs.LG physics.bio-ph
Molecular Contrastive Learning with Chemical Element Knowledge Graph
Zhejiang University（浙江大学）；Westlake Laboratory of Life Sciences and Biomedicine（西湖大学生命科学与生物医学实验室）
分子表示学习有助于多个下游任务，如分子性质预测和药物设计。为了正确地表示分子，图对比学习是一种有前途的范例，因为它利用自我监督信号并且不需要人类注释。然而，以前的工作未能将基本的领域知识到图的语义，从而忽略了原子之间的相关性，具有共同的属性，但不直接连接的债券。为了解决这些问题，我们构建了一个化学元素知识图谱（KG）来总结元素之间的微观关联，并提出了一个新的知识增强的对比学习（KCL）框架的分子表示学习。KCL框架由三个模块组成。第一个模块，知识引导的图形增强，基于化学元素KG增强原始分子图。第二个模块，知识感知图表示，提取分子表示与一个共同的图形编码器的原始分子图和知识感知的消息传递神经网络（KMPNN）的复杂信息编码的扩增分子图。最后一个模块是一个对比的目标，我们最大限度地提高这两个分子图的观点之间的一致性。广泛的实验表明，KCL在8个分子数据集上获得了优于最先进基线的性能。可视化实验正确地解释了KCL从增强分子图中的原子和属性中学到的东西。我们的代码和数据可在https://github.com/ZJU-Fangyin/KCL上获得。
2022-03-11 cs.AI cs.LG q-bio.QM
Local-Global Multimodal Contrastive Learning for Molecular Property Prediction
School of Mathematical Sciences（数学科学学院）；University of Electronic Science and Technology of China（电子科技大学）；Department of Computer Science and Engineer（计算机科学与工程系）；Oakland University（奥克兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Management Science（管理科学学院）；Chengdu University of Technology（成都理工大学）
LGM-CL通过局部-全局多模态对比学习框架，整合分子结构和化学语义信息，提升分子性质预测的准确性与性能。
2026-01-30 cs.AI cs.LG
3D Graph Contrastive Learning for Molecular Property Prediction
自监督学习（SSL）是一种通过利用数据中固有的监督来学习数据表示的方法。这种学习方法在药物领域备受关注，由于耗时和昂贵的实验而缺乏注释数据。使用大量未标记数据的SSL在分子性质预测方面表现出优异的性能，但存在一些问题。(1)现有的SSL模型是大规模的;在计算资源不足的情况下，实现SSL存在限制。(2)在大多数情况下，他们不利用3D结构信息进行分子表征学习。药物的活性与药物分子的结构密切相关。然而，目前大多数模型不使用3D信息或部分使用它。(3)以前将对比学习应用于分子的模型使用置换原子和键的增强。因此，具有不同特征的分子可以在相同的阳性样品中。本文提出了一种新的用于分子性质预测的对比学习框架--小规模3D图对比学习（3DGCL）。3DGCL通过预训练过程反映分子的结构来学习分子表示，该过程不会改变药物的语义。仅使用1，128个样本进行预训练数据和100万个模型参数，我们在四个回归基准数据集中实现了最先进或相当的性能。大量的实验表明，基于化学知识的3D结构信息对于性质预测的分子表示学习是必不可少的。
2022-08-18 cs.LG q-bio.BM
Improving Molecular-Morphology Contrastive Pretraining using Deep-Learning-based Morphology Profiles
GSK（葛兰素史克）
本研究通过引入深度学习形态特征提取，改进MoCoP对比预训练方法，增强分子嵌入对细胞形态扰动的编码，提升QSAR、毒性等预测性能。
2026-09-28 cs.LG q-bio.BM
Extracting Molecular Properties from Natural Language with Multimodal Contrastive Learning
Stanford University（斯坦福大学）
本研究通过多模态对比学习对齐分子图与文本描述，实现性质信息迁移，并引入化学有效的图增强策略，在MoleculeNet任务上较图预训练模型AUROC提升4.26%。
2023-07-22 cs.AI cs.CL cs.IR
Cross-Modal Contrastive Learning for the Retrieval of Immunotherapy-Associated Molecular Signatures from Histopathology
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学）；IRB Lleida（莱里达生物医学研究所）
提出CCMIL框架，通过跨模态对比学习从H&E切片直接检索免疫治疗相关分子特征，无需基因组测序，实现可解释的检索与分类预筛选。
2026-10-06 cs.AI cs.IR cs.LG
UniCorn: A Unified Contrastive Learning Approach for Multi-view Molecular Representation Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Institute of Genomics, Chinese Academy of Sciences（中国科学院北京基因组研究所）；Peking University（北京大学）
本文从对比学习视角统一理解2D图掩码、2D-3D对比学习与3D去噪，并提出融合三类分子视图的UniCorn预训练框架，在多类任务上取得SOTA性能。
2024-05-15 cs.AI cs.LG q-bio.BM
3D-Mol: A Novel Contrastive Learning Framework for Molecular Property Prediction with 3D Information
Peng Cheng Laboratory（鹏城实验室）；South China University of Technology（华南理工大学）
3D-Mol通过三层图分解和基于2000万无标签数据的对比学习预训练，更准确地利用三维空间信息进行分子性质预测，在7个基准上优于现有方法。
2024-06-28 cs.LG q-bio.BM
GraphCL-DTA: a graph contrastive learning with molecular semantics for drug-target binding affinity prediction
Ningbo Artificial Intelligence Institute, Shanghai Jiao Tong University（上海交通大学宁波人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
针对现有药物-靶点结合亲和力预测模型依赖监督数据、忽略表征均匀性的问题，提出GraphCL-DTA方法，通过带分子语义的图对比学习和新损失函数优化表征质量，在KIBA、Davis数据集上性能超越现有最优模型。
2023-07-18 cs.IR cs.LG q-bio.QM
CL-MFAP: A Contrastive Learning-Based Multimodal Foundation Model for Molecular Property Prediction and Antibiotic Screening
Western University（西安大略大学）；University of Toronto（多伦多大学）
本文提出 CL-MFAP，一种利用 SMILES、分子图和 Morgan 指纹三模态进行无监督对比预训练的分子基础模型，在抗生素性质预测与筛选任务上优于基线。
2025-02-16 cs.AI cs.LG q-bio.BM
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
How Molecules Impact Cells: Unlocking Contrastive PhenoMolecular Retrieval
Valence Labs；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila- Quebec AI Institute（米拉-魁北克人工智能研究所）
针对分子对细胞功能影响的预测难题，提出对比型表型分子检索任务与MolPhenix模型，通过预训练表型组学模型、相似性感知损失等实现活性分子零样本检索性能8.1倍提升，助力药物发现。
2024-09-10 cs.LG q-bio.QM
Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；GE HealthCare（GE医疗）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对GNN难以捕捉分子表示全部复杂性的问题，提出GODE方法，通过双级对比学习融合分子内在图结构与知识图谱多域生化数据，在11个化学性质任务上显著优于现有基准，分类和回归性能均超越当前领先模型。
2025-02-16 cs.AI cs.LG q-bio.QM
C-SENN: Contrastive Self-Explaining Neural Network
Aisin（爱信）
在这项研究中，我们使用一个自我解释的神经网络（SENN），它学习无监督的概念，以获取概念，易于人们自动理解。在概念学习中，隐藏层保留与输出相关的可言语化特征，这在适应需要解释的现实世界环境时至关重要。然而，已知SENN输出的概念的可解释性在诸如自动驾驶场景的一般设置中降低。因此，本研究将对比学习与概念学习相结合，以提高概念的可读性和任务的准确性。我们称这种模型为对比自解释神经网络（C-SENN）。
2022-06-27 cs.AI cs.CV cs.LG
When can we Approximate Wide Contrastive Models with Neural Tangent Kernels and Principal Component Analysis?
Indian Institute of Technology Madras（印度马德拉斯理工学院）；Technical University of Munich（慕尼黑工业大学）
本文分析两层对比模型训练动态，首次给出对比损失下神经正切核收敛性结果，证明宽模型在余弦相似度损失下接近核PCA，且所学表示接近随机特征矩阵主成分。
2024-03-13 cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
Spatial-Functional awareness Transformer-based graph archetype contrastive learning for Decoding Visual Neural Representations from EEG
Hybrid Intelligence Lab（混合智能实验室）；Durham University（杜伦大学）
提出SFTG框架，结合EEG图Transformer与图原型对比学习，在Things-EEG数据集上显著提升视觉解码性能，优于现有最先进方法。
2025-10-09 cs.AI cs.LG
Multi-view Graph Contrastive Representation Learning for Drug-Drug Interaction Prediction
Tsinghua University（清华大学）；Tencent（腾讯）
药物相互作用（DDI）预测是医学健康机器学习领域的一项重要任务。本研究提出了一种新的方法，多视图图对比表示学习药物相互作用预测，简称为MIRACLE，捕捉视图间的分子结构和分子之间的视图内的相互作用，同时。MIRACLE将DDI网络视为多视图图，其中交互图中的每个节点本身就是药物分子图实例。我们使用GCN和债券意识的专注的消息传递网络编码DDI关系和药物分子图在MIRACLE学习阶段，分别。此外，我们提出了一种新的无监督的对比学习组件来平衡和整合多视图信息。在多个真实数据集上的综合实验表明，MIRACLE始终优于最先进的DDI预测模型。
2021-04-10 cs.AI cs.LG
Contrastive Conditional Neural Processes
The University of New South Wales（新南威尔士大学）
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
Contrastive Neural Processes for Self-Supervised Learning
Panasonic AI Lab（松下人工智能实验室）；Panasonic Technology Division（松下技术部门）；AIoli Labs（AIoli实验室）
最近的对比方法显示了自监督学习在几个领域的显着改善。特别地，对比方法在例如计算机视觉中可以容易地构造数据增强的情况下是最有效的。然而，它们在没有建立数据转换（如时间序列数据）的领域中不太成功。在本文中，我们提出了一种新的自监督学习框架，结合对比学习与神经过程。它依赖于神经过程的最新进展来执行时间序列预测。这允许通过采用一组各种采样函数来生成数据的增强版本，从而避免手动设计的增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以在自监督设置中学习时间序列表示。因此，与以前的自监督方法不同，我们的增强管道是任务不可知的，使我们的方法能够在各种应用程序中表现良好。特别是，使用我们的方法训练的具有线性分类器的ResNet能够在工业，医疗和音频数据集上超越最先进的技术，将ECG周期性数据的准确性提高10%以上。我们进一步证明了我们的自监督表示在潜在空间中更有效，提高了多个聚类指数，并且在10%的标签上微调我们的方法可以获得与完全监督学习竞争的结果。
2021-12-08 cs.LG eess.SP
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology（北京工业大学）
近年来，高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是，图分类需要对不同层次的拓扑信息进行分层积累，以生成有区别的图嵌入，节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此，如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先，我们提出了一个数据驱动的图增强策略，可以发现额外的连接，以增强现有的边集。具体地说，我们诉诸于一个结构推理阶段的基础上扩散级联，以恢复可能的连接与高节点相似性。其次，为了提高图神经网络的对比度，我们提出了使用监督对比损失进行图分类。通过标签信息的整合，可以将one-vs-many对比学习扩展到many-vs-many，从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中，其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明，该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Learning Representations Through Contrastive Neural Model Checking
CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全研究中心）
该研究针对形式化验证领域表示学习探索不足的问题，提出对比神经模型检验CNML方法，通过自监督对比目标将逻辑规范与系统嵌入共享潜在空间，在检索任务上表现优于基线且可迁移泛化，为形式化语言表示学习提供了新目标。
2025-10-03 cs.LG cs.LO
Uncertainty-Aware Metabolic Stability Prediction with Dual-View Contrastive Learning
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学计算机科学与工程学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Union Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属同济医院）
针对分子代谢稳定性预测中分子建模不完整和缺乏不确定性量化的问题，提出TrustworthyMS框架，通过拓扑重映射、对比拓扑-键对齐和Beta-Binomial不确定性建模提升预测性能与可靠性。
2025-06-01 cs.AI cs.LG q-bio.QM
Simple Graph Contrastive Learning via Fractional-order Neural Diffusion Networks
Nanyang Technological University（南洋理工大学）；Anhui University（安徽大学）
本文提出一种基于分数阶微分方程的无增强图对比学习框架，通过调节阶参数生成多样视图，无需负样本，适用于同质与异质数据集，性能达到最优。
2025-04-24 cs.LG
Eliciting Structural and Semantic Global Knowledge in Unsupervised Graph Contrastive Learning
Arizona State University（亚利桑那州立大学）
图对比学习（GCL）是近年来研究的热点，它以自监督的方式学习可泛化的节点表示。一般来说，GCL中的对比学习过程是在由图神经网络（GNN）主干学习的表示之上执行的，GNN主干基于节点的局部邻域来转换和传播节点上下文信息。然而，共享相似特征的节点可能并不总是在地理上接近，这对无监督GCL工作构成了巨大的挑战，因为它们在捕获这种全局图知识方面存在固有的局限性。在这项工作中，我们通过提出一个简单而有效的框架来解决它们固有的局限性--具有结构和语义对比学习的简单神经网络（S^3-CL）。值得注意的是，凭借所提出的结构和语义对比学习算法，即使是简单的神经网络也可以学习保留有价值的全局结构和语义模式的表达性节点表示。我们的实验表明，与最先进的无监督GCL方法相比，S^3-CL学习的节点表示在不同的下游任务上具有更好的性能。实施和更多实验细节可在\url{https://github.com/kaize0409/S-3-CL.}上公开获取
2022-12-04 cs.LG
MEGA-CL: A Molecular Foundation Model for Generalizable ADMET Prediction through Graph External Attention and Contrastive Learning
该研究针对小分子ADMET预测难题，提出MEGA-CL框架，集成自监督对比学习等技术，能同时建模局部与全局关系并减轻过平滑。它在多数据集和任务中优于基线模型，在回归任务及外部验证中表现出色，还通过实验验证了其在药物研发中的潜力。
2026-07-28 cs.LG
S-MolSearch: 3D Semi-supervised Contrastive Learning for Bioactive Molecule Search
Renmin University of China（中国人民大学）；DP Technology（DP科技）
本文提出S-MolSearch框架，首次将分子3D信息与亲和力信息结合用于半监督对比学习，通过逆最优传输利用无标签数据，在LIT-PCBA和DUD-E基准上超越现有虚拟筛选方法。
2024-11-21 cs.LG q-bio.BM
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits
Rochester Institute of Technology（罗切斯特理工学院）
本文提出对比信号依赖可塑性，将自监督思想用于并行事件驱动脉冲层的局部突触调整，并在循环脉冲网络训练中展现优于其他生物可信方法的稳定效果，且无需反馈突触。
2024-10-25 cs.LG cs.NE
MGMCL: Multi-Granularity Manifold Contrastive Learning With Neural ODEs for Cross-Subject EEG Emotion Recognition
本文提出结合神经常微分方程的多粒度流形对比学习模型MGMCL，在三个公开脑电情感数据集上实现跨主体情感识别的最优性能，较现有方法有显著提升。
2026-08-11 cs.LG
Towards understanding neural collapse in supervised contrastive learning with the information bottleneck method
University of Chicago（芝加哥大学）；Physics Frontier Center for Living Systems, University of Chicago（芝加哥大学物理前沿生命系统中心）
本文将神经崩溃建模为信息瓶颈（IB）问题，发现当其逼近最优IB解时能带来良好泛化能力，并揭示了K-单纯形ETF与IB相变及对比学习泛化能力的直接对应关系。
2024-06-26 cs.IT cs.LG math.IT
Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning
University of International Business and Economics（对外经济贸易大学）
无监督对比学习在最新的研究中得到了越来越多的关注，并已被证明是一种从未标记数据中学习表示的强大方法。然而，很少有理论分析是已知的这一框架。本文研究深度无监督对比学习的优化问题。我们证明，通过应用端到端训练，同时更新两个深度过参数化神经网络，可以找到非凸对比损失的近似稳态解。这个结果本质上不同于监督设置中现有的过参数化分析，因为与学习特定目标函数相反，无监督对比学习试图将未标记的数据分布编码到神经网络中，其通常没有最优解。我们的分析为这些无监督预训练方法的实际成功提供了理论见解。
2021-05-30 cs.LG stat.ML
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST（韩国科学技术院）；AITRICS；Samsung（三星）
大多数传统的神经结构搜索（NAS）方法的局限性在于，它们只生成结构，而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集（如ImageNet）上训练的超网来处理这个问题，但如果目标任务与超网训练的数据集高度不相似，则它们可能是次优的。为了解决这些限制，我们引入了一个新的问题\emph{Neural Network Search}（NNS），其目标是为新的数据集和约束搜索最优的预训练网络（例如参数的数量），来自模型动物园。然后，我们提出了一个新的框架来解决这个问题，即\emph{Task-Adaptive Neural Network Search}（TANS）。给定一个由在不同数据集上预训练的网络组成的模型动物园，我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间，以最大化数据集与其上的高性能网络之间的相似性，并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集，对现有的NAS/AutoML基线。结果表明，我们的方法可以立即检索出性能优于基线模型的网络，并且训练步骤明显减少，从而达到目标性能，从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
Harnessing Contrastive Learning and Neural Transformation for Time Series Anomaly Detection
University of Waterloo（滑铁卢大学）
提出CNT框架，结合窗口对比学习与可学习变换，解决时间序列异常检测中的表示坍缩问题，并在真实工业数据集上超越多种基线。
2025-01-25 cs.AI cs.LG
FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
Duke University（杜克大学）
预训练的文本编码器，如BERT，已越来越多地应用于各种自然语言处理（NLP）任务，并在最近表现出显着的性能增益。然而，最近的研究表明，这些预训练的NLP模型中存在社会偏见。虽然之前的工作已经在单词级去偏方面取得了进展，但预训练编码器的改进的重复级公平性仍然缺乏探索。在本文中，我们提出了第一种用于预训练句子编码器的神经去偏方法，该方法通过公平过滤器（FairFil）网络将预训练编码器输出转换为去偏表示。为了学习FairFil，我们引入了一个对比学习框架，该框架不仅最大限度地减少了过滤嵌入和偏见词之间的相关性，而且保留了原始句子的丰富语义信息。在真实世界的数据集上，我们的FairFil有效地降低了预训练文本编码器的偏差程度，同时在下游任务上持续表现出理想的性能。此外，我们的事后方法不需要对文本编码器进行任何重新训练，进一步扩大了FairFil的应用空间。
2021-03-11 cs.CL cs.LG
A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks
Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）；Nanyang Technological University（南洋理工大学）
提出SpikeGCL框架，结合脉冲神经网络实现图对比学习的1位二值化表示，在近32倍存储压缩下保持与全精度方法相当的性能，平衡了效率与表现。
2024-02-19 cs.AI cs.LG cs.NE
GeomCLIP: Contrastive Geometry-Text Pre-training for Molecules
The Pennsylvania State University（宾夕法尼亚州立大学）；Tsinghua University（清华大学）
针对现有分子几何表示方法忽略生物医学文本信息的问题，提出GeomCLIP框架，通过多模态对齐与单模态去噪预训练任务，有效结合3D几何结构与文本信息，提升了分子性质预测与零样本检索等任务的性能。
2024-11-16 cs.LG q-bio.BM
PICL: Physics Informed Contrastive Learning for Partial Differential Equations
Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于广义对比损失的物理信息对比预训练框架PICL，通过控制方程系数和物理信息驱动的系统演化提升神经算子在多方程上的泛化能力，显著提高了Fourier Neural Operator在多类偏微分方程任务中的精度。
2024-09-24 cs.LG cs.NA math.NA
Adaptive Multi-view Graph Contrastive Learning via Fractional-order Neural Diffusion Networks
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院）；University College London, London, U.K.（伦敦大学学院）
本文提出一种无增强的多视图图对比学习框架，利用分数阶连续动力学生成连续视图谱，通过调整分数阶导数阶数α实现自适应扩散尺度，提升多尺度结构模式的表征能力。
2026-05-10 cs.LG
BppAttack: Stealthy and Efficient Trojan Attacks against Deep Neural Networks via Image Quantization and Contrastive Adversarial Learning
Rutgers University（罗格斯大学）
深度神经网络易受木马攻击。现有的攻击使用可见的模式（例如，补丁或图像变换）作为触发器，其易受人类检查的影响。在本文中，我们提出了隐蔽且高效的特洛伊木马攻击BppAttack。基于现有的人类视觉系统的生物学文献，我们建议使用图像量化和抖动作为木马触发器，使不易察觉的变化。它是一种不需要训练辅助模型的隐蔽而有效的攻击。由于对图像进行的微小更改，很难在训练期间注入此类触发器。为了缓解这个问题，我们提出了一种基于对比学习的方法，该方法利用对抗攻击来生成负样本对，从而使学习到的触发器精确而准确。该方法在MNIST、CIFAR-10、GTSRB和CelebA四个基准数据集上实现了高攻击成功率。它还有效地绕过了现有的特洛伊木马防御和人工检查。我们的代码可以在https://github.com/RU-System-Software-and-Security/BppAttack上找到。
2022-05-26 cs.CR cs.CV cs.LG
Graph Contrastive Pre-training for Effective Theorem Reasoning
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）
交互式定理证明是一个具有挑战性和繁琐的过程，它需要来自人类专家的非平凡的专业知识和详细的低级指令（或策略）。战术预测是自动化这一过程的一种自然方式。现有的方法通过从人类专家编写的证明中学习基于深度神经网络（DNN）的模型，在战术预测上显示出有希望的结果。在本文中，我们提出了NeuroTactic，一个新的扩展，特别注重改善定理证明的表示学习。NeuroTactic利用图神经网络（GNN）来表示定理和前提，并将图对比学习应用于预训练。我们证明了定理的表示学习对于预测策略是必不可少的。与其他方法相比，NeuroTactic在CoqGym数据集上实现了最先进的性能。
2021-08-24 cs.LG
FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
FruitNeRF++结合对比学习与神经辐射场，利用视觉基础模型生成实例掩码，实现形状无关的多水果计数，在合成和真实数据集上优于现有方法。
2025-05-26 cs.CV cs.LG
Detection and Recovery Against Deep Neural Network Fault Injection Attacks Based on Contrastive Learning
Northeastern University（东北大学）
针对深度神经网络部署时易受故障注入攻击的问题，提出基于对比学习的CFDR框架，可实现实时检测与少量无标注数据下的快速恢复，在CIFAR-10上验证了有效性。
2024-01-30 cs.AI cs.CR cs.CV
Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning
Laboratory of Intelligent Systems（智能系统实验室）
本文提出对抗对比学习框架，通过生成实例级对抗样本并优化对比损失，同时增强目标检测器对对抗攻击和常见损坏的鲁棒性，以提升安全关键应用中的可靠性。
2023-11-14 cs.AI cs.CV cs.LG
Graph Contrastive Learning for Materials
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
最近的工作表明，图神经网络有潜力有效地预测材料性能，使材料的高通量筛选。然而，训练这些模型通常需要大量的标记数据，这些数据是通过从头计算或实验评估等昂贵的方法获得的。通过利用一系列特定于材料的转换，我们引入了Crystallium，这是一个使用晶体图神经网络进行表征学习的框架。通过添加一个新的损失函数，我们的框架能够学习与工程指纹方法竞争的表示。我们还证明，通过模型微调，对比预训练可以提高图神经网络预测材料性能的性能，并显着优于使用工程指纹的传统ML模型。最后，我们观察到，Crystallization产生的材料表示，形成集群的化合物类。
2022-11-24 cond-mat.mtrl-sci cs.LG
Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning
UIBE Beijing（北京对外经济贸易大学）；Carnegie Mellon University（卡内基梅隆大学）
通过对比学习训练的神经网络如何从未标记的数据中提取特征？为什么对比学习通常需要比监督学习更强的数据增强来确保良好的表示？这些问题涉及深度学习的优化和统计方面，但很难通过分析目标函数是最高追求的监督学习来回答。事实上，在自监督学习中，不可避免地涉及到神经网络的优化/泛化，以及它们如何对数据中的潜在结构进行编码，我们称之为特征学习过程。在这项工作中，我们正式研究对比学习如何学习神经网络的特征表示，通过分析其特征学习过程。我们考虑的情况下，我们的数据是由两种类型的功能：语义对齐稀疏的功能，我们要学习，和其他密集的功能，我们要避免。理论上，我们证明了使用$\mathbf{ReLU}$网络的对比学习可证明学习所需的稀疏特征，如果采用适当的增强。我们提出了一个基本的原则，称为$\textbf{feature decoupling}$来解释增强的影响，在那里我们从理论上描述了增强如何减少正样本之间的密集特征的相关性，同时保持稀疏特征的相关性不变，从而迫使神经网络从稀疏特征的自我监督中学习。在实践中，我们验证了特征解耦原则与对比学习的基本机制相匹配。
2021-07-05 cs.CV cs.LG stat.ML
MS-ConTab: Multi-Scale Contrastive Learning of Mutation Signatures for Pan Cancer Representation and Stratification
Ohio State University（俄亥俄州立大学）；James Comprehensive Cancer Center（詹姆斯综合癌症中心）
提出 MS-ConTab 无监督多尺度对比学习框架，利用基因与染色体双视图突变特征表征 43 种癌症，实现具有生物学一致性的队列层面泛癌聚类。
2025-08-26 cs.LG q-bio.QM
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中，我们从音频的短单元段生成一个低维表示，并将此指纹与快速最大内积搜索相结合。为此，我们提出了一个对比学习框架，来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真（例如背景噪声和房间/麦克风脉冲响应）来模拟对原始音频信号的降级效果。在段级搜索任务中，传统的音频指纹识别系统过去常常失败，我们的系统使用10倍的小存储空间，显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
