Robust Contrastive Learning against Noisy Views
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
对比学习依赖于肯定对包含相关视图的假设,例如,图像的块或视频的共同出现的多模态信号,其共享关于实例的某些基础信息。但如果这个假设被违背了呢?文献表明,对比学习在存在噪声视图的情况下产生次优表示,例如,没有明显共享信息的假阳性对。在这项工作中,我们提出了一个新的对比损失函数,是强大的噪声视图。我们提供了严格的理论依据,显示连接到强大的对称损失的嘈杂的二进制分类,并通过建立一个新的对比界互信息最大化的基础上的Wasserstein距离测量。所提出的损失是完全模态不可知的,并且是InfoNCE损失的简单替代品,这使得它很容易应用于现有的对比框架。我们表明,我们的方法提供了一致的改进,在国家的最先进的图像,视频和图形对比学习基准,表现出各种现实世界的噪声模式。
2022-01-12 cs.CV cs.LG
Contrastive Multiple Correspondence Analysis (cMCA): Using Contrastive Learning to Identify Latent Subgroups in Political Parties
Linköping University(林雪平大学);University of Taipei(台北大学)
本文提出对比多重对应分析(cMCA),将对比学习与MCA结合以分析含二元、有序和名义变量的社会科学数据,并通过美英选民调查证明其能揭示传统方法忽视或弱化的潜在子群体分歧。
2023-06-01 cs.LG cs.SI stat.ML
Graph Contrastive Learning for Anomaly Detection
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Mininglamp Technology(明略科技);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Oslo(奥斯陆大学)
基于图的异常检测已被广泛用于检测真实世界应用中的恶意活动。解决这个问题的现有尝试迄今为止集中在结构特征工程或学习的二进制分类制度。在这项工作中,我们建议利用图对比编码,并提出监督GraphCAD模型,用于根据异常节点与正常节点到全局上下文的距离(例如,所有节点的平均值)。为了处理具有稀缺标签的场景,我们通过设计用于生成合成节点标签的图破坏策略,进一步使GraphCAD成为一个自监督框架。为了达到对比的目的,我们设计了一个图神经网络编码器,可以推断和进一步删除可疑的链接在消息传递过程中,以及学习输入图的全局上下文。我们在四个公共数据集上进行了广泛的实验,证明1)GraphCAD显著且持续优于各种高级基线,2)其无需微调的自监督版本可以实现与其完全监督版本相当的性能。
2022-08-29 cs.LG
EXCON: Extreme Instance-based Contrastive Representation Learning of Severely Imbalanced Multivariate Time Series for Solar Flare Prediction
Utah State University(犹他州立大学)
本文提出对比表示学习框架EXCON,通过提取核心特征、选择对比表示、利用定制极端重建损失训练嵌入模块以解决太阳耀斑预测中的严重类别不平衡问题,提升了多元时间序列的分类性能。
2024-11-18 cs.AI cs.LG
Generalized Supervised Contrastive Learning
Seoul National University Graduate School(首尔大学研究生院);University of Seoul(首尔市立大学);XAIMED Co., Ltd.(XAIMED有限公司)
本文提出广义监督对比损失,通过衡量标签相似性与潜在相似性间的交叉熵以充分利用标签分布,构建 GenSCL 框架并结合图像正则化与任意教师分类器,在 ImageNet、CIFAR10 和 CIFAR100 上取得新最优准确率。
2023-05-21 cs.CV cs.LG
Supervised Contrastive Learning with Tree-Structured Parzen Estimator Bayesian Optimization for Imbalanced Tabular Data
Zhejiang University(浙江大学);Zhejiang University - University of Illinois at Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院)
类不平衡对大多数监督学习算法的预测性能有不利影响,因为不平衡的分布可能导致偏好多数类的偏差。为了解决这个问题,我们提出了一个监督对比学习(SCL)方法与树结构的Parzen估计(TPE)技术的不平衡表数据集。对比学习(CL)可以提取隐藏在数据中的信息,即使没有标签,并已显示出一些潜在的不平衡学习任务。SCL进一步考虑了基于CL的标签信息,这也解决了表格数据的不足数据增强技术。因此,在这项工作中,我们建议使用SCL来学习不平衡表格数据的判别表示。此外,SCL的超参数温度对性能具有决定性影响,并且难以调节。我们引入TPE,一个著名的贝叶斯优化技术,自动选择最佳温度。在二值和多类不平衡表格数据集上进行了实验。结果表明,TPE优于其他三种超参数优化(HPO)方法,如网格搜索,随机搜索和遗传算法。更重要的是,所提出的SCL-TPE方法实现了大大改善的性能相比,国家的最先进的方法。
2022-10-26 cs.LG
PIT-GCL: Protein Interaction using Topological Graph Contrastive Learning
University of Southern California(南加州大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心)
PIT-GCL提出双塔结构感知框架,结合序列、Cα点云和持续同调特征,通过交叉注意力软对接与对比学习,在多个蛋白质结合预测基准上取得领先,并支持大规模筛选。
2026-10-27 cs.AI cs.LG
Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
本文提出广义对比学习(GCL)框架,通过将连续排序分数融入损失函数来优化多模态检索与排序,并构建了千万级数据集MarqoGS-10M,实验证明其在多项指标上显著优于基线且支持单阶段系统。
2025-04-27 cs.CV cs.IR cs.LG
Contrastive Multi-View Representation Learning on Graphs
Autodesk AI Lab(欧特克人工智能实验室);Vector Institute(向量研究所)
我们介绍了一个自我监督的方法,学习节点和图的层次表示,通过对比图的结构视图。我们发现,与视觉表示学习,增加视图的数量超过两个或对比多尺度编码并没有提高性能,最好的性能是通过对比编码从一阶邻居和图形扩散。我们在线性评估协议下的8个节点和图分类基准中的8个上实现了自监督学习的最新结果。例如,在Cora(节点)和Reddit-Binary(图)分类基准测试中,我们实现了86.8%和84.5%的准确率,比以前的最先进水平分别提高了5.5%和2.4%。与监督基线相比,我们的方法在8个基准测试中有4个优于它们。源代码发布于:www.example.com
2020-06-10 cs.LG stat.ML
Patient-Aware Contrastive Learning Preserves Per-Patient Structure in RR-Interval Representations
Department of Computer Science, University of Moratuwa, Sri Lanka(斯里兰卡莫拉图瓦大学计算机科学系)
提出患者感知对比学习目标,通过同患者同类样本形成正对,保留个体基线变异,在阵发性房颤检测中实现跨患者鲁棒泛化,AUROC达0.989±0.003。
2026-06-23 cs.LG
Temporal Knowledge Graph Reasoning with Historical Contrastive Learning
Shanghai Jiao Tong University(上海交通大学)
时态知识图谱作为一种存储和建模动态关系的有效方法,在事件预测中显示出良好的应用前景。然而,大多数时态知识图谱推理方法高度依赖于事件的重复性或周期性,这给推断与缺乏历史交互的实体相关的未来事件带来了挑战。事实上,当前时刻往往是一小部分历史信息和那些未被观察到的潜在因素共同作用的结果。为此,我们提出了一个新的事件预测模型称为对比事件网络(CENET),基于一个新的历史对比学习的训练框架。CENET学习历史和非历史依赖关系,以区分最可能与给定查询最匹配的实体。同时,它通过启动对比学习来训练查询的表示,以调查当前时刻是否更多地依赖于历史事件或非历史事件。这些表示进一步帮助训练二元分类器,该二元分类器的输出是布尔掩码以指示搜索空间中的相关实体。在推理过程中,CENET采用基于掩码的策略来生成最终结果。我们在五个基准图上评估我们提出的模型。结果表明,CENET显着优于所有现有的方法在大多数指标,实现至少$8.3\%$相对改善命中@1比以前的国家的最先进的基线基于事件的数据集。
2022-12-02 cs.AI cs.LG
Contrastive Hierarchical Clustering
Advanced Micro Devices, Inc.(超威半导体公司);Cracow University of Economics(克拉科夫经济大学);Jagiellonian University(雅盖隆大学);Adam Mickiewicz University(亚当·密茨凯维奇大学)
本文提出基于深度神经网络的对比层次聚类模型CoHiClust,通过自监督学习将基础网络蒸馏为二叉树,无需标签数据,生成合理聚类结构并提升图像聚类准确性。
2023-06-21 cs.AI cs.LG
Reformulation-Contrastive Learning for Mixed Integer Programs
LIX (École Polytechnique, IP Paris, CNRS)(LIX(巴黎综合理工学院、巴黎综合理工学院联盟、法国国家科学研究中心));AMIAD (Agence Ministérielle pour l’IA de Défense)(AMIAD(国防人工智能部级机构))
针对混合整数线性规划,提出重表述对比学习框架ReMILP,利用等价重表述作为自监督信号,学习变量和约束的通用表示,在多个预测任务中展现有效性与可迁移性。
2026-10-02 cs.LG
$\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs
Meta FAIR;New York Univeristy(纽约大学);Brown University(布朗大学);Genentech(基因泰克);CIFAR(加拿大高级研究院)
针对传统对比损失仅采用二元相似图、忽略样本间跨相似性的不足,提出$\mathbb{X}$-样本对比损失,显式编码样本关联关系,在多数据集视觉任务中性能优于CLIP等基线模型。
2024-09-11 cs.CV cs.LG
Hierarchical Contrastive Learning for Multimodal Data
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
本文提出层次对比学习框架,通过统一模型学习全局共享、部分共享和模态特定的表示,解决多模态数据中部分共享因素的建模问题,提升预测性能。
2026-04-07 cs.LG math.ST stat.ML
A comprehensive solution to retrieval-based chatbot construction
Monash Biomedical Imaging, Monash University, Australia(墨尔本大学生物医学成像中心,墨尔本大学,澳大利亚);Department of Computer Science and Information Technology, La Trobe University, Australia(拉特鲁布大学计算机科学与信息技术系,拉特鲁布大学,澳大利亚)
本文提出了一套从无标签聊天记录到部署的端到端基于检索的聊天机器人构建解决方案,核心是采用自监督对比学习训练的层次化RNN回复选择模型,实验证明其优于弱监督分类模型。
2021-06-11 cs.AI cs.CL cs.LG
A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学)
提出SpikeGCL框架,结合脉冲神经网络实现图对比学习的1位二值化表示,在近32倍存储压缩下保持与全精度方法相当的性能,平衡了效率与表现。
2024-02-19 cs.AI cs.LG cs.NE
Explaining Time Series via Contrastive and Locally Sparse Perturbations
Nanjing University(南京大学);Ailibaba Group(阿里巴巴集团);Pennsylvania State University(宾夕法尼亚州立大学);Tsinghua University(清华大学);Florida International University(佛罗里达国际大学);New Jersey Institute of Technology(新泽西理工学院);A*STAR(新加坡科技研究局);The University of Hong Kong(香港大学)
针对多变量时间序列解释的分布偏移等挑战,提出结合对比学习与样本特定稀疏门控的局部稀疏模型ContraLSP,生成更优解释掩码,在合成与真实数据集上表现超越现有最优模型。
2024-01-29 cs.AI cs.LG
A Contrastive Learning Based Convolutional Neural Network for ERP Brain-Computer Interfaces
School of Electronic Engineering, Beijing University of Post and Telecommunications(北京邮电大学电子工程学院)
本文提出一种结合对比学习与Inception模块的卷积神经网络,通过提取ERP信号中被试不变的时空特征,在P300数据集上取得最佳AUC并优化拼写器解码性能。
2024-07-02 cs.LG cs.RO eess.SP
Enhancing GANs with Contrastive Learning-Based Multistage Progressive Finetuning SNN and RL-Based External Optimization
Bahria University(巴里亚大学)
针对GAN在高分辨率组织病理学图像合成中训练不稳定、模式崩溃等问题,提出融合对比学习多阶段渐进微调SNN与强化学习外部优化器的框架,多项指标优于SOTA模型。
2024-10-26 cs.AI cs.CV cs.LG
Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation
New York University(纽约大学);Yale University(耶鲁大学)
对比学习在医学图像分割的背景下已经显示出对注释稀缺问题的巨大希望。现有的方法通常假设一个平衡的类分布标记和未标记的医学图像。然而,现实中的医学图像数据通常是不平衡的(即,多类别标签不平衡),这自然会产生模糊的轮廓,并且通常会错误地标记稀有对象。此外,目前还不清楚是否所有阴性样本都是阴性的。在这项工作中,我们提出了行动,解剖意识的ConTrastive dIstillatiON框架,半监督医学图像分割。具体来说,我们首先开发了一个迭代对比蒸馏算法,通过软标签的负面,而不是二元监督之间的积极和消极的对。我们还从随机选择的阴性集合中捕获与阳性集合相比语义上更相似的特征,以加强采样数据的多样性。其次,我们提出了一个更重要的问题:我们真的可以处理不平衡的样本,以产生更好的性能?因此,ACTION的关键创新是以最小的额外内存占用来学习整个数据集的全局语义关系和相邻像素之间的局部解剖特征。在训练过程中,我们通过主动采样一组稀疏的硬负像素来引入解剖对比度,这可以生成更平滑的分割边界和更准确的预测。在两个基准数据集和不同的未标记设置上的广泛实验表明,ACTION显著优于当前最先进的半监督方法。
2023-03-10 cs.AI cs.CV cs.LG
Provable Training for Graph Contrastive Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学)
针对图对比学习训练不平衡问题,提出节点紧凑性度量及可证明训练方法POT,作为插件正则化提升现有GCL性能。
2024-05-24 cs.LG
Policy Contrastive Imitation Learning
University of Tsinghua(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Hong Kong University of Science and Technology(香港科技大学)
本文提出策略对比模仿学习(PCIL),通过锚定不同策略学习对比表示空间并生成平滑余弦相似度奖励,以解决 AIL 判别器表示质量低的问题,在 DeepMind Control suite 上取得最先进性能。
2023-07-06 cs.LG cs.RO
S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration
Carnegie Mellon University(卡内基梅隆大学);Hong Kong University of Science and Technology(香港科技大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
以往的研究主要针对实值网络上的自监督学习,并取得了许多有希望的结果。然而,在更具挑战性的二进制神经网络(BNN)上,这一任务尚未在社区中得到充分探索。在本文中,我们专注于这个更困难的场景:学习网络,其中权重和激活都是二进制的,同时没有任何人类注释的标签。我们观察到,常用的对比目标是不满意的BNN竞争的准确性,因为骨干网络包含相对有限的容量和表示能力。因此,我们没有直接应用现有的自监督方法,这会导致性能严重下降,而是提出了一种新的指导学习范式,从实值到最终预测分布上的二进制网络,以最大限度地减少损失并获得理想的精度。我们提出的方法可以提高简单的对比学习基线上的BNN的绝对增益为5.5~15%。我们进一步揭示了BNN在没有标签的情况下训练时很难恢复与实值模型相似的预测分布。因此,如何校准它们是解决性能下降的关键。在大规模ImageNet和下游数据集上进行了广泛的实验。我们的方法在简单的对比学习基线上取得了实质性的改进,甚至可以与许多主流的监督BNN方法相媲美。代码可在https://github.com/szq0214/S2-BNN上获得。
2021-06-21 cs.AI cs.CV cs.LG
Positive Unlabeled Contrastive Learning
UT Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊公司);Meta;McGill University(麦吉尔大学);Google(谷歌公司)
本文提出正无标记对比学习方法,通过扩展 infoNCE 损失和 PU 专用聚类伪标签,在无需类别先验的情况下显著提升了多个 PU 基准上的分类性能。
2024-03-28 cs.AI cs.LG
Contrastive Attraction and Contrastive Repulsion for Representation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Microsoft Research(微软研究院);Xidian University(西安电子科技大学)
针对传统对比学习正负样本二元划分的局限,本文提出 CACR 双重对比策略,通过组内比较及吸引远正样本、排斥近负样本提升表征性能,并在基准与不平衡数据集上验证了效果和鲁棒性。
2023-08-11 cs.CV cs.LG stat.ML
Dataset Ownership Verification in Contrastive Pre-trained Models
Zhejiang University(浙江大学);Hangzhou City University(杭州城市大学);NingboTech University(宁波理工大学);Bangsheng Technology Co., Ltd.(邦盛科技有限公司)
针对现有方法无法验证无监督对比预训练模型数据集所有权的问题,提出基于嵌入空间实例关系差异的验证方法,在多模型上验证其p值显著低于0.05,性能优于现有方法,助力数据所有者维权。
2025-02-11 cs.AI cs.CV cs.LG
CWCL: Cross-Modal Transfer with Continuously Weighted Contrastive Loss
Samsung Research America(三星美国研究院)
针对跨模态零样本迁移中二元对比目标难以刻画连续相似性的问题,论文提出 CWCL 连续加权对比损失,并在图像-文本、语音-文本任务上显著提升零样本分类性能。
2023-09-26 cs.AI cs.CV cs.LG
Contrastive Neural Embeddings Reveal Individual Traits Beyond Conversational Role
Stanford University(斯坦福大学);University of Alabama(阿拉巴马大学);University of Southampton(南安普顿大学)
本研究将CEBRA应用于对话双人组EEG,发现嵌入流形主要编码个体身份而非自闭症特质或说话/听角色,并建议采用重训练式置换检验作为分组对比嵌入的默认验证方法。
2026-10-05 cs.LG q-bio.NC
Quantum-Informed Contrastive Learning with Dynamic Mixup Augmentation for Class-Imbalanced Expert Systems
organization= Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California , city= Los Angeles , state= CA , postcode= 90089 , country= USA;organization= Department of Industrial Engineering;Management, Khulna University of Engineering \& Technology (KUET) , city= Khulna , postcode= 9203 , country= Bangladesh;organization= Department of Computer Science, American International University-Bangladesh (AIUB) , city= Dhaka , postcode= 1229 , country= Bangladesh
针对专家系统中类别不平衡表格数据,提出QCL-MixNet框架,融合量子启发层、kNN动态混合和混合损失,在18个数据集上超越20个基线,提升宏F1与召回率。
2025-06-19 cs.LG
HySurvPred: Multimodal Hyperbolic Embedding with Angle-Aware Hierarchical Contrastive Learning and Uncertainty Constraints for Survival Prediction
Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学);City University of Hong Kong(香港城市大学);Stanford University(斯坦福大学)
针对癌症生存预测中欧氏建模难以表征层级结构、风险区间离散化及删失样本利用不足的问题,本文提出 HySurvPred,通过双曲映射、角度感知排序对比损失和删失条件不确定性约束提升多模态预测性能。
2025-03-18 cs.CV cs.LG
Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination
Monash University(莫纳什大学);Griffith University(格里菲斯大学);La Trobe University(乐卓博大学)
图对比学习(GCL)通过自监督学习方案消除了图表示学习(GRL)对标签信息的严重依赖。其核心思想是通过最大化相似实例的互信息来学习,这需要计算两个节点实例之间的相似度。然而,GCL在时间和内存消耗方面效率低下。此外,GCL通常需要大量的训练epoch才能在大规模数据集上得到良好的训练。受技术缺陷观察的启发(即,针对GCL的两个代表性著作DGI和MVGRL中常用的Sigmoid函数的不恰当使用),重新审视了GCL,引入了一种新的自监督图表示学习的学习范式,即群判别(GD),并提出了一种新的基于GD的图群判别(GGD)方法.代替相似度计算,GGD直接区分两组节点样本与一个非常简单的二进制交叉熵损失。此外,与GCL方法相比,GGD在大规模数据集上需要更少的训练时间来获得有竞争力的性能。这两个优点赋予GGD非常高效的性能。大量的实验表明,GGD在八个数据集上的性能优于最先进的自监督方法。特别是,GGD可以在ogbn-arxiv上在0.18秒(包括数据预处理在内为6.44秒)内完成训练,这比GCL基线快了几个数量级(10,000+),同时消耗的内存要少得多。经过9小时的ogbn-papers 100 M十亿边缘训练,GGD在准确性和效率方面都优于GCL同行。
2022-10-17 cs.AI cs.LG
SASA: Semantic-Aware Contrastive Learning Framework with Separated Attention for Triple Classification
organization= Aerospace Science \& Industry Defense Technology Research;Test Center , addressline= Yongding Road , city= Beijing , postcode= 100039 , country= China
SASA通过分离注意力机制和语义感知对比学习提升三元组分类的准确性,实现了在两个基准数据集上的性能提升。
2026-01-19 cs.CL cs.LG
Brain-Aware Replacements for Supervised Contrastive Learning in Detection of Alzheimer's Disease
University of Washington(华盛顿大学)
我们提出了一个新的框架阿尔茨海默氏病(AD)检测使用脑MRI。该框架从一种名为大脑感知替换(BAR)的数据增强方法开始,该方法利用标准的大脑分割来替换随机挑选的MRI中锚定MRI中的医学相关3D大脑区域,以创建合成样本。地面实况“硬”标签也根据替换比率线性混合,以便创建“软”标签。BAR产生了各种各样的逼真的合成MRI,与其他基于混合的方法(如CutMix)相比,具有更高的局部变异性。在BAR之上,我们建议使用具有软标签能力的监督对比损失,旨在学习表示的相对相似性,以反映使用我们的软标签的合成MRI的混合程度。这样,我们不会完全耗尽硬标签的熵容量,因为我们只使用它们通过BAR创建软标签和合成MRI。我们表明,使用我们的框架预训练的模型可以使用用于创建合成样本的硬标签通过交叉熵损失进行进一步微调。我们验证了我们的框架在二进制AD检测任务中对从头开始的监督训练和最先进的自监督训练加微调方法的性能。然后,我们评估了BAR的个人性能相比,另一个混合的方法CutMix集成在我们的框架。我们表明,我们的框架产生优越的结果,在精度和召回的AD检测任务。
2022-07-20 cs.CV cs.LG
Beyond Contrastive Learning: Synthetic Data Enables List-wise Training with Multiple Levels of Relevance
Brown University(布朗大学);Microsoft(微软);University of Tübingen(图宾根大学)
针对对比学习忽略文档多级相关性的问题,提出利用大语言模型生成多级相关性合成文档,并采用 Wasserstein 距离训练检索器,显著提升了 IR 性能与鲁棒性。
2025-11-04 cs.CL cs.IR cs.LG
Cervical Optical Coherence Tomography Image Classification Based on Contrastive Self-Supervised Texture Learning
Wuhan University(武汉大学)
背景:宫颈癌严重影响女性生殖系统的健康。光学相干断层扫描(OCT)作为一种无创、高分辨率的宫颈疾病检测成像技术应运而生。然而,OCT图像标注是知识密集型和耗时的,这阻碍了基于深度学习的分类模型的训练过程。目的:本研究旨在开发一种基于自监督学习的计算机辅助诊断(CADx)方法,用于对体内颈椎OCT图像进行分类。研究方法:除了通过卷积神经网络(CNN)提取的高级语义特征之外,所提出的CADx方法利用通过对比纹理学习学习的未标记的宫颈OCT图像的纹理特征。我们对来自中国733例患者的多中心临床研究的OCT图像数据集进行了10倍交叉验证。结果如下:在检测高危疾病(包括高度鳞状上皮内病变和宫颈癌)的二元分类任务中,我们的方法对OCT图像块的曲线下面积值为0.9798 ± 0.0157,灵敏度为91.17 ± 4.99%,特异性为93.96 ± 4.72%;此外,在测试集上,它的表现超过了四分之二的医学专家。此外,我们的方法实现了91.53%的灵敏度和97.37%的特异性的外部验证数据集包含287个3D OCT体积从118名中国患者在一个新的医院使用十字形阈值投票策略。结论:提出的基于对比学习的CADx方法优于端到端的CNN模型,并提供了更好的基于纹理特征的可解释性,这具有很大的潜力,可用于临床协议的“看和治疗”。"
2022-03-18 cs.CV cs.LG eess.IV
Cross-Subject EEG Emotion Recognition Based on Temporal Asynchronous Alignment Contrastive Learning
School of Biomedical Engineering, Shenzhen Campus of Sun Yat-sen University(中山大学生物医学工程学院深圳校区);School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院)
本文提出了一种基于时间异步对齐对比学习(TA2CL)的框架,用于解决跨受体EEG情绪识别中由于不同受体响应时间不一致导致的识别问题,通过改进相似性计算策略,提升模型对跨受体差异和时间延迟的鲁棒性。
2026-05-21 cs.AI cs.HC cs.LG
Contrastive Self-Supervised Network Intrusion Detection using Augmented Negative Pairs
University of Strathclyde(斯特拉思克莱德大学);Ain Shams University(爱因夏姆大学)
针对网络入侵检测,提出对比学习范式CLAN,将增强样本视为负视图、良性样本为正视图,在Lycos2017上超越现有自监督与异常检测方法,并提升多类分类性能。
2025-09-08 cs.AI cs.CR cs.LG
Beyond Binary: Reframing GUI Critique as Continuous Semantic Alignment
Xiaomi Inc.(小米公司);Shanghai Jiao Tong University(上海交通大学)
本文提出BBCritic和BBBench,通过两阶段对比学习在共享语义空间中对齐指令与动作,解决GUI批评中二元分类的局限性,实验证明其在跨平台任务中的优越性。
2026-05-15 cs.AI cs.HC cs.LG
Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations
针对异构架构和复杂编译下的大规模二进制函数检索问题,提出 IRBinDiff,融合 LLVM-IR、预训练语言模型、图神经网络与动量对比学习,在两类检测场景中优于现有领先方法。
2024-10-24 cs.SE
Heterogeneous Contrastive Learning for Foundation Models and Beyond
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文系统综述了面向基础模型的异构对比学习,涵盖视图异构性与任务异构性两类场景,梳理现有方法并指出开放挑战与未来方向。
2024-03-30 cs.LG
DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning
ByteDance(字节跳动);University of Chinese Academy of Sciences(中国科学院大学)
针对 AI 生成文本检测泛化不足的问题,提出 DeTeCtive 多层级对比学习框架,结合多任务辅助与稠密检索,显著提升多编码器的 OOD 零样本检测性能。
2024-10-28 cs.AI cs.CL cs.LG
Contrastive Laplacian Eigenmaps
Data61/CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Australian National University(澳大利亚国立大学)
图对比学习在某种相似性概念下吸引/分散相似/不相似节点对的节点表示。它可以与节点的低维嵌入相结合,以保持图的内在和结构属性。本文利用对比学习对著名的Laplacian特征映射进行了推广,称之为对比Laplacian特征映射(COLES)。从GAN启发的对比公式开始,我们证明了许多对比图嵌入模型的Jensen-Shannon发散在不相交的正负分布下失败,这可能在对比设置中的采样过程中自然出现。相比之下,我们分析表明,COLES基本上最大限度地减少了代理Wasserstein距离,这是已知的不相交分布下,以及应付。此外,我们表明,COLES的损失属于所谓的块对比损失的家庭,以前被证明是优于对比方法通常使用的成对损失相比。我们在流行的基准/主干上显示,与DeepWalk,GCN,Graph 2Gauss,DGI和GRACE基线相比,COLES提供了有利的准确性/可扩展性。
2022-01-14 cs.LG
Domain Knowledge is Power: Leveraging Physiological Priors for Self Supervised Representation Learning in Electrocardiography
School of Computing, Queen’s University(女王大学计算机学院);Vector Institute(向量研究所);Department of Electrica(电气系)
PhysioCLR通过将心电图生理先验融入对比学习,利用未标记数据增强心律失常分类的泛化性与临床相关性,在多个数据集上显著提升AUROC。
2025-09-09 cs.AI cs.LG
Calibrating and Improving Graph Contrastive Learning
The Chinese University of Hong Kong(香港中文大学)
针对无监督图对比学习中部分对比对与下游任务真相相悖、降低其损失会损害下游性能的问题,提出即插即用正则化方法Contrast-Reg,经理论和实验验证可有效提升不同配置下GNN模型的泛化性与下游任务性能。
2023-08-22 cs.LG
CoughSense: Five-Class Respiratory Disease Classification via Whisper Encoder Fine-Tuning and Dual-Encoder Cross-Attention Fusion with Balanced Contrastive Learning
Independent Researcher, Bothell, Washington, USA(独立研究者,华盛顿州贝斯尔市)
提出CoughSense系统,利用Whisper编码器微调和双编码器交叉注意力融合,结合主动帧注意力池化和平衡对比学习,在智能手机录音上实现五类呼吸系统疾病(健康、COVID-19、哮喘/呼吸疾病、支气管炎、肺炎)的高精度分类。
2026-06-02 cs.LG eess.AS
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);UCL(伦敦大学学院);Preferred Networks, Inc.(Preferred Networks公司)
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务,如度量学习,核学习和对比学习。建立在表示的分类器,预计在下游分类表现良好,然而,很少有理论已经在文献中给出了到目前为止,从而相似性和分类之间的关系仍然难以捉摸。因此,我们解决了一个基本的问题:相似性信息可以证明导致模型在下游分类中表现良好吗?在本文中,我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明,这两个不同的问题是明确连接的超额风险约束。因此,我们的研究结果阐明,相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE
Salesforce AI Research(赛富时人工智能研究院)
Wasserstein自动编码器(WAE)表明,匹配两个分布相当于最小化一个简单的自动编码器(AE)的潜在空间匹配预先指定的先验分布的约束下的损失。这种潜在的空间分布匹配是WAE的核心组成部分,也是一项具有挑战性的任务。在本文中,我们建议使用对比学习框架,已被证明是有效的自我监督表示学习,作为一种手段来解决这个问题。我们这样做是利用这样一个事实,即对比学习目标优化潜在的空间分布是均匀的单位超球体,可以很容易地从采样。我们表明,使用对比学习框架来优化WAE损失实现更快的收敛速度和更稳定的优化相比,现有的流行算法WAE。这也反映在CelebA和CIFAR-10数据集上的FID评分以及CelebA-HQ数据集上的真实生成图像质量中。
2023-02-15 cs.CV cs.LG
When can we Approximate Wide Contrastive Models with Neural Tangent Kernels and Principal Component Analysis?
Indian Institute of Technology Madras(印度马德拉斯理工学院);Technical University of Munich(慕尼黑工业大学)
本文分析两层对比模型训练动态,首次给出对比损失下神经正切核收敛性结果,证明宽模型在余弦相似度损失下接近核PCA,且所学表示接近随机特征矩阵主成分。
2024-03-13 cs.LG stat.ML
Towards a Unified Framework of Contrastive Learning for Disentangled Representations
fortiss GmbH(fortiss 有限公司)
该研究将对比学习解耦的理论保证拓展至更广泛的对比方法家族,放宽数据分布假设,证明四种对比损失下真实隐变量的可辨识性,经基准数据集验证并探究了方法的实际局限。
2023-11-08 cs.LG stat.ML
Contrasting the landscape of contrastive and non-contrastive learning
Carnegie Mellon University(卡内基梅隆大学)
无监督特征学习的许多最新进展都是基于设计在语义数据增强下不变的特征。一种常见的方法是对比学习,它使用正样本和负样本。然而,最近的一些工作已经显示出有希望的结果,非对比学习,它不需要负样本。然而,非对比度损失具有明显的“塌陷”最小值,其中编码器输出与输入无关的恒定特征嵌入。一个民间猜想是,只要避免这些崩溃的解决方案,产生的特征表示应该是好的。在我们的论文中,我们对这个故事表示怀疑:我们通过理论结果和对照实验表明,即使在简单的数据模型上,非对比损失也具有非崩溃坏极小值的优势。此外,我们表明,训练过程并没有避免这些最小值。
2022-03-29 cs.CV cs.LG stat.ML
Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning
Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Lynbrook High School(林布罗克高中);J.P. Morgan AI Research(摩根大通人工智能研究)
针对大型语言模型无法直接泛化到汇编代码的问题,提出分层注意力机制和对比学习目标,开发生成式模型Nova,在反编译和相似性检测任务上显著优于现有技术。
2025-11-11 cs.AI cs.SE
Callee: Recovering Call Graphs for Binaries with Transfer and Contrastive Learning
Tsinghua University(清华大学);BNRist(北京国家信息科学与技术研究中心);Zhongguancun Laboratory(中关村实验室);Fudan University(复旦大学)
恢复二进制程序的调用图对于过程间分析任务和基于它们的应用程序至关重要。transfer核心挑战之一是识别间接调用的目标(即,间接被呼叫者)。现有的解决方案都具有较高的误报和漏报率,使得调用图不准确。在本文中,我们提出了一个新的解决方案Callee结合迁移学习和对比学习。关键的见解是,深度神经网络(DNN)可以自动识别有关间接调用的模式,这比设计近似算法或启发式规则来处理各种情况更有效。受问答应用的启发,我们利用对比学习来回答callsite-callee问题。然而,最严峻的挑战之一是DNN需要大型数据集来实现高性能,而收集大规模的间接调用地面实况可能是计算昂贵的。由于直接调用和间接调用共享类似的调用惯例,因此可以将从直接调用中学到的知识转移到间接调用中。因此,我们利用迁移学习来预训练具有易于收集的直接调用的DNN,并进一步微调间接调用DNN。我们对几组目标进行了评估,结果表明,我们的解决方案可以将呼叫站点与被呼叫者匹配,F1测量值为94.6%,远远优于最先进的解决方案。此外,我们将Callee应用于二进制代码相似性检测和混合模糊,并发现它可以大大提高其性能。
2022-12-23 cs.AI cs.CR cs.SE
ComPass: Contrastive Learning for Automated Patch Correctness Assessment in Program Repair
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
ComPass利用对比学习和数据增强解决程序修复中补丁过拟合问题,通过代码转换规则生成语义保持的代码片段,提升补丁正确性评估的准确性。
2026-04-06 cs.SE