Dynamically Scaled Temperature in Self-Supervised Contrastive Learning
Indian Statistical Institute(印度统计学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
针对自监督对比学习中 InfoNCE 温度难以兼顾吸引、排斥及均匀性与容忍度的问题,提出余弦相似度依赖的动态温度缩放函数并给出数学分析,实验表明其性能优于现有对比损失 SSL 方法。
2024-05-10 cs.CV cs.LG
Long-Tail Learning with Rebalanced Contrastive Loss
The University of Sydney(悉尼大学)
针对传统对比学习在长尾场景下偏向头部类别的问题,提出重平衡对比学习RCL,从特征空间平衡、类内紧凑性、正则化三方面优化,在BCL框架和独立使用时均取得SOTA性能。
2024-07-09 cs.CV cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Temperature-Free Loss Function for Contrastive Learning
Pohang University of Science and Technology(浦项科技大学)
针对对比学习中InfoNCE loss需繁琐调节温度超参数的问题,提出用反双曲正切函数替代温度缩放的无温度损失函数,改善了梯度特性并在五个基准上取得优异性能。
2025-01-29 cs.LG
Contrastive Learning-Based Dependency Modeling for Anomaly Detection in Cloud Services
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Northeastern University(东北大学);Trine University(特里恩大学)
本文提出融合对比学习与依赖图建模的云服务异常检测方法,通过图卷积聚合与时间一致性约束增强表示,实验证明在关键指标上优于现有方法且鲁棒性强。
2025-10-15 cs.LG
Improving Multi-Label Contrastive Learning by Leveraging Label Distribution
College of Computer Science and Software Engineering, Hohai University(河海大学计算机与软件学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文提出一种利用标签分布改进多标签对比学习的方法,通过标签交集选择正负样本,并引入基于RBF和对比损失的两种方法恢复标签分布,在九个数据集的六项指标上优于现有方法。
2025-01-31 cs.AI cs.CV cs.LG
Contrastive Learning with Adaptive Neighborhoods for Brain Age Prediction on 3D Stiffness Maps
University of Cambridge(剑桥大学);Cardiff University(卡迪夫大学);University of Delaware(特拉华大学)
本文提出一种动态自适应局部邻域对比损失方法,首次将自监督学习应用于脑刚度图进行脑龄预测,持续优于现有最先进方法,为脑老化研究开辟新方向。
2024-11-10 cs.LG
Balancing Graph Embedding Smoothness in Self-Supervised Learning via Information-Theoretic Decomposition
Sungkyunkwan University(成均馆大学)
针对图自监督学习(SSL)中现有方法在图嵌入平滑性频谱两端极化的问题,提出基于信息论分解的BSG框架,平衡三个目标项并引入新损失函数,在节点分类和链路预测任务上取得了最先进性能。
2025-04-16 cs.AI cs.LG
Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification
Ocean University of China(中国海洋大学)
本文提出HCAL分类器,通过原型对比学习、自适应任务加权和原型扰动机制解决层次多标签分类中的结构一致性与损失平衡问题,并引入HVR指标评估层次一致性,在三个数据集上取得优于基线模型的精度和一致性。
2025-08-19 cs.CV cs.LG
Align and Adapt: Multimodal Multiview Human Activity Recognition under Arbitrary View Combinations
University College Dublin(都柏林大学学院)
AliAd通过结合多视角对比学习和专家混合模块,实现任意视图组合下的灵活多模态人类活动识别,提升模型适应性和计算效率。
2026-02-18 cs.LG
Cross-subject Muscle Fatigue Detection via Adversarial and Supervised Contrastive Learning with Inception-Attention Network
School of Information Engineering, Wuhan University of Technology(武汉理工大学信息工程学院)
本文提出结合对抗学习和监督对比学习的Inception-注意力网络,解决sEMG信号在动态收缩和不同主体间特征不稳定的挑战,实现高准确率的跨主体肌肉疲劳检测。
2026-04-03 cs.LG
A Unified Contrastive-Generative Framework for Time Series Classification
RMIT(皇家墨尔本理工大学)
提出CoGenT框架,通过联合对比-生成优化统一多变量时间序列自监督学习,克服对比学习对高类内相似性的敏感性及生成方法对大数据集的依赖,在六个数据集上F1显著提升。
2025-08-13 cs.AI cs.LG
LetheViT: Selective Machine Unlearning for Vision Transformers via Attention-Guided Contrastive Learning
针对视觉Transformer的随机数据遗忘难题,提出基于注意力引导对比学习的LetheViT方法,通过掩蔽图像生成正负逻辑值,在保留类别轮廓的同时遗忘特定样本,实现隐私合规与模型效能的平衡。
2025-08-03 cs.CV cs.LG
GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning
针对现有图对比学习方法难兼顾全局局部结构、难平衡节点与图级表示的问题,提出以多头注意力GNN为核心的GRE2-MDCL模型,通过多维对比损失优化,在三个基准数据集上达SOTA性能。
2025-03-20 cs.AI cs.LG
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong(香港中文大学);Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
虽然增强(例如,图边缘的扰动、图像裁剪)提高了对比学习(CL)的效率,特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此,我们提出了一种新的光谱特征论证的对比学习的图形(和图像)。为此,对于每个数据视图,我们估计每个特征映射的低秩近似,并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的,不完全功率迭代是一种非标准功率迭代机制,其具有两个有价值的副产品(在仅仅一次或两次迭代下):(i)它部分地平衡特征图的频谱,以及(ii)它将噪声注入到特征图的重新平衡的奇异值中(频谱增强)。对于两个视图,我们将这些重新平衡的特征图对齐,因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值,而光谱增强不影响光谱角度对齐(奇异向量不受干扰)。我们推导出的解析形式:(i)不完整的功率迭代,以捕捉其频谱平衡效果,和(ii)的奇异值的方差增加隐含的噪声。我们还表明,谱增强提高了泛化界。在图形/图像数据集上的实验表明,我们的光谱特征增强优于基线,与其他增强策略互补,并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
Contrastive Learning for Interpretable Anomaly Detection at Collider Experiments
Stanford University(斯坦福大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
本研究针对对撞机异常检测的可解释性与能量依赖问题,提出ORCA两阶段框架,通过对比学习结合自编码器实现更优的信号灵敏度与可解释性,为对撞机异常搜索提供新途径。
2026-08-27 cs.LG hep-ex hep-ph
Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach
The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学)
本文针对通用文本嵌入在任务区分上的不足,提出PGCL方法,通过多流结合的正则化模块生成任务适配表示,在三个代理任务数据集上均优于原始冻结嵌入,明确了方法适用边界并修订了理论分析。
2026-08-25 cs.LG
Contrastive Learning for Privacy Enhancements in Industrial Internet of Things
本文探讨了对比学习在工业互联网中用于隐私保护的应用,分析了其在工业数据处理中的独特优势和未来研究方向。
2026-01-31 cs.AI cs.LG
ASPECT: Node-Level Adaptive Spectral Fusion for Graph Contrastive Learning
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
ASPECT通过节点级自适应融合低频和高频视图,提升图对比学习的表示质量,在混合图中减少悔恨,同时通过ASPECT-S增强稳定性。
2026-05-06 cs.AI cs.LG
Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出CARE方法,通过在对比学习中引入等变目标强制输入增强对应于球面嵌入空间的旋转,构建表示几何结构,在无需严格不变性的情况下提升下游任务性能并保留对数据重要变化的敏感性。
2023-06-24 cs.CV cs.LG
Link Prediction with Non-Contrastive Learning
University of California, Riverside(加州大学河滨分校);University of Notre Dame(圣母大学);Snap Inc.(Snap公司)
图神经网络(GNNs)空间中最近的一个焦点领域是图自监督学习(SSL),其目的是在没有标记数据的情况下导出有用的节点表示。值得注意的是,许多最先进的图SSL方法是对比方法,其使用正样本和负样本的组合来学习节点表示。由于负采样的挑战(缓慢和模型敏感性),最近的文献介绍了非对比方法,而不是只使用正样本。虽然这些方法在节点级任务中表现出很好的性能,但它们对链接预测任务的适用性尚未得到探索,这些任务涉及预测节点对之间的链接存在(并且对推荐系统上下文具有广泛的适用性)。在这项工作中,我们广泛地评估现有的非对比方法的性能,链接预测在转导和感应设置。虽然大多数现有的非对比方法整体表现不佳,但我们发现,令人惊讶的是,BGRL通常在转导设置中表现良好。然而,它在更现实的归纳设置中表现不佳,在这种设置中,模型必须泛化到指向/来自看不见的节点的链接。我们发现非对比模型倾向于过拟合训练图,并使用此分析提出T-BGRL,这是一种新的非对比框架,它包含廉价的腐败以提高模型的泛化能力。这个简单的修改极大地提高了我们5/6数据集的归纳性能,在50次点击中提高了120%--所有这些都与其他非对比基线相当,比性能最好的对比基线快14倍。我们的工作为链接预测的非对比学习提供了有趣的发现,并为未来的研究人员进一步扩展这一领域铺平了道路。
2023-03-28 cs.LG cs.SI
Balancing Continual Learning and Fine-tuning for Human Activity Recognition
Nokia Bell Labs(诺基亚贝尔实验室);University of Cambridge(剑桥大学)
本研究针对基于可穿戴设备的HAR任务,采用并改造了持续自监督模型CaSSLe和半监督持续学习模型Kaizen,通过结合对比学习与自训练利用无标签和有标签数据,并发现反映新旧类比例的加权因子能实现最佳持续学习权衡。
2024-01-04 cs.LG eess.SP
Contrastive Learning Via Equivariant Representation
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Science and Technology of China(中国科学技术大学);University of Liverpool(利物浦大学)
本文提出CLeVER等变对比学习框架,通过兼容任意复杂增强策略提取并融入等变信息,有效提升了主流CL模型的训练效率、鲁棒性及下游任务性能,并增强了旋转不变性与敏感性。
2024-10-10 cs.AI cs.LG
Cervical Optical Coherence Tomography Image Classification Based on Contrastive Self-Supervised Texture Learning
Wuhan University(武汉大学)
背景:宫颈癌严重影响女性生殖系统的健康。光学相干断层扫描(OCT)作为一种无创、高分辨率的宫颈疾病检测成像技术应运而生。然而,OCT图像标注是知识密集型和耗时的,这阻碍了基于深度学习的分类模型的训练过程。目的:本研究旨在开发一种基于自监督学习的计算机辅助诊断(CADx)方法,用于对体内颈椎OCT图像进行分类。研究方法:除了通过卷积神经网络(CNN)提取的高级语义特征之外,所提出的CADx方法利用通过对比纹理学习学习的未标记的宫颈OCT图像的纹理特征。我们对来自中国733例患者的多中心临床研究的OCT图像数据集进行了10倍交叉验证。结果如下:在检测高危疾病(包括高度鳞状上皮内病变和宫颈癌)的二元分类任务中,我们的方法对OCT图像块的曲线下面积值为0.9798 ± 0.0157,灵敏度为91.17 ± 4.99%,特异性为93.96 ± 4.72%;此外,在测试集上,它的表现超过了四分之二的医学专家。此外,我们的方法实现了91.53%的灵敏度和97.37%的特异性的外部验证数据集包含287个3D OCT体积从118名中国患者在一个新的医院使用十字形阈值投票策略。结论:提出的基于对比学习的CADx方法优于端到端的CNN模型,并提供了更好的基于纹理特征的可解释性,这具有很大的潜力,可用于临床协议的“看和治疗”。"
2022-03-18 cs.CV cs.LG eess.IV
Angular Gaussian Supervised Contrastive Learning for Long-Tailed Electrocardiogram Arrhythmia Diagnosis
School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);Department of Neurology and Neurological Rehabilitation, Shanghai Yangzhi Rehabilitation Hospital, School of Medicine, Tongji University(同济大学医学院附属上海养志康复医院神经科与神经康复科)
研究针对长尾心电图心律失常诊断问题,提出角高斯监督对比学习(AG-SCL),集成角高斯对比分支、自适应对数调整和尾部感知增强三个组件,在两个数据集上取得最佳宏观性能,增强对罕见心律失常敏感性并保持特异性。
2026-07-17 cs.AI cs.LG
SSC-UNet: UNet with Self-Supervised Contrastive Learning for Phonocardiography Noise Reduction
Walton Institute, South East Technological University(沃森研究所,东南技术大学);Children’s Health Ireland Hospital(儿童健康爱尔兰医院);Tiruvalla Medical Mission Hospital(提鲁瓦拉医疗使命医院)
SSC-UNet通过自监督对比学习提升心音噪声消除效果,实现无需干净数据的训练,并在嘈杂环境中提高诊断灵敏度
2026-01-07 cs.LG eess.SP
Pseudo Contrastive Learning for Graph-based Semi-supervised Learning
Xidian University(西安电子科技大学);Northwest University(西北大学);Xi’an University of Posts and Telecommunications(西安邮电大学);The University of Sydney(悉尼大学)
针对半监督图神经网络中伪标签质量不佳的问题,提出伪对比学习框架,将生成伪标签转化为识别可靠负样本对,结合拓扑加权对比损失,在五个真实图数据集上提升了多种GNN的性能。
2023-12-19 cs.AI cs.LG
Contrastive Learning for Cold Start Recommendation with Adaptive Feature Fusion
Tulane University(杜兰大学);University of Rochester(罗切斯特大学);Syracuse University(雪城大学);Shanghai Jiao Tong University(上海交通大学);Southwest Jiaotong University(西南交通大学)
本文提出一种融合自适应特征选择、多模态特征融合与对比学习的冷启动推荐模型,在MovieLens-1M上显著优于主流方法,并验证了各模块的有效性。
2025-02-05 cs.IR cs.LG
Contrastive Representation Regularization for Vision-Language-Action Models
KAIST(韩国科学技术院)
提出机器人状态感知对比损失(RS-CL),通过对比学习对齐VLM表示与机器人本体感受状态,提升VLA模型在机器人操作任务中的性能。
2026-05-31 cs.LG cs.RO
Neuro-Symbolic Contrastive Learning for Cross-domain Inference
University of Durham(杜伦大学);University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(信息学国立研究院)
针对预训练语言模型在自然语言推理中过度依赖浅层启发式、归纳逻辑编程受限于离散输入的问题,提出神经符号对比学习方法,通过可微分优化提升逻辑准确性,显著增强模型跨域推理的泛化与推理能力。
2025-02-13 cs.CL cs.LG
Decoupled Contrastive Learning
Academia Sinica(中央研究院);UC Berkeley(加州大学伯克利分校);National Taiwan University(国立台湾大学);Meta AI Research(Meta人工智能研究院);New York University(纽约大学)
针对对比学习依赖高计算量设置的问题,提出解耦对比学习(DCL)损失,通过消除InfoNCE中的负正耦合效应,显著提升学习效率,并在ImageNet-1K上取得68.2%的top-1准确率,与NNCLR结合达到72.3%的新SOTA。
2022-07-30 cs.CV cs.LG
Point Cloud Understanding via Attention-Driven Contrastive Learning
The Chinese University of Hong Kong(香港中文大学);Zhejiang Lab(之江实验室)
本文提出注意力驱动的对比学习框架PointACL,通过动态掩码关注欠注意区域并结合对比学习损失,在多个点云理解任务和数据集上取得最先进性能并增强鲁棒性。
2024-11-22 cs.AI cs.CV cs.LG
Autonomous End-to-End SOH Prediction Services for Battery Systems via Temporal-Contrastive Representation Learning
School of Software Engineering, Sun Yat-sen University(中山大学软件学院);Tianneng Battery Group Co., Ltd(天能电池集团有限公司);School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院);Institute of Engineering Science, Universidad de O’Higgins(奥希金斯大学工程科学研究所)
提出TC-SOH模块化服务架构,通过时间对比机制和跨窗口预测任务从原始数据中提取退化相关表示,实现自主端到端SOH预测,在四个数据集上MAPE和RMSE分别降低1.91倍和2.13倍。
2026-06-16 cs.AI cs.LG
FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning
School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
针对非IID数据分布下联邦回归的多模态特征提取难题,提出FDRMFL框架,通过统一的四项局部目标应对挑战,实验表明该框架能有效降低平均MSE,在六种联邦算法中表现最佳。
2026-07-09 cs.AI cs.LG
Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness
Université Paris-Saclay(巴黎萨克雷大学);University of Bristol(布里斯托尔大学)
针对传统神经网络剪枝易牺牲对抗鲁棒性的问题,提出量化层级对抗扰动敏感度的MRS指标及自适应剪枝算法MRPF,在多数据集和架构上实现了压缩率、准确率与鲁棒性的更优平衡。
2025-03-19 cs.LG
Understanding Contrastive Learning via Distributionally Robust Optimization
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Institute of Dataspace, Hefei Comprehensive National Science Center(合肥综合性国家科学中心数据空间研究院)
本研究通过分布鲁棒优化揭示对比学习对采样偏差的容忍机制,提出调整InfoNCE损失(ADNCE)以缓解过度保守和异常值敏感问题,并在多领域实验中验证有效性。
2023-10-17 cs.AI cs.LG
CLCLSA: Cross-omics Linked embedding with Contrastive Learning and Self Attention for multi-omics integration with incomplete multi-omics data
Michigan Technological University(密歇根理工大学);Tulane University(杜兰大学)
本文提出CLCLSA深度学习方法,利用跨组学自编码器、对比学习和双重自注意力机制,解决不完整多组学数据的整合与分类问题,并在四个公开数据集上取得优于现有方法的性能。
2023-04-12 cs.AI cs.LG q-bio.GN
Pareto Adversarial Robustness: Balancing Spatial Robustness and Sensitivity-based Robustness
Peking University(北京大学);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
该研究针对通用对抗鲁棒性问题,整合空间鲁棒性方法并引入帕累托准则提出帕累托对抗训练策略,实现自然准确率与多类鲁棒性的最优平衡,是首个用多目标优化研究通用对抗鲁棒性的工作。
2024-06-23 cs.LG
Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression
Department of Computer Science, Vanderbilt University, TN, USA(计算机科学系,范德比尔特大学)
零和SVD通过全局奇异成分选择和零和规则实现低秩LLM压缩,无需优化即可自动生成异质秩,提升压缩效率与性能。
2026-09-30 cs.LG
Contrastive Explainable Clustering with Differential Privacy
University of Virginia(弗吉尼亚大学);Biocomplexity Institute and Initiative(生物复杂性研究所);Bar-Ilan University(巴伊兰大学)
本文提出将对比解释与差分隐私结合用于k-median和k-means聚类,证明差分隐私解释能达到与非隐私解释基本相同的效用界限,在保护隐私的同时提供个性化且不显著损害聚类效用的解释。
2025-06-01 cs.CR cs.LG
Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep Learning via Adversarial Training
Graduate School of Information, Yonsei University(延世大学信息研究生院)
本文提出了一种新型对抗训练方法AFA,通过基于对比学习的优化算法缓解特征空间错位,在保持高鲁棒性的同时显著降低对干净样本准确率的影响,并与TRADES及扩散模型结合实现了最先进的性能。
2024-02-19 cs.CR cs.CV cs.LG
CASE: Contrastive Activation for Class-Sensitive Explanations
University of Virginia(弗吉尼亚大学)
本文提出类敏感性诊断测试,发现多数显著性方法对竞争类标签产生几乎相同的解释,并引入对比解释方法CASE,以分离预测类独有的判别特征,生成更忠实且类别特异的解释。
2026-09-21 cs.CV cs.LG