Geometry-Aware Contrastive Learning for Few-Shot Automatic Modulation Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
提出动态一致性对比学习框架,通过虚拟对抗增强和语义一致性损失解决自监督学习中的各向同性增强、频谱不稳定和语义漂移问题,在少样本设置下提升自动调制识别准确率。
2026-05-26 cs.AI cs.LG
Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology(大连理工大学);Macquarie University(麦考瑞大学)
知识图谱嵌入在知识图谱自动补全和知识驱动任务中显示出巨大的潜力。然而,最近的KGE模型遭受高训练成本和大存储空间,从而限制了它们在现实世界中的应用的实用性。为了应对这一挑战,基于对比学习领域的最新研究成果,我们提出了一种新的KGE训练框架,称为Hardness-aware Low-dimensional Embedding(HaLE)。在查询抽样的基础上,设计了一种新的损失函数,取代了传统的负抽样方法,该函数能够平衡两个重要的训练目标:对齐度和一致性。此外,我们分析了最近的低维双曲模型的硬度感知能力,并提出了一个轻量级的硬度感知激活机制。实验结果表明,在有限的训练时间内,HaLE能有效提高KGE模型在5种常用数据集上的性能和训练速度.经过几分钟的训练后,HaLE训练的模型在低维和高维条件下与最先进的模型相比都具有竞争力。
2022-05-24 cs.AI cs.LG
Structure-Aware Group Discrimination with Adaptive-View Graph Encoder: A Fast Graph Contrastive Learning Framework
Zhejiang University(浙江大学);Rutgers University(罗格斯大学)
尽管最近取得了重大进展,但大规模图表示学习对于训练和部署来说仍然昂贵,主要原因有两个:(i)图神经网络(GNN)中多跳消息传递和非线性的重复计算;(ii)复杂的成对对比学习损失的计算成本。针对这一双重挑战,本文做出了两个主要贡献:首先,我们提出了一个自适应视图图神经编码器(AVGE),具有有限数量的消息传递来加速前向传递计算,然后,我们提出了一个结构感知的组判别(SAGD)损失在我们的框架中,避免了最常见的GCL中效率低下的成对损失计算,提高了简单组判别的性能。通过所提出的框架,我们能够在不损失下游任务性能的情况下,大幅降低各种大规模数据集的训练和推理成本(推理时间快250倍)。
2023-03-09 cs.AI cs.LG
Weighted Contrastive Learning for Anomaly-Aware Time-Series Forecasting
Center for Applied Intelligent Systems Research, Halmstad University(哈尔姆斯塔德大学应用智能系统研究中心);Mikael Linden Consulting AB(Mikael Linden咨询公司)
本文提出WECA方法,通过带权对比学习对齐正常和异常增强的表示,提升异常条件下时间序列预测的可靠性,实验显示在异常数据上SMAPE提升6.1个百分点。
2026-06-29 cs.AI cs.LG
Improving Node Representation by Boosting Target-Aware Contrastive Loss
Purdue University(普渡大学);Microsoft Research(微软研究院)
针对现有图节点表示学习方法泛化受限或信号任务相关性不足的问题,提出目标感知对比学习框架,通过XGSampler采样正例优化XTCL损失,提升节点分类与链路预测性能并增强可解释性。
2024-11-01 cs.AI cs.LG
Efficient Hierarchical Contrastive Self-supervising Learning for Time Series Classification via Importance-aware Resolution Selection
University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校)
针对长序列下分层对比自监督学习计算开销高的问题,提出重要性感知分辨率选择训练框架,在保持时间序列分类性能的同时显著缩短训练时间。
2025-02-14 cs.AI cs.LG
Knowledge-aware contrastive heterogeneous molecular graph learning
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computing, Macquarie University(麦考瑞大学计算学院);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院);Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院)
针对传统同构图分子表示学习的局限,提出知识感知对比异质分子图学习框架KCHML,通过多视角异质图与双消息传递结合对比学习融入外部知识,在分子性质预测等任务上性能优于现有最优模型。
2025-03-21 cs.AI cs.LG
Denoising-Aware Contrastive Learning for Noisy Time Series
The Hong Kong Polytechnic University(香港理工大学);Rice University(莱斯大学);Hainan University(海南大学);University of Minnesota(明尼苏达大学)
针对时间序列自监督学习中噪声损害性能的问题,本文提出去噪感知对比学习DECL,通过对比学习目标缓解表示噪声并为每个样本自动选择去噪方法,实验验证了其有效性。
2024-06-07 cs.AI cs.LG
Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
图实例对比学习已被证明是图神经网络(GNN)预训练的有效任务。然而,一个关键的问题可能会严重阻碍现有的作品的代表性的权力:目前的方法创建的积极的实例往往错过关键信息的图,甚至产生非法的实例(如非化学意识的分子生成图)。为了解决这个问题,我们建议直接从训练集中的现有图中选择正图实例,最终保持与目标图的合法性和相似性。我们的选择是基于某些特定领域的成对相似性测量,以及从一个分层图编码图之间的相似性关系的采样。此外,我们开发了一个自适应的节点级预训练方法,动态屏蔽节点,使它们均匀分布在图中。我们进行了广泛的实验$13$图分类和节点分类基准数据集从各个领域。结果表明,通过我们的策略预训练的GNN模型可以优于那些从头开始训练的模型以及通过现有方法获得的变体。
2022-06-23 cs.AI cs.LG
Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation
SKLSDE, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院软件开发环境国家重点实验室);Beijing Advanced Institution on Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑机智能高精尖创新中心);School of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电气工程与计算机科学学院)
对比学习在无监督环境下通过自我监督的表示学习中取得了显著的成功。然而,有效地使对比学习适应监督学习任务在实践中仍然是一个挑战。在这项工作中,我们引入了一个双重对比学习(DualCL)框架,同时学习输入样本的特征和分类器的参数在同一个空间。DualCL将分类器的参数看作是与不同标签相关联的增强样本,然后利用输入样本和增强样本之间的对比学习。对五个基准文本分类数据集及其低资源版本的实证研究表明,分类精度有所提高,并证实了DualCL学习判别表示的能力。
2022-01-21 cs.AI cs.CL cs.LG
TACo: Token-aware Cascade Contrastive Learning for Video-Text Alignment
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
对比学习已被广泛用于训练基于变换的视觉语言模型,用于视频-文本对齐和多模态表示学习。本文提出了一种新的算法称为令牌感知级联对比学习(TACo),提高了对比学习使用两种新的技术。第一种是标记感知的对比损失,它是通过考虑单词的句法类别来计算的。这是由以下观察所激发的:对于视频-文本对,文本中的内容词(诸如名词和动词)比功能词更可能与视频中的视觉内容对齐。其次,级联采样方法被施加到生成一个小的硬负的例子,多模态融合层的有效损失估计。为了验证TACo的有效性,在我们的实验中,我们对一组下游任务的预训练模型进行了微调,包括文本视频检索(YouCook 2,MSR-VTT和ActivityNet),视频动作步骤定位(CrossTask),视频动作分割(COIN)。结果表明,我们的模型在不同的实验设置中比以前的方法获得了一致的改进,在YouCook 2,MSR-VTT和ActivityNet三个公共文本视频检索基准上设置了新的最先进水平。
2021-08-23 cs.AI cs.CV cs.LG
CALAD: Channel-Aware contrastive Learning for multivariate time series Anomaly Detection
Department of Industrial Engineering, Inha University, Incheon, Republic of Korea(韩国Inha大学工业工程系)
提出CALAD框架,通过估计信道相关性指导对比样本构建,结合对比学习和辅助重构头,实现信道感知的多元时间序列异常检测,在分布漂移场景下优于现有方法。
2026-05-22 cs.AI cs.LG
Domain-Aware Hierarchical Contrastive Learning for Semi-Supervised Generalization Fault Diagnosis
College of Cyber Security, Jinan University(济南大学网络安全学院);Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
本文提出面向域的层次对比学习框架,解决半监督域泛化故障诊断中伪标签偏差和样本利用不均的问题,通过域感知学习和层次对比学习提升监督质量与未标记样本利用。
2026-04-22 cs.AI cs.LG
Reproducibility Report: Contrastive Learning of Socially-aware Motion Representations
以下论文是ICCV 2021上发表的“Social NCE:对比学习of Socially-aware Motion Representations”{ \cite{liu2020snce} }的再现性报告,作为ML再现性挑战2021的一部分。原始代码由作者\footnote{\href{https://github.com/vita-epfl/social-nce}{https://github.com/vita-epfl/social-nce}}提供。我们试图验证作者声称的结果,并在PyTorch Lightning中重新实现了他们的代码。
2022-08-18 cs.CV cs.LG
Multi-intent Aware Contrastive Learning for Sequential Recommendation
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学)
针对现有对比学习序列推荐模型依赖单意图表示、过度简化真实场景的问题,提出多意图感知的对比学习思路,指出融入多意图信息的序列推荐模型能更准确反映真实推荐场景。
2024-09-13 cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
InfoGCL: Information-Aware Graph Contrastive Learning
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Labs America(美国NEC实验室)
近年来,各种图对比学习模型被提出来改善图数据集上的学习任务的性能。这些模式虽然有效且普遍,但通常都经过精心定制。特别是,虽然所有最近的研究创建两个对比的观点,他们在视图增强,架构和目标有很大的不同。如何为特定的图学习任务和数据集从头开始构建图对比学习模型仍然是一个悬而未决的问题。在这项工作中,我们的目标是填补这一空白,通过研究如何图信息的转换和传输过程中的对比学习,并提出了一个信息感知图对比学习框架称为InfoGCL。该框架的关键是遵循信息瓶颈原则,在保持任务相关信息完整的同时,减少对比部分之间的互信息,从而最大限度地减少图表示学习过程中的信息损失。我们第一次表明,所有最近的图对比学习方法可以统一我们的框架。我们在节点和图分类基准数据集上实证验证了我们的理论分析,并证明我们的算法显着优于最先进的算法。
2021-10-28 cs.LG
Manifold-Aware Diffusion-Augmented Contrastive Learning for Noise-Robust Biosignal Representation
Computer Science \& Engineering Department Egypt-Japan University of Science \& Technology (E-JUST) New Borg El Arab, Alexandria, Egypt Email
本文提出面向流形的扩散增强对比学习框架,用于提升生物信号在噪声下的鲁棒性表示,实验显示其在心房颤动检测任务中达到0.9741的AUROC值。
2025-11-27 cs.AI cs.LG eess.SP
Hyperbolic Contrastive Learning with Model-augmentation for Knowledge-aware Recommendation
City University of Hong Kong(香港城市大学)
针对知识感知推荐中层次结构建模不足及图结构增强导致偏好偏移的问题,提出结合Lorentzian知识聚合与模型级增强的双曲对比学习方法,最高性能提升11.03%。
2025-05-13 cs.AI cs.IR
Topic-Aware Contrastive Learning for Abstractive Dialogue Summarization
Beijing University of Posts and Telecommunications(北京邮电大学)
与结构良好的文本(如新闻报道和百科全书文章)不同,对话内容通常来自两个或多个对话者,彼此交换信息。在这种情况下,对话的主题可以随着进展而变化,并且特定主题的关键信息通常分散在不同说话者的多个话语中,这对抽象总结对话提出了挑战。为了捕获会话的各种主题信息并概述所捕获主题的突出事实,这项工作提出了两个主题感知的对比学习目标,即连贯性检测和子摘要生成目标,期望隐式地建模主题变化并处理对话摘要任务的信息分散挑战。所提出的对比目标的框架作为辅助任务的主要对话摘要任务,通过一个替代参数更新策略。在基准数据集上的大量实验表明,所提出的简单方法显着优于强基线,并实现了新的最先进的性能。代码和训练模型可通过\href{https://github.com/Junpliu/ConDigSum}{https://github.com/Junpliu/ConDigSum}公开获得。
2021-09-10 cs.AI cs.CL cs.LG
Hodge-Aware Contrastive Learning
TU Delft(代尔夫特理工大学);ETH Zürich(苏黎世联邦理工学院);Helmholtz AI(亥姆霍兹人工智能研究所)
提出Hodge感知对比学习,通过Hodge分解和单纯神经网络编码不变性并重加权负样本,生成反映频谱特性的嵌入,在边流分类任务中优于监督学习。
2023-09-14 cs.AI cs.LG eess.SP
RaDAR: Relation-aware Diffusion-Asymmetric Graph Contrastive Learning for Recommendation
University of Electronic Science and Technology of China(电子科技大学);National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
RaDAR通过结合图生成模型和关系感知去噪模型,解决图对比学习中边扰动和数据稀疏的问题,提升推荐系统在噪声和稀疏条件下的性能。
2026-03-17 cs.LG
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University(北京大学);University of Twente(特文特大学)
首次提出自监督对比学习的增强感知误差界,揭示数据增强引发的权衡对监督风险的影响,并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
Semantic-Aware Contrastive Learning for Multi-object Medical Image Segmentation
Vanderbilt University(范德堡大学)
医学图像分割,或计算体素语义掩码,是一个基本的,但具有挑战性的任务,计算体素级语义掩码。为了提高编码器-解码器神经网络在大型临床队列中执行此任务的能力,对比学习提供了稳定模型初始化和增强无标签编码器的机会。然而,多个目标对象(具有不同的语义含义)可能存在于一个单一的图像中,这提出了一个问题,以适应传统的对比学习方法从流行的“图像级分类”到“像素级分割”。在本文中,我们提出了一个简单的语义感知的对比学习方法,利用注意掩模,以推进多对象语义分割。简单地说,我们将不同的语义对象嵌入到不同的集群中,而不是传统的图像级嵌入。我们使用内部数据和MICCAI Challenge 2015 BTCV数据集在多器官医学图像分割任务上评估了我们提出的方法。与当前最先进的训练策略相比,我们提出的管道分别为两个医学图像分割队列的Dice评分带来了5.53%和6.09%的大幅提高(p值<0.01)。通过PASCAL VOC 2012数据集在自然图像上进一步评估了所提出的方法的性能,并在mIoU上实现了2.75%的实质性改善(p值<0.01)。
2021-11-08 cs.AI cs.CV cs.LG
Object-aware Contrastive Learning for Debiased Scene Representation
KAIST(韩国科学技术院);Google Cloud AI(谷歌云人工智能)
对比自监督学习通过对不同的数据增强实施不变性,在从未标记图像中学习视觉表示方面表现出令人印象深刻的结果。然而,学习的表示往往在上下文上偏向于不同对象或对象与背景的虚假场景相关性,这可能会损害其在下游任务上的泛化。为了解决这个问题,我们开发了一种新的对象感知的对比学习框架,首先(a)以自我监督的方式定位对象,然后(b)通过考虑推断的对象位置的适当的数据增强来消除场景相关性。对于(a),我们提出了对比类激活图(ContraCAM),它找到了最具区别性的区域(例如,对象)与其他图像进行比较。我们进一步提高了ContraCAM检测多个对象和整个形状通过迭代细化过程。对于(b),我们引入了两种基于ContraCAM的数据增强,对象感知随机裁剪和背景混合,它们分别减少了对比自监督学习期间的上下文和背景偏差。我们的实验证明了我们的表示学习框架的有效性,特别是在多对象图像下训练或在背景(和分布)移动图像下评估时。
2021-10-26 cs.CV cs.LG
Contextual Discrepancy-Aware Contrastive Learning for Robust Medical Time Series Diagnosis in Small-Sample Scenarios
SANNO University(SANNO大学)
CoDAC通过上下文差异估计器和动态多视图对比框架,提升小样本场景下医学时间序列诊断的准确性和泛化能力。
2026-01-12 cs.LG
scRNA-seq Data Clustering by Cluster-aware Iterative Contrastive Learning
Fudan University(复旦大学);Tongji University(同济大学)
提出簇感知迭代对比学习(CICL)方法,通过Transformer编码器、K-means聚类和对比损失迭代优化,在25个scRNA-seq数据集上显著优于现有方法。
2023-12-27 cs.AI cs.LG q-bio.GN
A Novel Graph Fraud Detector via Grouped Attribute Completion and Confidence-Aware Contrastive Learning
College of Computer and Information Science(计算机与信息科学学院);Southwest University(西南大学)
针对图欺诈检测中现有GNN检测器受节点属性不完整和类不平衡限制的问题,提出GFD-GC框架,通过模仿邻域结构进行组内聚合补全节点特征,引入置信度感知对比学习增强欺诈表示,实验验证该框架优于现有基线。
2026-07-14 cs.LG
FACL-Attack: Frequency-Aware Contrastive Learning for Transferable Adversarial Attacks
KAIST(韩国科学技术院);Agency for Defense Development(国防发展厅)
本文提出了一种在频域进行特征对比的方法,通过FADR和FACL模块生成在跨域和跨模型设置下具有强大可迁移性的对抗样本,同时保持推理时间复杂度。
2024-07-30 cs.AI cs.CV cs.LG
Utility-Aware Multimodal Contrastive Learning for Product Image Generation
City University of Hong Kong(香港城市大学)
提出一种效用感知的多模态对比学习框架,通过引入效用感知InfoNCE损失优化产品图像生成,使图像在语义对齐的同时提升市场需求。
2026-05-27 cs.AI
Fuzzy Cluster-Aware Contrastive Clustering for Time Series
Jiangsu Normal University(江苏师范大学)
针对未标记时间序列聚类,提出模糊簇感知对比聚类框架FCACC,联合优化表示学习与聚类,在三视图增强和簇感知硬负样本机制下,在40个数据集上优于八种基线方法。
2025-03-28 cs.LG
Contrastive Identity-Aware Learning for Multi-Agent Value Decomposition
Zhejiang University(浙江大学)
价值分解(VD)的目的是推导出的贡献,代理分散的政策存在的唯一的全球奖励,并最近出现了一个强大的信用分配范式,解决合作多智能体强化学习(MARL)问题。VD的主要挑战之一是促进代理之间的行为多样性,而现有的方法直接鼓励学习代理网络的多样性与各种策略。然而,我们认为,这些专用的设计代理网络仍然是有限的不可区分的VD网络,导致同质代理行为,从而降低合作能力。在本文中,我们提出了一种新的对比身份感知学习(CIA)方法,显式地提高了VD网络的信用级别的可扩展性,以打破多智能体多样性的瓶颈。具体而言,我们的方法利用对比学习,以最大限度地提高时间信用和身份表示的不同代理之间的互信息,鼓励充分表达的信用分配和进一步的个性化的出现。建议CIA模块的算法实现是简单而有效的,可以很容易地纳入各种VD架构。在SMAC基准测试和不同VD骨干上的实验表明,该方法的结果优于最先进的同类方法。我们的代码可在https://github.com/liushunyu/CIA上获得。
2023-03-14 cs.AI cs.LG cs.MA
Time Series Contrastive Learning with Information-Aware Augmentations
Florida International University(佛罗里达国际大学);NEC Labs America(NEC美国实验室);North Carolina State University(北卡罗来纳州立大学);The Pennsylvania State University(宾夕法尼亚州立大学)
近年来,各种对比学习方法被提出并取得了显著的实证成功。虽然有效和普遍,对比学习已较少探索时间序列数据。对比学习的一个关键组成部分是选择适当的增强施加一些先验来构造可行的正样本,使得编码器可以被训练为学习鲁棒的和有区别的表示。与图像和语言领域不同,在这些领域中,“期望的”增强样本可以用预制的人类先验知识指导的经验法则来生成,时间序列增强的特设手动选择受到其多样性和人类无法识别的时间结构的阻碍。如何找到对给定的对比学习任务和数据集有意义的时间序列数据的期望增强仍然是一个悬而未决的问题。在这项工作中,我们解决这个问题,鼓励高\textit{fidelity}和\textit{variety}基于信息论。理论分析导致选择可行的数据增强的标准。最重要的是,我们提出了一个新的对比学习方法与信息感知增强,InfoTS,自适应地选择最佳的增强时间序列表示学习。在不同数据集上的实验表明,该算法具有很强的竞争力,在预测任务上的MSE降低了12.0%,在分类任务上的准确率相对提高了3.7%.
2023-03-21 cs.LG
Single-View Graph Contrastive Learning with Soft Neighborhood Awareness
Great Bay University(大湾区大学);Shenzhen University(深圳大学);Central South University(中南大学)
针对现有图对比学习依赖跨视图对比的诸多问题,提出带软邻域感知的单视图框架SIGNA,通过概率邻域对比和归一化Jensen-Shannon散度估计器提升性能,可采用MLP作编码器大幅加速推理。
2024-12-12 cs.LG
Knowledge-aware Contrastive Molecular Graph Learning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Pharmaceutical Informatics Institute, College of Pharmaceutical Sciences, Zhejiang University(浙江大学药学院药物信息学研究所)
在分子表示学习中利用指纹图谱和官能团等领域知识对于化学性质预测和药物发现至关重要。在隐式地建模图结构与分子性质之间的关系时,现有的工作很难捕捉结构或性质的变化以及复杂的结构,原子词汇量小得多,原子频率高。在本文中,我们提出了对比知识感知GNN(CKGNN)的自我监督分子表示学习融合领域知识到分子图表示。在对比学习框架下,通过知识感知的分子编码器对领域知识进行显式编码,确保生成的分子嵌入具有化学领域知识,能够区分化学式相似但功能不同的分子。在8个公开数据集上的实验表明,该模型的有效性,与强有力的竞争对手相比,平均有6%的绝对改进.消融研究和进一步的调查也验证了两全其美:将化学领域的知识纳入自监督学习。
2021-03-24 cs.LG q-bio.QM
Structure-aware Contrastive Learning for Diagram Understanding of Multimodal Models
The Japan Research Institute, Limited(日本研究机构)
本文提出结构感知对比学习方法,通过专门的损失函数提升多模态模型对图表图像的理解能力,在图像-文本匹配和视觉问答任务中取得显著改进。
2025-09-02 cs.AI cs.CV cs.LG
Beyond Success and Failure: Length-Aware Contrastive Learning for GUI Agents
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Baidu Inc.(百度公司);University of Alberta(阿尔伯塔大学)
针对GUI智能体现有对比RLVR方法无法捕获轨迹细粒度质量差异的问题,提出LACL-GUI框架,引入轨迹级质量信号,在基准测试中实现性能提升。
2026-08-25 cs.AI
Towards Adaptive Federated Graph Clustering: A Global Community-aware Contrastive Learning-based Approach
Sun Yat-sen University(中山大学)
针对联邦图聚类中预定义聚类基数不现实和社区间分离不完整的问题,提出基于全局社区感知对比学习的自适应框架AdaFGC,在八个基准数据集上优于现有基线。
2026-09-23 cs.LG
RAC-DMVC: Reliability-Aware Contrastive Deep Multi-View Clustering under Multi-Source Noise
针对多源噪声(缺失噪声、观测噪声)下的多视图聚类任务,提出RAC-DMVC框架,通过可靠性图、跨视图重构、可靠性感知对比学习、双注意力补全及簇蒸馏模块提升鲁棒性,实验表明其优于SOTA方法且噪声适应性强。
2025-11-17 cs.LG
Toward a Well-Calibrated Discrimination via Survival Outcome-Aware Contrastive Learning
Chung-Ang University(中央大学);Korea University(高丽大学)
本文提出一种生存结局感知的加权对比学习方法,在不牺牲校准性能的前提下提升生存分析模型的判别能力,并在多个临床数据集上验证了其优于现有深度生存模型的表现。
2024-11-21 cs.LG
Subject-Aware Contrastive Learning for Biosignals
Apple(苹果公司)
生物信号的数据集,如脑电图(EEG)和心电图(ECG),通常具有噪声标签,并且受试者数量有限(<100)。为了应对这些挑战,我们提出了一种基于对比学习的自监督方法,以减少对标记数据的依赖,并减少受试者。在这种标签和受试者有限的制度下,受试者间的变异性对模型性能产生负面影响。因此,我们通过(1)特定于主题的对比损失和(2)对抗性训练来引入主题感知学习,以促进自监督学习期间的主题不变性。我们还开发了一些时间序列数据增强技术,用于生物信号的对比损失。我们的方法进行了评估,公开的两个不同的生物信号与不同的任务:EEG解码和ECG异常检测的数据集。与完全监督的方法相比,使用自我监督学习的嵌入产生了有竞争力的分类结果。我们发现,主题不变性提高了这些任务的表示质量,并观察到特定于主题的损失提高了性能时,与监督标签进行微调。
2020-06-30 cs.LG eess.SP stat.ML
Label-aware Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding
Jilin University(吉林大学);Microsoft(微软);Duke University(杜克大学)
尽管口语语言理解(SLU)在高资源语言中取得了巨大成功,但在低资源语言中仍然具有挑战性,主要原因是缺乏带标签的训练数据。最近的多语言代码转换方法实现了更好的跨语言模型表示对齐通过构建一个混合的语言上下文在zero-shot跨语言SLU。然而,目前的语码转换方法仅限于隐性对齐,而忽视了二语习得中固有的语义结构,即,话语、槽和词的分级包含。在本文中,我们提出了一个多层次的对比学习框架,在话语,槽,词的水平,以促进明确对齐的话语槽词结构模型。新的代码转换方案被引入到我们的对比学习框架中,以产生困难的否定例子。此外,我们开发了一个标签感知的联合模型,利用标签语义来增强隐式对齐和馈送到对比学习。我们的实验结果表明,我们提出的方法显着提高性能相比,强基线两个zero-shot跨语言SLU基准数据集。
2022-10-25 cs.AI cs.CL
SeGA: Preference-Aware Self-Contrastive Learning with Prompts for Anomalous User Detection on Twitter
National Yang Ming Chiao Tung University(台湾阳明交通大学)
针对社交媒体异常用户检测中现有方法难捕捉用户细微差异的问题,提出融合大语言模型偏好总结与提示驱动偏好感知自对比学习的SeGA方法,在TwBNT基准上性能显著优于SOTA。
2023-12-17 cs.AI cs.CL cs.LG
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
引导图对比学习(GCL)方法以两种方式执行图扩充:(1)随机破坏锚图,这可能导致语义信息的丢失,或者(2)使用领域知识来维护显著特征,这破坏了对其他领域的泛化。以不变性看GCL,我们认为,高性能的增强应该保持锚图的实例歧视的显着语义。为此,我们将GCL与不变基本原理发现相联系,提出了一个新的框架,即具有语义感知的图对比学习(RGCL)。具体地说,没有监督信号,RGCL使用的理由发生器,以揭示显着特征的图形实例歧视的理由,然后创建理性感知的意见对比学习。这种理性感知的预训练方案赋予骨干模型强大的表示能力,进一步促进下游任务的微调。在MNIST-Superpixel和MUTAG数据集上,对所发现的基本原理进行的目视检查表明,基本原理生成器成功地捕获了显著特征(即区分图形中的语义节点)。在生物化学分子和社会网络基准数据集上,RGCL的最新性能证明了对比学习的理性感知视图的有效性。我们的代码可在https://github.com/lsh0520/RGCL上获得。
2022-06-16 cs.LG
DGCPath: Distribution-Aware Generative Contrastive Framework for Self-supervised Path Representation Learning -- Extended Version
Aalborg University(奥尔堡大学);The Hong Kong Polytechnic University(香港理工大学);Chongqing Univeristy of Posts and Telecommunications(重庆邮电大学);East China Normal University(华东师范大学)
DGCPath提出分布感知生成对比框架,结合扩散视图生成、变分对比与交叉监督,在三个真实轨迹数据集上超越基线,提升路径表示泛化能力。
2026-09-10 cs.AI
Feature-Aware Noise Contrastive Learning for Unsupervised Red Panda Re-Identification
College of Computer Science, Sichuan University(四川大学计算机学院)
针对无监督动物再识别中标注数据稀缺的问题,提出特征感知噪声对比学习(FANCL),通过噪声添加与双对比模块提取深层表征,在室内外小熊猫数据集上性能优于现有无监督方法并接近监督方法。
2024-07-18 cs.AI cs.CV
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院);Beijing University of Technology(北京工业大学);The University of Sydney Business School, The University of Sydney(悉尼大学商学院)
针对现有对比属性图聚类忽略边级增强及样本对差异的问题,提出融合混合协同增强与对比样本自适应差分感知的鲁棒聚类方法,在六个基准数据集上性能优于现有最优方法。
2025-10-03 cs.LG
Adaptive Speech Quality Aware Complex Neural Network for Acoustic Echo Cancellation with Supervised Contrastive Learning
MediaTek Singapore(联发科新加坡)
声学回声消除(AEC)旨在从麦克风信号中消除回声、混响和不需要的附加声音,同时保持近端扬声器的语音质量。本文提出了自适应语音质量复杂神经网络,专注于实时声学回声消除的特定任务。具体而言,我们提出了一个复杂的模块化神经网络,具有不同的阶段,分别专注于特征提取,声学分离和掩模优化。此外,我们采用了对比学习框架和新的语音质量感知损失函数,以进一步提高性能。该模型经过72小时的预训练,然后进行72小时的微调。所提出的模型优于国家的最先进的性能。
2022-11-09 cs.AI cs.SD eess.AS
Hierarchical and Contrastive Representation Learning for Knowledge-aware Recommendation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Intel Labs China(英特尔中国实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对知识感知推荐中递归传播导致的邻居指数扩张和过度平滑问题,本文提出HiCON框架,通过分层消息聚合与跨阶对比学习提升节点表示判别性,并在三个数据集上验证了其优越性。
2023-04-15 cs.AI cs.IR
Fairness-Aware Node Representation Learning
University of California, Irvine(加州大学欧文分校)
节点表示学习已经证明了它在图的各种应用中的有效性。特别是,对比学习的最新发展已经导致了一些任务的无监督节点表示学习的有希望的结果。尽管图对比学习取得了成功,随之而来的兴趣也在不断增长,但公平性在该领域的探索还很不够。为此,本研究通过自适应特征掩蔽和边缘删除,解决了图对比学习中的公平性问题,并采用公平性感知图增强设计。在这项研究中,不同的公平性概念的图,作为建议的图增强的指导方针。此外,理论分析提供了定量证明所提出的特征掩蔽方法可以减少本征偏差。真实社交网络上的实验结果表明,所提出的增强可以提高公平性的统计奇偶性和平等的机会,同时提供可比的分类精度,以国家的最先进的对比方法节点分类。
2021-06-09 cs.LG
Contrastive Learning for Diversity-Aware Product Recommendations in Retail
University of Amsterdam(阿姆斯特丹大学);IKEA Retail (Ingka Group)(宜家零售(英格卡集团))
本文提出基于对比学习的方法,通过引入精心挑选的负样本,提升零售场景中产品推荐的多样性和覆盖范围,同时保持推荐质量。
2026-02-09 cs.IR cs.LG
Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation
New York University(纽约大学);Yale University(耶鲁大学)
对比学习在医学图像分割的背景下已经显示出对注释稀缺问题的巨大希望。现有的方法通常假设一个平衡的类分布标记和未标记的医学图像。然而,现实中的医学图像数据通常是不平衡的(即,多类别标签不平衡),这自然会产生模糊的轮廓,并且通常会错误地标记稀有对象。此外,目前还不清楚是否所有阴性样本都是阴性的。在这项工作中,我们提出了行动,解剖意识的ConTrastive dIstillatiON框架,半监督医学图像分割。具体来说,我们首先开发了一个迭代对比蒸馏算法,通过软标签的负面,而不是二元监督之间的积极和消极的对。我们还从随机选择的阴性集合中捕获与阳性集合相比语义上更相似的特征,以加强采样数据的多样性。其次,我们提出了一个更重要的问题:我们真的可以处理不平衡的样本,以产生更好的性能?因此,ACTION的关键创新是以最小的额外内存占用来学习整个数据集的全局语义关系和相邻像素之间的局部解剖特征。在训练过程中,我们通过主动采样一组稀疏的硬负像素来引入解剖对比度,这可以生成更平滑的分割边界和更准确的预测。在两个基准数据集和不同的未标记设置上的广泛实验表明,ACTION显著优于当前最先进的半监督方法。
2023-03-10 cs.AI cs.CV cs.LG
Disentangle-then-Refine: LLM-Guided Decoupling and Structure-Aware Refinement for Graph Contrastive Learning
Institute of Physical Science and Information Technology(物理科学与信息技术研究院);School of Mathematical Sciences(数学科学学院);Qinghai Institute of Science and Technology Information(青海科学技术信息研究院)
本文提出SDM-SCR框架,通过LLM解耦任务相关信号与噪声,并利用结构感知细化消除幻觉,提升图对比学习的准确性和效率。
2026-04-16 cs.AI
Camera-Tracklet-Aware Contrastive Learning for Unsupervised Vehicle Re-Identification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
近年来,基于深度学习的车辆再识别方法取得了显著的成就。然而,这一成就需要大规模和注释良好的数据集。在构建数据集时,为从大量相机捕获的车辆分配全局可用身份(Id)是劳动密集型的,因为它需要考虑它们细微的外观差异或视点变化。在本文中,我们提出了摄像机跟踪感知对比学习(CTACL)使用的多摄像机跟踪信息,没有车辆身份标签。所提出的CTACL划分未标记的域,即,整个车辆图像,进入多个相机级子域,并在子域内和子域外进行对比学习。用于对比学习的正样本和负样本使用每个相机的轨迹片段Id来定义。此外,跨摄像机网络的领域自适应被引入,以提高学习表示的泛化性能,并减轻由子域之间的域间隙导致的性能下降。我们证明了我们的方法对基于视频和基于图像的车辆Re-ID数据集的有效性。实验结果表明,该方法优于最近的国家的最先进的无监督车辆Re-ID方法。本文的源代码可在`https://github.com/andreYoo/CTAM-CTACL-VVReID.git '上公开获取。
2021-09-14 cs.AI cs.CV