SCD: Self-Contrastive Decorrelation for Sentence Embeddings
SAP AI Research(思爱普人工智能研究院)
在本文中,我们提出了自对比解相关(SCD),一种自监督的方法。给定一个输入句子,它优化了一个联合的自对比和去相关目标。通过利用以不同速率的标准辍学的实例化所产生的对比来促进学习表示。所提出的方法是概念简单,但经验强大。它在多个基准上实现了与最先进的方法相当的结果,而不使用对比对。这项研究为有效的自监督学习方法开辟了道路,这些方法比当前的对比方法更强大。
2022-03-15 cs.CL cs.LG
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research(SAP人工智能研究院)
本文提出基于互信息的对比学习框架miCSE,通过强制不同视图间注意力模式对齐与结构一致性,提升了对比自监督学习的样本效率,在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
Subset-Contrastive Multi-Omics Network Embedding
King’s College London(伦敦国王学院);Institute for Infocomm Research, Agency for Science Technology and Research (A*STAR)(新加坡科技研究局信息通信研究所)
针对多组学网络分析中方法内存空间消耗大、依赖相似性网络缺乏离散拓扑的问题,提出SCONE方法,通过可扩展子图对比学习实现大数据集分析,在单细胞和批量多组学整合中表现优异。
2025-04-15 cs.LG
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology(北京工业大学)
近年来,高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是,图分类需要对不同层次的拓扑信息进行分层积累,以生成有区别的图嵌入,节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此,如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先,我们提出了一个数据驱动的图增强策略,可以发现额外的连接,以增强现有的边集。具体地说,我们诉诸于一个结构推理阶段的基础上扩散级联,以恢复可能的连接与高节点相似性。其次,为了提高图神经网络的对比度,我们提出了使用监督对比损失进行图分类。通过标签信息的整合,可以将one-vs-many对比学习扩展到many-vs-many,从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中,其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明,该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach
The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学)
本文针对通用文本嵌入在任务区分上的不足,提出PGCL方法,通过多流结合的正则化模块生成任务适配表示,在三个代理任务数据集上均优于原始冻结嵌入,明确了方法适用边界并修订了理论分析。
2026-08-25 cs.LG
Contrastive Learning Boosts Deterministic and Generative Models for Weather Data
Imperial College London(帝国理工学院伦敦分校);The Grantham Institute for Climate Change(格兰塔姆气候变化研究所)
本文研究对比学习在天气数据压缩中的应用,提出SPARTA模型,通过对比损失和图神经网络融合提升稀疏数据的嵌入质量,提升下游任务性能。
2026-03-25 cs.LG
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta(阿尔伯塔大学)
针对 SimCSE 未充分利用难负样本的问题,提出结合难负样本挖掘的无监督对比学习框架,通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数,使模型聚焦于难负样本,在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Region Embedding with Intra and Inter-View Contrastive Learning
Nanyang Technological University(南洋理工大学)
无监督区域表示学习旨在从未标记的城市数据中提取密集有效的特征。虽然已经基于多个视图做出了一些努力来解决这个问题,但是现有方法在提取视图中的表示和/或合并来自不同视图的表示方面仍然不足。基于对比学习在表示学习中的成功,我们提出将其用于多视图区域表示学习,并设计了一个称为ReMVC(Region Embedding with Multi-View对比学习)的模型,该模型遵循两个指导原则:i)在每个视图中将区域与其他区域进行比较,以实现有效的表征提取; ii)在不同视图中将区域与自身进行比较,以实现跨视图信息共享。我们设计了视图内对比学习模块和视图间对比学习模块,前者用于学习不同的区域嵌入,后者作为软共正则化器来约束嵌入参数并在多视图间传递知识。我们在两个下游任务中利用学习到的区域嵌入,即土地使用聚类和区域流行度预测。大量的实验表明,我们的模型实现了令人印象深刻的改进相比,七个国家的最先进的基线方法,在土地利用聚类任务的利润率超过30%。
2022-11-15 cs.CV cs.LG
Deep Contrastive Multiview Network Embedding
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
多视图网络嵌入的目的是将网络中的节点投影到低维向量上,同时保留它们的多重关系和属性信息。对比学习方法在这项任务中表现出了良好的性能。然而,他们忽略了融合和视图表示之间的语义一致性,并且难以建模不同视图之间的互补信息。针对这些不足,本文提出了一种新的多视图网络嵌入对比学习框架(CREME)。在我们的工作中,不同的视图可以根据节点之间的各种关系。然后,我们通过适当的视图编码器生成视图嵌入,并利用一个细心的多视图聚合器来融合这些表示。特别地,我们设计了两个协作对比目标,视图融合InfoMax和视图间InfoMin,以自监督的方式对模型进行训练。前一个目标从不同视图生成的嵌入中提取信息,而后者捕获视图之间的互补信息,以促进独特的视图嵌入。我们还表明,这两个目标可以统一为一个目标的模型训练。在三个真实世界数据集上的广泛实验表明,我们提出的CREME能够始终优于最先进的方法。
2022-08-17 cs.AI cs.LG
Instance Smoothed Contrastive Learning for Unsupervised Sentence Embedding
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
提出IS-CSE方法,通过动态记忆缓冲区检索正例嵌入组并利用自注意力聚合生成平滑实例嵌入,在标准STS任务上显著超越unsup-SimCSE基线。
2023-05-18 cs.CL cs.LG
Cluster Analysis with Deep Embeddings and Contrastive Learning
Iowa State University(爱荷华州立大学);John Deere(约翰迪尔公司)
无监督解纠缠表示学习是计算机视觉中一个长期存在的问题。这项工作提出了一种新的框架,通过结合实例级对比学习与基于深度嵌入的聚类中心预测器,从深度嵌入执行图像聚类。我们的方法以端到端的方式联合学习表示并预测聚类中心。这是通过一个三管齐下的方法来实现的,该方法结合了聚类损失、实例对比损失和锚点损失。我们的基本直觉是,使用集成损失,结合实例级的功能和聚类过程集中在语义相似性加强学习更好的表示在潜在的空间。我们观察到,我们的方法在使用标准聚类度量(如归一化互信息(NMI))进行评估时,在流行的视觉数据集上表现得非常好,此外还产生了由欧几里得距离定义的几何分离的聚类嵌入。我们的框架与广泛接受的聚类方法不相上下,并且在CIFAR-10数据集上的表现优于最先进的对比学习方法,NMI得分为0.772,在强基线上提高了7-8%。
2021-10-02 cs.CV cs.LG
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文介绍了SimCSE,一个简单的对比学习框架,大大提高了最先进的句子嵌入。我们首先描述了一个无监督的方法,它需要一个输入句子,并预测自己在一个对比的目标,只有标准的辍学作为噪音。这个简单的方法工作得出奇的好,与以前的监督对应物表现相当。我们发现,dropout作为最小的数据增强,并删除它会导致一个表示坍塌。然后,我们提出了一种监督的方法,它将注释对从自然语言推理数据集到我们的对比学习框架,使用“蕴涵”对作为积极和“矛盾”对硬否定。我们在标准语义文本相似性(STS)任务上评估SimCSE,我们使用BERT基础的无监督和有监督模型分别达到平均76.3%和81.6%的斯皮尔曼相关性,与以前的最佳结果相比,分别提高了4.2%和2.2%。我们还从理论上和经验上证明,对比学习的目标是使预训练的嵌入的各向异性空间更加均匀,并且在监督信号可用时更好地对齐正对。
2022-05-18 cs.CL cs.LG
Composition-contrastive Learning for Sentence Embeddings
Texas A&M University(德州农工大学)
针对无标注句子表示学习,本文提出文本与其短语成分组合对齐的成分对比学习目标,在语义文本相似度任务上达到可比最先进水平,且无需辅助目标或额外参数。
2023-07-14 cs.CL cs.LG
Contrastive Learning of Asset Embeddings from Financial Time Series
School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院)
本文提出一种基于假设检验统计采样的对比学习框架,利用资产在子窗口的收益相似性生成正负样本,从金融时间序列中学习资产嵌入,在行业分类与投资组合优化任务上显著优于基线。
2024-07-26 cs.LG q-fin.ST
Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院);Institute of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
针对对比学习依赖正负样本且难以建模时间序列连续语义的问题,本文提出非对比方法 FEI,通过双向频率掩码提示与嵌入推理学习表示,并在8个数据集上验证其泛化优势。
2025-01-06 cs.AI cs.LG
Integrating Contrastive Learning with Dynamic Models for Reinforcement Learning from Images
TU Darmstadt(达姆施塔特工业大学);Huazhong University of Science and Technology(华中科技大学)
最近的图像强化学习方法使用辅助任务来学习智能体的策略或Q函数所使用的图像特征。特别地,基于对比学习的方法,其将潜在动态的线性或不变性引入到数据增强,已经被证明大大提高了强化学习算法的样本效率和学习嵌入的泛化能力。我们进一步认为,显式地提高学习嵌入的Markovianity是可取的,并提出了一种自监督的表示学习方法,该方法将对比学习与动态模型相结合,以协同地结合这三个目标:(1)最大化状态和动作之间的互信息的InfoNCE界,嵌入和下一状态的嵌入以引起线性预测嵌入而无需显式地学习线性转换模型,(2)我们通过使用回归显式学习非线性转换模型来进一步改进学习嵌入的马尔可夫性,以及(3)我们最大化基于当前动作和两个独立增强的下一个嵌入的两个非线性预测之间的互信息的当前状态,这自然导致变换不变性不仅为状态嵌入,而且为非线性过渡模型。在Deepmind控制套件上的实验评估表明,与基于对比学习或重构的最新方法相比,我们提出的方法实现了更高的样本效率和更好的泛化能力。
2022-03-02 cs.AI cs.LG
Temporal Contrastive Transformer for Financial Crime Detection: Self-Supervised Sequence Embeddings via Predictive Contrastive Coding
NICE Actimize
本文提出了一种名为时间对比变压器(TCT)的表示学习框架,旨在捕捉金融交易序列中的时间动态。通过自监督对比目标训练模型,生成编码时间行为模式的嵌入,以支持下游的欺诈检测任务。实验结果显示,嵌入本身能实现有意义的预测性能(AUC 0.8644),但结合领域工程特征时,性能提升不显著(AUC 0.9205 vs. 0.9245),表明学习到的表示与现有特征抽象有较大重叠。这些发现表明TCT是一种有前景的表示学习方法,能够捕捉相关的行为信号,同时凸显了在强领域特征上实现加性价值的挑战。
2026-03-31 cs.CR cs.LG
Isolating authorship from content with semantic embeddings and contrastive learning
Universidad Politécnica de Madrid(马德里理工大学)
针对作者身份识别中内容与风格纠缠导致内容泄露的问题,提出结合语义相似性模型生成难负样本的对比学习(InfoNCE)解耦技术,提升多产作者识别准确率并保留零样本能力。
2024-11-27 cs.CL cs.LG
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology(华南理工大学);School of Computer Science and Engineering(计算机科学与工程学院)
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题,提出SARCSE框架,通过自编码器重构全部词元并引入自适应重构损失,在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research(脸书人工智能研究院)
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中,对比学习通过负样本对防止崩溃。已经表明,非对比方法遭受不同性质的较小崩溃问题:维度崩溃,其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里,我们表明,维度崩溃也发生在对比学习。在本文中,我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发,我们提出了一种新的对比学习方法,称为DirectRank,它直接优化表示空间,而不依赖于显式的可训练投影。实验表明,DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架,通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解,并提供交集、差分等集合操作,显著提升模型判别能力,支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
考虑到大量的未标记语音数据和高昂的标记成本,无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法,它需要负采样:对替代样本进行采样,以与当前样本(锚)进行对比。然而,很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation(DINO),并将其应用于语音领域。与对比方法不同,DINO不需要负采样。这些嵌入进行了评估,说话人确认和情感识别。在说话人验证中,无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道,不需要说话人标签,进一步提高了EER到1.89%。在情感识别方面,DINO嵌入在IEMOCAP,Crema-D和MSP-Podcast上的micro-f1得分分别为60.87,79.21和56.98%。结果表明,DINO嵌入的通用性,不同的语音应用。
2022-08-10 cs.LG eess.AS
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University Health Network(大学健康网络)
句子嵌入是许多自然语言处理(NLP)系统的重要组成部分。与词嵌入一样,句子嵌入通常在大型文本语料库中学习,然后转移到各种下游任务中,例如聚类和检索。与词嵌入不同,学习句子嵌入的最高性能解决方案需要标记数据,这限制了它们对标记数据丰富的语言和领域的有用性。在本文中,我们提出了DeCLUTR:用于无监督文本表示的深度对比学习。受深度度量学习(DML)最新进展的启发,我们仔细设计了一个自监督目标,用于学习通用句子嵌入,不需要标记的训练数据。当用于扩展基于transformer的语言模型的预训练时,我们的方法缩小了通用句子编码器的无监督和监督预训练之间的性能差距。重要的是,我们的实验表明,学习嵌入的质量与可训练参数的数量和未标记的训练数据的数量成比例。我们的代码和预训练模型是公开的,可以轻松适应新领域或用于嵌入看不见的文本。
2021-05-27 cs.CL cs.LG
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon(亚马逊);University of Freiburg(弗莱堡大学)
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近,该原理也被用于学习视频和文本的跨模态嵌入,但没有充分利用其潜力。特别是,之前的丢失没有考虑模态内的相似性,这会导致嵌入效率低下,因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink,我们提出了一个解决这个问题的对比损失。此外,我们根据输入嵌入定义了高度相关的样本集,并将其从阴性样本中排除,以避免假阴性问题。我们表明,这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
Contrastive Learning of Visual-Semantic Embeddings
Cadence Design Systems (India) Private Limited(楷登电子科技(印度)私人有限公司);Indian Institute of Technology, Jodhpur(焦特布尔印度理工学院)
对比学习是一种强大的技术,可以学习语义独特且几何不变的表示。虽然大多数早期的方法已经证明了其对单模态学习任务(如图像分类)的有效性,但最近有一些尝试将此想法扩展到多模态数据。在本文中,我们提出了两个损失函数的归一化交叉熵的基础上执行的任务,学习联合视觉语义嵌入使用批量对比训练。在一个批次中,对于来自一个模态的给定锚点,我们只考虑来自另一个模态的否定,并基于所有否定引起的预期违规来定义我们的第一个对比损失。接下来,我们更新这个损失,并定义第二个对比损失的基础上,违反所招致的只有最难的负面。我们将我们的结果与现有的视觉语义嵌入方法进行比较,使用MS-COCO和Flickr 30 K数据集进行跨模态图像到文本和文本到图像检索任务,我们在MS-COCO数据集上的表现优于最先进的技术,并在Flickr 30 K数据集上取得了可比的结果。
2021-10-17 cs.CV cs.IR cs.LG
SemCSE: Semantic Contrastive Sentence Embeddings Using LLM-Generated Summaries For Scientific Abstracts
Bielefeld University, Germany(比勒菲尔德大学)
SemCSE 利用大语言模型生成的摘要进行无监督对比学习,以增强科学文本语义嵌入,并在 SciRepEval 基准上取得同等规模模型中的最优性能。
2025-07-17 cs.CL cs.IR cs.LG
Hotel Recognition via Latent Image Embedding
HSE University(高等经济大学)
我们用深度度量学习来解决酒店识别问题。我们概述了现有的方法,并提出了一个修改的对比损失称为对比三重损失。我们构建了一个强大的管道来对度量学习模型进行基准测试,并在Hotels-50 K和CUB 200数据集上进行了实验。对比三重损失被证明可以在Hotels-50 k上实现更好的检索。我们开源我们的代码。
2021-06-15 cs.CV cs.IR cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
MIM-Refiner: A Contrastive Learning Boost from Intermediate Pre-Trained Representations
ELLIS Unit Linz(ELLIS林茨单元);JKU Linz(约翰内斯·开普勒大学林茨分校);Emmi AI GmbH(Emmi AI有限公司);NXAI GmbH(NXAI有限公司);University of Vienna(维也纳大学)
本研究提出MIM-Refiner方法,利用连接MIM模型中间层的多对比头与改进最近邻目标构建语义簇,仅需少量训练轮次即可提升预训练MIM模型的下游任务性能,在多个基准上超越现有最先进SSL模型。
2025-02-20 cs.AI cs.CV cs.LG
On the Similarities of Embeddings in Contrastive Learning
Department of Statistics and Data Science, Yonsei University, Seoul, Korea(统计与数据科学系,延世大学,首尔,韩国)
本文提出统一框架基于余弦相似性理解对比学习,揭示了全批次下负对相似性阈值导致正对无法完美对齐,以及小批次引起负对相似性高方差降低表示质量,并提出辅助损失有效提升小批次性能。
2025-07-15 cs.LG stat.ML
Refinement Contrastive Learning of Cell-Gene Associations for Unsupervised Cell Type Identification
本文提出scRCL框架,通过整合细胞-基因关联,提升无监督细胞类型识别的准确性与生物学相关性。
2025-12-11 cs.AI cs.LG
Metapath-based Hyperbolic Contrastive Learning for Heterogeneous Graph Embedding
提出MHCL框架,利用多个双曲空间捕获异构图中多样幂律结构,通过对比学习增强元路径嵌入可区分性,实验证明其优于现有基线。
2025-06-20 cs.AI cs.LG cs.SI
Improving Molecular-Morphology Contrastive Pretraining using Deep-Learning-based Morphology Profiles
GSK(葛兰素史克)
本研究通过引入深度学习形态特征提取,改进MoCoP对比预训练方法,增强分子嵌入对细胞形态扰动的编码,提升QSAR、毒性等预测性能。
2026-09-28 cs.LG q-bio.BM
Boundary Embedding Shaping with Adaptive Contrastive Learning for Graph Structural Disentanglement
Yunnan Normal University(云南师范大学);Adelaide University(阿德莱德大学);The University of New South Wales(新南威尔士大学)
针对图结构纠缠导致的分类性能下降,提出边界嵌入塑造模块,通过自适应对比学习选择性抑制决策边界处的虚假结构噪声,提升节点分类和链接预测精度。
2026-07-23 cs.AI cs.LG
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering(亨利·M·罗恩工程学院);Rowan University(罗恩大学);MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法,通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性,在CIFAR-10上验证其能形成结构良好的类别邻域,为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究揭示了说话人嵌入中存在情感聚类现象,并提出一种基于聚类的对比预训练策略,利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
A multi-view contrastive learning framework for spatial embeddings in risk modelling
KU Leuven(鲁汶大学);University of Toronto(多伦多大学);University of Amsterdam(阿姆斯特丹大学)
本文提出了一种多视角对比学习框架,用于生成空间嵌入以提升风险建模的预测精度和可解释性。
2026-09-30 cs.LG q-fin.RM
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs
National University of Singapore(新加坡国立大学);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究院)
针对 LLM 响应来源归因在 NLP 中缺乏稳健框架的问题,本文提出基于 Transformer 与对比嵌入的 TRACE,并通过多场景实证评估证明其可显著提升来源准确归因能力与模型可信度。
2024-07-06 cs.CL cs.LG
HiCL: Hierarchical Contrastive Learning of Unsupervised Sentence Embeddings
University of Michigan(密歇根大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
HiCL通过分层对比学习同时建模局部片段与全局序列关系,提升无监督句子嵌入的训练效率与效果,在七个STS任务上超越SNCSE模型。
2023-10-15 cs.CL cs.LG
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
人脸微表情识别是近年来研究的热点。微表情具有持续时间短、强度低的特点,现有的微表情数量有限,很难训练出高性能的分类器。因此,识别微表情是一项具有挑战性的任务。提出了一种基于属性信息嵌入和跨模态对比学习的微表情识别方法。在人脸动作编码系统中,采用三维CNN提取微表情序列的RGB特征和FLOW特征并进行融合,采用BERT网络提取文本信息。通过跨模态对比损失,将属性信息嵌入到视觉网络中,从而提高了在样本有限情况下微表情识别的表征能力。在CASME II和MMEW数据库上进行了大量的实验,准确率分别为77.82%和71.04%。对比实验表明,该方法在微表情识别中具有较好的识别效果。
2022-05-29 cs.AI cs.CV cs.LG
A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning
Salesforce Research(赛富时研究院)
对于图像查询,无监督对比学习将同一图像的裁剪标记为阳性,而将其他图像裁剪标记为阴性。虽然直观,这样的原生标签分配策略不能揭示查询与其肯定词和否定词之间的潜在语义相似性,并且损害性能,因为一些否定词在语义上与查询相似,或者甚至与查询共享相同的语义类。在这项工作中,我们首先证明了对比学习,不准确的标签分配严重损害其泛化语义实例歧视,而准确的标签有利于其泛化。受此启发,我们提出了一种新的自标记细化方法的对比学习。它通过两个互补的模块来提高标签质量:(i)自标记精炼(SLR)以生成准确的标签;(ii)动量混合(MM)以增强查询与其正面之间的相似性。SLR使用查询的肯定来估计查询与其肯定和否定之间的语义相似度,并将估计的相似度与对比学习中的香草标签分配相结合,以迭代地生成更准确和信息量更大的软标签。我们从理论上证明了我们的SLR可以准确地恢复标签损坏数据的真实语义标签,并监督网络在分类任务上实现零预测错误。MM随机组合查询和肯定,以增加生成的虚拟查询和它们的肯定之间的语义相似度,从而提高标签准确性。在CIFAR10、ImageNet、VOC和COCO上的实验结果表明了该方法的有效性。PyTorch代码和模型将在线发布。
2021-06-28 cs.AI cs.CV cs.LG
Urban Region Embedding via Multi-View Contrastive Prediction
Shandong University(山东大学);Nanyang Technological University(南洋理工大学);Georgia State University(佐治亚州立大学)
针对现有城市区域表示学习方法跨视图一致性不足的问题,提出融合POI与人类移动性数据的多视图对比预测模型ReCP,通过视图内与视图间学习模块实现一致表示,在两项下游任务上性能显著优于SOTA基线。
2023-12-15 cs.CV cs.DB cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research(Meta人工智能研究院);NYU(纽约大学)
自监督学习(SSL)推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑:在许多模态\dots中优于监督方法,但理论基础有限,方法特定,并且未能为从业者提供原则性的设计指南。在本文中,我们提出了一个统一的框架下的频谱流形学习,以解决这些限制。通过这项研究的过程中,我们将严格证明VICReg,Simplified,BarlowTwins等。对应于epsilon谱方法,如Laplacian Eigenmaps,Multidimensional Scaling等。这种统一将使我们能够获得(i)每种方法的闭合形式最佳表示,(ii)每种方法的线性区域中的闭合形式最佳网络参数,(iii)训练过程中使用的成对关系对每个量和下游任务性能的影响,最重要的是,(iv)对比和非对比方法之间的第一个理论桥梁,分别通向全局和局部谱嵌入方法,暗示每个方法的优点和局限性。例如,(i)如果成对关系与下游任务对齐,则可以成功地采用任何SSL方法并将恢复监督方法,但在低数据状态下,VICReg的不变性超参数应该较高;(ii)如果成对关系与下游任务不对齐,则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction
Idiap Research Institute(伊迪亚普研究所);University of Zurich(苏黎世大学);Brno University of Technology(布尔诺理工大学)
本文提出Dialog2Flow嵌入,通过软对比预训练将对话话语按动作功能映射到潜在空间并聚类量化,从而自动提取对话工作流,在多个领域上优于现有句子嵌入方法。
2024-11-05 cs.AI cs.CL cs.LG
On the Effect of Data-Augmentation on Local Embedding Properties in the Contrastive Learning of Music Audio Representations
SiriusXM-Pandora
本文研究对比学习音乐音频嵌入中数据增强对局部性质的影响,发现适当增强可降低音高、速度等属性的局部化,同时提升体裁、情绪等显著特征的局部性,并在最近邻检索上取得最优性能。
2024-01-17 cs.IR cs.LG cs.MM
Three Towers: Flexible Contrastive Learning with Pretrained Image Models
University of Oxford(牛津大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出三塔(3T)方法,通过引入包含冻结预训练嵌入的第三塔,使图像塔同时受益于预训练嵌入和对比训练,在检索和分类任务上取得一致改进。
2023-10-30 cs.AI cs.CV cs.LG
Graph Embedding Dynamic Feature-based Supervised Contrastive Learning of Transient Stability for Changing Power Grid Topologies
School of Electrical Engineering(电气工程学院)
针对电网拓扑变化下的在线暂态稳定预测,提出GEDF将拓扑结构编码为低维图嵌入流特征,并构建GEDF-SCL监督对比学习模型;IEEE 39节点系统的N-1与N-m-1事故仿真验证其高精度与拓扑适应性。
2023-08-01 cs.AI cs.LG cs.SY
Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance
Netflix(网飞公司);Massachusetts Institute of Technology(麻省理工学院)
当今一些最先进的深度学习模型的卓越性能在一定程度上归功于大规模数据集上的广泛(自)监督对比预训练。在对比学习中,网络被呈现成对的正(相似)和负(不相似)数据点,并被训练为找到每个数据点的嵌入向量,即,一种表示法,可以针对各种下游任务进行进一步微调。为了在关键决策系统中安全地部署这些模型,为它们配备一个衡量其不确定性或可靠性的标准至关重要。然而,由于训练对比模型的成对性质,以及在输出(抽象嵌入向量)上缺乏绝对标签,使常规不确定性估计技术适应于这样的模型是不平凡的。在这项工作中,我们研究这种表示的不确定性是否可以量化为一个单一的数据点在一个有意义的方式。换句话说,我们探索给定数据点的下游性能是否可以直接从其预训练的嵌入中预测。我们表明,这一目标可以通过直接估计的训练数据在嵌入空间中的分布,并占局部一致性的表示。我们的实验表明,这种嵌入向量的不确定性的概念往往与其下游的准确性密切相关。
2022-07-19 cs.AI cs.CV cs.LG
Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss
University of British Columbia(不列颠哥伦比亚大学)
本研究针对监督对比损失的特征嵌入几何结构调控问题,提出通过加入原型调整几何结构的方法,揭示了原型数量远超批次大小时与带固定分类器和归一化嵌入的交叉熵损失的关联,并通过视觉数据集实验验证了结论。
2023-10-02 cs.LG
Contrastive Embeddings for Neural Architectures
LightOn
神经结构搜索算法的性能很大程度上依赖于搜索空间的参数化。我们使用对比学习来识别基于数据雅可比矩阵的不同初始化的网络,并自动产生独立于搜索空间的参数化的第一架构嵌入。使用我们的对比嵌入,我们表明,传统的黑盒优化算法,无需修改,可以达到最先进的性能在神经结构搜索。由于我们的方法提供了一个统一的嵌入空间,我们第一次在搜索空间之间进行迁移学习。最后,我们展示了嵌入在训练过程中的演变,激励未来的研究在不同的训练阶段使用嵌入,以更深入地了解搜索空间中的网络。
2021-05-07 cs.LG stat.ML
Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language
University of Turin(都灵大学)
词嵌入在当今的自然语言处理任务和应用中扮演着重要的角色。虽然预先训练的模型可以直接使用并集成到现有的管道中,但它们通常会进行微调,以更好地适应特定的语言或领域。在本文中,我们试图通过结合对比学习(CL)和知识图谱嵌入(KGE)来提高意大利医学领域未覆盖利基中的可用嵌入。主要目标是提高医学术语之间语义相似度的准确性,这也被用作一个评估任务。由于意大利语缺乏医学文本和受控词汇,我们已经开发了一个特定的解决方案,结合现有的CL方法(多相似性损失,上下文,动态采样)和KGE的集成,创建一个新的变体的损失。虽然没有超过以多语言模型为代表的最新技术水平,但所获得的结果令人鼓舞,与初始模型相比,性能有了显着的飞跃,同时使用的数据量显着减少。
2022-11-09 cs.CL cs.LG
Noise Contrastive Meta-Learning for Conditional Density Estimation using Kernel Mean Embeddings
University of Oxford(牛津大学)
当前的元学习方法专注于学习变量之间关系的函数表示,即在回归中估计条件期望。然而,在许多应用中,我们面临着条件分布,它不能仅仅用期望值来有意义地概括(由于多模态等原因)。因此,我们考虑元学习环境中的条件密度估计问题。我们引入了一种新的元学习技术,它结合了神经表示和噪声对比估计与再生核希尔伯特空间的条件均值嵌入的既定文献。该方法在合成和现实世界的问题上进行了验证,展示了在多个条件密度估计任务中共享学习表示的实用性。
2021-02-23 cs.LG stat.ML
Interpretable contrastive word mover's embedding
Tufts University(塔夫茨大学)
本文表明,一种流行的方法,监督嵌入文件的分类,即对比词移动器的嵌入,可以显着提高通过增加可解释性。这种可解释性是通过将聚类促进机制纳入对比损失来实现的。在几个公共数据集上,我们表明我们的方法在现有基线的基础上显着改进,同时通过识别一组最能代表特定类别的关键字来提供对集群的解释。我们的方法的动机部分是需要开发自然语言处理(NLP)方法的\textit{novel problem of assessing student work for scientific writing and thinking} -一个问题,是中央(教育)学习科学(LS)的领域。在这种情况下,我们表明,我们的方法导致一个有意义的评估学生的工作相关的实验室报告,从生物类,可以帮助LS研究人员深入了解学生的理解和评估科学思维过程的证据。
2021-11-01 cs.CL cs.LG