Contrastive Learning for Character Detection in Ancient Greek Papyri
University of Fribourg(弗里堡大学);Université de Fribourg(弗里堡大学);Universität Freiburg(弗里堡大学)
本研究针对古希腊纸莎草纸字符检测任务,评估对比学习技术SimCLR的性能,发现采用交叉熵损失的传统监督基线模型表现更优,同时指出SimCLR的裁剪策略可能引发语义偏移导致效果受限。
2024-09-16 cs.CV cs.LG
WBT-BGRL: A Non-Contrastive Weighted Bipartite Link Prediction Model for Inductive Learning
Institute of Science and Technology(科学与技术研究所);Federal University of São Paulo (UNIFESP)(圣保罗联邦大学)
针对二部图归纳式加权链接预测研究不足的问题,提出非对比框架WBT-BGRL,通过三元组损失加权机制增强自举学习,在真实数据集上取得有竞争力的性能。
2025-10-28 cs.LG
Multi-Marginal Inverse Optimal Transport for Contrastive Learning Via Explicit Anchor-Positive-Negative Coupling
Tufts University(塔夫茨大学);East Tennessee State University(东田纳西州立大学);Boston University(波士顿大学)
针对逆最优传输对比学习忽略负样本导致维度坍缩的问题,提出多边际逆最优传输对比学习方法Neg-MMIOT-CL,通过显式锚点-正样本-负样本耦合缓解坍缩,并证明其等角性质,同时提出高效变体Neg-IOT-CL-PushPull,在合成与真实数据上显著优于现有方法。
2026-10-21 cs.LG stat.ML
Improving Knowledge Graph Embeddings through Contrastive Learning with Negative Statements
Data and Web Science Group, University of Mannheim(数据与网络科学组,曼海姆大学)
本研究提出一种双模型架构,将显式负陈述融入知识图谱嵌入训练,通过对比学习提升链接预测与三元组分类性能,优于现有最先进模型。
2025-10-13 cs.LG
Contrastively Learning Visual Attention as Affordance Cues from Demonstrations for Robotic Grasping
School of CS & AI, Arizona State University(亚利桑那州立大学计算机科学与人工智能学院)
传统的作品,学习掌握示能表示从示范需要明确地预测把握配置,如抓手接近角度或把握预形。然后,经典的运动规划器可以通过使用这种预测的配置来采样轨迹。在这项工作中,我们的目标是通过将这两个目标整合到基于深度神经网络的端到端模仿学习框架中,来填补启示发现和基于启示的政策学习之间的差距。从心理学的角度来看,注意力和示能性之间有着密切的联系。因此,与端到端的神经网络,我们建议学习启示线索作为视觉注意,作为一个有用的指示信号,演示如何完成任务,而不是明确建模启示。为了实现这一点,我们提出了一个对比学习框架,包括一个暹罗编码器和一个轨迹解码器。我们进一步引入了一个耦合的三重损失,以鼓励发现的启示线索,以更实惠的相关性。我们的实验结果表明,我们的模型与耦合三重损失实现了最高的抓取成功率在模拟机器人环境。我们的项目网站可以访问www.example.com。
2021-08-14 cs.AI cs.LG cs.RO
Triangular Contrastive Learning on Molecular Graphs
Seoul National University(首尔国立大学);AIGENDRUG Co. Ltd(AIGENDRUG有限公司);MOGAM Institute for Biomedical Research(慕岩生物医学研究所)
最近的对比学习方法已被证明在各种任务中是有效的,学习对数据增强不变的可推广表示,从而导致最先进的性能。关于在自监督学习中使用的大型未标记数据的多面性,而大多数真实字下游任务使用单一格式的数据,可以训练单一模态以从其他模态学习不同视角的多模态框架是一个重要的挑战。在本文中,我们提出了TriCL(三角对比学习),三模态对比学习的通用框架。TriCL利用了三角区域损失,这是一种新型的模态间对比损失,通过同时对比正三元组和负三元组的面积来学习嵌入空间的角度几何。在对齐和均匀性方面对嵌入空间的系统观察表明,三角区域损失可以通过按角度区分模态来解决线塌陷问题。我们的实验结果也证明了TriCL在分子性质预测的下游任务上的优异性能,这意味着嵌入空间的优势确实有利于下游任务的性能。
2022-05-26 cs.LG
Multi-modal Contrastive Representation Learning for Entity Alignment
Tencent Jarvis Lab(腾讯Jarvis实验室);Southeast University(东南大学)
多模态实体对齐旨在识别两个不同的多模态知识图谱之间的等价实体,知识图谱由结构三元组和与实体相关联的图像组成。以往的工作主要集中在如何利用和编码来自不同模态的信息,而它是不平凡的,利用多模态的知识在实体对齐,因为模态的异质性。在本文中,我们提出了MCLEA,多模态对比学习为基础的实体对齐模型,以获得有效的联合表示的多模态实体对齐。与以往的工作不同,MCLEA考虑面向任务的模态和模型的模态间的关系,为每个实体表示。特别地,MCLEA首先从多个模态学习多个个体表示,然后执行对比学习以联合建模模态内和模态间交互。大量的实验结果表明,MCLEA在监督和无监督设置下的公共数据集上的性能优于最先进的基线。
2022-09-02 cs.AI cs.CL cs.LG
Relation-dependent Contrastive Learning with Cluster Sampling for Inductive Relation Prediction
Sun Yat-sen University(中山大学)
关系预测是为知识图谱补全而设计的任务,其目的是预测实体之间缺失的关系。最近基于子图的归纳关系预测模型受到越来越多的关注,它可以基于候选三元组周围提取的子图来预测未见过实体的关系。然而,它们并不是完全归纳的,因为它们不能预测看不见的关系。此外,它们没有充分重视关系的作用,因为它们只依赖于模型来学习参数化的关系嵌入,这导致对长尾关系的预测不准确。在本文中,我们引入了基于聚类的对比学习(ReCoLe)来进行归纳关系预测,它采用了一种基于聚类算法的采样方法来适应对比学习,以增强关系的作用并提高对未知关系的泛化能力。ReCoLe不是直接学习关系的嵌入,而是为每个关系分配一个预训练的基于GNN的编码器,以加强关系的影响。基于GNN的编码器通过对比学习进行优化,从而确保在长尾关系上具有令人满意的性能。此外,聚类抽样方法使ReCoLe能够处理看不见的关系和实体。实验结果表明,ReCoLe在常用的归纳数据集上优于最先进的方法。
2022-11-22 cs.AI cs.CL cs.LG
The Complexity of Finding Local Optima in Contrastive Learning
University of California, Irvine(加州大学 Irvine 分校);University of California, Santa Cruz(加州大学 Santa Cruz 分校);Archimedes AI
本文证明在离散和连续对比学习问题中寻找局部最优解分别是PLS困难与CLS困难的,并指出局部搜索算法在最坏情况下可能需要指数时间,即使嵌入维度为1。
2025-09-21 cs.CC cs.LG math.OC
Optimal VC Dimension of Contrastive Learning with Margin
Northwestern University(西北大学);UC Santa Cruz(加州大学圣克鲁兹分校)
本文解决了带间隔的对比学习的 VC 维问题,证明了其 VC 维为 $O(n/\alpha^2)$,并给出匹配下界,从而确定了最优界。
2026-10-01 cs.DS cs.LG stat.ML
Solving Inefficiency of Self-supervised Representation Learning
Sun Yat-sen University(中山大学);University of Oxford(牛津大学);DarkMatter AI Research(暗物质人工智能研究院);Nanyang Technological University(南洋理工大学)
自监督学习(特别是对比学习)由于其在无监督学习中的巨大潜力而引起了人们极大的兴趣。尽管取得了公认的成功,但现有的对比学习方法的学习效率非常低,例如,对于可比较的识别准确度,花费比监督学习多十倍的训练时期。本文揭示了对比学习中存在的两个矛盾现象,即欠聚类和过聚类问题,它们是影响学习效率的主要障碍。欠聚类意味着当用于对比学习的负样本对不足以区分所有实际对象类时,模型不能有效地学习以发现类间样本之间的相异性。过度聚类意味着模型不能有效地从过多的负样本对中学习特征,迫使模型将相同实际类别的样本过度聚类到不同的聚类中。为了同时克服这两个问题,我们提出了一种新的自监督学习框架,使用截断三重损失。准确地说,我们采用三重损失倾向于最大化正对和负对之间的相对距离,以解决欠聚类问题;并且我们通过从所有负样本中选择负样本代理来构建负对,以避免由伯努利分布模型保证的过聚类问题。我们在几个大规模的基准测试中广泛评估了我们的框架(例如,ImageNet、SYSU-30k和COCO)。结果证明了我们模型的优越性(例如,学习效率)明显优于最新的最先进的方法。代码可在https://github.com/wanggrun/triplet上获得。
2021-10-21 cs.AI cs.CV cs.LG
Liquidity takers behavior representation through a contrastive learning approach
Université Paris-Dauphine PSL(巴黎多芬大学PSL);CNRS(法国国家科学研究中心);Université de Corse(科西嘉大学)
本文利用 Euronext CAC40 标注订单数据,提出基于三元组损失的自监督学习模型来学习流动性接受者订单表示,并通过 K-means 聚类识别不同交易行为类型。
2023-07-10 cs.LG q-fin.ST stat.ML
Deep Graph Contrastive Representation Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);RealAI(瑞莱智慧);Tsinghua University(清华大学)
图表示学习现在成为分析图结构数据的基础。受对比方法最近成功的启发,在本文中,我们提出了一个新的框架,无监督图表示学习,利用对比目标在节点级别。具体来说,我们通过腐败生成两个图形视图,并通过最大化这两个视图中节点表示的一致性来学习节点表示。为了提供不同的节点上下文的对比目标,我们提出了一个混合方案,用于生成图视图的结构和属性级别。此外,我们从互信息和经典三重态损失两个角度对我们的动机进行了理论论证。我们使用各种真实世界的数据集进行实证实验的转导和归纳学习任务。实验结果表明,尽管它的简单性,我们提出的方法始终优于现有的最先进的方法的大利润率。此外,我们的无监督方法甚至超过了其监督对应的转换任务,展示了其在现实世界中的应用潜力。
2020-07-13 cs.LG stat.ML
Constellation Loss: Improving the efficiency of deep metric learning loss functions for optimal embedding
Tecnalia(泰克纳利亚)
近年来,度量学习已成为一个引人注目的研究领域。损失函数如对比损失、三重损失或多类N对损失使得生成能够处理存在许多类和每个类的图像数量稀缺的复杂场景的模型成为可能,不仅用于构建分类器,而且用于测量相似性是关键的许多其他应用。通过度量学习训练的深度神经网络也提供了解决少样本学习问题的可能性。当前使用的现有技术水平的损失函数,例如三元组和对比损失函数,由于有效训练样本的选择,仍然遭受缓慢收敛,该有效训练样本已经通过同时添加来自不同类别的附加样本而由多类别N对损失部分解决。在这项工作中,我们扩展了三重和多类N对损失函数提出的星座损失度量,其中所有类组合之间的距离同时学习。我们已经比较了我们的星座损失的视觉类嵌入表明,我们的损失函数通过获得更紧凑的集群,同时实现更好的分类结果超过其他方法。
2019-05-25 cs.CV cs.LG
Supervised Contrastive Learning
Google Research(谷歌研究院);Boston University(波士顿大学);Snap Inc.(森宝公司);MIT(麻省理工学院)
近年来,应用于自监督表示学习的对比学习已经出现了复苏,导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失,如三重,最大余量和N对损失。在这项工作中,我们将自监督批量对比方法扩展到完全监督设置,使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起,同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比(SupCon)损失,确定性能最好的制定的损失。在ResNet-200上,我们在ImageNet数据集上实现了81.4%的top-1准确率,比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处,并且对超参数设置(例如优化器和数据增强)更稳定。我们的损失函数易于实现,参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Adversarial Contrastive Learning for LLM Quantization Attacks
Tsinghua University(清华大学);University of California, Merced(加州大学默塞德分校)
本文提出对抗对比学习方法,通过最大化良性与有害响应概率差距,有效提升大语言模型量化攻击的成功率。
2026-01-06 cs.CR cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology(快手科技)
近年来,从大量未标记数据中学习,特别是自监督学习,逐渐兴起并受到广泛关注。自监督学习,然后对一些标记的示例进行监督微调,可以显着提高标记效率,并优于使用完全注释数据的标准监督训练。在这项工作中,我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说,我们设计了一个学生-教师网络来生成自监督学习数据的多视图,并将硬负对挖掘集成到训练中。然后,我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
CDPAM: Contrastive learning for perceptual audio similarity
Princeton University(普林斯顿大学);Adobe Research(奥多比研究院)
许多基于深度学习的语音处理方法都需要一个自动的、可微分的音频度量作为损失函数。Manocha等人的DPAM方法学习了直接根据人类判断训练的全参考度量,因此与人类感知很好地相关。然而,它需要大量的人类注释,并且在训练的扰动范围之外不能很好地泛化。本文介绍了CDPAM,一个建立在DPAM的基础上并对其进行了改进的度量。主要的改进是结合对比学习和多维表示,从有限的数据中构建强大的模型。此外,我们收集人类对三重比较的判断,以提高对更广泛的音频扰动的泛化能力。CDPAM在九个不同的数据集上与人类反应良好相关。我们还表明,将此度量添加到现有的语音合成和增强方法产生显着的改善,客观和主观的测试。
2021-02-09 cs.LG cs.SD eess.AS
Video-Based MPAA Rating Prediction: An Attention-Driven Hybrid Architecture Using Contrastive Learning
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对视频年龄分级需求,提出结合对比学习与LRCN-注意力混合架构的MPAA自动分级方法,在上下文对比学习框架下达到88%准确率,并部署为实时Web应用。
2025-09-08 cs.CV cs.LG
Contrastive Triple Extraction with Generative Transformer
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
三元抽取是信息抽取中自然语言处理和知识图谱构建的一项重要任务。在本文中,我们重新审视了端到端的三重提取任务的序列生成。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新的模型,具有生成Transformer的对比三元组提取。具体来说,我们引入了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了生成可靠的结果,我们提出了一种新的三元组对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,分批动态注意力掩蔽和三重校准)。三个数据集(即,NYT,WebNLG和MIE)表明,我们的方法比基线实现了更好的性能。
2022-07-21 cs.AI cs.CL cs.DB
StyleDistance: Stronger Content-Independent Style Embeddings with Synthetic Parallel Examples
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
StyleDistance 利用大语言模型生成风格受控的合成平行改写数据,围绕 40 种风格特征进行对比学习,训练出更强内容无关的风格嵌入,并在现实基准和下游任务中优于现有方法。
2025-02-08 cs.CL cs.LG
DACAD: Domain Adaptation Contrastive Learning for Anomaly Detection in Multivariate Time Series
Department of Data Science and AI, Monash University(数据科学与人工智能系,墨尔本大学);Department of Computer Science, University of Oxford(计算机科学系,牛津大学);IBM T. J. Watson Research Center(IBM T. J. Watson研究中心);Squirrel Ai Learning(Squirrel Ai Learning公司);School of ICT, Griffith University(信息科技学院,格里菲斯大学)
针对时间序列异常检测中标记数据稀缺及跨域异常类别不一致的问题,提出结合无监督域自适应与对比学习的DACAD模型,通过异常注入、双对比损失和中心熵分类器,实现跨域知识迁移与高效异常检测。
2025-09-07 cs.AI cs.LG
EMOD: A Unified EEG Emotion Representation Framework Leveraging V-A Guided Contrastive Learning
针对EEG情绪识别模型跨数据集泛化能力有限的问题,提出EMOD统一框架,通过V-A引导对比学习弥合语义与结构差距,在8个数据集预训练后于3个基准集达SOTA,提升泛化性与适应性。
2025-11-14 cs.AI cs.LG
Contrastive Learning Meets Pseudo-label-assisted Mixup Augmentation: A Comprehensive Graph Representation Framework from Local to Global
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院);The University of Sydney Business School, The University of Sydney(悉尼大学商学院);College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院)
针对现有GNN忽略全局消息传递导致局部与全局信息缺乏协同的问题,提出ComGRL框架,通过图对比学习、多头自注意力及伪标签辅助的Mixup增强实现局部到全局的协同表示学习,在节点分类任务中表现优异。
2025-01-30 cs.LG
Color Variants Identification in Fashion e-commerce via Contrastive Self-Supervised Representation Learning
Myntra
在本文中,我们利用深度视觉表示学习来解决时尚电子商业中的一个重要问题:颜色变体识别,即,识别与其设计(或风格)完全匹配的时尚产品,但只是颜色不同。首先,我们试图通过获得手动注释(描述两个产品是否是颜色变体)来解决这个问题,并训练一个基于监督三重丢失的神经网络模型来学习时尚产品的表示。然而,对于大规模的真实世界的工业数据集,如我们的论文中所述,这是不可行的,以获得整个数据集的注释,同时捕捉所有困难的角落的情况。有趣的是,我们观察到颜色变体本质上是基于颜色抖动的增强的表现。因此,我们转而探索自监督学习(SSL)来解决这个问题。我们观察到,现有的国家的最先进的SSL方法执行差,为我们的问题。为了解决这个问题,我们提出了一种新的SSL基于颜色变量模型,同时侧重于不同的服装部分。定量和定性评估表明,我们的方法优于现有的SSL方法,有时,监督模型。
2021-06-30 cs.CV cs.LG
GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning
针对现有图对比学习方法难兼顾全局局部结构、难平衡节点与图级表示的问题,提出以多头注意力GNN为核心的GRE2-MDCL模型,通过多维对比损失优化,在三个基准数据集上达SOTA性能。
2025-03-20 cs.AI cs.LG
HaSa: Hardness and Structure-Aware Contrastive Knowledge Graph Embedding
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
针对知识图谱嵌入中负三元组生成带来的假负三元组偏差,提出硬度和结构感知的HaSa对比方法,在生成困难负三元组时缓解假负影响,提升InfoNCE-based KGE性能,在WN18RR上达到最先进结果。
2023-10-15 cs.AI cs.CL
Contrastive Learning for Efficient Transaction Validation in UTXO-based Blockchains
Teranode group(Teranode集团);University of Bath(巴斯大学)
本文提出一种结合对比学习与无监督学习的机器学习框架,通过为 UTXO 交易输出构建嵌入空间来优化分片与交易路由,从而减少跨分片通信开销,提升 UTXO 区块链的吞吐量和可扩展性。
2025-06-02 cs.AI cs.LG
Generalized Contrastive Learning for Universal Multimodal Retrieval
Qualcomm AI Research(高通人工智能研究)
针对跨模态模型难以检索图文融合键且新构造三元组数据成本高、泛化差的问题,本文提出 GCL 损失,在 mini-batch 内利用现有图文配对数据进行全模态对比学习,并在多个基准和模型上验证了稳定提升。
2025-09-30 cs.CV cs.LG
Learning a Geometric Representation for Data-Efficient Depth Estimation via Gradient Field and Contrastive Loss
Seoul National University(首尔大学)
从单个RGB图像估计深度图已经被广泛地研究用于定位、映射和3维目标检测。最近对单视图深度估计的研究主要基于深度卷积神经网络(ConvNets),其需要大量的训练数据与密集注释的标签配对。深度标注任务既昂贵又低效,因此不可避免地要利用RGB图像,这些图像可以很容易地收集,以提高没有深度标签的ConvNets的性能。然而,大多数自监督学习算法都专注于捕获图像的语义信息以提高分类或目标检测的性能,而不是深度估计。在本文中,我们发现现有的自监督方法在深度估计上表现不佳,并提出了一种基于梯度的自监督学习算法,该算法具有动量对比损失,以帮助ConvNets提取未标记图像的几何信息。因此,网络可以用相对少量的注释数据准确地估计深度图。为了表明我们的方法是独立的模型结构,我们评估我们的方法与两个不同的单目深度估计算法。我们的方法优于以前最先进的自监督学习算法,并显示了与NYU Depth v2数据集上的随机初始化相比,三重标记数据的效率。
2021-03-17 cs.CV cs.LG cs.RO
FOAL: Fine-grained Contrastive Learning for Cross-domain Aspect Sentiment Triplet Extraction
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);ByteDance(字节跳动)
本文提出FOAL方法,通过细粒度对比学习减少跨领域差异,在六个迁移对上实现6%性能提升,缓解目标领域标注数据依赖问题。
2023-11-17 cs.CL
Discovering Dual-Origin Slow Wind from Solar Orbiter with Self-Supervised Contrastive Learning
Baylor University(贝勒大学)
本研究提出自监督对比深度聚类框架Solar-CDC,利用太阳轨道器数据分离慢速太阳风的不同粒子群体,成功恢复其双起源特征,为日冕源诊断提供新方法。
2026-08-25 astro-ph.SR cs.AI cs.LG
Supervised contrastive learning from weakly-labeled audio segments for musical version matching
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司)
针对现有音乐版本匹配仅支持曲目级、损失函数陈旧的问题,提出弱标注片段学习方法与改进对比损失,在曲目级和片段级评估中均取得优异性能,方法可推广至更多领域。
2025-05-16 cs.AI cs.LG cs.SD
Quantum-Informed Contrastive Learning with Dynamic Mixup Augmentation for Class-Imbalanced Expert Systems
organization= Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California , city= Los Angeles , state= CA , postcode= 90089 , country= USA;organization= Department of Industrial Engineering;Management, Khulna University of Engineering \& Technology (KUET) , city= Khulna , postcode= 9203 , country= Bangladesh;organization= Department of Computer Science, American International University-Bangladesh (AIUB) , city= Dhaka , postcode= 1229 , country= Bangladesh
针对专家系统中类别不平衡表格数据,提出QCL-MixNet框架,融合量子启发层、kNN动态混合和混合损失,在18个数据集上超越20个基线,提升宏F1与召回率。
2025-06-19 cs.LG
Auxiliary Cross-Modal Representation Learning with Triplet Loss Functions for Online Handwriting Recognition
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出基于三元组损失的跨模态表示学习方法(CMR-IS),利用图像辅助任务提升时间序列分类性能,在在线手写识别中实现更高准确率与更好泛化。
2023-08-03 cs.CV cs.LG
Understanding Self-supervised Learning with Dual Deep Networks
Facebook AI Research(脸书人工智能研究院);Stanford University(斯坦福大学)
我们提出了一个新的理论框架来理解对比自监督学习(SSL)方法,该方法采用双对深度ReLU网络(例如,Simplified)。首先,我们证明,在每个SGD更新Simplified与各种损失函数,包括简单的对比损失,软三重损失和InfoNCE损失,在每一层的权重更新的\emph{covariance operator},专门放大初始随机选择性,不同的数据样本,但生存的平均值超过数据增强。为了进一步研究协方差算子扮演的角色以及在这样的过程中学习到的特征,我们通过\emph{hierarchical latent tree model}(HLTM)对数据生成和增强过程进行建模,并证明深度ReLU网络的隐藏神经元可以学习HLTM中的潜变量,尽管网络从这些未观察到的潜变量中接收\emph{no direct supervision}。这导致通过对比SSL放大最初的随机选择性来证明分层特征的出现。大量的数值研究证明了我们的理论发现。代码发布在https://github.com/facebookresearch/luckmatters/tree/master/ssl。
2021-02-15 cs.AI cs.LG stat.ML
BitCoin: Bidirectional Tagging and Supervised Contrastive Learning based Joint Relational Triple Extraction Framework
Beijing University of Post and Telecommunications(北京邮电大学)
针对现有关系三元组抽取方法忽视任务特殊性且仅单向抽取的问题,本文提出BitCoin框架,通过双向标注和监督对比学习实现联合抽取,并在多个基准上取得最优F1分数。
2023-09-21 cs.AI cs.CL
Enhancing Idiomatic Representation in Multiple Languages via an Adaptive Contrastive Triplet Loss
University of Sheffield(谢菲尔德大学);Federal University of Rio Grande do Sul(南里奥格兰德联邦大学);University of Exeter(埃克塞特大学)
本文提出一种基于自适应对比三元组损失的方法,通过建模组成词对习语含义的非对称贡献来增强多语言习语表征,并在SemEval挑战上显著超越先前方法。
2024-06-21 cs.AI cs.CL
KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
学习知识图谱(KG)的嵌入在人工智能中至关重要,并且可以使各种下游应用受益,例如推荐和问答。近年来,人们对知识图谱嵌入进行了大量的研究。然而,大多数以前的KGE方法忽略了语义相似性的相关实体和实体之间的关系对不同的三元组,因为他们分别优化每个三元组的评分函数。针对这一问题,本文提出了一种简单有效的基于张量分解(TDB)的KGE对比学习框架,该框架可以缩短不同三元组中相关实体和实体-关系对的语义距离,从而提高KGE的性能.我们在三个标准KGE数据集上评估了我们提出的方法:WN 18 RR,FB 15 k-237和YAGO 3 -10。我们的方法可以产生一些新的最先进的结果,在WN 18 RR数据集上实现51.2%MRR,46.8%Hits@1,在FB 15 k-237数据集上实现37.8%MRR,28.6%Hits@1,在YAGO 3 -10数据集上实现59.1%MRR,51.8%Hits@1。
2022-10-24 cs.AI cs.CL cs.LG
Affinity Uncertainty-based Hard Negative Mining in Graph Contrastive Learning
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对图对比学习中因过平滑和非独立同分布导致的假负样本问题,提出基于亲和度不确定性构建判别模型挖掘困难负样本,通过加权项增强现有GCL损失,显著提升了分类性能与对抗鲁棒性。
2024-01-07 cs.LG cs.SI
Knowledge Graph Error Detection with Contrastive Confidence Adaption
Nanjing University(南京大学)
本文提出知识图谱错误检测模型CCA,通过融合文本与图结构信息并设计交互式对比学习,显著提升了对语义相似噪声和对抗性噪声的检测性能。
2024-01-16 cs.AI cs.CL
Toward Unified Multimodal Representation Learning for Autonomous Driving
J. Mike Walker ’66 Department of Mechanical Engineering, Texas A&M University, College Station, TX 77843, USA(德克萨斯大学机械工程系,德克萨斯农工大学,学院站,德克萨斯,77843,美国);The Department of Engineering Technology and Industrial Distribution Texas A&M University, College Station, TX 77843, USA(工程技术与工业分布系,德克萨斯农工大学,学院站,德克萨斯,77843,美国)
本文提出CTP框架,通过统一多模态张量对齐提升自动驾驶性能。
2026-03-09 cs.CV cs.LG
Boundary-Driven Table-Filling with Cross-Granularity Contrastive Learning for Aspect Sentiment Triplet Extraction
Sun Yat-Sen University(中山大学);Guangdong University of Technology(广东工业大学);Guangdong Shuye Intelligent Technology Co., Ltd.(广东数业智能科技有限公司)
针对方面情感三元组抽取中词级交互忽略句级表示的问题,本文提出边界驱动表填充与跨粒度对比学习方法,通过正负样本对对齐句级与词级语义,并结合多尺度多粒度卷积,在公开基准上取得最优F1性能。
2025-02-04 cs.AI cs.CL
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而,现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点,我们提出了风格感知的对比学习多风格的图像描述。首先,我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外,我们提出了一个风格感知的三重对比度目标来区分图像,风格和标题是否匹配。为了给对比学习提供正样本和负样本,本文提出了三种检索方案:基于对象的检索、基于RoI的检索和基于三元组的检索,并设计了一个动态的权衡函数来计算检索得分。实验结果表明,我们的方法达到了最先进的性能。此外,我们进行了广泛的分析,以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
Dual-Modal Attention-Enhanced Text-Video Retrieval with Triplet Partial Margin Contrastive Learning
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化院);Ant Group(蚂蚁集团)
针对文本-视频检索中困难负样本利用不足和语义相似度层级建模缺失的问题,提出DMAE、NegNCE损失与TPM-CL模块,并在四个基准数据集上取得优于现有方法的结果。
2024-01-26 cs.AI cs.CL cs.CV
Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning
Hanyang University(汉阳大学)
本文提出子图感知训练框架SATKGC,通过子图感知小批量采样和结构感知对比学习,将知识图谱的拓扑结构归纳偏置全面纳入预训练语言模型微调,有效提升了知识图谱补全的准确度。
2026-10-14 cs.AI cs.CL
Improving Large Language Model Safety with Contrastive Representation Learning
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(智能系统最大计划);University of Toronto(多伦多大学)
本文提出基于对比表征学习的框架,通过三元组损失和对抗性难负样本挖掘提升大语言模型对对抗攻击的鲁棒性。
2025-12-28 cs.AI cs.CL cs.LG
MICO: A Multi-alternative Contrastive Learning Framework for Commonsense Knowledge Representation
HKUST(香港科技大学);Tencent AI lab(腾讯人工智能实验室)
常识知识图补全和常识问答等常识推理任务需要强大的表示学习。本文提出了一种基于常识知识图谱的多选择对比学习框架MICO(Multi-Alternative Contrast Learning Framework),用于常识知识表示的学习。MICO通过多选择对比学习,通过实体节点和关系之间的上下文交互,生成常识知识表示。在MICO中,$(h,r,t)$知识三元组中的头和尾实体被转换为自然语言形式的两个关系感知序列对(前提和替代)。通过比较语义表征之间的距离得分,MICO生成的语义表征可以帮助完成以下两个任务:1)zero-shot常识问答任务; 2)归纳常识知识图完成任务。大量的实验表明了该方法的有效性。
2022-10-14 cs.CL
SMiLE: Schema-augmented Multi-level Contrastive Learning for Knowledge Graph Link Prediction
School of Computer Science, Wuhan University(武汉大学计算机学院);The University of Manchester(曼彻斯特大学);Victoria University(维多利亚大学)
针对知识图谱链接预测中上下文信息与实体表示一致性不足的问题,提出SMiLE框架,利用网络模式采样负例并进行多级对比预训练与三元组监督微调,在四个数据集上优于先进基线。
2024-03-04 cs.AI cs.CL
Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts
Modelbest;Tsinghua University(清华大学);University College London(伦敦大学学院)
归纳知识图谱完备化要求模型理解关系的底层语义和逻辑模式。随着预训练语言模型的发展,最近的研究已经为链接预测任务设计了Transformers。然而,实证研究表明,线性化三元组会影响关系模式的学习,如反转和对称。在本文中,我们提出了双链接,一个对比学习框架与概率语法提示链接预测。使用语法知识的BERT,我们有效地搜索关系提示,根据学习的语法模式,推广到大型知识图谱。为了更好地表达对称关系,我们设计了一个对称链接预测模型,在前向预测和后向预测之间建立双向链接。这种双向链接在测试时提供灵活的自集成策略。在我们的实验中,Bi-Link在链接预测数据集(WN 18 RR,FB 15 K-237和Wikidata 5 M)上的表现优于最近的基线。此外,我们构造Zeshel-Ind作为一个域内的归纳实体连接的环境,以评估双链接。实验结果表明,我们的方法产生鲁棒的表示,可以推广下域移位。
2022-10-26 cs.CL
Aligning Biomedical Texts and Knowledge Graphs: A Systematic Comparison of Lightweight Alignment Strategies
University of Mannheim(曼海姆大学)
本研究提出统一框架系统比较生物医学文本与KG的轻量对齐策略,构建CTD-Align语料库,发现三元组组合和训练方向影响最大,线性投影效果最优,为二者桥接提供实用基础。
2026-08-25 cs.CL cs.IR
Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG
University of Chile(智利大学);São Paulo State University(圣保罗州立大学);Saarland University(萨尔兰州立大学);University of Munich(慕尼黑大学);Portland State University(波特兰州立大学);Idiap Research Institute(Idiap研究机构)
提出 CERA 框架,通过基于主观性的困难负样本选择和辅助注意力对齐损失注入证据归纳偏差,实现可解释且事实准确的检索。
2026-05-31 cs.CL
Contrastive Learning Using Graph Embeddings for Domain Adaptation of Language Models in the Process Industry
University of Göttingen(戈丁根大学);eschbach GmbH(eschbach公司)
本文研究将图感知邻域对比学习SciNCL应用于流程工业领域,利用图嵌入微调语言模型,在PITEB基准上以少3倍参数超越mE5-large达9.8-14.3%。
2025-10-07 cs.CL cs.IR
Triple-Encoders: Representations That Fire Together, Wire Together
KU Leuven(鲁汶大学);Cohere(科here公司);Maastricht University(马斯特里赫特大学);Technical University of Darmstadt(达姆施塔特工业大学)
针对基于搜索的对话模型每轮重编码历史成本高、双编码器独立编码忽略语境化的问题,提出三重编码器,通过赫布启发的无权重局部共现学习目标自组织计算分布式话语混合表征,相比双编码器显著提升,零样本泛化优于单向量模型且无需重编码。
2024-07-13 cs.CL