Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong(香港城市大学);Fuzhou University(福州大学)
自动评估图像字幕的质量可能是非常具有挑战性的,因为人类语言是非常灵活的,可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发,我们提出了一种基于学习的图像描述度量,我们称之为内在图像描述评价($I^2CE$)。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型,双分支模型和三分支模型。我们的实证测试表明,$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断,当代图像描述评价指标。此外,我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明,我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上,建议的度量可以作为一个新的指标的内在信息之间的字幕,这可能是补充现有的。
2021-06-29 cs.CV
Unsupervised Deep Metric Learning with Transformed Attention Consistency and Contrastive Clustering Loss
University of Missouri(密苏里大学);Beijing Jiaotong University(北京交通大学)
现有的无监督度量学习方法集中在探索输入图像本身的自我监督信息。我们观察到,在分析图像时,人眼通常会将图像相互比较,而不是单独检查图像。此外,他们经常关注某些关键点,图像区域或对象,这些关键点,图像区域或对象在图像类别之间具有区别性,但在类别内高度一致。即使图像正在变换,注意力模式也将是一致的。基于这一观察结果,我们开发了一种新的无监督深度度量学习方法,其中网络是基于跨图像而不是单个图像的自我监督信息来学习的。为了描述图像比较过程中人类注意力的一致性模式,我们引入了转换注意力一致性的思想。它假设视觉上相似的图像,即使经历不同的图像变换,也应该共享相同的一致的视觉注意力图。这种一致性导致了成对的自我监督损失,使我们能够学习一个暹罗深度神经网络来编码和比较图像与它们的变换或匹配对。为了进一步增强该网络生成的特征的类间区分能力,我们将监督度量学习中的三重损失概念应用于我们的无监督情况,并引入对比聚类损失。我们在基准数据集上的大量实验结果表明,我们提出的方法在很大程度上优于当前最先进的无监督度量学习方法。
2020-08-10 cs.CV
Visualizing and Understanding Contrastive Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
针对现有单图像解释方法不适用于对比学习、缺乏成对解释评价指标的问题,研究设计了面向图像对相似性学习的可视化解释方法,适配相关评价指标并开展全面分析,明确其与下游任务的相关性。
2023-12-13 cs.CV
UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning
Seoul National University(首尔国立大学);Adobe Research(奥多比研究院)
尽管BERTScore等各种文本生成指标取得了成功,但由于描述的多样性,在没有足够参考字幕的情况下仍然难以评估图像字幕。在本文中,我们引入了一个新的度量UMIC,一个无参考的度量图像描述,它不需要参考字幕来评估图像字幕。基于视觉与语言BERT,我们通过对比学习训练UMIC识别负面字幕。此外,我们观察到以前基准数据集的关键问题(即,人类注释)对图像描述度量的影响,并在所生成的字幕上引入人类注释的新集合。我们在四个数据集上验证了UMIC,包括我们的新数据集,并表明UMIC具有比以前所有需要多个引用的指标更高的相关性。我们发布基准数据集和预训练模型来计算UMIC。
2021-06-26 cs.CL cs.CV
The Influences of Color and Shape Features in Visual Contrastive Learning
在视觉表示学习领域,对比学习的性能已经赶上了通常是分类卷积神经网络的监督方法。但是,大部分的研究工作集中在提高下游任务的准确性,如图像分类和目标检测。对于视觉对比学习,单个图像特征(例如,颜色和形状)对模型性能的影响仍然不明确。本文通过设计各种烧蚀实验来研究这种影响,其结果由专门设计的指标进行评估。虽然这些指标不是我们发明的,但我们首先将它们用于表征评估领域。具体来说,我们评估两个主要图像特征的贡献(即,颜色和形状)以定量的方式。实验结果表明,与监督表示相比,对比表示更倾向于与表示空间中颜色相似的对象聚类,并且包含的形状信息比监督表示少。最后,我们讨论了目前的数据增强是负责这些结果。我们认为,探索一种无监督的增强方法,
2023-01-29 cs.CV
CROC: Evaluating and Training T2I Metrics with Pseudo- and Human-Labeled Contrastive Robustness Checks
University of Mannheim(曼海姆大学);University of Technology Nuremberg(纽伦堡技术大学);Max Planck Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息研究所,萨尔兰信息校园)
本文提出CROC框架,通过合成对比测试案例评估和训练T2I度量,生成超过100万对对比提示-图像对的伪标签数据集,并训练出CROCScore指标,展示其在开放源方法中的最佳性能。
2026-04-20 cs.CL cs.CV
ContraMap: Contrastive Uncertainty Mapping for Robot Environment Representation
School of Computer Science and the Australian Centre for Robotics, University of Sydney(悉尼大学计算机科学学院与澳大利亚机器人中心)
ContraMap通过对比学习方法,结合核基判别图和显式不确定性类,实现实时环境预测与空间不确定性估计,优于贝叶斯核图基线。
2026-03-29 cs.AI cs.CV cs.RO
Affine Invariant, Model-Based Object Recognition Using Robust Metrics and Bayesian Statistics
University College London(伦敦大学学院)
我们重新审视的问题,基于模型的对象识别的强度图像,并试图解决现有的贝叶斯方法的一些缺点,如不合适的先验知识和治疗的残差与非鲁棒的误差范数。我们这样做是通过使用的休伯度量和精心选择的先验分布的reformulation。我们提出的方法是不变的二维仿射变换,因为它是相对容易的训练和使用,它是适合于一般的目标匹配问题。
2010-12-11 cs.CV
Contrastive-SDE: Guiding Stochastic Differential Equations with Contrastive Learning for Unpaired Image-to-Image Translation
Department of Computer Science & Engineering(计算机科学与工程系);National Institute of Technology, Andhra Pradesh(安得拉邦国立理工学院)
针对无配对图像到图像翻译任务,提出Contrastive-SDE方法,用时序对比学习(SimCLR)保留域不变特征,引导预训练SDE推理,性能比肩SOTA且收敛更快、无需标签监督。
2025-10-04 cs.CV
Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere
MIT Computer Science & Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室)
对比表示学习在实践中取得了显著的成功。在这项工作中,我们确定了与对比损失相关的两个关键属性:(1)来自正对的特征的对齐(接近度),以及(2)超球面上(归一化)特征的诱导分布的均匀性。我们证明,渐进的,对比损失优化这些属性,并分析其对下游任务的积极影响。从经验上讲,我们引入了一个可优化的度量来量化每个属性。在标准视觉和语言数据集上进行的大量实验证实了这两个指标与下游任务性能之间的高度一致性。值得注意的是,直接优化这两个指标会导致表示在下游任务中具有可比或更好的性能,而不是对比学习。项目页面:https://tongzhouwang.info/hypersphere代码:https://github.com/SsnL/align_uniform,https://github.com/SsnL/moco_align_uniform
2022-08-15 cs.CV cs.LG stat.ML
Variance & Greediness: A comparative study of metric-learning losses
KDDI Research, Inc.(KDDI研究公司)
本文通过比较七种度量学习损失函数,揭示了方差与贪婪性在嵌入学习中的权衡,为不同应用场景提供了选择指导。
2026-01-29 cs.CV
Do Medical Vision Language Models Actually See? A Counterfactual Grounding Framework and Hard-Negative Contrastive Training for Visually-Reliant Medical VLMs
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);Eisai Inc.(卫材株式会社);IISc, Bangalore(印度科学研究所班加罗尔分校);Cohere Labs Community(Cohere实验室社区)
探讨医学视觉语言模型是依据视觉证据推理还是利用文本捷径,引入反事实评估框架和对比检索增强学习方法,提升模型视觉依赖能力并揭示跨域诊断差异。
2026-07-07 cs.CV
A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));East China University of Science and Technology(华东理工大学)
本文提出包含1.1万对、覆盖20类复杂对比句的 Winoground-T2I 基准,用于细粒度评估 T2I 模型组合性,并检验图像保真度指标的可靠性。
2023-12-11 cs.AI cs.CV cs.MM
Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation
University of Modena and Reggio Emilia(摩德纳雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息学与电信研究所)
针对视觉字幕评估任务,提出正样本增强对比学习得分指标PAC-S,融合对比视觉语义空间学习与精选数据的生成样本增强,在多数据集上实现与人类判断的最高相关性,优于现有主流评估指标。
2023-07-20 cs.AI cs.CL cs.CV
Deep Metric Learning with Angular Loss
Baidu Research(百度研究院)
现代图像搜索系统需要对图像进行语义理解,而学习一个好的度量图像之间相似性的度量是一个关键而尚未解决的问题。虽然深度度量学习通过从图像数据中提取高级抽象而产生了令人印象深刻的性能增益,但适当的客观损失函数成为提高性能的核心问题。在本文中,我们提出了一种新的角度损失,它考虑到角度关系,学习更好的相似性度量。鉴于以前的度量学习方法专注于优化图像对的相似性(对比损失)或相对相似性(三重损失),我们提出的方法旨在约束三重三角形负点的角度。与传统方法相比,观察到几个有利的性能。首先,引入尺度不变性,提高了目标对特征变化的鲁棒性。其次,本质上施加了三阶几何约束,捕获了比对比损失或三重态损失更多的三重态三角形的局部结构。第三,更好的收敛性已被证明在三个公开可用的数据集上的实验。
2017-08-04 cs.CV
Modulated Contrast for Versatile Image Synthesis
Nanyang Technological University(南洋理工大学)
感知图像之间的相似性一直是各种视觉生成任务的一个长期存在的基本问题。主流方法通过计算逐点绝对偏差来测量图像间距离,这往往会估计实例分布的中值,并导致生成的图像中的模糊和伪影。本文介绍了MoNCE,一个多功能的度量,引入图像对比度学习校准度量的感知多方面的图像间的距离。与vanilla contrast不加区别地将负样本从锚点推离而不管它们的相似性不同,我们提出根据负样本与锚点的相似性自适应地重新加权负样本的推离力,这有助于从信息丰富的负样本中进行对比学习。由于图像距离测量涉及多个块级对比目标,我们在MoNCE中引入最优传输,以跨多个对比目标协作地调制负样本的推力。多个图像翻译任务的大量实验表明,所提出的MoNCE的性能大大优于各种流行的指标。该代码可在https://github.com/fnzhan/MoNCE上获得。
2022-03-17 cs.CV
An Empirical Study on Disentanglement of Negative-free Contrastive Learning
Tsinghua University(清华大学);Shanghai Qi-Zhi Institute(上海期智研究院);Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
无负对比学习方法因其简单性和大规模预训练的优异性能而受到广泛关注。然而,它的解缠结性质仍然未被探索。在本文中,我们检查负自由的对比学习方法来研究的解纠缠性能的经验。我们发现现有的解纠缠度量不能对高维表示模型进行有意义的测量,因此我们提出了一种新的基于潜在表示和数据因子之间的互信息的解纠缠度量.有了这个建议的度量,我们在流行的合成数据集和真实世界的数据集CelebA上对无负对比学习的解纠缠特性进行了基准测试。我们的研究表明,所研究的方法可以学习一个良好的解纠缠子集的表示。据我们所知,我们是第一个将非纠缠表示学习的研究扩展到高维表示空间,并将无负对比学习方法引入这一领域的人。本文的源代码可在\url{https://github.com/noahcao/disentanglement_lib_med}上获得。
2022-10-15 cs.AI cs.CV cs.LG
Evaluating Bayesian Deep Learning Methods for Semantic Segmentation
University of Oxford(牛津大学)
深度学习对于计算机视觉和语义分割来说是革命性的,特别是贝叶斯深度学习(BDL)用于在预测语义类别时从深度模型中获得不确定性图。例如,在将语义分割用于自动驾驶时,此信息至关重要。标准的语义分割系统具有完善的评估度量。然而,随着BDL在计算机视觉中的日益普及,我们需要新的指标来评估BDL方法是否比另一种方法产生更好的不确定性估计。在这项工作中,我们提出了三个这样的指标来评估专门为语义分割的任务设计的BDL模型。我们修改了DeepLab-v3+,最先进的深度神经网络之一,并使用MC dropout和Concrete dropout作为推理技术创建了贝叶斯对等体。然后,我们使用我们建议的指标在著名的Cityscapes数据集上比较和测试这两种推理技术。我们的研究结果为研究人员提供了新的基准,以比较和评估他们的改进不确定性量化追求更安全的语义分割。
2019-03-23 cs.CV
A Novel Center-based Deep Contrastive Metric Learning Method for the Detection of Polymicrogyria in Pediatric Brain MRI
University of Ottawa(渥太华大学);Children’s Hospital of Eastern Ontario(东安大略儿童医院)
多微脑回症(PMG)是一种主要见于儿童的大脑皮层组织紊乱,可伴有癫痫发作、发育迟缓和运动无力。PMG通常通过磁共振成像(MRI)诊断,但即使对于经验丰富的放射科医生,某些病例也难以检测。在这项研究中,我们创建了一个开放的儿科MRI数据集(PPMR)与PMG和控制从安大略省东部儿童医院(CHEO),渥太华,加拿大。PMG MRI和对照MRI之间的差异是微妙的,疾病特征的真实分布是未知的。这使得在MRI中自动检测潜在PMG的情况变得困难。我们提出了一种基于新的基于中心的深度对比度量学习损失函数(cDCM)的异常检测方法,该方法能够自动检测潜在PMG的情况。此外,基于我们提出的损失函数,我们为PPMR数据集定制了一个深度学习模型结构,该模型结构集成了扩张卷积、挤压和激励块以及特征融合。尽管使用的是一个小而不平衡的数据集,但我们的方法在55.04%的精度下实现了92.01%的召回率。这将有助于放射科医生选择潜在的PMG MRI的计算机辅助工具。据我们所知,这项研究是第一个应用机器学习技术来识别PMG仅从MRI。
2022-11-22 cs.AI cs.CV
Hotel Recognition via Latent Image Embedding
HSE University(高等经济大学)
我们用深度度量学习来解决酒店识别问题。我们概述了现有的方法,并提出了一个修改的对比损失称为对比三重损失。我们构建了一个强大的管道来对度量学习模型进行基准测试,并在Hotels-50 K和CUB 200数据集上进行了实验。对比三重损失被证明可以在Hotels-50 k上实现更好的检索。我们开源我们的代码。
2021-06-15 cs.CV cs.IR cs.LG
Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization
University of Liverpool(利物浦大学);South China University of Technology(华南理工大学);National Tsing Hua University(国立清华大学)
针对视觉-语言导航(VLN)任务中现有方法处理细粒度视觉负样本的不足,本文提出基于贝叶斯优化的对抗优化框架生成细粒度对比视觉样本,提升跨模态嵌入效果,在R2R和REVERIE基准上验证了其导航性能提升。
2024-11-30 cs.CL cs.CV cs.LG
Bayesian Metric Learning for Uncertainty Quantification in Image Retrieval
Technical University of Denmark(丹麦技术大学)
我们提出了第一个贝叶斯编码器的度量学习。我们不像以前的工作那样依赖于神经摊销,而是使用拉普拉斯近似来学习网络权重的分布。我们实现这一点,首先证明对比损失是一个有效的对数后验。然后,我们提出了三种方法,以确保一个正定的海森。最后,我们提出了一种新的广义高斯-牛顿近似的分解。从经验上讲,我们表明,我们的拉普拉斯度量学习器(LAM)估计校准良好的不确定性,可靠地检测出分布的例子,并产生最先进的预测性能。
2023-02-04 cs.CV cs.LG
Refining Self-Supervised Learning in Imaging: Beyond Linear Metric
North Carolina State University(北卡罗来纳州立大学);US Army Research Office(美国陆军研究办公室)
我们在本文中引入了一个新的统计角度,利用Jaccard相似性度量,作为一个基于测量的度量,有效地调用非线性功能的损失,自我监督对比学习。具体来说,我们提出的度量可以被解释为从所谓的潜在表示中学习的两个适应投影之间的依赖性度量。这与传统的对比学习模型中的余弦相似性度量相反,该模型考虑了相关性信息。据我们所知,这种有效的非线性融合信息嵌入在Jaccard相似性,是新颖的自我监督学习有前途的结果。所提出的方法进行了比较,两个国家的最先进的自我监督对比学习方法在三个图像数据集。我们不仅证明了它在当前ML问题中的适用性,而且还提高了性能和训练效率。
2022-10-13 cs.CV cs.LG eess.IV
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering(亨利·M·罗恩工程学院);Rowan University(罗恩大学);MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法,通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性,在CIFAR-10上验证其能形成结构良好的类别邻域,为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
No Filter: Cultural and Socioeconomic Diversity in Contrastive Vision-Language Models
Google DeepMind(谷歌DeepMind)
该研究考察对比视觉-语言模型的文化与社会经济多样性,发现英文过滤会损害弱势社群表现,并提出全球未过滤数据预训练及地理定位评估方法。
2024-10-23 cs.AI cs.CV
Simple and Effective Balance of Contrastive Losses
NAVER LABS Europe(NAVER LABS 欧洲);University of Amsterdam(阿姆斯特丹大学)
对比损失长期以来一直是深度度量学习的关键组成部分,现在由于自监督学习的成功而变得越来越流行。最近的研究表明,将这种损失分解为两个子损失的好处,这两个子损失在学习表示网络时以互补的方式起作用:正项和熵项。虽然总损失因此被定义为两个术语的组合,但这两个术语的平衡往往隐藏在实施细节之后,在实践中基本上被忽视和次优。在这项工作中,我们接近的对比损失作为一个超参数优化问题的平衡,并提出了一个基于坐标下降的搜索方法,有效地找到超参数,优化评估性能。在此过程中,我们将现有的余额分析扩展到对比利润损失,将批次大小纳入余额中,并解释如何汇总批次中的损失元素,以在更大的批次大小范围内保持接近最佳的性能。对深度度量学习和自监督学习的基准测试进行的大量实验表明,与其他常见的搜索方法相比,我们的方法可以更快地找到最佳超参数。
2021-12-22 cs.CV cs.LG
Learning Invariant Representations using Inverse Contrastive Loss
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
学习不变表示是许多机器学习任务中关键的第一步。一种常见的方法对应于所谓的信息瓶颈原理,其中仔细选择和优化互信息的应用相关函数。不幸的是,在实践中,这些函数不适合于优化目的,因为这些损失与模型参数的度量结构无关。我们引入了一类损失的学习表示,是不变的一些无关变量的利益,通过反转类对比损失,即,逆对比度损失(ICL)。我们表明,如果无关变量是二进制的,那么优化ICL是等价于优化正则化的MMD发散。更一般地说,我们还表明,如果我们提供了一个度量的样本空间,我们制定的ICL可以分解成一个给定的距离度量的凸函数的总和。我们的实验结果表明,通过优化ICL获得的模型实现了显着更好的不变性的外来变量为一个固定的期望水平的准确性。在各种实验设置中,我们显示了ICL学习连续和离散无关变量的不变表示的适用性。
2021-02-16 cs.AI cs.CV cs.LG
Bayesian Neighbourhood Component Analysis
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在特征空间中学习一个好的距离度量可能会提高KNN分类器的性能,并且在许多实际应用中非常有用。然而,许多度量学习算法基于二次优化问题的点估计,这是耗时的,容易过拟合,并且缺乏自然的机制来推理参数不确定性,这是一个重要的属性,特别是当训练集很小和/或有噪声时。为了解决这些问题,我们提出了一种新的贝叶斯度量学习方法,称为贝叶斯NCA,基于著名的邻域成分分析方法,其中度量后验的特征在于观察的局部标签一致性约束,编码的相似性图,而不是独立的成对约束。为了有效的贝叶斯优化,我们探索了原始NCA目标的对数似然的变分下界。在几个公开数据集上的实验表明,该方法能够从小规模数据集和/或具有挑战性的训练集与错误污染的标签学习鲁棒的度量措施。所提出的方法也优于以前的成对约束贝叶斯度量学习方法。
2016-04-08 cs.CV cs.LG
A Domain-specific Perceptual Metric via Contrastive Self-supervised Representation: Applications on Natural and Medical Images
Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);Southern University of Science and Technology(南方科技大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
量化两幅图像的感知相似性是低级计算机视觉中的一个长期问题。自然图像领域通常依赖于监督学习,例如,预训练的VGG,以获得潜在表示。然而,由于域偏移,来自自然图像域的预训练模型可能不适用于其他图像域,例如医学成像。值得注意的是,在医学成像中,评估感知相似性仅由在不同医学领域接受过广泛培训的专家执行。因此,医学成像仍然缺乏任务特定的,客观的感知措施。这项工作回答了这样一个问题:是否有必要依靠监督学习来获得一个有效的表示,可以衡量感知相似性,或者自我监督就足够了?为了了解最近的对比自监督表示(CSR)是否可以拯救,我们从自然图像开始,系统地评估CSR作为众多当代架构和任务的度量,并将其与现有方法进行比较。我们发现,在自然图像域中,CSR的行为与监督的一个在几个感知测试作为一个度量,在医疗领域,CSR更好地量化感知相似性有关的专家的评级。我们还证明了CSR可以显着提高图像质量在两个图像合成任务。最后,我们广泛的研究结果表明,感知是一个新兴的CSR属性,它可以适应许多图像域,而不需要注释。
2022-12-03 cs.CV cs.MM eess.IV
Studying the impact of magnitude pruning on contrastive learning methods
University of Pisa(比萨大学);TU Graz(格拉茨工业大学);CSH Vienna(维也纳复杂科学中心)
我们研究了不同修剪技术对使用对比损失函数训练的深度神经网络学习的表示的影响。我们的工作发现,在高稀疏水平下,相对于传统的交叉熵损失训练的模型,对比学习会导致更多的错误分类示例。为了理解这种明显的差异,我们使用诸如PIE数量的指标(Hooker等人,2019)、Q评分(Kalibhat等人,2022)和PD评分(Baldock等人,2021)来测量修剪对学习的表示质量的影响。我们的分析表明,修剪方法的实施事项的时间表。我们发现,当在训练阶段的早期引入修剪时,稀疏性对学习表示的质量的负面影响是最高的。
2022-07-01 cs.CV cs.LG
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Contrastive Metric Learning for Point Cloud Segmentation in Highly Granular Detectors
Blackett Laboratory, Imperial College London, UK(帝国理工学院伦敦学院布莱克特实验室);Brown Center for Theoretical Physics and Innovation (BCTPI), Brown University, USA(布朗大学理论物理与创新中心)
本文提出基于监督对比度度量学习的点云分割方法,通过学习潜在表示实现点云分割,相比传统方法更稳定且分离度更高,提升重建效率和纯度。
2026-10-14 cs.AI cs.CV cs.LG
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine(加利福尼亚大学欧文分校);Microsoft Research(微软研究院)
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD,通过联合对比损失和跨模态简易融合模块,在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Positive-Augmented Contrastive Learning for Vision-and-Language Evaluation and Training
University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学);IIT-CNR(IIT-卡内基梅隆研究院)
针对现有字幕评估指标的缺陷,提出基于CLIP的可学习指标PAC-S++,通过正样本增强对比学习优化,可用于评估及作为奖励微调字幕模型,提升生成字幕质量。
2025-07-29 cs.AI cs.CL cs.CV