Deep Divergence Learning
Boston University(波士顿大学)
经典的线性度量学习方法最近沿着两条不同的路线进行了扩展:使用神经网络学习数据嵌入的深度度量学习方法,以及将学习欧几里德距离扩展到更一般的发散度量(如分布上的发散)的Bregman发散学习方法。在本文中,我们介绍了深Bregman分歧,这是基于学习和参数化功能Bregman分歧使用神经网络,并统一和扩展这些现有的工作线。我们特别展示了深度度量学习公式,内核度量学习,Mahalanobis度量学习和用于比较分布的矩匹配函数是如何作为对称设置中这些分歧的特殊情况出现的。然后,我们描述了一个深度学习框架,用于学习一般函数Bregman分歧,并在实验中表明,与现有的深度度量学习方法相比,这种方法在基准数据集上具有更好的性能。我们还讨论了新的应用,包括半监督分布聚类问题,和一个新的损失函数的无监督数据生成。
2020-05-06 cs.LG stat.ML
Deep Metric Learning with Spherical Embedding
Zhejiang University(浙江大学);Binghamton University(宾汉姆顿大学)
深度度量学习由于将距离度量学习与深度神经网络无缝结合,近年来引起了广泛关注。人们致力于设计不同的基于对的角度损失函数,以解耦嵌入向量的幅度和方向信息,并确保训练和测试度量的一致性。然而,这些传统的角度损失不能保证所有的样本嵌入在训练阶段都在同一个超球面上,这会导致批量优化时梯度不稳定,影响嵌入学习的快速收敛。在本文中,我们首先研究了嵌入范数对具有角距离的深度度量学习的影响,然后提出了一个球形嵌入约束(SEC)来正则化范数的分布。SEC自适应地调整嵌入落在同一超球面上,并执行更平衡的方向更新。对深度度量学习、人脸识别和对比自监督学习的大量实验表明,基于SEC的角空间学习策略显著提高了最新技术的性能。
2020-11-05 cs.CV cs.LG
Metric learning by Similarity Network for Deep Semi-Supervised Learning
Shanghai University of Finance and Economics(上海财经大学)
随着深度学习的快速发展,深度半监督学习在现实世界中得到了广泛的应用。最近,人们的注意力已经转移到诸如Mean-Teacher之类的方法来惩罚两个扰动输入集之间的不一致性。虽然这些方法可能会获得积极的结果,但它们忽略了数据实例之间的关系信息。为了解决这个问题,我们提出了一种新的方法命名为度量学习相似性网络(MLSN),其目的是学习一个距离度量自适应不同的领域。通过与分类网络的共同训练,相似性网络可以学习更多关于成对关系的信息,并且在一些经验任务上比最先进的方法表现得更好。
2020-04-29 cs.LG stat.ML
Predicting Generalization in Deep Learning via Metric Learning -- PGDL Shared task
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院)
“预测深度学习的泛化(PGDL)”竞赛旨在为严格研究深度学习模型的泛化提供一个平台,并深入了解理解和解释这些模型的进展。本报告介绍了用户\emph{smeznar}提交的解决方案,该解决方案在竞赛中获得了第八名。在所提出的方法中,我们创建简单的度量,并在所提供的数据集上自动测试,找到它们的最佳组合,探索如何将输入神经网络架构的各种属性的组合用于预测其泛化。
2020-12-16 cs.LG stat.ML
Deep Transform and Metric Learning Networks
North Carolina State University(北卡罗来纳州立大学);Inria(法国国家信息与自动化研究所)
基于其在推理和去噪任务中的巨大成功,字典学习(DL)及其相关的稀疏优化公式已经获得了大量的研究兴趣。虽然大多数解决方案都集中在单层字典上,但最近改进的Deep DL方法在许多问题上也有所不足。因此,我们提出了一种新的深度DL方法,其中每个DL层可以作为一个线性层和递归神经网络的组合来制定和求解,其中RNN被灵活地重新分级为与层相关的学习度量。我们提出的工作揭示了神经网络和深度DL之间的新见解,并提供了一种新颖,高效和有竞争力的方法来共同学习深度转换和度量。大量的实验表明,该方法不仅优于现有的深度深度学习,而且优于最先进的一般卷积神经网络。
2021-04-21 cs.CV cs.LG
Adaptive additive classification-based loss for deep metric learning
Amazon(亚马逊)
最近的工作表明,深度度量学习算法可以受益于来自另一种输入模态的弱监督。这种额外的模态可以作为距离直接结合到流行的基于三重态的损失函数中。最近,分类损失和基于代理的度量学习已经被观察到导致更快的收敛以及更好的检索结果,而不需要复杂和昂贵的采样策略。在本文中,我们提出了一种对现有自适应余量的扩展,用于基于分类的深度度量学习。我们的扩展为每个样本的每个负代理引入了一个单独的保证金。这些边界是在训练期间根据其他模态中的类的预先计算的距离来计算的。我们的结果在亚马逊时尚检索数据集和公共DeepFashion数据集上都建立了新的最先进的技术。这在基于fastText和BERT的嵌入中观察到,用于额外的文本模态。我们的结果是实现了更快的收敛速度和更低的代码复杂度比现有的国家的最先进的。
2020-06-25 cs.CV cs.LG
Hardness-Aware Deep Metric Learning
Tsinghua University(清华大学);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出了一种基于硬度感知的深度度量学习(HDML)框架。大多数以前的深度度量学习方法采用硬否定挖掘策略来缓解训练样本的缺乏。然而,这种挖掘策略仅利用训练数据的一个子集,这可能不足以全面地表征嵌入空间的全局几何形状。为了解决这个问题,我们对嵌入进行线性插值,以自适应地操纵它们的硬水平,并生成相应的标签保留合成用于循环训练,以便可以充分利用隐藏在所有样本中的信息,并且始终以适当的难度挑战度量。我们的方法在广泛使用的CUB-200-2011,Cars 196和Stanford Online Products数据集上实现了非常有竞争力的性能。
2019-12-04 cs.CV cs.LG
Semi-Supervised Metric Learning: A Deep Resurrection
Myntra;Indian Institute of Technology Madras(印度马德拉斯理工学院);Monash University(莫纳什大学)
距离度量学习(DML)试图学习一种区分性嵌入,其中相似的示例更接近,而不相似的示例则分开。在本文中,我们解决了半监督DML(SSDML)的问题,试图学习一个度量使用一些标记的例子,和大量可用的未标记的例子。SSDML很重要,因为手动注释大型数据集中的所有示例是不可行的。令人惊讶的是,除了一些学习线性Mahalanobis度量的经典方法外,SSDML近年来还没有被研究过,并且缺乏深度SSDML场景中的方法。在本文中,我们解决了这个具有挑战性的问题,并在深度学习方面改进了SSDML。特别是,我们提出了一个随机的,基于图形的方法,首先传播的亲和力对的例子从标记的数据,未标记的对。传播的亲和度用于挖掘基于三元组的约束,用于度量学习。我们对度量参数施加正交约束,因为它通过避免模型崩溃而导致更好的性能。
2021-05-10 cs.CV cs.LG
Discriminative Metric Learning with Deep Forest
Peter the Great St.Petersburg Polytechnic University(圣彼得堡彼得大帝理工大学)
提出了一种判别式深度森林(DisDF)度量学习算法。它基于Zhou和Feng提出的Deep Forest或gcForest,可以被视为gcForest的修改。研究了当训练样本的类别标签已知时的全监督学习的情况。该算法的主要思想是在随机森林中为决策树分配权重,以减少来自同一类的对象之间的距离,并增加来自不同类的对象之间的距离。权重是训练参数。提出了一种结合欧氏距离和曼哈顿距离的目标函数,简化了训练DisDF的优化问题。数值实验验证了所提出的距离度量算法。
2017-05-25 cs.LG stat.ML
Deep Distributional Sequence Embeddings Based on a Wasserstein Loss
Leibniz Institute of Agricultural Engineering and Bioeconomy e.V.(莱布尼茨农业工程与生物经济研究所);University of Potsdam(波茨坦大学)
深度度量学习采用深度神经网络来将实例嵌入度量空间中,使得同一类的实例之间的距离较小,而来自不同类的实例之间的距离较大。在大多数现有的深度度量学习技术中,实例的嵌入由深度神经网络产生的特征向量给出,并且欧几里得距离或余弦相似性定义这些向量之间的距离。在本文中,我们研究了序列的深度分布嵌入,其中序列的嵌入由序列中学习到的深度特征的分布给出。这具有捕获关于嵌入中的序列内的模式的分布的统计信息的优点。当嵌入是分布而不是向量时,测量嵌入之间的距离涉及比较它们各自的分布。我们提出了一个基于Wasserstein距离的距离度量和相应的损失函数的度量学习,这导致了一个新的端到端的可训练嵌入模型。我们根据经验观察到,分布式嵌入优于标准向量嵌入,并且使用建议的Wasserstein度量进行训练优于使用其他距离函数进行训练。
2019-12-04 cs.LG stat.ML
Towards Interpretable Deep Metric Learning with Structural Matching
Tsinghua University(清华大学)
神经网络如何区分两幅图像?理解深度模型的匹配机制对于开发可靠的智能系统以应用于诸如监控和访问控制等具有风险的视觉应用是至关重要的。然而,大多数现有的深度度量学习方法通过比较特征向量来匹配图像,这忽略了图像的空间结构,因此缺乏可解释性。在本文中,我们提出了一种深度可解释度量学习(DIML)方法,用于更透明的嵌入学习。与传统的基于特征向量比较的度量学习方法不同,我们提出了一种结构匹配策略,该策略通过计算两幅图像的特征图之间的最佳匹配流来显式地对齐空间嵌入。我们的方法使深度模型能够以更人性化的方式学习度量,其中两个图像的相似性可以分解为几个部分相似性及其对整体相似性的贡献。我们的方法是模型不可知的,这可以应用到现成的骨干网络和度量学习方法。我们在深度度量学习的三个主要基准上评估了我们的方法,包括CUB 200 -2011,Cars 196和斯坦福在线产品,并在流行的度量学习方法上实现了实质性的改进,具有更好的可解释性。代码可在https://github.com/wl-zhao/DIML上获得
2021-08-12 cs.AI cs.CV cs.LG
Mixup-based Deep Metric Learning Approaches for Incomplete Supervision
The University of Adelaide(阿德莱德大学)
深度学习架构已经在不同领域取得了有希望的成果(例如,农业、医疗、安全)。然而,在许多实际应用中使用这些强大的技术变得具有挑战性,因为在训练期间需要大量的标记集合。有几项工作已经寻求解决方案,以克服它提出的战略,可以学到更多的少,例如,弱监督学习和半监督学习方法。由于这些方法通常不解决记忆和对抗性示例的敏感性,本文提出了三种深度度量学习方法,结合Mixup用于不完全监督场景。我们表明,一些国家的最先进的方法在度量学习可能无法很好地工作在这种情况下。此外,所提出的方法在不同的数据集上优于大多数方法。
2022-08-27 cs.CV cs.LG
Unsupervised Anomaly Detection via Deep Metric Learning with End-to-End Optimization
Bilkent University(比尔肯特大学);DataBoss A.S.(DataBoss公司)
我们研究了高维数据的无监督异常检测,并介绍了一个基于深度度量学习(DML)的框架。特别是,我们通过深度神经网络学习距离度量。通过这个度量,我们将数据投影到度量空间中,更好地将异常数据与正常数据分开,并减少高维数据的维数灾难的影响。我们提出了一种新的数据蒸馏方法,通过自我监督,以弥补传统的做法,假设所有的数据是正常的。我们还采用了硬挖掘技术,从DML文献。我们表明,这些组件提高了我们的模型的性能,并显着减少运行时间。通过对14个真实世界数据集的广泛实验,与最先进的无监督异常检测方法相比,我们的方法表现出显着的性能提升,例如,14个数据集的平均绝对改善率在4.44%和11.74%之间。此外,我们在Github上分享了我们的方法的源代码,以方便进一步的研究。
2020-05-12 cs.LG stat.ML
Deep Metric Learning for Few-Shot Image Classification: A Review of Recent Developments
Lanzhou University of Technology(兰州理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Glasgow(格拉斯哥大学);University College London(伦敦大学学院)
Few-Shot图像分类是一个具有挑战性的问题,其目标是仅基于少量的训练图像来实现人类水平的识别。Few-Shot图像分类的一个主要解决方案是深度度量学习。这些方法通过在由强大的深度神经网络学习的嵌入空间中根据不可见样本与少数可见样本的距离对不可见样本进行分类,可以避免在Few-Shot图像分类中对少数训练图像的过拟合,并达到了最先进的性能。在本文中,我们提供了2018年至2022年用于Few-Shot图像分类的深度度量学习方法的最新综述,并根据度量学习的三个阶段将其分为三组,即学习特征嵌入,学习类表示和学习距离度量。通过这种分类,我们确定了不同方法的新颖性和它们面临的问题。最后,我们讨论了当前的挑战和未来的趋势,在Few-Shot图像分类的审查。
2022-06-27 cs.CV cs.LG
DAAL: Density-Aware Adaptive Line Margin Loss for Multi-Modal Deep Metric Learning
Pokhara University(博卡拉大学);Universita di Verona(维罗纳大学);Eng. for Innovative Medicine(创新医学工程学院)
本文提出密度感知自适应线形间隔损失(DAAL),通过保持嵌入密度分布并形成自适应子簇,增强类内方差和类间分离,在细粒度数据集上取得优越性能,推进多模态深度度量学习。
2024-11-05 cs.CV cs.LG
Deep Relational Metric Learning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出了一种用于图像聚类和检索的深度关系度量学习(DRML)框架。大多数现有的深度度量学习方法学习嵌入空间,其一般目标是增加类间距离和减少类内距离。然而,传统的度量学习的损失通常会抑制类内变化,这可能有助于识别未知类的样本。为了解决这个问题,我们提出了自适应学习的特征,从不同的方面来模拟类间和类内分布的图像的合奏。我们还采用了一个关系模块来捕获集合中每个特征之间的相关性,并构建一个图来表示图像。然后,我们对图进行关系推理,以整合集成,并获得一个关系感知的嵌入来衡量相似性。在广泛使用的CUB-200-2011、Cars 196和Stanford Online Products数据集上进行的大量实验表明,我们的框架改进了现有的深度度量学习方法,并取得了非常有竞争力的结果。
2021-08-23 cs.AI cs.CV cs.LG
Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Tübingen(蒂宾根大学);Massachusetts Institute of Technology(麻省理工学院)
深度度量学习(DML)通过强调表示的相似性结构,使学习具有更少的监督。在zero-shot检索等环境中,人们已经做了很多工作来提高DML的泛化能力,但对其公平性的影响知之甚少。在本文中,我们首先评估了在不平衡数据上训练的最先进的DML方法,并展示了这些表示在用于下游任务时对少数子群性能的负面影响。在这项工作中,我们首先定义公平性在DML通过分析的表示空间的三个属性-类间对齐,类内对齐,和均匀性-并提出findDML,公平性在非平衡的DML基准来表征表示公平性。利用findDML,我们发现在DML表示的偏见传播到常见的下游分类任务。令人惊讶的是,即使在下游任务中的训练数据被重新平衡时,这种偏差也会传播。为了解决这个问题,我们提出了部分属性去相关(PARADE),从敏感属性的特征表示去相关,并减少子组之间的性能差距,在嵌入空间和下游指标。
2022-03-23 cs.AI cs.CY cs.LG
Transferable Deep Metric Learning for Clustering
Ecole Polytechnique(巴黎综合理工学院);IRT SystemX(法国系统X技术研究院)
在高维空间中进行聚类是一项困难的任务;通常的距离度量在维数灾难下可能不再合适。事实上,度量的选择是至关重要的,它高度依赖于数据集的特征。然而,可以使用单个度量来正确地对不同域的多个数据集执行聚类。我们建议这样做,提供一个框架,学习一个可转移的度量。我们表明,我们可以学习一个标记的数据集上的度量,然后将其应用到聚类不同的数据集,使用嵌入空间,其特征在于在一般意义上的期望的聚类。我们在几个不同复杂度的数据集(合成,MNIST,SVHN,omniglot)上学习和测试这些指标,并在仅使用少量标记的训练数据集和浅层网络的情况下实现与最先进技术竞争的结果。
2023-02-13 cs.AI cs.CV cs.LG
Cross-media Similarity Metric Learning with Unified Deep Networks
Peking University(北京大学)
跨媒体检索是多媒体领域的一个热点研究课题,其目标是捕捉多种媒体类型之间的复杂关系。学习更好的多媒体数据的共享表示和距离度量对于提高跨媒体检索性能具有重要意义。受深度神经网络在特征表示和比较函数学习方面的强大能力的启发,我们提出了跨媒体相似性度量统一网络(UNCSM),以在统一框架中将跨媒体共享表示学习与距离度量相关联。首先,我们设计了一个使用对比损失预训练的双通道深度网络,并使用双三元组相似性损失进行微调,通过对相对语义相似性建模来学习每种媒体类型的共享表示。其次,度量网络的设计,有效地计算跨媒体的相似性的共享表示,通过建模成对相似和不相似的约束。与现有的方法大多忽略不相似的约束,只使用样本距离度量作为欧氏距离相比,我们的UNCSM方法结合了表示学习和距离度量,以保持相对相似性,并包含更复杂的相似性函数,以进一步提高跨媒体检索的准确性。实验结果表明,我们的UNCSM方法优于8个国家的最先进的方法在4个广泛使用的跨媒体数据集。
2017-04-14 cs.LG cs.MM stat.ML
DFNN: A Deep Fréchet Neural Network Framework for Learning Metric-Space-Valued Responses
Rutgers University–New Brunswick(新布伦斯维克罗切斯特大学);University of Southern California(南加州大学)
提出深度Fréchet神经网络框架,通过最小化Fréchet风险逼近条件均值,实现度量空间值响应回归,并给出通用逼近与泛化理论,实证优于现有方法。
2026-09-10 cs.LG stat.ME stat.ML
Piecewise-Linear Manifolds for Deep Metric Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出用分段线性流形近似高维数据流形以估计数据点相似度,并引入代理建模提升无监督深度度量学习性能,在零样本图像检索基准上优于现有方法。
2024-03-22 cs.AI cs.CV cs.LG
Mean Field Theory in Deep Metric Learning
ZOZO Research(ZOZO研究院)
本文将统计物理的平均场理论应用于深度度量学习,从基于对的损失函数推导出训练复杂度更低的基于分类的损失函数,并在三个图像检索数据集中的两个上优于基线方法。
2023-06-27 cond-mat.stat-mech cs.LG
Metric-Aware PCA as a Linear Instance of Geometric Deep Learning
May, 2025(2025年5月)
本文通过将度量感知主成分分析(MAPCA)置于几何深度学习框架中,建立了两者之间在对称性、等变性、不变性等六个轴上的精确对应关系,并证明了MAPCA是几何深度学习的线性实例。
2026-05-25 cs.LG
Exploring Adversarial Robustness of Deep Metric Learning
Aalborg University(奥尔堡大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
深度度量学习(DML)是一种广泛使用的技术,涉及学习样本对之间的距离度量。DML使用深度神经架构来学习输入的语义嵌入,其中相似示例之间的距离很小,而不同示例之间的距离很远。虽然底层的神经网络在自然发生的样本上产生良好的准确性,但它们容易受到不利扰动样本的影响,从而降低性能。我们朝着训练鲁棒的DML模型迈出了第一步,并解决了度量损失依赖于小批量样本的主要挑战,而不像标准损失只依赖于特定的输入输出对。我们分析了这种依赖效应,并提供了一个强大的优化配方。通过在三个常用的DML数据集上进行实验,我们证明了对抗准确性提高了5-76倍,并且优于现有的DML模型。
2021-02-14 cs.AI cs.LG
Decoupling candidate dual AGN from chance superpositions in the GOTHIC survey via a deep-learning framework
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Mahindra University(马恒达大学);BITS Pilani K K Birla Goa Campus(比尔拉科学技术学院皮拉尼K·K·比拉果阿校区);University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Astrophysics(印度天体物理研究所);Observatoire de Paris(巴黎天文台);PSL University(巴黎文理研究大学);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心)
本研究基于YOLOv11深度学习框架,从GOTHIC巡天的46061个被拒星系中区分真实双活动星系核,得到约1.4万至1.8万个合理候选体,大幅降低了检测污染并扩展了双活动星系核的普查范围。
2026-10-26 astro-ph.GA cs.CV cs.LG
NetScore: Towards Universal Metrics for Large-scale Performance Analysis of Deep Neural Networks for Practical On-Device Edge Usage
Waterloo Artificial Intelligence Institute, University of Waterloo(滑铁卢大学滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
深度神经网络设计的大部分焦点都集中在提高准确性上,导致更强大但高度复杂的网络架构难以在实际场景中部署,特别是在边缘设备上,如移动和其他消费设备,因为它们的计算和内存要求很高。因此,最近人们对设计用于评估深度神经网络的定量指标很感兴趣,这些指标不仅仅将模型准确性作为网络性能的唯一指标。在这项研究中,我们继续讨论评估深度神经网络在实际设备边缘使用中的性能的通用指标。特别是,我们提出了一个新的平衡度量称为NetScore,这是专门设计的,以提供一个定量评估之间的平衡精度,计算复杂性,和网络架构复杂性的深度神经网络,这是很重要的设备上的边缘操作。在文献中最大的深度神经网络之间的比较分析中,在ImageNet大规模视觉识别挑战(ILSVRC 2012)数据集上,在60个不同的深度卷积神经网络的不同集合中比较了NetScore指标、前1准确度指标和流行的信息密度指标,用于图像分类。本研究报告介绍了这三个指标对这一多样化网络的评价结果,以作为该领域从业人员的参考指南。拟议的NetScore指标以及其他测试指标绝不是完美的,但希望将对话推向更好的通用指标,以评估在实际设备边缘场景中使用的深度神经网络,以帮助指导从业者为此类场景设计模型。
2018-08-26 cs.CV cs.LG stat.ML
Unsupervised Deep Metric Learning via Orthogonality based Probabilistic Loss
度量学习是机器学习中的一个重要问题。它旨在将类似的例子组合在一起。现有的最先进的度量学习方法需要类标签来学习度量。由于在所有应用中获取类标签是不可行的,我们提出了一种无监督的方法,在不使用类标签的情况下学习度量。类标签的缺乏通过使用基于图的聚类方法获得数据的伪标签来补偿。伪标签被用来形成三元组的例子,指导度量学习。我们提出了一个概率损失,最大限度地减少每个三重违反角度约束的机会。权函数和正交约束的目标加快收敛速度,避免模型崩溃。我们还提供了一个随机制定我们的方法,以扩大到大规模的数据集。我们的研究证明了我们的方法对最先进的方法的竞争力。我们还深入研究了我们的方法的不同组成部分的效果。
2020-08-22 cs.CV
DNN-Buddies: A Deep Neural Network-Based Estimation Metric for the Jigsaw Puzzle Problem
Bar-Ilan University(巴伊兰大学);University of Maryland(马里兰大学)
本文介绍了第一个基于深度神经网络的拼图问题的估计度量。给定两个拼图块的边缘,神经网络预测它们是否应该在正确的拼图组装中相邻,只使用每个拼图块的像素。即使不进行手动特征提取,所提出的度量也表现出极高的精度。当被整合到现有的解谜器中时,解决方案的准确性显著提高,从而达到了一个新的最先进的标准。
2017-11-23 cs.CV cs.LG cs.NE
Generating Images with Perceptual Similarity Metrics based on Deep Networks
University of Freiburg(弗莱堡大学)
图像生成机器学习模型通常使用基于图像空间中的距离的损失函数来训练。这通常会导致过度平滑的结果。我们提出了一类损失函数,我们称之为深度感知相似性度量(DeePSiM),以减轻这个问题。我们不是计算图像空间中的距离,而是计算由深度神经网络提取的图像特征之间的距离。该度量更好地反映了图像的感知相似性,从而导致更好的结果。我们展示了三个应用:自动编码器训练,变分自编码器的修改,以及深度卷积网络的逆。在所有情况下,生成的图像看起来清晰,类似于自然图像。
2016-02-09 cs.CV cs.LG cs.NE
Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics
Luleå University of Technology(吕勒奥理工大学)
图像相似性度量是计算机视觉的一个基本问题,目前还没有通用的解决方案。虽然简单的指标,如像素级L2范数已被证明有明显的缺陷,但它们仍然很受欢迎。一组最近的最先进的指标,减轻了这些缺陷中的一些是深度感知相似性(DPS)指标,其中相似性被评估为神经网络的深度特征中的距离。然而,DPS指标本身的好处,特别是它们的缺陷没有得到彻底的检查。这项工作研究了最常见的DPS度量,其中深度特征通过空间位置进行比较,以及比较平均和排序的深度特征的度量。通过使用专门设计的图像对指标进行深入分析,以了解指标的优点和缺点。这项工作有助于对DPS缺陷的新见解,并进一步建议改进指标。这项工作的实现可以在网上获得:https://github.com/guspih/deep_perceptual_similarity_analysis/
2022-07-06 cs.CV
Signal-to-Noise Ratio: A Robust Distance Metric for Deep Metric Learning
Beijing University of Posts and Telecommunications(北京邮电大学);AI Labs, Didi Chuxing(滴滴出行人工智能实验室);Syracuse University(雪城大学)
深度度量学习是一种学习判别特征来处理图像聚类和检索任务的学习方法,近年来引起了广泛的关注。已经提出了许多深度度量学习方法来构建损失函数的有效结构,并且已经显示出有希望的结果,这些方法确保相似的示例被映射到彼此接近并且不相似的示例被映射到更远的距离。本文与传统的损失结构学习方法不同,提出了一种基于信噪比(SNR)的鲁棒SNR距离度量,用于度量深度度量学习中图像对的相似性。通过从几何空间和统计理论的角度探索我们的SNR距离度量的性质,我们分析了我们的度量的性质,并表明它可以保持图像对之间的语义相似性,这很好地证明了它对深度度量学习的适用性。与欧氏距离度量相比,我们的SNR距离度量可以进一步联合减少类内距离和扩大学习特征的类间距离。利用我们的SNR距离度量,我们提出了基于深度SNR的度量学习(DSML)来生成区分性特征嵌入。通过在CARS 196、CUB 200 -2011和CIFAR 10三个被广泛采用的基准上的大量实验,我们的DSML显示了其优于其他最先进方法的优势。此外,我们将SNR距离度量扩展到深度哈希学习,并在CIFAR 10和NUS-WIDE两个基准上进行实验,以证明我们的SNR距离度量的有效性和通用性。
2019-04-04 cs.CV
Deep metric learning for multi-labelled radiographs
King’s College London(伦敦国王学院)
许多放射学研究可以揭示几种共存的异常的存在,每一种都由不同的视觉模式代表。在这篇文章中,我们解决的问题,学习的距离度量平片捕捉的概念“放射学相似性”:两个胸部X光片被认为是相似的,如果他们共享类似的异常。深度卷积神经网络(DCN)用于学习配备有期望度量的射线照片的低维嵌入。提出了两种损失函数来处理多标签图像和潜在的噪声标签。我们报告了一项涉及超过745,000张胸片的大规模研究,这些胸片的标签是通过自然语言处理系统从自由文本放射学报告中自动提取的。使用4,500个验证的考试,我们证明了该方法在聚类和图像检索任务上的表现令人满意。值得注意的是,学习的度量标准将正常检查与具有放射学异常的检查区分开来。
2017-12-11 cs.CV stat.ML
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia(西澳大利亚大学)
深度视觉模型在高风险领域有着广泛的应用。因此,它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查,重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献,我们不仅提供了现有技术的分类组织,而且还挖掘了一系列的评估指标,并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论,我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Seeing Eye to AI? Applying Deep-Feature-Based Similarity Metrics to Information Visualization
Northwestern University(西北大学);Utrecht University(乌得勒支大学)
本文探索基于深度特征的相似度度量在信息可视化相似性判断中的应用,利用五种ML架构和三组预训练权重扩展度量,发现预训练ImageNet权重的度量优于MS-SSIM,有助于改进可视化推荐等工具。
2025-02-28 cs.CV cs.HC cs.LG
How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks
University of Waterloo(滑铁卢大学);DarwinAI Corp.(DarwinAI公司)
构建值得信赖的深度神经网络的关键一步是信任量化,我们会问这样一个问题:我们可以信任深度神经网络多少?在这项研究中,我们通过引入一套基于深度神经网络回答一组问题时的行为来评估其整体可信度的指标,向简单,可解释的信任量化指标迈出了一步。我们进行了一个思想实验,并探讨了两个关于信任与信心的关键问题:1)我们对那些非常自信地给出错误答案的演员有多少信任?2)我们对那些犹豫不决地给出正确答案的演员有多少信任?基于所获得的见解,我们引入了问答信任的概念来量化基于正确和不正确答案场景下的自信行为的个人答案的可信度,以及信任密度的概念来表征个人答案场景的整体信任的分布。我们进一步引入了信任谱的概念,用于表示整体信任,相对于正确和错误回答问题的可能答案场景的频谱。最后,我们介绍了NetTrustScore,一个总结整体可信度的标量度量。这套指标与过去研究信任和信心之间关系的社会心理学研究相一致。利用这些指标,我们量化了几个著名的深度神经网络架构的可信度,以更深入地了解信任在哪里崩溃。拟议的指标绝不是完美的,但希望将对话推向更好的指标,以帮助指导从业者和监管机构生产,部署和认证深度学习解决方案,这些解决方案可以在现实世界中运行,关键任务场景。
2021-04-03 cs.AI cs.CV cs.LG
A Sketch Based 3D Shape Retrieval Approach Based on Efficient Deep Point-to-Subspace Metric Learning
基于草图的三维形状检索
2019-03-13 cs.CV
DIABLO: Dictionary-based Attention Block for Deep Metric Learning
Cergy Paris University(塞尔吉巴黎大学);ENSEA(高等电子与应用技术学院);CNRS(法国国家科学研究中心);Ecole des Ponts(国立桥路学校);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Pôle Judiciaire de la Gendarmerie Nationale(国家宪兵司法中心)
最近,在深度度量学习中,通过利用深度网络同时训练图像表示和对应的度量,在看不见的类和示例的表示学习中取得了突破。最近的贡献主要涉及训练部分(损失函数,采样策略等),而少数工作集中于提高图像表示的辨别能力。在本文中,我们提出了DIABLO,一个基于字典的注意力图像嵌入方法。DIABLO通过仅将视觉相关的特征聚合在一起来产生更丰富的表示,同时比深度度量学习中的其他基于注意力的方法更容易训练。这在四个深度度量学习数据集(Cub-200-2011,Cars-196,Stanford Online Products和In-Shop Clothes Retrieval)上得到了实验证实,DIABLO在这些数据集上表现出了最先进的性能。
2020-04-30 cs.CV
Attention-based Ensemble for Deep Metric Learning
Samsung Research, Samsung Electronics(三星电子三星研究院)
深度度量学习旨在学习嵌入函数,其被建模为深度神经网络。该嵌入函数通常在学习的嵌入空间中将语义相似的图像靠近,而不相似的图像彼此远离。最近,集成已被应用于深度度量学习,以产生最先进的结果。作为集成的一个重要方面,学习者的特征嵌入应该是多样的。为此,我们提出了一个基于注意力的集成,它使用多个注意力掩模,使每个学习者可以参加对象的不同部分。我们还提出了一个发散损失,鼓励学习者之间的多样性。该方法被应用于深度度量学习的标准基准测试,实验结果表明,它在图像检索任务上的表现明显优于最先进的方法。
2018-08-31 cs.CV
MetricDepth: Enhancing Monocular Depth Estimation with Deep Metric Learning
Harbin Institute of Technology(哈尔滨工业大学)
本文提出MetricDepth,通过基于差分的样本识别和多范围策略将深度度量学习引入单目深度估计,以差异化正则化负样本,从而提升模型性能。
2024-12-29 cs.CV
Semantic Instance Segmentation via Deep Metric Learning
Google Inc.(谷歌公司);UCLA(加利福尼亚大学洛杉矶分校)
我们提出了一种新的语义实例分割的方法,首先计算两个像素是如何可能属于同一个对象,然后通过分组相似的像素在一起。我们的相似性度量是基于一个深度的、完全卷积的嵌入模型。我们的分组方法是基于选择与一组“种子点”足够相似的所有点,这些点是从一个深度的、完全卷积的评分模型中选择的。我们在Pascal VOC实例分割基准测试中显示了具有竞争力的结果。
2017-03-30 cs.CV
A study of deep perceptual metrics for image quality assessment
ENSTA Paris, Institut Polytechnique de Paris(巴黎高等先进技术学院,巴黎理工学院);Safrantech, Safran Group(赛峰科技,赛峰集团)
有几种度量标准可以量化图像之间的相似性,但当涉及到测量高度失真图像的相似性时,它们的效率很低。在这项工作中,我们提出了基于深度神经网络的感知度量来解决图像质量评估(IQA)任务。我们根据不同的超参数(如网络的架构或训练过程)来研究深度感知指标。最后,我们提出了我们的多分辨率感知度量(MR-感知),它允许我们在不同的分辨率下聚合感知信息,并在具有不同图像变形的IQA任务上优于标准感知度量。我们的代码可在https://github.com/ENSTA-U2IS/MR_perceptual上获得
2022-02-17 cs.AI cs.CV cs.GR
Semi-Supervised Deep Metrics for Image Registration
Medical Informatics Laboratory, Queen’s University(女王大学医学信息学实验室);Radiology Department, Brigham and Women’s Hospital, Harvard Medical School(哈佛医学院布莱根妇女医院放射科);Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Department of Electrical and Computer Engineering, University of British Columbia(英属哥伦比亚大学电气与计算机工程系)
深度度量已被证明是有效的相似性措施,在多模态图像配准,然而,目前的度量构造对齐的图像对的训练数据。在本文中,我们提出了一种策略,从粗略对齐的训练数据学习这些指标。使数据对称化校正了由于数据中的未对准而导致的度量中的偏差(以增加方差为代价),而对数据的随机扰动(即抖动)确保了度量具有单一模式,并且能够通过优化进行配准。对单独的看不见的测试图像对的配准任务进行评价。结果证明了从基本上未对齐的训练数据中学习有用的深度度量的可行性,在某些情况下,结果明显优于互信息。因此,通过抖动的数据增强是一种有效的策略,用于满足对良好对齐的训练数据的需求;这将深度度量配准从监督到半监督机器学习的领域。
2018-04-04 cs.CV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中,我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中,以提高性能,同时保留实时的【形】性能。建议的跟踪器存储外观指标,而检测是强的,使用此外观信息:防止ID开关,通过闭塞相关联的tracklet,并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果,特别是在在线的、实时的【形】方法中。我们提出了一个消融研究,显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV
Unsupervised Deep Metric Learning via Auxiliary Rotation Loss
Brown University(布朗大学);University of Maryland(马里兰大学);Facebook AI(脸书人工智能研究院)
深度度量学习是一个重要的领域,因为它适用于许多领域,如图像检索和人员重新识别。这种模型的主要缺点是需要标记数据。在这项工作中,我们建议直接从聚类分配中为深度度量学习生成伪标签,并引入由自监督(SS)任务正则化的无监督深度度量学习(UDML)。特别是,我们建议通过预测图像旋转来正则化训练过程。我们的方法(UDML-SS)联合学习有区别的嵌入,嵌入的无监督聚类分配,以及自我监督的借口任务。UDML-SS使用传统的聚类算法(例如,k-means),并基于聚类分配对训练对进行采样以进行度量学习,同时以多任务的方式优化自监督借口任务。自我监督的作用是稳定训练过程,并鼓励模型学习有意义的特征表示,这些特征表示不会因不可靠的聚类分配而失真。所提出的方法在度量学习的标准基准测试中表现良好,其性能大大优于当前最先进的方法,并且在各种度量学习损失函数下也表现出具有竞争力的性能。
2019-11-16 cs.CV
3D Human Action Recognition with Siamese-LSTM Based Deep Metric Learning
Gebze Technical University(盖布泽技术大学);VisLab(视觉实验室)
本文提出了一个新的3D人体动作识别系统,作为一个两阶段系统:(1)深度度量学习模块,使用Siamese-LSTM网络学习两个3D联合序列之间的相似性度量;(2)多类分类模块,使用第一个模块的输出来产生最终的识别输出。该模型有几个优点:第一个模块使用更大的数据集进行训练,因为它使用了许多序列对的组合。我们的深度度量学习模块也可以独立于数据集进行训练,这使得我们的系统具有模块化和可推广性。我们在标准数据集和新引入的数据集上测试了所提出的系统,结果表明初步结果是有希望的。我们将通过添加更复杂的LSTM块和在不同数据集之间进行交叉训练来继续开发这个系统。
2018-07-05 cs.CV
Semi-supervised learning of deep metrics for stereo reconstruction
Swiss Federal Institute of Technology in Lausanne(洛桑联邦理工学院);Idiap Research Institute(伊迪亚普研究所)
深度学习指标最近在匹配图像块以进行立体重建方面表现出非常好的性能。然而,训练这样的度量需要大量的标记的立体图像,对于某些应用来说,收集这些图像可能是困难的或昂贵的。我们工作的主要贡献是一种新的半监督方法,用于从未标记的立体图像中学习深度度量,给出有关场景和光学系统的粗略信息。我们的方法交替优化标准的随机梯度下降的度量,并应用立体约束来正则化其预测。在参考数据集上的实验表明,对于给定的网络架构,使用这种新方法进行训练而不使用地面实况,可以产生性能与使用所述地面实况训练的最先进基线一样好的度量。这项工作有三个实际意义。首先,它有助于克服训练集的局限性,特别是有噪声的地面实况。其次,它允许在学习期间使用更多的训练数据。第三,它允许为特定的立体声系统调谐深度度量,即使地面实况不可用。
2016-12-03 cs.CV cs.NE
Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding
AIOZ;University of Liverpool(利物浦大学);University of Adelaide(阿德莱德大学)
无监督深度距离度量学习(UDML)旨在从未标记的数据集中学习嵌入空间中的样本相似性。传统的UDML方法通常使用三重损失或成对损失,这需要挖掘正样本和负样本w.r.t.锚数据点。然而,这在无监督设置中具有挑战性,因为标签信息不可用。在本文中,我们提出了一种新的UDML方法,克服了这一挑战。特别地,我们建议使用深度聚类损失来学习质心,即,伪标签,表示语义类。在学习过程中,这些质心也用于重建输入样本。因此,它确保了质心的代表性-每个质心代表视觉上相似的样本。因此,质心给出了关于阳性(视觉上相似)和阴性(视觉上不相似)样品的信息。基于伪标签,我们提出了一种新的无监督度量损失,它强制执行嵌入空间中样本的正集中和负分离。基准数据集上的实验结果表明,该方法优于其他UDML方法。
2020-09-09 cs.CV
Hard-Aware Point-to-Set Deep Metric for Person Re-identification
Huazhong University of Science and Technology(华中科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
由于人的姿态、视点、光照和遮挡变化很大,人的重新识别(re-ID)是一项极具挑战性的任务。深度度量学习通过在度量丢失的监督下训练深度网络来提供对人员重新识别的满意解决方案,例如,三重态损失然而,深度度量学习的性能受到传统采样方法的极大限制。为了解决这个问题,我们提出了一个硬感知点集(HAP 2S)损失与软硬挖掘计划。基于点到集的三重损失框架,HAP 2S损失自适应地将更大的权重分配给更硬的样本。当与其他现有技术的损失函数相比时,观察到几个有利的性质:1)准确性:HAP 2S损失在三个大规模基准数据集上一致地实现比其他替代方案更高的re-ID准确性; 2)鲁棒性:HAP 2S损失比其他损失对离群值更鲁棒; 3)灵活性:HAP 2S损失不依赖于特定的权重函数,即,HAP 2S损失的不同实例同样有效。4)一般性:除了人员重新识别之外,我们还将所提出的方法应用于通用的深度度量学习基准测试,包括CUB-200-2011和Cars 196,并取得了最先进的结果。
2018-07-30 cs.CV
Contrastive Bayesian Analysis for Deep Metric Learning
Central South University(中南大学);Beijing Jiaotong University(北京交通大学);Shenzhen University(深圳大学);University of Missouri(密苏里大学);University of Kragujevac(克拉古耶瓦茨大学);Southern University of Science and Technology(南方科技大学);Pengcheng Lab(鹏城实验室)
最近的深度度量学习方法一直专注于在正样本和负样本对之间设计不同的对比损失函数,以便学习的特征嵌入能够将同一类的正样本拉得更近,并将不同类的负样本推离彼此。在这项工作中,我们认识到,有一个显着的语义差距之间的功能在中间的功能层和类标签在最终的输出层。为了弥合这一差距,我们开发了一个对比贝叶斯分析的特征和模型的后验概率的图像标签的条件下,他们的特征相似性在对比学习设置。这种对比贝叶斯分析为深度度量学习带来了一种新的损失函数。为了提高所提出的方法到新的类的泛化能力,我们进一步扩展了度量方差约束的对比贝叶斯损失。我们的实验结果和消融研究表明,所提出的对比贝叶斯度量学习方法显着提高了监督和伪监督场景下深度度量学习的性能,大大优于现有方法。
2022-11-07 cs.CV
Visual Explanation for Deep Metric Learning
Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心)
这项工作探索了深度度量学习及其应用的视觉解释。作为学习表示的一个重要问题,度量学习近年来受到了广泛的关注,但度量学习模型的解释却没有分类模型那么好。为此,我们提出了一个直观的想法,通过分解最终激活来显示对两个输入图像的整体相似性贡献最大的地方。而不是只提供每个图像的整体激活图,我们建议生成两个图像之间的点到点激活强度,使不同区域之间的关系被揭露。我们表明,所提出的框架可以直接部署到大范围的度量学习应用程序,并为理解模型提供了有价值的信息。此外,我们的实验表明,它的有效性在两个潜在的应用,即跨视图模式发现和交互式检索。源代码可从\url{https://github.com/Jeff-Zilence/Explain_Metric_Learning}获得。
2021-08-28 cs.CV
Spherical Feature Transform for Deep Metric Learning
MEGVII Inc.(旷视科技);Tongji Unversity, China(同济大学)
特征空间中的数据增强是增加数据多样性的有效方法。以前的方法假设不同的类在其特征分布中具有相同的协方差。因此,不同类别之间的特征转换通过翻译来执行。然而,这种方法不再适用于最近的深度度量学习场景,其中广泛采用特征归一化,并且所有特征都位于超球面上。提出了一种新的球面特征变换方法。它放宽了类之间的协方差相同的假设,以类似的协方差的超球面上的不同类的假设。因此,特征变换通过尊重球形数据分布的旋转来执行。给出了一种简单有效的训练方法,并深入分析了两种不同变换之间的关系。在各种深度度量学习基准和不同基线上的综合实验验证了我们的方法实现了一致的性能改进和最先进的结果。
2020-08-04 cs.CV
The General Pair-based Weighting Loss for Deep Metric Learning
University of Electronic Science and Technology of China(电子科技大学)
深度度量学习的目的是学习样本对之间的距离度量,通过深度神经网络提取相似样本之间距离较近而不相似样本之间距离较远的语义特征嵌入。文献中已经提出了大量基于对距离的损失函数,用于指导深度度量学习的训练。在本文中,我们将它们统一在一个一般的基于对的加权损失函数中,其中最小化目标损失就是信息对的距离加权。一般的基于对的加权损失包括两个主要方面,(1)样本挖掘和(2)对加权。样本挖掘的目的是在小批量的样本中选择出具有信息量的正负对集合,以挖掘样本之间的结构化关系,同时减少非平凡样本对的数量。对加权的目的是根据对的距离为不同的对分配不同的权重,以区分训练网络。本文详细回顾了现有的基于对的损失,并结合我们的一般损失函数,从样本挖掘和对加权的角度探讨了一些可能的方法。最后,在三个图像检索数据集上的大量实验表明,我们的一般基于对的加权损失获得了新的最先进的性能,证明了基于对的样本挖掘和对加权深度度量学习的有效性。
2019-05-30 cs.CV
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
UC Berkeley(加州大学伯克利分校);OpenAI(开放人工智能研究中心);Adobe Research(奥多比研究院)
虽然人类几乎毫不费力地快速评估两个图像之间的感知相似性,但其潜在过程被认为是相当复杂的。尽管如此,当今最广泛使用的感知指标,如PSNR和SSIM,都是简单、肤浅的函数,无法解释人类感知的许多细微差别。最近,深度学习社区发现,在ImageNet分类上训练的VGG网络的特征作为图像合成的训练损失非常有用。但是这些所谓的“知觉损失”有多知觉呢?哪些因素对他们的成功至关重要?为了回答这些问题,我们引入了一个新的人类感知相似性判断数据集。我们系统地评估不同架构和任务的深度功能,并将其与经典指标进行比较。我们发现,在我们的数据集上,深度特征的表现远远优于所有以前的指标。更令人惊讶的是,这个结果并不局限于ImageNet训练的VGG特征,而是适用于不同的深度架构和监督级别(监督,自监督甚至无监督)。我们的研究结果表明,感知相似性是一个新兴的财产共享的深视觉表征。
2018-04-10 cs.CV cs.GR
Deep Probabilistic Feature-metric Tracking
Imperial College London(帝国理工学院)
RGB-D图像的密集图像对齐仍然是现实世界应用的关键问题,特别是在具有挑战性的照明条件和宽基线设置下。在本文中,我们提出了一个新的框架来学习由卷积神经网络(CNN)预测的像素级深度特征映射和深度特征度量不确定性映射,它们共同制定了两个视图约束的深度概率特征度量残差,可以在粗到细的优化框架中使用高斯-牛顿来最小化。此外,我们的网络预测了一个更深的初始姿态,以实现更快、更可靠的收敛。优化步骤是可区分的,并且以端到端的方式展开以进行训练。由于其概率本质,我们的方法可以很容易地与其他残差耦合,其中我们显示了与ICP的组合。实验结果表明,国家的最先进的性能TUM RGB-D数据集和3D刚性物体跟踪数据集。我们进一步证明了我们的方法的鲁棒性和收敛性定性。
2020-11-25 cs.CV cs.RO