Deep Metric Learning for Few-Shot Image Classification: A Review of Recent Developments
Lanzhou University of Technology（兰州理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Glasgow（格拉斯哥大学）；University College London（伦敦大学学院）
Few-Shot图像分类是一个具有挑战性的问题，其目标是仅基于少量的训练图像来实现人类水平的识别。Few-Shot图像分类的一个主要解决方案是深度度量学习。这些方法通过在由强大的深度神经网络学习的嵌入空间中根据不可见样本与少数可见样本的距离对不可见样本进行分类，可以避免在Few-Shot图像分类中对少数训练图像的过拟合，并达到了最先进的性能。在本文中，我们提供了2018年至2022年用于Few-Shot图像分类的深度度量学习方法的最新综述，并根据度量学习的三个阶段将其分为三组，即学习特征嵌入，学习类表示和学习距离度量。通过这种分类，我们确定了不同方法的新颖性和它们面临的问题。最后，我们讨论了当前的挑战和未来的趋势，在Few-Shot图像分类的审查。
2022-06-27 cs.CV cs.LG
Three Things to Know about Deep Metric Learning
Czech Technical University in Prague（布拉格捷克技术大学）
本文研究开放集图像检索中的深度度量学习，提出可微替代损失、高效mixup正则化及基础模型初始化，三者协同使大型模型近乎解决流行基准。
2024-12-17 cs.AI cs.CV
Deep Metric Learning Beyond Binary Supervision
POSTECH（浦项科技大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
视觉相似性的度量学习大多采用二进制监督，指示一对图像是否属于同一类。这样的二进制指示符仅覆盖图像关系的有限子集，并且不足以表示由连续和/或结构化标签（诸如对象姿态、图像标题和场景图）描述的图像之间的语义相似性。受此启发，我们提出了一种使用连续标签进行深度度量学习的新方法。首先，我们提出了一个新的三重损失，允许在标签空间中的距离比被保存在学习度量空间。因此，提出的损失使我们的模型能够学习相似度，而不仅仅是顺序。此外，我们设计了一个三元组挖掘策略，适用于连续标签的度量学习。我们解决三个不同的图像检索任务与连续标签的人类姿势，房间布局和图像标题，并证明我们的方法相比，以前的方法的优越性能。
2019-04-21 cs.CV cs.LG
Hyperspectral Image Classification with Deep Metric Learning and Conditional Random Field
Tianjin University（天津大学）
为了提高高光谱图像处理中的分类性能，基于空间-光谱信息融合和神经网络的利用这两种常用策略，已经开展了许多工作。然而，这两种策略通常需要比经典算法更多的训练数据，从而聚集了标记样本的短缺。在这封信中，我们提出了一种新的框架，将基于频谱的深度度量学习模型和条件随机场算法有机结合起来。深度度量学习模型由中心损失监督，以产生基于频谱的特征，这些特征在类内的欧几里得空间中聚集得更紧密。首先提出了用于图像分割任务的具有高斯边缘势的条件随机场，通过利用深度度量学习模型产生的像素之间的地理距离和特征之间的欧氏距离，对高光谱图像进行逐像素分类。所提出的框架在深度度量学习阶段由光谱像素训练，并在条件随机场阶段利用半手工空间特征。这在一定程度上解决了训练数据不足的问题。两个真实的高光谱图像的实验表明，该方法的分类精度和计算成本方面的优势。
2019-07-16 cs.CV cs.LG stat.ML
Deep Metric Learning for Practical Person Re-Identification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
各种手工制作的特征和度量学习方法在人员重新识别领域中盛行。与这些方法相比，本文提出了一种更通用的方法，可以直接从图像像素中学习相似性度量。通过使用“连体”深度神经网络，所提出的方法可以在统一的框架中联合学习颜色特征、纹理特征和度量。该网络具有对称结构，由余弦函数连接的两个子网络组成。针对人物图像的大变异性，采用二项离差法对相似度和标签之间的代价进行评估，证明了该方法对离群点的鲁棒性。与已有的研究相比，本文研究了一种更实用的实验环境，即在不同数据集上进行训练和测试（跨数据集的人再识别）。在VIPeR和PRID两种数据集上，分别在“内部数据集”和“交叉数据集”两种情况下，说明了该方法的优越性。
2014-07-18 cs.CV cs.LG cs.NE
Piecewise-Linear Manifolds for Deep Metric Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出用分段线性流形近似高维数据流形以估计数据点相似度，并引入代理建模提升无监督深度度量学习性能，在零样本图像检索基准上优于现有方法。
2024-03-22 cs.AI cs.CV cs.LG
Seeing Where to Deploy: Metric RGB-Based Traversability Analysis for Aerial-to-Ground Hidden Space Inspection
本文提出基于指标RGB的几何-语义重建与可通行性分析框架，用于航向-地面隐蔽空间检测。通过多视角RGB重建生成密集几何，结合时间一致的语义分割生成3D语义地图，引入基于体感运动的先验知识恢复指标尺度，构建自信度-aware的几何-语义可通行性地图，评估候选部署区域的可达性。
2026-07-21 cs.CV cs.RO
DeepTerramechanics: Terrain Classification and Slip Estimation for Ground Robots via Deep Learning
Massachusetts Institute of Technology（麻省理工学院）；robonity: worldwide tech consulting（robonity：全球技术咨询）
地面力学在地面车辆和地面移动机器人领域起着至关重要的作用，因为理解和估计影响车辆-地面相互作用的变量可能意味着整个任务的成功或失败。这项研究将深度学习中最先进的算法应用于两个关键问题：估计车轮打滑和对地面机器人穿越的地形进行分类。采用地面机器人平台（MIT单轮测试台，MSL Currency Rover和履带式机器人Fitorobot）收集的三个数据集，以比较传统机器学习方法（即支持向量机（SVM）和多层感知器（MLP））对深度神经网络（DNN）和卷积神经网络（CNN）的性能。这项工作还显示了某些调整参数和网络架构（MLP，DNN和CNN）对这些方法性能的影响。本文还深入讨论了DNN和CNN实施过程中的经验教训，以及如何将这些方法扩展到解决其他问题。
2018-06-12 cs.CV cs.RO
A metric for evaluating 3D reconstruction and mapping performance with no ground truthing
University of California, Merced（加州大学默塞德分校）
在评估3D映射性能时并不容易，因为现有的指标需要只能用特殊仪器收集的地面实况数据。在本文中，我们提出了一个度量，密集地图后验（dense map posterior），用于此评估。它可以在没有任何地面实况数据的情况下工作。相反，它从密集点云观测中计算一个反映地图后验概率的可比值。在我们的实验中，建议的ESTA是基准对地面真相为基础的指标。结果表明，该方法可以提供类似的评估能力。该指标使得评估不同的方法更加灵活，并开辟了许多新的可能性，例如自监督方法和更多可用的数据集。
2021-04-19 cs.CV eess.IV
Deep Probabilistic Feature-metric Tracking
Imperial College London（帝国理工学院）
RGB-D图像的密集图像对齐仍然是现实世界应用的关键问题，特别是在具有挑战性的照明条件和宽基线设置下。在本文中，我们提出了一个新的框架来学习由卷积神经网络（CNN）预测的像素级深度特征映射和深度特征度量不确定性映射，它们共同制定了两个视图约束的深度概率特征度量残差，可以在粗到细的优化框架中使用高斯-牛顿来最小化。此外，我们的网络预测了一个更深的初始姿态，以实现更快、更可靠的收敛。优化步骤是可区分的，并且以端到端的方式展开以进行训练。由于其概率本质，我们的方法可以很容易地与其他残差耦合，其中我们显示了与ICP的组合。实验结果表明，国家的最先进的性能TUM RGB-D数据集和3D刚性物体跟踪数据集。我们进一步证明了我们的方法的鲁棒性和收敛性定性。
2020-11-25 cs.CV cs.RO
Ground Metric Learning
Kyoto University（京都大学）
运输距离在机器学习中用于比较特征直方图已经有十多年了。它们有一个参数：地面度量，它可以是特征本身之间的任何度量。与所有参数化距离的情况一样，运输距离只有在仔细选择该参数时才能在实践中证明是有用的。迄今为止，从业人员设定地面度量参数的唯一选择是依靠对特征的先验知识，这大大限制了运输距离的适用范围。我们建议解除这一限制，而不是考虑算法，可以学习的地面指标只使用一个训练集的标记直方图。我们称这种方法为地面度量学习。我们将学习基度量的问题表述为距离矩阵的凸集上的两个多面体凸函数的差的最小化。我们遵循我们的算法的演示文稿与有前途的实验结果二进制分类任务使用GIST描述符的图像在加州理工学院256集。
2011-10-11 cs.CV cs.LG stat.ML
Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics
Luleå University of Technology（吕勒奥理工大学）
图像相似性度量是计算机视觉的一个基本问题，目前还没有通用的解决方案。虽然简单的指标，如像素级L2范数已被证明有明显的缺陷，但它们仍然很受欢迎。一组最近的最先进的指标，减轻了这些缺陷中的一些是深度感知相似性（DPS）指标，其中相似性被评估为神经网络的深度特征中的距离。然而，DPS指标本身的好处，特别是它们的缺陷没有得到彻底的检查。这项工作研究了最常见的DPS度量，其中深度特征通过空间位置进行比较，以及比较平均和排序的深度特征的度量。通过使用专门设计的图像对指标进行深入分析，以了解指标的优点和缺点。这项工作有助于对DPS缺陷的新见解，并进一步建议改进指标。这项工作的实现可以在网上获得：https://github.com/guspih/deep_perceptual_similarity_analysis/
2022-07-06 cs.CV
SAGE-NDVI: A Stereotype-Breaking Evaluation Metric for Remote Sensing Image Dehazing Using Satellite-to-Ground NDVI Knowledge
University of Science and Technology of China（中国科学技术大学）；Ping An Technology（平安科技）；PAII Inc.（PAII公司）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
针对现有PSNR、SSIM等去雾评估指标视觉解释性差的问题，提出SAGE-NDVI指标，利用地面物候观测计算有雾日星地植被指数误差，可合理评估遥感去雾模型且符合人眼感知。
2023-06-09 cs.CV
Signal-to-Noise Ratio: A Robust Distance Metric for Deep Metric Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；AI Labs, Didi Chuxing（滴滴出行人工智能实验室）；Syracuse University（雪城大学）
深度度量学习是一种学习判别特征来处理图像聚类和检索任务的学习方法，近年来引起了广泛的关注。已经提出了许多深度度量学习方法来构建损失函数的有效结构，并且已经显示出有希望的结果，这些方法确保相似的示例被映射到彼此接近并且不相似的示例被映射到更远的距离。本文与传统的损失结构学习方法不同，提出了一种基于信噪比（SNR）的鲁棒SNR距离度量，用于度量深度度量学习中图像对的相似性。通过从几何空间和统计理论的角度探索我们的SNR距离度量的性质，我们分析了我们的度量的性质，并表明它可以保持图像对之间的语义相似性，这很好地证明了它对深度度量学习的适用性。与欧氏距离度量相比，我们的SNR距离度量可以进一步联合减少类内距离和扩大学习特征的类间距离。利用我们的SNR距离度量，我们提出了基于深度SNR的度量学习（DSML）来生成区分性特征嵌入。通过在CARS 196、CUB 200 -2011和CIFAR 10三个被广泛采用的基准上的大量实验，我们的DSML显示了其优于其他最先进方法的优势。此外，我们将SNR距离度量扩展到深度哈希学习，并在CIFAR 10和NUS-WIDE两个基准上进行实验，以证明我们的SNR距离度量的有效性和通用性。
2019-04-04 cs.CV
Learning Surrogate Models of Document Image Quality Metrics for Automated Document Image Processing
Uppsala University（乌普萨拉大学）
文档图像质量度量的计算通常取决于对应于文档的地面实况图像的可用性。这限制了质量度量在应用中的适用性，所述应用例如是对看不见的文档进行实时操作的图像处理算法的超参数优化。这项工作提出了使用代理模型来学习现有数据集上的给定文档质量度量的行为，其中地面实况图像可用。经训练的代理模型稍后可用于预测先前未见过的文档图像上的度量值，而无需访问地面实况图像。代理模型在文档图像二值化竞赛（DIBCO）和手写文档图像二值化竞赛（H-DIBCO）数据集上进行经验评估。
2017-12-11 cs.CV
SkyAnchor: Updating Metric-scale Aerial 3D Gaussian Scenes from Unposed Ground-View Sequences
University of Liverpool（利物浦大学）；The Ohio State University（俄亥俄州立大学）
SkyAnchor利用现有航空场景作为固定脚手架，通过锚点约束的子地图和光束法平差，将无位姿地面序列配准并更新度量尺度三维高斯场景，在七个真实场景上验证了精确轨迹与高质量渲染。
2026-09-15 cs.CV cs.GR
A Sketch Based 3D Shape Retrieval Approach Based on Efficient Deep Point-to-Subspace Metric Learning
基于草图的三维形状检索
2019-03-13 cs.CV
GroCo: Ground Constraint for Metric Self-Supervised Monocular Depth
INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；Ecole Centrale de Lyon（里昂中央理工学院）；Universite Claude Bernard Lyon 1（里昂第一大学）；Université Lumière Lyon 2（里昂第二大学）；LIRIS（里昂信息与系统实验室）；Visual Behavior（视觉行为研究机构）
针对自监督单目度量深度估计中跨数据集泛化与尺度恢复的难题，本文提出地面约束方法 GroCo，在 KITTI 基准上超越现有尺度恢复技术并显著提升模型泛化能力。
2024-09-23 cs.AI cs.CV cs.LG
DIABLO: Dictionary-based Attention Block for Deep Metric Learning
Cergy Paris University（塞尔吉巴黎大学）；ENSEA（高等电子与应用技术学院）；CNRS（法国国家科学研究中心）；Ecole des Ponts（国立桥路学校）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Pôle Judiciaire de la Gendarmerie Nationale（国家宪兵司法中心）
最近，在深度度量学习中，通过利用深度网络同时训练图像表示和对应的度量，在看不见的类和示例的表示学习中取得了突破。最近的贡献主要涉及训练部分（损失函数，采样策略等），而少数工作集中于提高图像表示的辨别能力。在本文中，我们提出了DIABLO，一个基于字典的注意力图像嵌入方法。DIABLO通过仅将视觉相关的特征聚合在一起来产生更丰富的表示，同时比深度度量学习中的其他基于注意力的方法更容易训练。这在四个深度度量学习数据集（Cub-200-2011，Cars-196，Stanford Online Products和In-Shop Clothes Retrieval）上得到了实验证实，DIABLO在这些数据集上表现出了最先进的性能。
2020-04-30 cs.CV
MetricDepth: Enhancing Monocular Depth Estimation with Deep Metric Learning
Harbin Institute of Technology（哈尔滨工业大学）
本文提出MetricDepth，通过基于差分的样本识别和多范围策略将深度度量学习引入单目深度估计，以差异化正则化负样本，从而提升模型性能。
2024-12-29 cs.CV
Semantic Instance Segmentation via Deep Metric Learning
Google Inc.（谷歌公司）；UCLA（加利福尼亚大学洛杉矶分校）
我们提出了一种新的语义实例分割的方法，首先计算两个像素是如何可能属于同一个对象，然后通过分组相似的像素在一起。我们的相似性度量是基于一个深度的、完全卷积的嵌入模型。我们的分组方法是基于选择与一组“种子点”足够相似的所有点，这些点是从一个深度的、完全卷积的评分模型中选择的。我们在Pascal VOC实例分割基准测试中显示了具有竞争力的结果。
2017-03-30 cs.CV
Deep Metric Learning via Facility Location
Google Research（谷歌研究院）；MIT（麻省理工学院）
使用深度网络以端到端的方式学习表示和相似性度量已经证明了聚类和检索的出色结果。然而，这些最近的方法仍然遭受性能下降，源于本地度量训练过程，这是不知道的嵌入空间的全局结构。我们提出了一个全局度量学习方案，用于在一个新的结构化预测框架中使用可学习的聚类函数和聚类度量（NMI）优化深度度量嵌入。我们在CUB 200 -2011，Cars 196和斯坦福在线产品数据集上的实验显示了NMI和Recall@K评估指标中测量的聚类和检索任务的最新性能。
2017-04-11 cs.CV cs.LG
Meanings and Measurements: Multi-Agent Probabilistic Grounding for Vision-Language Navigation
Arizona State University（亚利桑那州立大学）；Haverford College（哈弗福德学院）
本文提出MAPG框架，通过分解语言查询并利用VLM进行语义 grounding，解决复杂度量-语义语言查询的难题，同时引入MAPG-Bench评估指标，展示在现实机器人中的应用效果。
2026-03-19 cs.AI cs.CL cs.CV
Semi-Supervised Deep Metrics for Image Registration
Medical Informatics Laboratory, Queen’s University（女王大学医学信息学实验室）；Radiology Department, Brigham and Women’s Hospital, Harvard Medical School（哈佛医学院布莱根妇女医院放射科）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Department of Electrical and Computer Engineering, University of British Columbia（英属哥伦比亚大学电气与计算机工程系）
深度度量已被证明是有效的相似性措施，在多模态图像配准，然而，目前的度量构造对齐的图像对的训练数据。在本文中，我们提出了一种策略，从粗略对齐的训练数据学习这些指标。使数据对称化校正了由于数据中的未对准而导致的度量中的偏差（以增加方差为代价），而对数据的随机扰动（即抖动）确保了度量具有单一模式，并且能够通过优化进行配准。对单独的看不见的测试图像对的配准任务进行评价。结果证明了从基本上未对齐的训练数据中学习有用的深度度量的可行性，在某些情况下，结果明显优于互信息。因此，通过抖动的数据增强是一种有效的策略，用于满足对良好对齐的训练数据的需求;这将深度度量配准从监督到半监督机器学习的领域。
2018-04-04 cs.CV
Semi-supervised learning of deep metrics for stereo reconstruction
Swiss Federal Institute of Technology in Lausanne（洛桑联邦理工学院）；Idiap Research Institute（伊迪亚普研究所）
深度学习指标最近在匹配图像块以进行立体重建方面表现出非常好的性能。然而，训练这样的度量需要大量的标记的立体图像，对于某些应用来说，收集这些图像可能是困难的或昂贵的。我们工作的主要贡献是一种新的半监督方法，用于从未标记的立体图像中学习深度度量，给出有关场景和光学系统的粗略信息。我们的方法交替优化标准的随机梯度下降的度量，并应用立体约束来正则化其预测。在参考数据集上的实验表明，对于给定的网络架构，使用这种新方法进行训练而不使用地面实况，可以产生性能与使用所述地面实况训练的最先进基线一样好的度量。这项工作有三个实际意义。首先，它有助于克服训练集的局限性，特别是有噪声的地面实况。其次，它允许在学习期间使用更多的训练数据。第三，它允许为特定的立体声系统调谐深度度量，即使地面实况不可用。
2016-12-03 cs.CV cs.NE
Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior
Ulsan National Institute of Science and Technology（蔚山科学技术院）
压缩感知是一种从欠采样测量中恢复原始图像的方法。为了克服该逆问题的不适定性，使用图像先验知识，例如小波域中的稀疏性、最小总变差或自相似性。最近，已经提出了基于深度学习的压缩图像恢复方法，并且已经产生了最先进的性能。他们使用基于深度学习的数据驱动方法而不是手工制作的图像先验来解决欠采样数据的不适定逆问题。具有讽刺意味的是，为它们训练深度神经网络需要“干净”的真值图像，但从欠采样数据中获得最佳质量的图像需要经过良好训练的深度神经网络。为了解决这一困境，我们提出了新的方法，基于两个良好的理论：降噪近似消息传递和斯坦的无偏风险估计。我们提出的方法能够从欠采样测量中训练基于深度学习的图像去噪器，而无需真值图像和图像先验，并从欠采样数据中恢复具有最先进质量的图像。我们评估了我们的方法用于高斯随机，编码衍射图案和压缩感知MRI测量矩阵的各种压缩感知恢复问题。我们的方法在没有真值图像和没有图像先验的所有情况下都取得了最先进的性能。它们也产生了与具有真值数据的方法相当的性能。
2018-12-19 cs.CV
3D Human Action Recognition with Siamese-LSTM Based Deep Metric Learning
Gebze Technical University（盖布泽技术大学）；VisLab（视觉实验室）
本文提出了一个新的3D人体动作识别系统，作为一个两阶段系统：（1）深度度量学习模块，使用Siamese-LSTM网络学习两个3D联合序列之间的相似性度量;（2）多类分类模块，使用第一个模块的输出来产生最终的识别输出。该模型有几个优点：第一个模块使用更大的数据集进行训练，因为它使用了许多序列对的组合。我们的深度度量学习模块也可以独立于数据集进行训练，这使得我们的系统具有模块化和可推广性。我们在标准数据集和新引入的数据集上测试了所提出的系统，结果表明初步结果是有希望的。我们将通过添加更复杂的LSTM块和在不同数据集之间进行交叉训练来继续开发这个系统。
2018-07-05 cs.CV
Spectral, Probabilistic, and Deep Metric Learning: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于度量学习的教程和调查论文。算法分为谱学习、概率学习和深度度量学习。我们首先从距离度量、马氏距离和广义马氏距离的定义开始。在谱方法中，我们从使用数据分散点的方法开始，包括第一个谱度量学习，Fisher判别分析的相关方法，相关成分分析（RCA），判别成分分析（DCA）和Fisher-HSIC方法。然后，涵盖了大间隔度量学习，不平衡度量学习，局部线性度量适应和对抗性度量学习。我们还解释了几种在特征空间中进行度量学习的核谱方法。我们还介绍了黎曼流形上的几何度量学习方法。在概率方法中，我们从输入和特征空间中的类折叠开始，然后解释邻域分量分析方法，贝叶斯度量学习，信息论方法和度量学习中的经验风险最小化。在深度学习方法中，我们首先引入重构自编码器和监督损失函数用于度量学习。然后，暹罗网络和它的各种损失函数，三重挖掘，三重抽样解释。基于Fisher判别分析的深度判别分析方法也进行了综述。最后，我们介绍了多模态深度度量学习、神经网络的几何度量学习和Few-Shot度量学习。
2022-01-23 cs.CV cs.LG stat.ML
TIGEr: Text-to-Image Grounding for Image Caption Evaluation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出了一种新的度量称为TIGEr的自动评价图像描述系统。流行的指标，如BLEU和CIDEr，仅基于参考标题和机器生成的标题之间的文本匹配，可能导致有偏见的评估，因为参考可能无法完全覆盖图像内容，自然语言本身就不明确。基于机器学习的文本图像基础模型，TIGEr不仅可以根据字幕表示图像内容的程度来评估字幕质量，还可以根据机器生成的字幕与人类生成的字幕的匹配程度来评估字幕质量。我们的实证测试表明，TIGEr具有更高的一致性与人类的判断比现有的替代指标。我们还全面评估指标的有效性，通过测量人类的判断和度量分数之间的相关性的字幕评价。
2019-09-04 cs.CL cs.CV
Quantitative Metrics for Benchmarking Medical Image Harmonization
Children’s National Hospital（儿童国家医院）；Children’s Hospital of Philadelphia（费城儿童医院）；School of Medicine and Health Sciences, George Washington University（乔治华盛顿大学医学与健康科学学院）
针对医学图像协调缺乏标准化真值数据集导致基准测试困难的问题，提出三个无需真值的定量评估指标，并证明其与既有图像质量指标相关，倡导将其作为基准标准。
2024-02-06 cs.CV eess.IV
Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding
AIOZ；University of Liverpool（利物浦大学）；University of Adelaide（阿德莱德大学）
无监督深度距离度量学习（UDML）旨在从未标记的数据集中学习嵌入空间中的样本相似性。传统的UDML方法通常使用三重损失或成对损失，这需要挖掘正样本和负样本w.r.t.锚数据点。然而，这在无监督设置中具有挑战性，因为标签信息不可用。在本文中，我们提出了一种新的UDML方法，克服了这一挑战。特别地，我们建议使用深度聚类损失来学习质心，即，伪标签，表示语义类。在学习过程中，这些质心也用于重建输入样本。因此，它确保了质心的代表性-每个质心代表视觉上相似的样本。因此，质心给出了关于阳性（视觉上相似）和阴性（视觉上不相似）样品的信息。基于伪标签，我们提出了一种新的无监督度量损失，它强制执行嵌入空间中样本的正集中和负分离。基准数据集上的实验结果表明，该方法优于其他UDML方法。
2020-09-09 cs.CV
Contrastive Bayesian Analysis for Deep Metric Learning
Central South University（中南大学）；Beijing Jiaotong University（北京交通大学）；Shenzhen University（深圳大学）；University of Missouri（密苏里大学）；University of Kragujevac（克拉古耶瓦茨大学）；Southern University of Science and Technology（南方科技大学）；Pengcheng Lab（鹏城实验室）
最近的深度度量学习方法一直专注于在正样本和负样本对之间设计不同的对比损失函数，以便学习的特征嵌入能够将同一类的正样本拉得更近，并将不同类的负样本推离彼此。在这项工作中，我们认识到，有一个显着的语义差距之间的功能在中间的功能层和类标签在最终的输出层。为了弥合这一差距，我们开发了一个对比贝叶斯分析的特征和模型的后验概率的图像标签的条件下，他们的特征相似性在对比学习设置。这种对比贝叶斯分析为深度度量学习带来了一种新的损失函数。为了提高所提出的方法到新的类的泛化能力，我们进一步扩展了度量方差约束的对比贝叶斯损失。我们的实验结果和消融研究表明，所提出的对比贝叶斯度量学习方法显着提高了监督和伪监督场景下深度度量学习的性能，大大优于现有方法。
2022-11-07 cs.CV
A study of deep perceptual metrics for image quality assessment
ENSTA Paris, Institut Polytechnique de Paris（巴黎高等先进技术学院，巴黎理工学院）；Safrantech, Safran Group（赛峰科技，赛峰集团）
有几种度量标准可以量化图像之间的相似性，但当涉及到测量高度失真图像的相似性时，它们的效率很低。在这项工作中，我们提出了基于深度神经网络的感知度量来解决图像质量评估（IQA）任务。我们根据不同的超参数（如网络的架构或训练过程）来研究深度感知指标。最后，我们提出了我们的多分辨率感知度量（MR-感知），它允许我们在不同的分辨率下聚合感知信息，并在具有不同图像变形的IQA任务上优于标准感知度量。我们的代码可在https://github.com/ENSTA-U2IS/MR_perceptual上获得
2022-02-17 cs.AI cs.CV cs.GR
Generating Images with Perceptual Similarity Metrics based on Deep Networks
University of Freiburg（弗莱堡大学）
图像生成机器学习模型通常使用基于图像空间中的距离的损失函数来训练。这通常会导致过度平滑的结果。我们提出了一类损失函数，我们称之为深度感知相似性度量（DeePSiM），以减轻这个问题。我们不是计算图像空间中的距离，而是计算由深度神经网络提取的图像特征之间的距离。该度量更好地反映了图像的感知相似性，从而导致更好的结果。我们展示了三个应用：自动编码器训练，变分自编码器的修改，以及深度卷积网络的逆。在所有情况下，生成的图像看起来清晰，类似于自然图像。
2016-02-09 cs.CV cs.LG cs.NE
GROOViST: A Metric for Grounding Objects in Visual Storytelling
University of Amsterdam（阿姆斯特丹大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
本文提出视觉叙事评估度量 GROOViST，通过建模跨模态依赖、时间错位和人类直觉来更准确地衡量故事对图像实体的锚定程度，并支持模块化分析。
2023-10-26 cs.AI cs.CL cs.CV
Visual Explanation for Deep Metric Learning
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
这项工作探索了深度度量学习及其应用的视觉解释。作为学习表示的一个重要问题，度量学习近年来受到了广泛的关注，但度量学习模型的解释却没有分类模型那么好。为此，我们提出了一个直观的想法，通过分解最终激活来显示对两个输入图像的整体相似性贡献最大的地方。而不是只提供每个图像的整体激活图，我们建议生成两个图像之间的点到点激活强度，使不同区域之间的关系被揭露。我们表明，所提出的框架可以直接部署到大范围的度量学习应用程序，并为理解模型提供了有价值的信息。此外，我们的实验表明，它的有效性在两个潜在的应用，即跨视图模式发现和交互式检索。源代码可从\url{https://github.com/Jeff-Zilence/Explain_Metric_Learning}获得。
2021-08-28 cs.CV
Spherical Feature Transform for Deep Metric Learning
MEGVII Inc.（旷视科技）；Tongji Unversity, China（同济大学）
特征空间中的数据增强是增加数据多样性的有效方法。以前的方法假设不同的类在其特征分布中具有相同的协方差。因此，不同类别之间的特征转换通过翻译来执行。然而，这种方法不再适用于最近的深度度量学习场景，其中广泛采用特征归一化，并且所有特征都位于超球面上。提出了一种新的球面特征变换方法。它放宽了类之间的协方差相同的假设，以类似的协方差的超球面上的不同类的假设。因此，特征变换通过尊重球形数据分布的旋转来执行。给出了一种简单有效的训练方法，并深入分析了两种不同变换之间的关系。在各种深度度量学习基准和不同基线上的综合实验验证了我们的方法实现了一致的性能改进和最先进的结果。
2020-08-04 cs.CV
Enhancing Label-Driven Deep Deformable Image Registration with Local Distance Metrics for State-of-the-Art Cardiac Motion Tracking
Fraunhofer MEVIS（弗劳恩霍夫医学图像计算研究所）；Radboud UMC（拉德堡德大学医学中心）；University of Lübeck（吕贝克大学）
虽然深度学习在医学图像分割的准确性方面取得了显著进步，但其对可变形图像配准的益处迄今为止仍限于减少计算时间。以前的工作要么集中在用CNN层替换距离和平滑度项的迭代优化，要么使用由标签驱动的监督方法。我们的方法是第一个将全局语义信息（由分割标签表示）和有助于对齐周围结构的局部距离度量的互补优势相结合的方法。与经典配准（79.0\%）以及标签驱动的深度学习框架（83.4\%）相比，我们证明了可变形心脏图像配准的Dice分数（86.5\%）显著更高。
2018-12-05 cs.CV
Towards Interpretable Deep Metric Learning with Structural Matching
Tsinghua University（清华大学）
神经网络如何区分两幅图像？理解深度模型的匹配机制对于开发可靠的智能系统以应用于诸如监控和访问控制等具有风险的视觉应用是至关重要的。然而，大多数现有的深度度量学习方法通过比较特征向量来匹配图像，这忽略了图像的空间结构，因此缺乏可解释性。在本文中，我们提出了一种深度可解释度量学习（DIML）方法，用于更透明的嵌入学习。与传统的基于特征向量比较的度量学习方法不同，我们提出了一种结构匹配策略，该策略通过计算两幅图像的特征图之间的最佳匹配流来显式地对齐空间嵌入。我们的方法使深度模型能够以更人性化的方式学习度量，其中两个图像的相似性可以分解为几个部分相似性及其对整体相似性的贡献。我们的方法是模型不可知的，这可以应用到现成的骨干网络和度量学习方法。我们在深度度量学习的三个主要基准上评估了我们的方法，包括CUB 200 -2011，Cars 196和斯坦福在线产品，并在流行的度量学习方法上实现了实质性的改进，具有更好的可解释性。代码可在https://github.com/wl-zhao/DIML上获得
2021-08-12 cs.AI cs.CV cs.LG
Training Deep Learning Based Denoisers without Ground Truth Data
Ulsan National Institute of Science and Technology (UNIST)（蔚山国立科学技术院（UNIST））
最近开发的基于深度学习的去噪器通常优于最先进的传统去噪器，如BM 3D。它们通常被训练以最小化深度神经网络（DNN）的输出图像与真值图像之间的均方误差（MSE）。因此，对于基于深度学习的去噪器来说，使用高质量的无噪声真值数据以实现高性能是很重要的。然而，在某些应用中，获得无噪声图像通常是具有挑战性的，甚至是不可行的。在这里，我们提出了一种基于Stein无偏风险估计（SURE）的方法，用于仅基于在具有高斯噪声的训练数据中使用噪声图像来训练DNN去噪器。我们证明了我们的基于SURE的方法，而不使用地面真实数据，能够训练DNN去噪器，以产生接近于灰度和彩色图像的真值训练的网络的性能。我们还提出了一个基于SURE的细化方法与噪声的测试图像，以进一步提高性能。我们的快速改进方法优于传统的BM 3D，深度图像先验，并且通常使用真值训练的网络。潜在的扩展，我们的SURE为基础的方法泊松噪声模型进行了研究。
2021-04-22 cs.CV stat.ML
Validation of neural spike sorting algorithms without ground-truth information
Simons Center for Data Analysis（西蒙斯数据分析中心）；Dartmouth College（达特茅斯学院）；University of Pennsylvania（宾夕法尼亚大学）；New York University（纽约大学）
我们描述了一套验证指标，评估一个给定的自动尖峰排序算法应用到一个给定的电生理记录的可信度，当真值不可用。通过重新运行尖峰排序器两次或更多次，这些指标可以测量在与数据本身变化一致的各种扰动下的稳定性，而无需对噪声模型或排序算法的内部工作进行假设。这种稳定性是结果再现性的先决条件。我们说明了在体内和体外记录的标准分选算法的指标。我们相信，这些指标可以减少目前用于验证的大量人力，并应成为大规模自动化尖峰排序和算法系统基准测试的重要组成部分。
2015-08-27 cs.CV q-bio.NC
NetScore: Towards Universal Metrics for Large-scale Performance Analysis of Deep Neural Networks for Practical On-Device Edge Usage
Waterloo Artificial Intelligence Institute, University of Waterloo（滑铁卢大学滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
深度神经网络设计的大部分焦点都集中在提高准确性上，导致更强大但高度复杂的网络架构难以在实际场景中部署，特别是在边缘设备上，如移动和其他消费设备，因为它们的计算和内存要求很高。因此，最近人们对设计用于评估深度神经网络的定量指标很感兴趣，这些指标不仅仅将模型准确性作为网络性能的唯一指标。在这项研究中，我们继续讨论评估深度神经网络在实际设备边缘使用中的性能的通用指标。特别是，我们提出了一个新的平衡度量称为NetScore，这是专门设计的，以提供一个定量评估之间的平衡精度，计算复杂性，和网络架构复杂性的深度神经网络，这是很重要的设备上的边缘操作。在文献中最大的深度神经网络之间的比较分析中，在ImageNet大规模视觉识别挑战（ILSVRC 2012）数据集上，在60个不同的深度卷积神经网络的不同集合中比较了NetScore指标、前1准确度指标和流行的信息密度指标，用于图像分类。本研究报告介绍了这三个指标对这一多样化网络的评价结果，以作为该领域从业人员的参考指南。拟议的NetScore指标以及其他测试指标绝不是完美的，但希望将对话推向更好的通用指标，以评估在实际设备边缘场景中使用的深度神经网络，以帮助指导从业者为此类场景设计模型。
2018-08-26 cs.CV cs.LG stat.ML
Deep Transform and Metric Learning Networks
North Carolina State University（北卡罗来纳州立大学）；Inria（法国国家信息与自动化研究所）
基于其在推理和去噪任务中的巨大成功，字典学习（DL）及其相关的稀疏优化公式已经获得了大量的研究兴趣。虽然大多数解决方案都集中在单层字典上，但最近改进的Deep DL方法在许多问题上也有所不足。因此，我们提出了一种新的深度DL方法，其中每个DL层可以作为一个线性层和递归神经网络的组合来制定和求解，其中RNN被灵活地重新分级为与层相关的学习度量。我们提出的工作揭示了神经网络和深度DL之间的新见解，并提供了一种新颖，高效和有竞争力的方法来共同学习深度转换和度量。大量的实验表明，该方法不仅优于现有的深度深度学习，而且优于最先进的一般卷积神经网络。
2021-04-21 cs.CV cs.LG
Deep Image Reconstruction using Unregistered Measurements without Groundtruth
Washington University in St. Louis（圣路易斯华盛顿大学）；Mallinckrodt Institute of Radiology（马林克罗特放射学研究所）
传统的基于深度学习的图像重建的关键限制之一是需要包含一组高质量地面实况图像的训练图像的配准对。本文通过提出一种新的无监督深度配准增强重建方法（U-Dream）来解决这一限制，该方法用于训练深度神经网络，通过直接映射未注册和伪影损坏的图像对来重建高质量图像。U-Dream能够规避对精确配准数据的需求，这使得它广泛适用于许多生物医学图像重建任务。我们验证它在加速磁共振成像（MRI）的训练图像重建模型直接对欠采样的测量图像，经历了非刚性变形。
2020-09-29 cs.CV eess.IV
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia（西澳大利亚大学）
深度视觉模型在高风险领域有着广泛的应用。因此，它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查，重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献，我们不仅提供了现有技术的分类组织，而且还挖掘了一系列的评估指标，并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论，我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Adaptive additive classification-based loss for deep metric learning
Amazon（亚马逊）
最近的工作表明，深度度量学习算法可以受益于来自另一种输入模态的弱监督。这种额外的模态可以作为距离直接结合到流行的基于三重态的损失函数中。最近，分类损失和基于代理的度量学习已经被观察到导致更快的收敛以及更好的检索结果，而不需要复杂和昂贵的采样策略。在本文中，我们提出了一种对现有自适应余量的扩展，用于基于分类的深度度量学习。我们的扩展为每个样本的每个负代理引入了一个单独的保证金。这些边界是在训练期间根据其他模态中的类的预先计算的距离来计算的。我们的结果在亚马逊时尚检索数据集和公共DeepFashion数据集上都建立了新的最先进的技术。这在基于fastText和BERT的嵌入中观察到，用于额外的文本模态。我们的结果是实现了更快的收敛速度和更低的代码复杂度比现有的国家的最先进的。
2020-06-25 cs.CV cs.LG
Hardness-Aware Deep Metric Learning
Tsinghua University（清华大学）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出了一种基于硬度感知的深度度量学习（HDML）框架。大多数以前的深度度量学习方法采用硬否定挖掘策略来缓解训练样本的缺乏。然而，这种挖掘策略仅利用训练数据的一个子集，这可能不足以全面地表征嵌入空间的全局几何形状。为了解决这个问题，我们对嵌入进行线性插值，以自适应地操纵它们的硬水平，并生成相应的标签保留合成用于循环训练，以便可以充分利用隐藏在所有样本中的信息，并且始终以适当的难度挑战度量。我们的方法在广泛使用的CUB-200-2011，Cars 196和Stanford Online Products数据集上实现了非常有竞争力的性能。
2019-12-04 cs.CV cs.LG
Semi-Supervised Metric Learning: A Deep Resurrection
Myntra；Indian Institute of Technology Madras（印度马德拉斯理工学院）；Monash University（莫纳什大学）
距离度量学习（DML）试图学习一种区分性嵌入，其中相似的示例更接近，而不相似的示例则分开。在本文中，我们解决了半监督DML（SSDML）的问题，试图学习一个度量使用一些标记的例子，和大量可用的未标记的例子。SSDML很重要，因为手动注释大型数据集中的所有示例是不可行的。令人惊讶的是，除了一些学习线性Mahalanobis度量的经典方法外，SSDML近年来还没有被研究过，并且缺乏深度SSDML场景中的方法。在本文中，我们解决了这个具有挑战性的问题，并在深度学习方面改进了SSDML。特别是，我们提出了一个随机的，基于图形的方法，首先传播的亲和力对的例子从标记的数据，未标记的对。传播的亲和度用于挖掘基于三元组的约束，用于度量学习。我们对度量参数施加正交约束，因为它通过避免模型崩溃而导致更好的性能。
2021-05-10 cs.CV cs.LG
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
UC Berkeley（加州大学伯克利分校）；OpenAI（开放人工智能研究中心）；Adobe Research（奥多比研究院）
虽然人类几乎毫不费力地快速评估两个图像之间的感知相似性，但其潜在过程被认为是相当复杂的。尽管如此，当今最广泛使用的感知指标，如PSNR和SSIM，都是简单、肤浅的函数，无法解释人类感知的许多细微差别。最近，深度学习社区发现，在ImageNet分类上训练的VGG网络的特征作为图像合成的训练损失非常有用。但是这些所谓的“知觉损失”有多知觉呢？哪些因素对他们的成功至关重要？为了回答这些问题，我们引入了一个新的人类感知相似性判断数据集。我们系统地评估不同架构和任务的深度功能，并将其与经典指标进行比较。我们发现，在我们的数据集上，深度特征的表现远远优于所有以前的指标。更令人惊讶的是，这个结果并不局限于ImageNet训练的VGG特征，而是适用于不同的深度架构和监督级别（监督，自监督甚至无监督）。我们的研究结果表明，感知相似性是一个新兴的财产共享的深视觉表征。
2018-04-10 cs.CV cs.GR
Mixup-based Deep Metric Learning Approaches for Incomplete Supervision
The University of Adelaide（阿德莱德大学）
深度学习架构已经在不同领域取得了有希望的成果（例如，农业、医疗、安全）。然而，在许多实际应用中使用这些强大的技术变得具有挑战性，因为在训练期间需要大量的标记集合。有几项工作已经寻求解决方案，以克服它提出的战略，可以学到更多的少，例如，弱监督学习和半监督学习方法。由于这些方法通常不解决记忆和对抗性示例的敏感性，本文提出了三种深度度量学习方法，结合Mixup用于不完全监督场景。我们表明，一些国家的最先进的方法在度量学习可能无法很好地工作在这种情况下。此外，所提出的方法在不同的数据集上优于大多数方法。
2022-08-27 cs.CV cs.LG
DeepSim: Semantic similarity metrics for learned image registration
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
我们提出了一种用于图像配准的语义相似性度量。像欧几里德距离或归一化互相关这样的现有度量集中在对齐强度值上，这给低强度对比度或噪声带来了困难。我们的语义方法学习特定于网络的特征，这些特征驱动基于学习的注册模型的优化。与跨多种图像模态和应用的现有无监督和有监督方法相比，我们实现了一致的高配准精度和比现有技术更快的收敛速度，并且学习到的对噪声的不变性在低质量图像上提供了更平滑的变换。
2020-11-11 cs.CV cs.LG
Deep Relational Metric Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出了一种用于图像聚类和检索的深度关系度量学习（DRML）框架。大多数现有的深度度量学习方法学习嵌入空间，其一般目标是增加类间距离和减少类内距离。然而，传统的度量学习的损失通常会抑制类内变化，这可能有助于识别未知类的样本。为了解决这个问题，我们提出了自适应学习的特征，从不同的方面来模拟类间和类内分布的图像的合奏。我们还采用了一个关系模块来捕获集合中每个特征之间的相关性，并构建一个图来表示图像。然后，我们对图进行关系推理，以整合集成，并获得一个关系感知的嵌入来衡量相似性。在广泛使用的CUB-200-2011、Cars 196和Stanford Online Products数据集上进行的大量实验表明，我们的框架改进了现有的深度度量学习方法，并取得了非常有竞争力的结果。
2021-08-23 cs.AI cs.CV cs.LG
A Causal Framework for Aligning Image Quality Metrics and Deep Neural Network Robustness
The Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）；The Johns Hopkins University（约翰霍普金斯大学）
本文提出因果框架，证明传统IQA指标对DNN性能预测弱，并开发与DNN性能强相关的新指标，以有效估计大型图像数据集的质量分布。
2025-08-05 cs.AI cs.CV
Seeing Eye to AI? Applying Deep-Feature-Based Similarity Metrics to Information Visualization
Northwestern University（西北大学）；Utrecht University（乌得勒支大学）
本文探索基于深度特征的相似度度量在信息可视化相似性判断中的应用，利用五种ML架构和三组预训练权重扩展度量，发现预训练ImageNet权重的度量优于MS-SSIM，有助于改进可视化推荐等工具。
2025-02-28 cs.CV cs.HC cs.LG
