Distance Metric Learning for Kernel Machines
Washington University in St. Louis（圣路易斯华盛顿大学）；Criteo（科韬）
最近在度量学习方面的工作显着提高了k-最近邻分类的最新水平。支持向量机（SVM），特别是具有RBF核的SVM，是使用距离度量来比较示例的最流行的分类算法之一。本文对三种最流行的马氏度量学习算法作为SVM训练的预处理的有效性进行了实证分析。我们发现，这些算法都没有产生指标，导致特别令人满意的改进SVM-RBF分类。作为一种补救措施，我们引入支持向量度量学习（SVML），一种新的算法，无缝地结合了马氏度量的学习与RBF-SVM参数的训练。我们证明了SVML的能力，在九个基准数据集的不同大小和难度。在我们的研究中，SVML在准确性方面优于所有其他最先进的度量学习算法，并通过交叉验证建立了自己作为标准欧几里得度量的模型选择的严肃替代品。
2013-01-08 cs.LG stat.ML
Surrogate regret bounds for generalized classification performance metrics
Poznan University of Technology（波兹南理工大学）
我们考虑优化的广义性能指标的二进制分类的替代损失。我们专注于一类指标，这是线性分数函数的假阳性和假阴性率（其中的例子包括$F_β$ -措施，Jaccard相似系数，AM措施，和许多其他）。我们的分析涉及以下两个步骤。首先，实值函数$f$通过最小化训练样本上的二元分类的代理损失来学习。假设代理损失是一个强适当的复合损失函数（例如逻辑损失、平方误差损失、指数损失等）。然后，给定$f$，通过直接优化目标性能度量，在单独的验证样本上调谐阈值$\widehatθ$。我们表明，所得到的分类器（从阈值$f$上$\widehatθ$）测量相对于目标度量的遗憾是上限的遗憾$f$测量相对于代理损失。我们还扩展了我们的结果，以涵盖多标签分类，并提供遗憾的微观和宏观平均措施的界限。我们的研究结果进行了进一步分析，在合成和真实数据集的计算研究。
2016-10-07 cs.LG
PACTran: PAC-Bayesian Metrics for Estimating the Transferability of Pretrained Models to Classification Tasks
Google Research（谷歌研究院）
近年来，随着预训练模型的日益丰富，为特定的下游分类任务选择最佳预训练检查点的问题越来越受到关注。虽然最近已经提出了几种方法来解决选择问题（例如LEEP，H-评分），这些方法诉诸于应用学习理论没有很好的动机。在本文中，我们提出了PACTran，这是一个用于预训练模型选择和可移植性测量的理论基础指标家族。我们首先展示了如何在迁移学习设置下从最佳PAC-Bayesian界导出PACTran度量。然后，我们凭经验评估PACTran的三个度量实例的视觉任务（VTAB）以及语言和视觉（OKVQA）的任务。结果分析表明，PACTran是一个更一致和有效的可转移性措施相比，现有的选择方法。
2022-07-19 cs.LG
Interactive Classification Metrics: A graphical application to build robust intuition for classification model evaluation
Università di Milano-Bicocca（米兰比可卡大学）；University of Toronto（多伦多大学）
提出Interactive Classification Metrics (ICM)图形化应用，通过交互式可视化帮助用户直观理解分类评估指标间的关系与权衡，辅助选择合适指标并重视模型解释。
2024-12-22 cs.LG stat.ML
Metrics for Multi-Class Classification: an Overview
CRIF S.p.A.（CRIF股份公司）；Università degli Studi di Bologna（博洛尼亚大学）；University of Bologna（博洛尼亚大学）
机器学习中涉及两个以上类的分类任务被称为“多类分类”。当目标是评估和比较不同的分类模型或机器学习技术时，性能指标非常有用。许多指标都可以用来测试多类分类器的能力。这些指标在开发过程的不同阶段都很有用，例如，比较两个不同模型的性能或通过调整不同参数来分析同一模型的行为。在本白皮书中，我们回顾了一系列最有前途的多类指标，强调了它们的优点和缺点，并展示了它们在分类模型开发过程中的可能用途。
2020-08-13 cs.LG stat.ML
Active Metric Learning for Supervised Classification
ExxonMobil Corporate Strategic Research（埃克森美孚企业战略研究院）；Lehigh University（利哈伊大学）
聚类和分类主要依赖于距离度量，这些距离度量提供了数据点之间有意义的比较。我们提出了混合整数优化方法来找到最佳的距离度量，推广了文献中广泛研究的马氏度量。此外，我们通过消除对预先指定的“目标邻居”、“三元组”和“相似性对”的依赖来概括和改进领先的方法。“我们的方法的另一个显著特点是它能够通过在计算出最佳度量后推荐精确的区域来进行主动学习，以提高分类性能。这种有针对性的获取可以通过确保训练数据完整性、代表性和经济性来显著减少计算负担。我们通过几个简单直观的例子展示了算法的分类和计算性能，然后是真实图像和医疗数据集的结果。
2018-03-28 cs.LG stat.ML
Optimal Decision-Theoretic Classification Using Non-Decomposable Performance Metrics
University of Texas, Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
我们提供了一个一般的理论分析，预期样本外的效用，也被称为决策理论分类，不可分解的二进制分类指标，如F-测度和Jaccard系数。我们的主要结果是，预期的样本效用的许多性能指标是可证明优化的分类器，这是相当于一个有符号的阈值的条件概率的积极类。我们的分析弥合了文献中的差距二进制分类，揭示了在人口效用最大化风格分类的不可分解的指标的最新结果。我们的研究结果确定可检查的性能指标，足以保证概率排名原则的属性。我们提出了一致的估计最佳预期的样本外分类。作为概率排序原理的结果，在一般情况下，计算要求可以从指数复杂度降低到立方复杂度，并且在特殊情况下进一步降低到二次复杂度。我们提供的模拟和基准数据集的实证结果评估所提出的算法的性能决策理论分类和比较他们的基线和国家的最先进的方法在人口效用最大化的不可分解的指标。
2015-05-07 cs.LG stat.ML
Introducing the O-Value: A Universal Standardization for Confusion-Matrix-Based Classification Performance Metrics
Concordia University（康科迪亚大学）；University of Waterloo（滑铁卢大学）；Daesys Inc.（Daesys公司）
本文提出O值，一种统一的混淆矩阵分类性能指标标准化方法，解决不同尺度和类别不平衡率下的性能评估问题。
2026-04-17 cs.LG stat.ME stat.ML
Consistent Classification with Generalized Metrics
Department of Computer Science, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；Google Inc.（谷歌公司）；Independent Researcher（独立研究者）
我们提出了一个框架，用于构建和分析多类和多输出分类指标，即，涉及多个可能相关的多类标签。我们的分析揭示了可行混淆张量的几何形状的新见解-包括优化任意不可分解度量和学习加权分类器之间等价的必要和充分条件。此外，我们分析了通常用于计算多输出指标的平均方法，并描述了相应的贝叶斯最优分类器。我们表明，插件的估计基于这种特性是一致的，很容易实现为后处理规则。合成和基准数据集的实证结果支持的理论研究结果。
2019-08-24 cs.LG stat.ML
A Formally Robust Time Series Distance Metric
Know-Center GmbH（Know-Center 有限公司）；Graz University of Technology（格拉茨技术大学）
基于距离的分类是时间序列数据分类中最具竞争力的方法之一。基于距离的分类最关键的组成部分是所选择的距离函数。过去的研究已经提出了各种不同的距离度量或措施，致力于现实世界的时间序列数据的特定方面，但有一个重要的方面，尚未考虑到目前为止：对任意数据污染的鲁棒性。在这项工作中，我们提出了一种新的距离度量，对任意“坏”的污染是强大的，并具有最坏情况下的计算复杂性为$\mathcal{O}(n\log n)$。我们正式论证了为什么我们提出的度量是强大的，并在实证评估中证明，该度量在应用于k-最近邻时间序列分类时会产生有竞争力的分类精度。
2020-08-18 cs.LG stat.ML
Reduced-Rank Local Distance Metric Learning for k-NN Classification
University of Central Florida（中佛罗里达大学）；Florida Institute of Technology（佛罗里达理工学院）
提出了一种基于样本相似度作为边信息的局部距离度量学习方法。这些局部度量，利用度量权重矩阵的圆锥组合，从数据的汇集的空间特征，以及样本对之间的相似性配置文件，其距离被测量。我们的框架的主要目标是产生度量，使得相似样本之间的距离很小，不同样本之间的距离超过一定的阈值。为了学习和推理的目的，我们描述了一个转导，以及归纳算法;前一种方法自然适合我们的框架，而后者是为了更快的学习。一组分类问题的实验结果表明，新方法可能会表现出显着的性能优势，最近出现在文献中的替代度量学习方法。
2019-02-21 cs.LG stat.ML
Classification Performance Metric Elicitation and its Applications
University of Pennsylvania（宾夕法尼亚大学）
给定一个具有现实权衡的学习问题，模型应该训练哪个成本函数来优化？这就是机器学习中的度量选择问题。尽管有其实际意义，但关于如何为机器学习应用程序选择指标的正式指导有限。这篇论文概述了指标启发作为一个原则性的框架，选择性能指标，最能反映隐含的用户偏好。一旦指定，评估度量就可以用于比较和训练模型。在这篇手稿中，我们正式的问题，指标启发和设计新的策略，引发分类性能指标，使用成对的偏好反馈分类。具体来说，我们提供了新的策略，引发线性和线性分数度量的二进制和多类分类问题，然后扩展到一个框架，elephant组公平的性能指标存在多个敏感组。我们讨论的所有启发策略对有限样本和反馈噪声都是鲁棒的，因此在实际应用中是有用的。使用的工具和几何特征的可行的混淆统计集的二进制，多类，和多类多组分类设置，我们进一步提供了策略，从更广泛的复杂的，现代的多类度量定义的混淆统计的二次函数，通过利用他们的局部线性结构。从应用的角度来看，我们还建议使用度量启发框架来优化适合深度网络训练的复杂黑盒度量。最后，使理论更接近实践，我们进行了初步的真实用户的研究，显示了在恢复用户的首选性能指标在二进制分类设置的度量启发框架的功效。
2022-08-19 cs.AI cs.LG stat.ML
Generalization of metric classification algorithms for sequences classification and labelling
Bauman Moscow State Technical University（莫斯科鲍曼国立技术大学）
本文讨论了度量分类算法的改进问题。特别是，它研究了算法的k-最近的邻居，其应用程序的顺序数据。提出了一种度量分类算法的推广方法。作为它的一部分，已经开发了一种算法来解决序列数据的分类和标记问题。文中还讨论了所开发的分类算法与现有算法相比的优点。在开放数据集CoNLL 2000上进行了组块识别实验，并与CRF算法进行了比较。
2016-12-16 cs.CL cs.LG
Metric Learning Improves the Ability of Combinatorial Coverage Metrics to Anticipate Classification Error
National Security Institute（国家安全研究所）；Virginia Tech（弗吉尼亚理工大学）
机器学习模型越来越多地用于实践。然而，许多机器学习方法对与训练数据不同的测试或操作数据敏感。众所周知，分布外（OOD）数据会增加错误的概率，并且正在研究确定数据中哪些差异会影响模型性能的指标。最近，在文献中已经探索了组合覆盖度量作为基于分布的度量的替代。结果表明，覆盖度量可以与分类错误相关。然而，其他结果表明，覆盖度量的效用是高度依赖于网络的。在本文中，我们表明，这种数据集的依赖性可以减轻度量学习，机器学习技术，学习潜在的空间，从不同的类的数据是进一步分开。在对6个开源数据集的研究中，我们发现度量学习增加了在正确和错误分类的数据上计算的集合差异覆盖度量（SDCCM）之间的差异，从而证明度量学习提高了SDCCM预测分类错误的能力。配对t检验验证了我们的研究结果的统计学意义。总体而言，我们的结论是，度量学习提高了覆盖度量预测分类器错误和识别OOD数据可能降低模型性能的能力。
2023-02-28 cs.LG cs.SE stat.ML
A Metric Topology of Deep Learning for Data Classification
Institute of Communications Engineering（通信工程研究所）；College of Electrical Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学电机工程学院）；Department of Electrical and Computer Engineering, Mississippi State University（密西西比州立大学电机与计算机工程系）
本文从度量拓扑视角研究数据分类的深度学习，提出一种基于概率的距离度量，使分类性能相近的网络在商集上构成紧致度量空间，为理解DL提供新数学基础。
2025-01-20 cs.LG stat.ML
Metric Learning for Dynamic Text Classification
ASAPP, Inc.（ASAPP公司）
传统的文本分类器仅限于在一组固定的标签上进行预测。然而，在许多实际应用中，标签集经常发生变化。例如，在意图分类中，可以随时间添加新意图，而移除其他意图。我们建议解决动态文本分类的问题，用一个学习的，语义上有意义的度量空间来代替传统的，固定大小的输出层。在这里，文本输入之间的距离被优化，以在重叠的标签集上执行最近邻分类。更改标签集并不涉及删除参数，而只是在度量空间中添加或删除支持点。然后，可以仅用几个附加的训练样本来微调学习的度量。我们证明了这种简单的策略对标签空间的变化是鲁棒的。此外，我们的研究结果表明，学习非欧几里德度量可以提高低数据状态下的性能，这表明度量空间的进一步工作可能有利于低资源研究。
2019-11-04 cs.CL cs.IR cs.LG
Calibrated Surrogate Maximization of Linear-fractional Utility in Binary Classification
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
复杂的分类性能指标，如F ${}_β$ -措施和Jaccard指数经常使用，以处理类不平衡的情况下，如信息检索和图像分割。这些性能指标是不可分解的，也就是说，它们不能以每个示例的方式表示，这阻碍了在监督学习中广泛使用的M-估计的直接应用。在本文中，我们考虑线性分数度量，这是一个家庭的分类性能指标，包括许多标准的，如F ${}_β$措施和Jaccard指数，并提出方法，直接最大限度地提高这些指标下的性能。解决其直接优化的一个线索是校准的代理效用，这是表示给定度量的真实效用函数的易于处理的下限。我们刻画了代理最大化与真实效用最大化一致的充分条件。基准数据集上的仿真结果验证了我们校准的代理最大化的有效性，特别是当样本量非常小时。
2020-02-17 cs.LG stat.ML
Parametric Local Metric Learning for Nearest Neighbor Classification
University of Geneva（日内瓦大学）
我们研究了最近邻分类的局部度量学习问题。大多数以前的作品在本地度量学习学习一些本地无关的指标。虽然这种“独立”方法提供了更大的灵活性，但其缺点是过度拟合的风险相当大。我们提出了一种新的参数局部度量学习方法，在该方法中，我们学习数据流形上的光滑度量矩阵函数。使用度量矩阵函数的近似误差界，我们学习局部度量作为实例空间不同区域上的锚点上定义的基本度量的线性组合。我们通过对线性组合流形进行正则化来约束度量矩阵函数，使学习到的度量矩阵函数沿着数据流形的测地线平滑地变化。我们的度量学习方法在预测能力和可扩展性方面都具有出色的性能。我们实验了几个大规模的分类问题，数万个实例，并将其与几种最先进的度量学习方法进行了比较，包括全局和局部，以及具有自动内核选择的SVM，所有这些都以显着的方式优于。
2012-09-13 cs.LG
Learning Local Metrics and Influential Regions for Classification
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
基于距离的分类器的性能很大程度上取决于底层的距离度量，因此从数据中学习合适的度量是有价值的。为了解决多模态的问题，需要学习局部度量。在这篇简短的论文中，我们定义了一个新的直观距离与局部度量和影响区域，并随后提出了一种新的局部度量学习方法的距离为基础的分类。我们的关键直觉是将度量空间划分为影响区域和背景区域，然后将每个局部度量的有效性调节到相关的影响区域内。我们学习局部度量和影响区域，以减少经验铰链损失，并在所得学习界的基础上正则化参数。从各种公共和流行的数据集获得了令人鼓舞的实验结果。
2018-02-09 cs.LG
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
A Kernel Classification Framework for Metric Learning
Harbin Institute of Technology（哈尔滨工业大学）；Hong Kong Polytechnic University（香港理工大学）；Xi’an Jiaotong University（西安交通大学）
从给定的训练样本中学习距离度量在许多机器学习任务中起着至关重要的作用，并且在过去的十年中已经提出了各种模型和优化算法。在本文中，我们概括了几个国家的最先进的度量学习方法，如大间隔最近邻（LMNN）和信息理论度量学习（ITML），到一个核分类框架。首先，从训练样本中构造双联体和三联体，并针对双联体或三联体构造一族二次多项式核函数。然后，建立了一个核分类框架，它不仅可以推广许多流行的度量学习方法，如LMNN和ITML，但也提出了新的度量学习方法，可以有效地实现，有趣的是，通过使用标准的支持向量机（SVM）求解器。两个新的度量学习方法，即双SVM和三重SVM，然后在所提出的框架下开发。实验结果表明，双重支持向量机和三重支持向量机实现竞争力的分类精度与国家的最先进的度量学习方法，如ITML和LMNN，但具有显着更少的训练时间。
2013-09-23 cs.LG
Classification in asymmetric spaces via sample compression
Ariel University（阿里埃勒大学）
我们在拟度量空间中开始了严格的分类研究。这些点集具有非负的距离函数，也满足三角不等式，但不对称。本文提出并改进了一种基于样本压缩和最近邻的准度量的学习算法，并证明了它具有良好的统计特性。
2019-09-22 cs.LG stat.ML
Active metric learning and classification using similarity queries
Georgia Institute of Technology（佐治亚理工学院）
主动学习通常用于通过自适应地选择信息量最大的查询来训练标签有效模型。然而，大多数主动学习策略被设计为学习数据的表示（例如，嵌入或度量学习）或在任务上表现良好（例如，分类）的数据。然而，许多机器学习任务涉及表示学习和特定任务目标的组合。出于这一动机，我们提出了一种新的统一查询框架，可以应用于任何问题，其中的一个关键组成部分是学习的数据表示，反映相似性。我们的方法建立在相似性或最近邻（NN）查询的基础上，这些查询旨在选择导致改进嵌入的样本。查询由引用和一组对象组成，其中oracle选择最相似的对象（即，最接近）的参考。为了减少请求查询的数量，根据信息理论标准自适应地选择它们。我们使用各种合成和现实世界的数据集证明了所提出的策略在两项任务（主动度量学习和主动分类）上的有效性。特别是，我们证明了在深度度量学习环境中，主动选择的NN查询优于最近开发的主动三元组选择方法。此外，我们表明，在分类，积极选择类标签可以重新制定为一个过程，选择最翔实的NN查询，允许直接应用我们的方法。
2022-02-04 cs.LG stat.ML
Hyperspectral Image Classification with Deep Metric Learning and Conditional Random Field
Tianjin University（天津大学）
为了提高高光谱图像处理中的分类性能，基于空间-光谱信息融合和神经网络的利用这两种常用策略，已经开展了许多工作。然而，这两种策略通常需要比经典算法更多的训练数据，从而聚集了标记样本的短缺。在这封信中，我们提出了一种新的框架，将基于频谱的深度度量学习模型和条件随机场算法有机结合起来。深度度量学习模型由中心损失监督，以产生基于频谱的特征，这些特征在类内的欧几里得空间中聚集得更紧密。首先提出了用于图像分割任务的具有高斯边缘势的条件随机场，通过利用深度度量学习模型产生的像素之间的地理距离和特征之间的欧氏距离，对高光谱图像进行逐像素分类。所提出的框架在深度度量学习阶段由光谱像素训练，并在条件随机场阶段利用半手工空间特征。这在一定程度上解决了训练数据不足的问题。两个真实的高光谱图像的实验表明，该方法的分类精度和计算成本方面的优势。
2019-07-16 cs.CV cs.LG stat.ML
Mahalanobis Distance Metric Learning Algorithm for Instance-based Data Stream Classification
University of Coimbra（科英布拉大学）；Central University of Las Villas（拉斯维利亚斯中央大学）
随着当今海量数据的挑战和技术的快速发展，流挖掘近年来受到了相当大的关注。为了解决大量的情况下，这一现象本身表现出适当的工具，需要在各个研究领域。基于实例的数据流算法通常采用欧几里德距离的分类任务的基础上这个问题。研究这个问题的一种新方法是利用更灵活的度量，因为数据流场景增加了需求。在本文中，我们提出了一种新的算法，学习马氏度量使用相似性和相异性约束在线的方式。该方法混合了马氏距离度量学习算法和具有概念漂移检测的k-NN数据流分类算法。首先，考虑到关键属性以及在线距离度量学习算法，描述了马氏距离度量学习的一些基本方面。其次，我们实现了具体的评估方法和比较指标，如Q统计数据流分类算法。最后，在不同的数据集上对该算法进行了测试，并将其结果与目前最好的基于实例的数据流分类算法进行了比较，结果表明该算法具有更好的性能
2016-04-17 cs.LG
Acceleration of Large Margin Metric Learning for Nearest Neighbor Classification Using Triplet Mining and Stratified Sampling
University of Waterloo（滑铁卢大学）
度量学习是流形学习中的一种技术，其目标是找到一个投影子空间，分别用于增加和减少类间和类内方差。一些度量学习方法基于具有锚正负三元组的三元组学习。最近邻分类的大间隔度量学习是实现这一目标的基本方法之一。最近，已经引入了具有三重态损失的连体网络。许多三元组挖掘方法已被开发的暹罗网络，然而，这些技术还没有被应用于最近邻分类的大间隔度量学习的三元组。在这项工作中，受连体网络挖掘方法的启发，我们提出了几种用于大间隔度量学习的三元组挖掘技术。此外，一个分层的方法，提出了加速和可扩展性的优化，其中三元组选择分层超球分层抽样。我们分析了三个公开可用的数据集，即，Fisher Iris、ORL Faces和MNIST数据集。
2020-09-29 cs.CV cs.LG stat.ML
Nuanced Metrics for Measuring Unintended Bias with Real Data for Text Classification
Jigsaw
机器学习中的非预期偏见可能表现为不同人口群体的系统性表现差异，这可能会加剧整个社会对公平性的现有挑战。在本文中，我们介绍了一套阈值不可知的指标，提供了一个微妙的看法，这种意想不到的偏见，通过考虑的各种方式，一个分类器的分数分布可以在指定的群体。我们还引入了一个大型的新的测试集的在线评论与众包的身份参考注释。我们使用它来展示我们的指标如何用于在现有的公共模型中发现新的和潜在的微妙的意外偏差。
2019-05-08 cs.CL cs.LG stat.ML
An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results
UNED（西班牙国立远程教育大学）；University of Udine（乌迪内大学）
在有序分类任务中，必须将项目分配到具有相对排序的类，例如情感分析中的积极、中性、消极。值得注意的是，最流行的顺序分类任务的评估指标要么忽略相关信息（例如，每个类的精确度/召回率忽略了它们的相对顺序），要么假设额外的信息（例如，平均误差假设类之间的绝对距离）。本文在测度论和信息论的基础上，提出了一种新的有序分类度量--贴近度评价测度。我们对合成数据和NLP共享任务数据的理论分析和实验结果表明，所提出的度量同时捕获不同传统任务的质量方面。此外，它概括了一些流行的分类（名义规模）和误差最小化（区间规模）的指标，这取决于它被实例化的测量规模。
2020-06-01 cs.CL cs.LG
A comprehensive theoretical framework for the optimization of neural networks classification performance with respect to weighted metrics
University of Padova（帕多瓦大学）；University of Genova（热那亚大学）
本文针对神经网络训练中损失函数最小化与加权分类分数最大化之间的差异，提出一个完整理论框架，将加权分类指标形式化并构建相应损失函数以优化目标指标，且涵盖多种成熟方法。
2023-05-22 cs.LG cs.NA math.NA
Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
在类别不平衡数据集的分类中，用于模型选择和与竞争方法比较的性能度量是一个主要问题。为了克服这个问题，几个性能指标的定义和分析，在几个方面，特别是不平衡比。目前还没有明确的指标是通用的，可以用于任何倾斜的数据问题。本文提出了一种新的基于类标签归一化的召回率和选择率调和均值的性能度量方法。本文表明，所提出的性能指标具有正确的属性的不平衡数据集。特别是，在由多数类的例子和不平衡比定义的空间中，与其他现有的单值性能指标相比，它对多数类的变化不太敏感，而对少数类的变化更敏感。此外，其他性能指标的特性也得到了分析证明。
2020-06-23 cs.LG stat.ML
Classification Uncertainty of Deep Neural Networks Based on Gradient Information
Technische Universität Dortmund（多特蒙德工业大学）；Bergische Universität Wuppertal（伍珀塔尔大学）
研究了基于梯度度量的卷积神经网络不确定性量化问题。与经典的softmax熵不同，这种度量从CNN的所有层收集信息。我们表明，对于EMNIST数字数据集，对于几个这样的指标，我们实现了相同的Meta分类精度-即在不知道实际标签的情况下将预测分类为正确或不正确的任务-作为熵阈值。我们将Meta分类应用于未知概念（分布样本）- EMNIST/Omniglot字母，CIFAR 10和噪声-并证明当使用熵与几个基于梯度的度量作为Meta分类器的输入量时，未知概念的Meta分类率可以增加。Meta分类器仅在已知概念的不确定性度量上训练，即EMNIST数字，通常对于所有未知概念都表现得不一样好。然而，如果我们允许Meta分类器在一些分布外样本的不确定性度量上进行训练，则远离EMNIST数字（然后称为已知未知数）的概念的Meta分类可以得到相当大的改进。
2018-07-26 cs.AI cs.CV cs.LG
Exact Reformulation and Optimization for Direct Metric Optimization in Binary Imbalanced Classification
Department of Computer Science and Engineering, University of Minnesota, USA（明尼苏达大学计算机科学与工程系）；School of Statistics, University of Minnesota, USA（明尼苏达大学统计学系）；Department of Industrial Engineering and Operations Research, University of California, Berkeley, USA（加州大学伯克利分校工业工程与运筹学系）
本文针对二元不平衡分类的三类直接度量优化问题，首次提出精确约束重构方法，结合精确罚函数法求解，在基准数据集上优于现有最优方法，其框架可扩展至更多相关问题。
2026-08-19 cs.LG stat.ML
Deep Metric Learning for Few-Shot Image Classification: A Review of Recent Developments
Lanzhou University of Technology（兰州理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Glasgow（格拉斯哥大学）；University College London（伦敦大学学院）
Few-Shot图像分类是一个具有挑战性的问题，其目标是仅基于少量的训练图像来实现人类水平的识别。Few-Shot图像分类的一个主要解决方案是深度度量学习。这些方法通过在由强大的深度神经网络学习的嵌入空间中根据不可见样本与少数可见样本的距离对不可见样本进行分类，可以避免在Few-Shot图像分类中对少数训练图像的过拟合，并达到了最先进的性能。在本文中，我们提供了2018年至2022年用于Few-Shot图像分类的深度度量学习方法的最新综述，并根据度量学习的三个阶段将其分为三组，即学习特征嵌入，学习类表示和学习距离度量。通过这种分类，我们确定了不同方法的新颖性和它们面临的问题。最后，我们讨论了当前的挑战和未来的趋势，在Few-Shot图像分类的审查。
2022-06-27 cs.CV cs.LG
Scalable Fine-grained Generated Image Classification Based on Deep Metric Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，生成的图像可以达到非常高的质量，甚至人眼也无法区分它们与真实图像。虽然目前的司法鉴定界已经有了一些用于检测生成图像的方法，但是这些方法大多是针对单一类型的生成图像进行检测的。新类型的生成图像层出不穷，现有的检测方法无法很好地应对。这些问题促使我们提出了一个基于深度度量学习的多类分类可扩展框架，旨在对生成的图像进行更精细的分类。此外，我们增加了框架的可扩展性，以应对不断出现的新类型生成图像，并通过微调使模型在新类型生成数据上获得更好的检测性能。
2019-12-10 cs.CV cs.LG stat.ML
Cluster Representatives Selection in Non-Metric Spaces for Nearest Prototype Classification
Cisco Systems（思科系统公司）；Czech Technical University in Prague（布拉格捷克理工大学）
最近的原型分类是一个计算密集度较低的替代$k$ -NN方法，特别是当考虑大数据集。在度量空间中，质心通常被用作表示整个簇的原型。在非度量空间中选择集群原型更具挑战性，因为计算质心的想法并不直接适用。在本文中，我们提出了CRS，一种新的方法，用于选择一个小而有代表性的对象子集作为集群原型。通过利用由NN-下降算法创建的每个聚类的相似性图表示来实现代表的存储器和计算高效的选择。CRS可以用于任意度量或非度量空间，因为基于图的方法，它只需要一个成对的相似性度量。正如我们在实验评估中所证明的那样，我们的方法在来自不同领域的多个数据集上的表现优于最先进的技术。
2021-07-03 cs.LG
Consistent algorithms for multi-label classification with macro-at-$k$ metrics
Aalto University（阿尔托大学）；Poznan University of Technology（波兹南理工大学）；University of Bath（巴斯大学）；Yahoo Research（雅虎研究院）
本文研究多标签分类中宏at-$k$指标的优化问题，提出基于Frank-Wolfe方法的统计一致学习算法，并扩展到标签级混淆矩阵非线性函数的一般指标，实验验证了其竞争性能。
2024-06-29 cs.LG
Algorithmic Accountability in Small Data: Sample-Size-Induced Bias Within Classification Metrics
School of Electrical Engineering & Computer Science, Washington State University（电气工程与计算机科学学院，华盛顿州立大学）；Department of Mathematics and Statistics, Washington State University（数学与统计学系，华盛顿州立大学）
本文揭示了分类指标中由组合数学引起的小样本偏差问题，分析了常用指标的偏差并提出模型无关的评估与校正技术，以提升公平可信的分类评估。
2025-05-06 cs.LG
Inspecting class hierarchies in classification-based metric learning models
Institute of Marine Research（海洋研究所）；University of Bergen（卑尔根大学）
大多数分类模型平等对待所有错误分类。然而，不同的类可能是相关的，在某些分类问题中必须考虑这些层次关系。这些问题可以通过在训练期间使用分层信息来解决。不幸的是，这些信息并不适用于所有数据集。许多基于分类的度量学习方法使用嵌入空间中的类代表来表示不同的类。然后可以使用学习的类代表之间的关系来估计类层次结构。如果我们有一个预定义的类层次结构，可以评估学习到的类代表，以确定度量学习模型是否学习到与我们的先验知识匹配的语义距离。在这项工作中，我们训练一个softmax分类器和三个度量学习模型，在基准和真实世界的数据集上有几个训练选项。除了标准的分类精度外，我们还通过检查学习的类代表和层次信息性能来评估层次推理性能，即，分类性能和度量学习性能。此外，我们还研究了所考虑的措施如何受到各种模型和训练选项的影响。当我们提出的ProxyDR模型在不使用预定义的层次结构的情况下进行训练时，层次推理性能明显优于流行的NormFace模型。此外，我们的模型在相同的培训选项下增强了一些层次结构的性能指标。我们还发现，具有随机权重的卷积神经网络（CNN）比随机机会更好地对应于预定义的层次结构。
2023-01-26 cs.CV cs.LG stat.ML
We Need to Talk About Classification Evaluation Metrics in NLP
University of Sheffield（谢菲尔德大学）；Meta AI France（Meta AI 法国）；Amazon U.K.（亚马逊英国）
本文针对NLP分类任务中缺乏统一评估指标的问题，比较了多种标准与异类指标，通过广泛实验证明随机猜测归一化的Informedness指标是简约基线且最能捕捉理想模型特征，并发布了其Python实现。
2024-01-08 cs.CL cs.LG
A metric for software vulnerabilities classification
漏洞发现和漏洞检测是软件工程中两个广泛的研究领域。这个初步的工作试图结合现有的方法与机器学习技术来定义一个度量分类脆弱的计算机程序。首先定义了一个功能集，然后针对现实世界的漏洞测试了两个模型。分类器的选择和功能之间的关系也被概述。
2014-07-21 cs.LG cs.SE
The Effect of Perceptual Metrics on Music Representation Learning for Genre Classification
University of Bristol（布里斯托尔大学）；Universitat de Valencia（瓦伦西亚大学）
研究感知度量在音乐流派分类表征学习中的作用，发现以感知损失训练的自编码器提取特征比直接作距离度量更能提升分类性能和泛化能力。
2024-09-25 cs.AI cs.CV cs.LG
Improve High Level Classification with a More Sensitive metric and Optimization approach for Complex Network Building
Institute of Mathematics；Computer Science (ICMC) University of São Paulo (USP) São Carlos, SP, Brazil
复杂网络是一种很好的方法来找到内部关系，并表示数据集中的类结构，然后将其用于高级分类。以前的工作使用K-最近邻来构建每个复杂网络，考虑所有可用的样本。本文介绍了一种不同的复杂网络的创建方法，只考虑属于每个类的样本。利用度量分析了复杂网络的结构，并提出了一种改进复杂网络性能的优化方法。实验中考虑了交叉验证过程，优化方法采用网格搜索和遗传算法，该过程可以提高结果高达10%。
2021-10-23 cs.LG
Adaptive additive classification-based loss for deep metric learning
Amazon（亚马逊）
最近的工作表明，深度度量学习算法可以受益于来自另一种输入模态的弱监督。这种额外的模态可以作为距离直接结合到流行的基于三重态的损失函数中。最近，分类损失和基于代理的度量学习已经被观察到导致更快的收敛以及更好的检索结果，而不需要复杂和昂贵的采样策略。在本文中，我们提出了一种对现有自适应余量的扩展，用于基于分类的深度度量学习。我们的扩展为每个样本的每个负代理引入了一个单独的保证金。这些边界是在训练期间根据其他模态中的类的预先计算的距离来计算的。我们的结果在亚马逊时尚检索数据集和公共DeepFashion数据集上都建立了新的最先进的技术。这在基于fastText和BERT的嵌入中观察到，用于额外的文本模态。我们的结果是实现了更快的收敛速度和更低的代码复杂度比现有的国家的最先进的。
2020-06-25 cs.CV cs.LG
Rashomon Capacity: A Metric for Predictive Multiplicity in Classification
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
当具有统计上不可区分的性能的分类模型将相互冲突的预测分配给单个样本时，会出现预测多重性。当用于后果应用中的决策时（例如，贷款、教育、刑事司法），在不考虑预测多重性的情况下开发的模型可能导致对特定个人作出不公正和任意的决定。我们引入了一个新的度量，称为罗生门容量，以衡量预测的概率分类的多重性。用于预测多重性的先前度量集中于输出阈值的分类器（即，0-1)预测类相比之下，罗生门容量适用于概率分类器，捕获单个样本的更细微的分数变化。我们提供了一个严格的推导罗生门容量，论证其直观的吸引力，并演示如何在实践中估计它。我们表明，罗生门产能产生原则性的战略，披露冲突的模型，利益相关者。我们的数值实验说明了罗生门容量如何在各种数据集和学习模型（包括神经网络）中捕获预测多重性。本文介绍的工具可以帮助数据科学家在模型部署之前测量和报告预测多样性。
2022-10-19 cs.IT cs.LG math.IT
Robust performance metrics for imbalanced classification problems
Philipps-Universität Marburg（马尔堡菲利普斯大学）；Karlsruher Institut für Technologie (KIT)（卡尔斯鲁厄理工学院）；Fachbereich Mathematik und Informatik（数学与信息学系）；Institut für Stochastik（统计研究所）
本文针对不平衡分类问题中现有性能度量对少数类不鲁棒的缺陷，提出了带调优参数的鲁棒改进度量，通过理论和实验验证其有效性并给出使用建议。
2026-10-30 cs.LG stat.ME stat.ML
Adversarial Examples and Metrics
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
对抗性示例是对机器学习（ML）系统的一种攻击，它会导致输入的错误分类。实现对抗性示例的鲁棒性对于在现实世界中应用ML至关重要。虽然大多数关于对抗性示例的先前工作都是经验性的，但最近的一系列工作建立了基于加密硬度的鲁棒分类的基本限制。然而，在这一领域的大多数积极和消极的结果假设有一个固定的目标度量约束对手，我们认为，这往往是一个不切实际的假设。在这项工作中，我们研究了鲁棒分类的局限性，如果目标度量是不确定的。具体地说，我们构建了一个分类问题，它承认强大的分类由一个小分类器，如果目标度量是已知的模型训练的时候，但强大的分类是不可能的小分类器，如果目标度量是事后选择。在这个过程中，我们探索了一个新的连接的硬度的鲁棒分类和有界存储模型密码学。
2020-07-15 cs.CR cs.LG
Interpolated Discretized Embedding of Single Vectors and Vector Pairs for Classification, Metric Learning and Distance Approximation
Ariel University（阿里埃勒大学）
我们提出了一种新的嵌入方法，为一个单一的向量和一对向量。这种嵌入方法能够：a）单向量函数的有效分类和回归; b）距离函数的有效近似;以及c）非欧几里德半度量学习。据我们所知，这是第一个工作，使学习任何一般的，非欧几里德，semimetrics。也就是说，我们的方法是一种通用的半度量学习和近似方法，可以在有或没有半度量约束的情况下以所需的高精度近似任何距离函数。项目主页（包括代码）位于：http://www.ariel.ac.il/sites/ofirpele/ID
2016-08-08 cs.LG
Legitimate ground-truth-free metrics for deep uncertainty classification scoring
Owkin Inc.（Owkin公司）
本文研究了分类任务中无需真值即可计算的不确定性量化度量，证明其理论有效性并关联到可解释的可信度排序，以推动UQ在深度学习中的实际应用。
2025-02-28 cs.LG
Defensive Player Classification in the National Basketball Association
美国国家篮球协会（NBA）已经扩大了他们的数据收集，并在新技术上进行了大量投资，以收集球员的先进性能指标。这个扩展的数据集允许分析师在模型中使用独特的性能指标来估计和分类球员的表现。分析师可以根据这些跟踪的指标将彼此相似的球员分组，而不是根据身体属性和位置将球员分组在一起。现有的球员分类方法通常使用进攻指标进行聚类[1]。已经有人尝试使用过去的防守指标对球员进行分类，但缺乏质量指标并没有产生有希望的结果。本文提出的分类使用新引入的防守指标，为每个球员找到不同的防守位置。在不知道玩家可以被投射到的类别数量的情况下，可以应用高斯混合模型（GMM）来找到最佳的聚类数量。在所提出的模型中，可以识别五种不同的防守球员类型。
2017-07-10 cs.AI cs.LG
Knowledge Guided Metric Learning for Few-Shot Text Classification
University of Chinese Academy of Sciences（中国科学院大学）；Beijing Unisound Information Technology Co., Ltd（北京云知声信息技术有限公司）
基于深度学习的文本分类模型的训练严重依赖于大量的标注数据，而这些标注数据很难获得。当标记数据稀缺时，模型往往难以达到令人满意的性能。然而，人类可以非常有效地区分新的类别，只需很少的例子。这主要是因为人类可以利用从相关任务中获得的知识。受人类智能的启发，我们提出在少样本学习中引入外部知识来模仿人类知识。为此，研究了一种新的参数生成器网络，它能够利用外部知识生成关系网络参数。当配备有这些生成的参数时，可以在任务之间转移度量，使得类似的任务使用类似的度量，而不同的任务使用不同的度量。通过实验，我们证明了我们的方法优于最先进的Few-Shot文本分类模型。
2020-04-04 cs.CL cs.IR cs.LG
Hard Negative Mining for Metric Learning Based Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS（诺曼底大学，卡昂大学，卡昂国立高等工程师学校，国家科学研究中心）；ONERA - The French Aerospace Lab（法国国家航空航天研究院）
零样本学习已被证明是领域自适应的有效策略。在这种情况下，本文建立在Bucher等人的最新工作基础上。[1]，该工作提出了一种通过引入新的基于度量学习的目标函数来解决Zero-Shot分类问题（ZSC）的方法。该目标函数允许学习属性的最佳嵌入，并结合图像和属性之间的相似性度量。本文扩展了他们的方法，提出了几种方案来控制负对的生成，从而显着提高了性能，并在三个具有挑战性的ZSC数据集上给出了上述最先进的结果。
2016-08-26 cs.AI cs.CV cs.LG
Diverse Few-Shot Text Classification with Multiple Metrics
AI Foundations – Learning, IBM Research（IBM研究院人工智能基础——学习部）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们研究自然语言领域的少样本学习。与许多现有的将基于度量或基于优化的元学习应用于具有低任务间方差的图像域的作品相比，我们考虑了更现实的设置，其中任务是多样化的。然而，它给现有的最先进的基于度量的算法带来了巨大的困难，因为单个度量不足以捕获自然语言域中的复杂任务变化。为了缓解这个问题，我们提出了一种自适应度量学习方法，自动确定最佳的加权组合，从一组指标获得的元训练任务的一个新看到的Few-Shot任务。在真实世界的情感分析和对话意图分类数据集上的大量定量评估表明，所提出的方法在预测准确性方面优于最先进的少样本学习算法。我们提供我们的代码和数据以供进一步研究。
2018-05-19 cs.CL cs.LG
Metric Learning vs Classification for Disentangled Music Representation Learning
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；Adobe Research（奥多比研究院）
深度表示学习为将输入数据映射到有组织的嵌入空间提供了强大的范例，并且对于许多音乐信息检索任务都很有用。表示学习的两种核心方法包括深度度量学习和分类，两者都具有相同的目标，即学习可以在任务中很好地推广的表示。随着泛化，解开表示的新兴概念也引起了极大的兴趣，其中多个语义概念（例如，体裁、情绪、乐器）是共同学习的，但在学习的表示空间中保持可分离。在本文中，我们提出了一个单一的表示学习框架，阐明了度量学习，分类，并在一个整体的方式解开之间的关系。为此，我们（1）概述了过去关于度量学习和分类之间关系的工作，（2）通过探索三种不同的学习方法及其分解版本将这种关系扩展到多标签数据，（3）评估四个任务（训练时间，相似性检索，自动标记和三重预测）的所有模型。我们发现，基于分类的模型通常在训练时间、相似性检索和自动标记方面具有优势，而深度度量学习在三元组预测方面表现出更好的性能。最后，我们表明，我们提出的方法产生的音乐自动标记的最先进的结果。
2020-08-12 cs.IR cs.LG cs.SD
Revisiting Hierarchical Text Classification: Inference and Metrics
Institut Polytechnique de Paris（巴黎理工学院）；Onepoint（Onepoint公司）
本文重新审视层级文本分类任务，提出使用专门的层级指标评估模型，引入新数据集对比复杂模型与简单基线，发现简单基线常具竞争力，强调评估方法的重要性。
2024-10-11 cs.CL cs.LG
