Interpreting Neural Networks through Mahalanobis Distance
本文提出连接神经网络线性层与 Mahalanobis 距离的理论框架，从统计距离角度解释激活函数，为提升模型可解释性、鲁棒性和泛化能力奠定基础。
2024-10-25 cs.AI cs.LG stat.ML
Improving Reconstruction Autoencoder Out-of-distribution Detection with Mahalanobis Distance
University of Waterloo（滑铁卢大学）
越来越明显地需要验证深度学习系统在自动驾驶汽车系统等安全关键应用中所做的分类。最近的一些论文提出了用于检测异常图像数据的方法，这些异常图像数据与已知的内点数据样本不同，包括基于重建的自动编码器。自动编码器优化输入数据到维度小于原始输入的潜在空间的压缩，并尝试使用该压缩表示来准确地重建输入。由于隐向量被优化以仅从内层类捕获显著特征，因此通常假设来自训练类外部的对象的图像不能被有效地压缩和重建。因此，有些人认为重建误差是一种新颖的衡量标准。在这里，我们建议，重建为基础的方法无法捕捉特定的异常，远离已知的内点样本在潜在空间，但附近的潜在维度流形定义的参数的模型。我们建议在潜在空间中加入Mahalanobis距离，以更好地捕获这些分布外的样本，我们的结果表明，这种方法通常比基线方法提高了性能。
2018-12-06 cs.LG stat.ML
Lipschitz Continuity of Mahalanobis Distances and Bilinear Forms
Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（光学研究所研究生院）
本文研究了马哈拉诺布斯距离和双线性形式的利普希茨连续性，推导出紧致的利普希茨常数，首次证明了马哈拉诺布斯距离的利普希茨连续性。
2016-04-04 cs.LG cs.NA math.NA
Large Margin Nearest Neighbor Classification using Curved Mahalanobis Distances
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories（索尼计算机科学实验室）；Data61；The Australian National University (ANU)（澳大利亚国立大学）；The University of Sydney（悉尼大学）
我们考虑的监督分类问题的机器学习在凯莱-克莱因投影几何：我们展示了如何学习一个弯曲的马氏度量距离对应的双曲几何或椭圆几何使用大间隔最近邻（LMNN）框架。我们报告我们的实验结果，并进一步考虑学习混合曲线马氏距离的情况。此外，我们还证明了Cayley-Klein沃罗诺伊图是仿射的，并且可以由一个等价的（裁剪的）幂图来构造，Cayley-Klein球具有中心位移的马氏形状.
2016-09-26 cs.CG cs.CV cs.LG
Mahalanobis Distance Metric Learning Algorithm for Instance-based Data Stream Classification
University of Coimbra（科英布拉大学）；Central University of Las Villas（拉斯维利亚斯中央大学）
随着当今海量数据的挑战和技术的快速发展，流挖掘近年来受到了相当大的关注。为了解决大量的情况下，这一现象本身表现出适当的工具，需要在各个研究领域。基于实例的数据流算法通常采用欧几里德距离的分类任务的基础上这个问题。研究这个问题的一种新方法是利用更灵活的度量，因为数据流场景增加了需求。在本文中，我们提出了一种新的算法，学习马氏度量使用相似性和相异性约束在线的方式。该方法混合了马氏距离度量学习算法和具有概念漂移检测的k-NN数据流分类算法。首先，考虑到关键属性以及在线距离度量学习算法，描述了马氏距离度量学习的一些基本方面。其次，我们实现了具体的评估方法和比较指标，如Q统计数据流分类算法。最后，在不同的数据集上对该算法进行了测试，并将其结果与目前最好的基于实例的数据流分类算法进行了比较，结果表明该算法具有更好的性能
2016-04-17 cs.LG
Compressive Mahalanobis Metric Learning Adapts to Intrinsic Dimension
School of Computer Science University of Birmingham Birmingham, United Kingdom
针对高维下马氏度量学习问题，提出用随机压缩数据在降维空间训练满秩度量的方法，给出仅依赖数据稳定维度的理论误差界，并通过数值实验验证，还扩展了Gordon定理。
2024-04-13 cs.LG stat.ML
On the use of Mahalanobis distance for out-of-distribution detection with neural networks for medical imaging
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）
本文挑战马氏距离OOD检测存在最优层的假设，证明最优层随OOD类型变化，并验证多检测器策略可增强鲁棒性，为医学影像OOD检测提供最佳实践。
2023-09-04 cs.CV cs.LG
K-Means Clustering With Incomplete Data with the Use of Mahalanobis Distances
University of Minnesota Duluth（明尼苏达大学德卢斯分校）
本文提出一种统一的K-means算法，用马氏距离替代欧氏距离处理缺失数据，在IRIS及椭圆簇合成数据集上以ARI和NMI指标验证其优于独立插补后聚类及K-Means with Incomplete Data方法。
2025-04-10 cs.LG
MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse
Department of Industrial Engineering（工业工程系）；Yonsei University（延世大学）
本文提出MahaVar方法，利用类内马哈拉诺斯距离方差作为分布外检测指标，在CIFAR-100和ImageNet上取得最佳性能。
2026-10-30 cs.AI cs.LG
Mahalanobis++: Improving OOD Detection via Feature Normalization
针对马氏距离OOD检测性能不稳定的问题，提出对特征进行ℓ2归一化以符合高斯假设，在44个模型上显著且一致地提升检测效果，优于现有方法。
2025-05-23 cs.CV cs.LG
Sample complexity of learning Mahalanobis distance metrics
Janelia Research Campus（珍妮莉亚研究园区）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
度量学习寻求特征空间的转换，以提高手头给定任务的预测质量。在这项工作中，我们为监督度量学习提供了PAC风格的样本复杂度。我们给出匹配的下限和上限表明，样本的复杂性尺度与表示维度时，没有假设的基础数据分布。然而，通过利用数据分布的结构，我们可以实现针对给定数据集的内在复杂性的特定概念进行微调的速率。我们的分析表明，使用简单的基于范数的正则化来增强度量学习优化标准可以帮助适应数据集的内在复杂性，从而产生更好的泛化。在基准数据集上的实验验证了我们的分析，并表明即使数据包含大量噪声，正则化度量也可以帮助识别信号。
2015-05-11 cs.AI cs.LG stat.ML
Adversarial Mahalanobis Distance-based Attentive Song Recommender for Automatic Playlist Continuation
Worcester Polytechnic Institute（伍斯特理工学院）
在本文中，我们的目标是解决自动播放列表连续（APC）的问题，用户，播放列表和歌曲之间的复杂的交互建模只使用他们的交互数据。以前的方法主要依赖于点积来解释相似性，这是不理想的，因为点积不是度量学习，所以它没有传达重要的不等式性质。基于这一观察，我们提出了三种利用马氏距离的新型深度学习方法。我们的第一种方法使用用户-播放列表-歌曲交互，并结合（i）目标用户和目标歌曲之间以及（ii）目标播放列表和目标歌曲之间的Mahalanobis距离分数，以考虑用户的偏好和播放列表的主题。我们的第二种方法通过考虑目标歌曲和每个成员歌曲之间的Mahalanobis距离分数来测量歌曲之间的相似性（即，现有歌曲）。每个距离分数的贡献是衡量我们提出的记忆度量为基础的注意力机制。在第三种方法中，我们将前面的两个模型融合到一个统一的模型中，以进一步提高它们的性能。此外，我们还为我们的三种方法采用和定制了对抗性个性化排名（APR），以进一步提高其鲁棒性和预测能力。通过大量的实验，我们表明，我们提出的模型优于八个国家的最先进的模型在两个大规模的现实世界的数据集。
2019-06-08 cs.IR cs.LG cs.SD
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel（卡塞尔大学）
支持向量机（SVM）中的核函数需要评估输入样本的相似性，以便例如对这些样本进行分类。除了诸如高斯（即，径向基函数（RBF）或多项式核，也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中，我们将通过概率混合密度模型来捕获数据中的结构，例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量，例如，马氏距离的高斯混合的情况下，我们推导出一个新的核，责任加权马氏（RWM）核。基本上，该内核强调模型组件的影响，假设任何两个被比较的样本都来自模型组件（即“负责的”模型组件）。我们将看到，在许多部分标记数据可用的应用中，该内核优于RBF内核和其他捕获数据结构的内核（例如Laplacian SVM中的KNN内核），即，用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法（如顺序最小优化）一起使用，并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
On Kernelization of Supervised Mahalanobis Distance Learners
Chulalongkorn University（朱拉隆功大学）
本文主要研究了现有的有监督马氏距离学习器的核化问题。本文包括以下特点。首先，三个流行的学习器，即“邻域成分分析”，“大间隔最近邻”和“判别邻域嵌入”，这是没有核版本的核化，以提高其分类性能。其次，提出了一种称为“KPCA技巧”的核化框架。在新的框架中实现一个学习者获得了几个优势，在标准的框架，例如，没有数学公式，没有重新编程需要一个内核的实现，框架避免了麻烦的问题，如奇异性等第三，而真理的代表定理只是假设在以前的文件与我们有关，在这里，代表定理正式证明。证明验证了核技巧和KPCA技巧的Mahalanobis远程学习的上下文中。第四，不同于以往的作品，总是采用蛮力的方法来选择一个内核，我们研究了两种方法，可以有效地采用构造一个合适的内核为给定的数据集。最后，各种现实世界的数据集上的数值结果。
2009-01-30 cs.AI cs.LG
Gaussian Latent Representations for Uncertainty Estimation using Mahalanobis Distance in Deep Classifiers
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Georgia Tech Europe（佐治亚理工学院欧洲校区）；Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人学与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
针对基于马氏距离的不确定性与 OOD 检测，本文提出自监督多高斯潜在表示正则化方法，以极小架构和推理开销取得最先进 OOD 检测及有竞争力的校准效果。
2023-09-29 cs.CV cs.LG
metricDTW: local distance metric learning in Dynamic Time Warping
University of Southern California（南加州大学）
我们建议学习多个局部马氏距离度量来执行时间序列的k-最近邻（kNN）分类。时间序列首先通过动态时间规整（DTW）进行对齐;给定对齐路径，两个序列之间的相似性通过DTW距离来度量，DTW距离是沿着对齐路径匹配的时间点对之间的累积距离。传统上，欧几里德度量用于匹配对之间的距离计算，忽略了数据的冗余性，并且可能不是最佳的。在这里，我们建议学习多个Mahalanobis度量，使得DTW距离成为Mahalanobis距离的总和。我们采用大间隔最近邻（LMNN）框架来适应我们的情况，并将多度量学习公式化为线性规划问题。大量的序列分类结果表明，我们提出的多度量学习方法是有效的，不敏感的前面的比对质量，并达到最先进的性能在UCR时间序列数据集。
2016-06-11 cs.LG
Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；HSE University（高等经济大学）
严重依赖机器学习的实际应用，例如对话系统，需要域外检测方法。意图分类模型应该配备一种机制来区分可见意图和不可见意图，以便对话代理能够拒绝后者并避免不期望的行为。然而，尽管越来越多的关注支付的任务，域外意图检测的最佳实践尚未完全建立。本文对域外意图检测方法进行了深入的比较。我们优先考虑的方法，不需要访问域外的数据在训练过程中，由于用户话语的词汇和风格的变化，收集是非常耗时和费力的。我们评估多个上下文编码器和方法，被证明是有效的，在三个标准数据集的意图分类，扩展与域外话语。我们的主要研究结果表明，对域内数据进行微调基于transformer的编码器可以获得更好的结果。Mahalanobis距离与来自基于transformer的编码器的话语表示一起，远远优于其他方法，并为所有数据集建立了新的最先进的结果。更广泛的分析表明，成功的原因在于，微调的Transformer能够构建域内话语的同质表示，揭示了域外话语的几何差异。反过来，Mahalanobis距离很容易捕捉到这种差异。代码可以在我们的GitHub存储库中找到：https://github.com/huawei-noah/noah-research/tree/master/Maha_OOD。
2022-05-23 cs.CL cs.LG
A Multivariate Unimodality Test Harnessing the Dip Statistic of Mahalanobis Distances Over Random Projections
ORamaVR SA（ORamaVR公司）；University of Ioannina（约阿尼纳大学）
针对高维数据单峰性检验难题，该研究基于α-单峰性假设，结合随机投影与马氏距离dip统计量提出mud-pod检验方法，经理论和实验验证其在多维单峰性评估、聚类数估计上均有效。
2024-07-04 cs.LG stat.ME
SAR Image Change Detection via Spatial Metric Learning with an Improved Mahalanobis Distance
对数比（LR）算子被广泛用于合成孔径雷达（SAR）图像变化检测中的差分图像生成。然而，这种逐像素算子产生的差分图像可能会受到SAR图像斑点和不可避免的配准误差之间的双时SAR图像。在这封信中，我们提出了一种空间度量学习方法，通过学习一组约束对的度量来获得对斑点更鲁棒的差分图像。在该方法中，空间上下文被认为是在构造约束对，其中每个由补丁在同一位置的双时SAR图像。然后，利用最大间隔准则进行优化，得到一个半正定度量矩阵$\bf M$.最后，我们验证了我们提出的方法对四个具有挑战性的双时SAR图像数据集。实验结果表明，我们提出的方法获得的差异图优于其他国家的最先进的方法。
2019-06-19 cs.CV cs.LG
Parsimonious Mahalanobis Kernel for the Classification of High Dimensional Data
INRA（法国国家农业研究院）；Aresys srl（Aresys有限公司）；Politecnico di Milano（米兰理工大学）；GIPSA-lab（GIPSA实验室）；University of Iceland（冰岛大学）
利用高维空间的空性，基于马氏距离提出一种简约核，通过高维判别分析模型估计信号和噪声子空间，实现稳定逆协方差矩阵，并在SVM框架下优化半径-间隔界，实验表明该核优于高斯核。
2012-09-10 cs.LG cs.NA math.NA
E-ADDA: Unsupervised Adversarial Domain Adaptation Enhanced by a New Mahalanobis Distance Loss for Smart Computing
University of Virginia（弗吉尼亚大学）；University of Utah（犹他大学）；Ohio State University（俄亥俄州立大学）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
本文提出E-ADDA无监督对抗域适应算法，通过新型马氏距离损失和OOD检测子程序强化域混淆，并在声学与视觉任务上取得显著优于现有方法的结果。
2023-04-21 cs.AI cs.LG
Leveraging the Mahalanobis Distance to enhance Unsupervised Brain MRI Anomaly Detection
Institute of Medical Technology and Intelligent Systems, Hamburg University of Technology（汉堡工业大学医学技术与智能系统研究所）；Jung Diagnostics（荣格诊断公司）
本文提出利用概率扩散模型生成多个重建，并通过马氏距离分析其分布以识别脑MRI异常，显著提升多个数据集的异常分割性能。
2024-07-17 cs.CV cs.LG eess.IV
Enhancing Counterfactual Image Generation Using Mahalanobis Distance with Distribution Preferences in Feature Space
Jilin University（吉林大学）
本文提出一种基于马氏距离与分布偏好的新方法，通过信息融合技术在黑盒模型特征空间计算特征重要性并生成图像反事实解释，实验证明其在像素和特征空间相似度上优于基线。
2024-05-31 cs.CV cs.LG
Why Out-of-distribution Detection in CNNs Does Not Like Mahalanobis -- and What to Use Instead
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
应用于真实世界分类任务的卷积神经网络需要识别相对于已知或训练数据远离或分布外（OoD）的输入。为了实现这一点，许多方法估计类条件后验概率，并使用从后验分布获得的置信度得分。最近的工作提出使用多变量高斯分布作为CNN的不同层处的后验分布的模型（即，对于低级和高级特征），这导致基于Mahalanobis距离的置信度分数。然而，这个过程涉及到使用不足够数量的观测值来估计高维数据中的概率密度（例如，ResNet-101模型中最后两层的特征维数分别为2048和1024，约为1024）。用于估计密度的每类1000个观测值）。在这项工作中，我们希望解决这个问题。我们发现，在许多高维数据的OoD研究中，基于LOF（局部离群因子）的方法优于基于参数的马氏距离方法。这促使我们提出了非参数的，基于LOF的方法来生成CNN的置信度得分。我们进行了几项可行性研究，涉及ResNet-101和EffcientNet-B3，基于CIFAR-10和ImageNet（作为已知数据），以及CIFAR-100，SVHN，ImageNet 2010，Places 365或ImageNet-O（作为离群值）。我们证明，非参数LOF的置信估计可以改善目前基于马氏SOTA或以更简单的方式获得类似的性能。
2021-10-13 cs.CV cs.LG
Alternating Mahalanobis Distance Minimization for Stable and Accurate CP Decomposition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
CP分解（CPD）在化学计量学、信号处理、数据采掘等领域有着广泛的应用。虽然已经提出了许多算法来计算CPD，但交替最小二乘（ALS）仍然是用于计算分解的最广泛使用的算法之一。最近的工作介绍了张量的特征值和奇异值的概念，并探讨了特征向量和奇异向量在信号处理，数据分析等领域的应用。我们引入了一个新的公式推导奇异值和向量的张量考虑的临界点的功能不同，在以前的工作。以交替方式计算这些临界点激发了交替优化算法，其对应于矩阵情况下的交替最小二乘算法。然而，对于阶数大于等于$3$的张量，它最小化了一个与常用的最小二乘损失不同的目标函数。交替优化这个新的目标，导致简单的更新因子矩阵与ALS相同的渐近计算成本。我们表明，该算法的子扫描可以实现超线性收敛速度与已知的秩精确CPD和实验验证。然后，我们将该算法视为相对于每个因素优化Mahalanobis距离，其中地面度量取决于其他因素。这种观点使我们能够推广我们的方法，以插入对应于ALS的更新和新算法之间的平衡的稳定性和健身的分解。我们的实验结果表明，近似合成和现实世界的张量，该算法及其变体收敛到一个更好的条件分解具有可比性，有时更好的健身相比，ALS算法。
2022-05-10 cs.LG cs.NA math.NA
Toxicity Assessment in Preclinical Histopathology via Class-Aware Mahalanobis Distance for Known and Novel Anomalies
Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心）；Boehringer Ingelheim Pharma GmbH and Co.（勃林格殷格翰制药有限公司）；Boehringer Ingelheim GmbH（勃林格殷格翰公司）
提出基于AI的异常检测框架，利用类别感知马氏距离和LoRA微调DINOv2，在啮齿动物肝脏全切片图像中识别健康组织、已知病理和分布外异常，实现像素级检测，降低假阴性和假阳性率。
2026-07-01 cs.AI cs.CV cs.LG
An Efficient Dual Approach to Distance Metric Learning
Australian Center for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）；NICTA；University of Wollongong（伍伦贡大学）
距离度量学习是机器学习中的一个重要研究方向，因为距离度量的大小会影响到许多学习方法的性能。二次马氏度量学习是解决这个问题的一种流行方法，但通常需要解决半定规划（SDP）问题，这在计算上是昂贵的。标准的边界点SDP求解器通常具有$O(D^{6.5})$的复杂度（其中$D$是输入数据的维度），并且因此实际上只能解决表现出少于几千个变量的问题。由于变量的数量是$D (D+1) / 2 $，这意味着实际上可以解决大约几百个维度的问题的大小的限制。因此，流行的二次马氏度量学习方法的复杂性限制了度量学习可以应用的问题的大小。在这里，我们提出了一个更有效的方法来度量学习问题的基础上的拉格朗日对偶制定的问题。所提出的公式更容易实现，因此允许更大的马氏度量学习问题得到解决。该方法的时间复杂度为$O (D ^ 3) $，这是显着低于SDP方法。在各种数据集上的实验表明，该方法达到了与最先进技术相当的精度，但适用于更大的问题。我们还表明，所提出的方法可以应用于解决更一般的Frobenius范数正则化SDP问题近似。
2013-02-13 cs.LG
Adversarial vulnerability of powerful near out-of-distribution detection
Stanford University（斯坦福大学）
最近，在检测神经网络中的分布外（OOD）输入方面取得了重大进展，主要是由于使用了在大型数据集上预训练的大型模型，以及多模态的新兴使用。我们显示了一个严重的对抗性漏洞，即使是最强的当前OOD检测技术。通过对输入像素进行小的有针对性的扰动，我们可以轻松地将图像分配从内分布更改为外分布，反之亦然。特别是，我们在具有挑战性的近OOD CIFAR-100与CIFAR-10任务以及远OOD CIFAR-100与SVHN上表现出严重的对抗性脆弱性。我们研究了几种后处理技术的对抗鲁棒性，包括最大软最大概率（MSP）的简单基线，Mahalanobis距离，以及新提出的\textit{Relative} Mahalanobis距离。通过比较OOD检测性能在不同扰动强度的损失，我们证明了使用OOD检测器的合奏的有益效果，并使用\textit{Relative} Mahalanobis距离超过其他后处理方法。此外，我们表明，即使是强大的zero-shot OOD检测使用CLIP和多模态遭受严重缺乏对抗性的鲁棒性。我们的代码可在https://github.com/stanislavfort/adversaries_to_OOD_detection上获得
2022-01-18 cs.LG
Uncertainty quantification for multiclass data description
University of Florida（佛罗里达大学）
本文提出了一种基于核马氏距离的多类数据描述模型（MDD-KM），该模型具有自适应超参数设置。MDD-KM提供了不确定性量化，并可用于为测试数据中存在分布外（OOD）样本的实际情况构建分类系统。给定测试信号，计算与信号和每个训练类之间的经验核Mahalanobis距离相关的量。由于这些量对应于相同的再生核希尔伯特空间，它们是可量化的，因此可以容易地被视为分类分数，而无需进一步应用融合技术。为了设置内核参数，我们利用的事实，即预测方差根据高斯过程（GP）是经验内核马氏距离时，使用集中式内核，并建议使用GP的负似然函数作为成本函数。我们对鸟类音符分类的实际问题进行了实验。我们报告了一个原型分类系统的基础上的层次线性动力系统MDD-KM作为一个组件。我们的分类系统不需要声音事件检测作为预处理步骤，并且能够在测试音频剪辑中的OOD样本（对应于不感兴趣的未知音符）中找到具有不同长度的训练鸟类音符的实例。利用领域知识从原始分类分数中做出明确的决策。我们证明了MDD-KM优于可能性K-最近邻的性能。
2021-08-29 cs.LG
Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications
Norwegian University of Science and Technology（挪威科技大学）
本文利用范德瓦尔斯方程生成合成数据，并通过 KL 散度、Jensen-Shannon 距离和 Mahalanobis 距离等统计度量量化分布偏移与不确定性，提出以插值/外推区域判断作为增强模型鲁棒性和泛化能力的互补方法。
2024-05-03 cs.LG stat.ML
MLAS: Metric Learning on Attributed Sequences
Worcester Polytechnic Institute（伍斯特理工学院）；Amadeus（艾玛迪斯）
距离度量学习近年来引起了人们的广泛关注，其目标是基于用户反馈来学习距离度量。传统的度量学习方法主要集中在学习数据属性上的马氏距离度量。最近关于度量学习的研究已经扩展到序列数据，其中我们只有序列中的结构信息，但没有属性可用。然而，现实世界的应用通常涉及属性序列数据（例如，点击流），其中每个实例不仅包括一组属性（例如，用户会话上下文）而且是分类项的序列（例如，用户动作）。本文研究属性序列的度量学习问题。与以前的度量学习工作不同，我们现在需要在属性特征空间中超越Mahalanobis距离度量，同时还将结构信息纳入序列中。我们提出了一个深度学习框架，称为MLAS（Metric Learning on Attributed Sequences），用于学习有效测量属性序列之间差异的距离度量。真实世界数据集上的实证结果表明，所提出的MLAS框架显着提高性能的度量学习相比，国家的最先进的方法属性序列。
2020-11-08 cs.LG
Semi-Supervised Nonlinear Distance Metric Learning via Forests of Max-Margin Cluster Hierarchies
SUNY at Buffalo（纽约州立大学布法罗分校）
度量学习是许多数据挖掘和机器学习应用的关键问题，长期以来一直由马氏方法主导。非线性度量学习的最新进展已经证明了非马氏距离函数的潜在能力，特别是基于树的函数。我们提出了一种新的非线性度量学习方法，它使用半监督最大边缘聚类的迭代，分层变体来构建聚类层次的森林，其中每个层次都可以被解释为数据上的弱度量。通过在层次训练过程中引入随机性，并结合许多半随机弱层次度量的输出，我们可以得到一个强大而鲁棒的非线性度量模型。这种方法有两个主要贡献：第一，它是半监督的，结合了来自约束和无约束点的信息。其次，我们采取了一种宽松的方法来满足约束，允许该方法满足不同层次的约束的不同子集，而不是试图同时满足所有这些。这导致了更强大的学习算法。我们比较我们的方法，一些国家的最先进的基准$k$ -最近邻分类，大规模图像检索和半监督聚类问题，并发现我们的算法产生的结果相当或优于国家的最先进的，是显着更强大的噪声。
2014-02-23 cs.IR cs.LG stat.ML
Multiple Closed-Form Local Metric Learning for K-Nearest Neighbor Classifier
The University of Hong Kong（香港大学）
许多研究致力于学习马氏距离度量，它可以有效地提高kNN分类的性能。大多数方法都是迭代和计算昂贵的，线性刚性仍然严重限制了度量学习算法更好地执行。我们提出了一个计算经济的框架来学习封闭形式的多个度量。
2013-11-12 cs.LG
Active Metric Learning for Supervised Classification
ExxonMobil Corporate Strategic Research（埃克森美孚企业战略研究院）；Lehigh University（利哈伊大学）
聚类和分类主要依赖于距离度量，这些距离度量提供了数据点之间有意义的比较。我们提出了混合整数优化方法来找到最佳的距离度量，推广了文献中广泛研究的马氏度量。此外，我们通过消除对预先指定的“目标邻居”、“三元组”和“相似性对”的依赖来概括和改进领先的方法。“我们的方法的另一个显著特点是它能够通过在计算出最佳度量后推荐精确的区域来进行主动学习，以提高分类性能。这种有针对性的获取可以通过确保训练数据完整性、代表性和经济性来显著减少计算负担。我们通过几个简单直观的例子展示了算法的分类和计算性能，然后是真实图像和医疗数据集的结果。
2018-03-28 cs.LG stat.ML
Constraint Selection in Metric Learning
Ecole Polytechnique de Nantes（南特综合理工学院）；CNRS（法国国家科学研究中心）
许多机器学习算法使用度量或距离来比较个体。通常采用欧几里得距离，但学习参数距离（如马氏度量）可能更有效。学习这样的度量是一个热门话题，因为超过十年，现在已经提出了许多方法来有效地学习它。然而，问题的性质使得它非常困难的大规模数据，以及类重叠的数据。本文提出了一种简单的方法，提高精度和可扩展性的任何迭代度量学习算法，在算法之前获得的约束。所提出的方法依赖于用于学习度量的约束的损失相关的加权选择。使用相应的专用损失函数，该方法显然允许获得比最先进的方法更好的结果，无论是在准确性和时间复杂度。在真实世界和潜在的大型数据集上的一些实验结果证明了我们的主张的有效性。
2016-12-14 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Local Distance Metric Learning for Nearest Neighbor Algorithm
Shiraz University（设拉子大学）
距离度量学习是提高最近邻分类器性能的一种有效方法。然而，在大多数情况下，数据的分布并不遵循规则的形式，并且可能在特征空间的不同部分中发生变化。针对这一问题，本文提出了一种新的局部距离度量学习方法，即局部马氏远程学习（LMDL），以提高最近邻分类器的性能。LMDL考虑了邻域的影响，并为一组减少的输入样本学习多个距离度量。约简集被称为原型，它试图尽可能多地保留局部判别信息。所提出的LMDL可以很容易地进行核化，这在高度非线性数据的情况下是非常可取的。通过在不同数据集上的一组不同实验，对所提出的方法的质量和效率进行了评估，所得结果表明LDML和内核化版本优于其他相关的最先进的方法。
2018-03-15 cs.CV cs.LG stat.ML
Random Forests for Metric Learning with Implicit Pairwise Position Dependence
SUNY at Buffalo（纽约州立大学布法罗分校）
度量学习使得从标记数据中学习复杂数据分布的距离变得合理。然而，迄今为止，大多数度量学习方法都是基于单一的马氏度量，不能很好地处理异构数据。那些在整个空间中学习多个指标的人已经证明了优越的准确性，但以计算效率为代价。在这里，我们从一个新的角度来研究度量学习问题，并学习一个能够在整个特征空间中隐式地适应其距离函数的单一度量。这种度量适应是通过使用随机的基于森林的分类器来支持距离函数并将绝对成对位置和标准相对位置合并到表示中来实现的。我们已经实现并测试了我们的方法对国家的最先进的全球和多指标的方法对各种数据集。总体而言，所提出的方法在准确性方面优于两种类型的方法（始终排名第一），并且比最先进的多度量方法快一个数量级（在最坏情况下快16倍）。
2012-01-03 cs.LG stat.ML
Kernel-based Distance Metric Learning in the Output Space
University of Central Florida（中佛罗里达大学）；Florida Institute of Technology（佛罗里达理工学院）
在本文中，我们提出了两个相关的，基于核的距离度量学习（DML）方法。它们各自的模型将数据从其原始空间非线性地映射到输出空间，并且随后的距离测量通过Mahalanobis度量在输出空间中执行。输出空间的维数可以直接控制，以便于学习一个低秩度量。这两种方法都允许同时推断相关的度量和映射到输出空间，当输出空间是2维或3维时，这可以用于可视化数据。一组分类任务的实验结果说明了所提出的方法比其他传统的和基于内核的DML方法的优势。
2014-04-28 cs.LG
Out of Distribution Detection and Adversarial Attacks on Deep Neural Networks for Robust Medical Image Analysis
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stanford University（斯坦福大学）
深度学习模型已成为医学图像分析的热门选择。然而，深度学习模型的泛化性能较差，限制了它们在现实世界中的部署，因为鲁棒性对于医疗应用至关重要。例如，最先进的卷积神经网络（CNN）无法检测对抗样本或在统计上远离训练分布的样本。在这项工作中，我们实验评估的鲁棒性的Mahalanobis距离为基础的置信分数，一个简单而有效的方法来检测异常的输入样本，在分类疟疾寄生细胞和未感染的细胞。结果表明，Mahalanobis置信分数检测器表现出深度学习模型的性能和鲁棒性的改进，并在分布外（OOD）和对抗样本上实现了最先进的性能。
2021-07-10 cs.CV cs.LG eess.IV
Fuzzy clustering algorithms with distance metric learning and entropy regularization
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Centro de Informática（信息中心）
聚类方法已被用于各种领域，如图像处理、数据采掘、模式识别和统计分析。通常，聚类算法认为所有变量对于聚类任务同等相关或不相关。然而，在实际情况中，一些变量可能是相关的，或者可能或多或少相关，甚至与此任务无关。本文提出了基于欧氏距离、城市块距离和马氏距离以及熵正则化的划分模糊聚类算法。这些方法是一个迭代的三步算法，它提供了一个模糊分区，代表每个模糊聚类，并通过最小化一个合适的目标函数的变量或它们的相关性的相关性权重。合成和真实数据集上的几个实验，包括其应用于噪声图像纹理分割，证明了这些自适应聚类方法的有用性。
2021-02-18 cs.AI cs.LG
MM++: Post-Hoc Scale-Invariant Multilayer OOD Detection via Top-K Gated Feature Fusion
School of Computing, State University of New York at Binghamton（纽约州立大学宾汉姆顿分校计算机学院）
提出MM++框架，通过熵密度下降识别判别性中间层，结合Ledoit-Wolf正则化协方差矩阵实现无监督、后处理、尺度不变的多层OOD检测，在近/远OOD场景中表现鲁棒。
2026-09-03 cs.CV cs.LG
Onion-Peeling Outlier Detection in 2-D data Sets
Mississippi State University（密西西比州立大学）
离群点检测是一个重要的研究课题，它在数据采掘、聚类分析、统计分析、欺诈检测、网络入侵检测和疾病诊断等领域有着广泛的应用。在过去的几十年里，基于距离的离群点检测算法由于其可扩展性，非参数和简单的实现。本文提出了一种改进的洋葱剥（凸包）遗传算法，用于检测高斯二维点数据集中的离群点。我们提出了三种不同的离群点检测方案，使用a）欧几里德距离度量b）标准化欧几里德距离度量和c）马氏距离度量。最后，我们分析了性能和评价的结果。
2018-03-12 cs.CV cs.LG eess.SP
Attributable Visual Similarity Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
本文提出了一个可归因的视觉相似性学习（AVSL）框架，更准确和可解释的图像之间的相似性度量。大多数现有的相似性学习方法通过利用距离度量将每个样本映射到嵌入空间中的单个点（例如，马氏距离（Mahalanobis distance）。受人类语义相似性认知的启发，我们提出了一种广义的相似性学习范式，用图来表示两幅图像之间的相似性，然后据此推断整体相似性。此外，我们建立了一个自底向上的相似性构造和自顶向下的相似性推理框架，以推断基于语义层次一致性的相似性。我们首先确定不可靠的较高级别的相似性节点，然后使用最连贯的相邻的较低级别的相似性节点，同时保留痕迹的相似性属性，以纠正它们。在CUB-200-2011、Cars 196和Stanford Online Products数据集上进行的大量实验表明，与现有的深度相似性学习方法相比，我们的框架有了显著的改进，并验证了我们框架的可解释性。代码可在https://github.com/zbr17/AVSL上获得。
2022-03-28 cs.CV cs.LG
