Dynamic Metric Learning from Pairwise Comparisons
University of Michigan（密歇根大学）
最近在距离度量学习方面的工作集中在学习数据的变换，这些变换最好与指定的成对相似性和相异性约束（通常由人类观察者提供）保持一致。由于更好地适应距离或相似性度量，学习的转换导致改进的检索、分类和聚类算法。在这里，我们解决的问题，学习这些转换时，底层的约束生成过程是非平稳的。这种非平稳性可能是由于用于生成约束的地面实况聚类的变化或类结构明显的特征子空间的变化。我们提出了在线凸包络强自适应动态学习（OCELAD），一个通用的自适应，在线学习和跟踪最佳指标的方法，因为它们随着时间的推移而变化，是非常强大的各种非平稳行为的变化度量。我们将OCELAD框架应用于在线学习者的集合。具体来说，我们创建一个复古初始化的复合目标镜像下降（COMID）合奏（水稻）组成的一组并行COMID学习者具有不同的学习率，证明水稻-OCELAD真实和合成数据集，并显示显着的性能改善相对于以前提出的批量和在线距离度量学习算法。
2016-10-10 cs.LG
Efficient Epistemic Uncertainty Estimation in Regression Ensemble Models Using Pairwise-Distance Estimators
Department of Computer Science（计算机科学系）；McGill University（麦吉尔大学）
本文提出利用成对距离估计器（PaiDEs）高效估计回归集成模型的认知不确定性，加速BALD主动学习，在多个基准上验证了其在高维任务中的优越性能。
2025-09-26 cs.AI cs.LG
Approximating 1-Wasserstein Distance with Trees
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）；Meta AI；SliceX AI（SliceX人工智能公司）
衡量分布之间差异的瓦瑟斯坦距离在各种类型的自然语言处理（NLP）和计算机视觉（CV）应用中显示出功效。估计瓦瑟斯坦距离的挑战之一是，它是计算昂贵的，并没有很好地扩展为许多分布比较任务。在本文中，我们的目标是近似的1-瓦瑟斯坦距离的树-瓦瑟斯坦距离（TWD），其中TWD是一个1-瓦瑟斯坦距离与基于树的嵌入，可以在线性时间内计算的节点数在一棵树上。更具体地说，我们提出了一种简单而有效的L1正则化方法来学习树中边的权重。为此，我们首先表明，1-Wasserstein近似问题可以制定为一个距离近似问题，使用最短路径的距离在一棵树上。然后，我们表明，最短路径距离可以表示为一个线性模型，可以制定为一个基于拉索的回归问题。由于凸公式，我们可以有效地获得全局最优解。此外，我们提出了一个树切片这些方法的变体。通过实验，我们证明了加权TWD可以准确地逼近原始的1-瓦瑟斯坦距离。
2022-06-24 cs.AI cs.LG stat.ML
Approximating the Total Variation Distance between Gaussians
The University of Warwick（华威大学）；The University of Hong Kong（香港大学）；Tata Institute of Fundamental Research（塔塔基础研究院）
本文研究两个多元高斯分布间全变分距离的近似计算，提出可在 poly(n,1/ε,log(1/D)) 运算内达到任意 ε-相对精度的算法，并借助归约将离散随机变量 TV 距离的进展扩展到连续高斯情形。
2025-03-14 cs.DS cs.LG math.PR
Secure Metric Learning via Differential Pairwise Privacy
University of Technology Sydney（悉尼科技大学）
距离度量学习（Distance Metric Learning，DML）在过去的二十年里引起了广泛的关注。许多以前的作品已经表明，它在测量领域专家给出的一组正确标记的成对数据的个体的相似性方面表现良好。这些重要且精确标记的成对数据在现实世界中通常是高度敏感的（例如，患者相似性）。本文首次研究了距离度量学习过程中成对信息如何泄露给攻击者的问题，推广了标准差分隐私的定义，提出了用于安全度量学习的差分成对隐私（DPP）算法。与传统的差分隐私只适用于独立样本，因此不能用于成对数据，DPP成功地处理这个问题，通过重新制定的最坏情况。具体来说，给定成对数据，我们揭示了所有涉及的相关性对构造的无向图。然后，DPP被形式化，定义哪种DML算法是私有的，以保存成对数据。最后，通过对比损失的实例分析，阐明了DPP-DML算法的实现细节。特别地，提出了灵敏度降低技术以增强输出距离度量的效用。在玩具数据集和基准数据集上的实验表明，该方案实现了成对数据隐私，而不会对输出性能造成太大影响（当隐私预算设置为4时，在所有基准数据集上的准确性下降小于0.01）。
2020-03-30 cs.LG stat.ML
Unsupervised Representation Learning with Minimax Distance Measures
Chalmers University of Technology（查尔姆斯理工大学）
我们研究使用Minimax距离以非参数方式提取捕获数据中未知的潜在模式和结构的特征。我们开发了一个通用和计算效率高的框架，采用Minimax距离与许多机器学习方法，对数值数据进行。我们研究计算成对的Minimax距离为所有对的对象，以及计算所有对象的Minimax距离/从一个固定的（测试）对象。首先，我们有效地计算成对的Minimax距离的对象之间，使用图上的Minimax距离的等价性，并在最小生成树上构建。然后，我们将成对Minimax距离嵌入到一个新的向量空间中，使得它们在新空间中的平方欧氏距离等于原始空间中的成对Minimax距离。我们还研究了有多个成对Minimax矩阵的情况，而不是一个单一的。因此，我们提出了一种嵌入方法，首先对中心矩阵求和，然后进行特征值分解以获得相关特征。在下文中，我们研究计算固定（测试）对象的Minimax距离，例如可以用于K-最近邻搜索。类似的情况下，所有对成对Minimax距离，我们开发了一个有效的和通用的算法，适用于任何基距离测量。此外，我们详细研究了由Minimax距离选择的边缘，从而探索Minimax距离检测离群对象的能力。最后，对于每个设置，我们进行了几个实验，以证明我们的框架的有效性。
2022-12-29 cs.AI cs.LG stat.ML
Constrained Clustering and Multiple Kernel Learning without Pairwise Constraint Relaxation
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）
成对约束下的聚类是一种重要的知识发现工具，它能够学习适当的核或距离度量来提高聚类性能。这些成对约束以必须链接和不能链接对的形式出现，在许多应用程序中自然出现，并且对于用户来说是直观的。然而，当学习内核或度量时，将离散约束放松到连续域以简化优化的常见做法可能会损害泛化，因为仅编码链接的信息被转换为通知距离。我们引入了一个新的约束聚类算法，联合聚类数据和学习的内核，根据现有的成对约束。为了更好地推广，我们的方法被设计为最大化约束满足，而不放松成对约束到一个连续的域，其中它们通知距离。我们表明，所提出的方法优于现有的方法在大量不同的公开可用的数据集，我们讨论了我们的方法如何可以扩展到处理大数据。
2022-03-23 cs.AI cs.LG stat.ML
Bayesian Distance Clustering
University of Florida（佛罗里达大学）；Duke University（杜克大学）
基于模型的聚类被广泛应用于各种应用领域。然而，对稳健性的基本担忧仍然存在。特别是，结果可以是敏感的内核代表内集群数据密度的选择。利用数据点之间的成对差异的属性，我们提出了一类贝叶斯距离聚类方法，它依赖于建模的成对距离的可能性，而不是原始数据。虽然数据中的一些信息被丢弃，但我们对建模假设具有很大的鲁棒性。所提出的方法代表了一个有吸引力的中间地带之间的距离和基于模型的聚类，从这些典型的方法中的每一个借鉴的优势。我们说明了戏剧性的收益，推断集群的能力，通常的内核选择没有很好地表示。包括一个模拟研究，以评估相对于竞争对手的性能，我们应用的方法来聚类的大脑基因组表达数据。保留字：基于距离的聚类;混合模型;基于模型的聚类;模型规格错误;成对距离矩阵;部分可能性;鲁棒性
2019-06-25 cs.LG stat.ML
Hypothesis testing using pairwise distances and associated kernels (with Appendix)
University College London（伦敦大学学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数学研究所）
我们提供了一个统一的框架，连接两类统计用于双样本和独立性测试：一方面，从统计文献的能量距离和距离协方差;另一方面，嵌入的分布之间的距离再生核希尔伯特空间（RKHS），建立在机器学习。当能量距离用负型半度量计算时，等价性成立，在这种情况下，可以定义一个核，使得分布之间的RKHS距离恰好对应于能量距离。我们确定类的概率分布的核半度量诱导的特征（即，其中嵌入的分布到RKHS是内射）。最后，我们研究了这个家庭的内核在两个样本和独立性测试的性能：我们特别表明，最常用的统计能量距离只是一个成员的参数家庭的内核，从这个家庭的其他选择可以产生更强大的测试。
2012-05-21 cs.LG stat.ME stat.ML
A unifying mutual information view of metric learning: cross-entropy vs. pairwise losses
ÉTS Montreal（蒙特利尔高等技术学院）；CentraleSupelec-CNRS-Université Paris-Saclay（法国中央理工-高等电力学院-法国国家科学研究中心-巴黎萨克雷大学）
最近，深度度量学习（DML）的大量研究工作集中在设计复杂的成对距离损失上，这需要复杂的方案来简化优化，例如样本挖掘或对加权。在DML中，分类的标准交叉熵损失在很大程度上被忽视了。从表面上看，交叉熵似乎与度量学习无关，因为它没有明确涉及成对距离。然而，我们提供了一个理论分析，将交叉熵与几个众所周知的和最近的成对损失联系起来。我们的连接来自两个不同的角度：一个基于明确的优化洞察力;另一个基于标签和学习特征之间的互信息的判别和生成视图。首先，我们明确地证明了交叉熵是一个新的成对损失的上界，它具有类似于各种成对损失的结构：它最小化类内距离，同时最大化类间距离。因此，最小化交叉熵可以被视为用于最小化这种成对损失的近似边界优化（或Majorize-Minimize）算法。其次，我们表明，更一般地说，最小化的交叉熵实际上相当于最大化的互信息，我们连接到几个众所周知的成对损失。此外，我们表明，各种标准的成对损失可以明确地通过绑定关系彼此相关。我们的研究结果表明，交叉熵代表了最大化互信息的代理-成对损失-而不需要复杂的样本挖掘算法。我们的实验超过四个标准的DML基准强烈支持我们的研究结果。我们获得了最先进的结果，优于最近和复杂的DML方法。
2021-11-26 cs.CV cs.LG stat.ML
On the use of Pairwise Distance Learning for Brain Signal Classification with Limited Observations
Instituto Superior Tecnico（高等技术学院）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
越来越多的使用脑电图获得脑信号数据，为研究电生理脑活动和进行神经元疾病的门诊诊断创造了新的机会。这项工作提出了一种成对的远程学习方法，精神分裂症的分类依赖于信号的光谱特性。鉴于有限数量的观察（即病例和/或对照个体）在临床试验中，我们提出了一个连体神经网络架构，学习一个判别特征空间，从成对组合的观察每个通道。通过这种方式，信号的多变量阶数被用作数据增强的一种形式，进一步支持网络泛化能力。卷积层与余弦对比损失下学习的参数，提出了充分探索来自大脑信号的光谱图像。对病例对照人群的结果表明，使用所提出的神经网络提取的特征导致对光谱特征的改进的精神分裂症诊断（准确性和灵敏度+10pp），从而表明存在非平凡的、有区别的电生理脑模式。
2019-09-06 cs.CV cs.LG cs.NE
Random Forests for Metric Learning with Implicit Pairwise Position Dependence
SUNY at Buffalo（纽约州立大学布法罗分校）
度量学习使得从标记数据中学习复杂数据分布的距离变得合理。然而，迄今为止，大多数度量学习方法都是基于单一的马氏度量，不能很好地处理异构数据。那些在整个空间中学习多个指标的人已经证明了优越的准确性，但以计算效率为代价。在这里，我们从一个新的角度来研究度量学习问题，并学习一个能够在整个特征空间中隐式地适应其距离函数的单一度量。这种度量适应是通过使用随机的基于森林的分类器来支持距离函数并将绝对成对位置和标准相对位置合并到表示中来实现的。我们已经实现并测试了我们的方法对国家的最先进的全球和多指标的方法对各种数据集。总体而言，所提出的方法在准确性方面优于两种类型的方法（始终排名第一），并且比最先进的多度量方法快一个数量级（在最坏情况下快16倍）。
2012-01-03 cs.LG stat.ML
Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning
Honda Research Institute EU（本田欧洲研究院）
针对强化学习中反向传播需存储激活值且易致梯度异常的问题，提出利用多维尺度分析成对距离匹配原理的局部逐层损失方法，在前向传播中用局部信号训练网络，免除了反向传播，提升了性能与稳定性。
2025-07-15 cs.AI cs.LG stat.ML
Sublinear Time Approximation of Text Similarity Matrices
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们研究了在自然语言处理中出现的近似成对相似矩阵的算法。通常，计算$n$数据点的相似性矩阵需要$Ω(n^2)$相似性计算。这种二次缩放是一个重要的瓶颈，特别是当相似性是通过昂贵的函数计算时，例如，通过Transformer模型。近似方法通常通过使用精确计算的相似性的一个小子集来近似完整的成对相似性矩阵的其余部分来降低这种二次复杂性。重要的工作集中在半正定（PSD）相似性矩阵的有效近似上，其例如产生于，内核方法。然而，对NLP中经常出现的不确定（非PSD）相似性矩阵的理解要少得多。出于观察，这些矩阵中的许多仍然有点接近PSD，我们介绍了流行的Nyström方法的不确定设置的泛化。我们的算法可以应用于任何相似性矩阵，并在矩阵大小的次线性时间内运行，仅用$O(ns)$相似性计算产生秩- $s$近似。我们表明，我们的方法，以及一个简单的变种CUR分解，表现非常好，近似各种相似性矩阵中产生的NLP任务。我们在文档分类、句子相似性和跨文档共指的下游任务中展示了近似相似性矩阵的高精度。
2022-04-27 cs.CL cs.LG
Approximating SPR Distance Between Phylogenetic Trees with Graph Neural Networks
ISEL -- Instituto Superior de Engenharia de Lisboa, Instituto Politécnico de Lisboa, Portugal（里斯本理工学院）
研究用图神经网络逼近系统发育树SPR距离，构建公开数据集，建立预处理管道，验证监督目标，训练GIN回归器，其在分布内表现良好，外推有局限，发布的数据集等为SPR逼近提供可重复基础。
2026-07-22 cs.AI cs.LG q-bio.PE
The Power of Asymmetry in Binary Hashing
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Toronto（多伦多大学）；Technion（以色列理工学院）
当近似二进制相似性使用汉明距离之间的短二进制哈希，我们表明，即使相似性是对称的，我们可以有更短，更准确的哈希使用两个不同的代码映射。即，对于两个不同的二进制码$f,g$，通过将$x$和$x'$之间的相似性近似为$f(x)$和$g(x')$之间的汉明距离，而不是$f(x)$和$f(x')$之间的汉明距离。
2013-11-29 cs.CV cs.IR cs.LG
Approximating Signed Distance Fields With Sparse Ellipsoidal Radial Basis Function Networks: A Dynamic Multi-Objective Optimization Strategy
the School of Mathematical Sciences（数学科学学院）；the Department of Computer Science（计算机科学系）；the School of Electronic and Information Engineering（电子与信息工程学院）
本文提出一种动态多目标优化策略，利用稀疏椭球径向基函数网络高效近似隐式表面的带符号距离场，实现紧凑表示和高精度计算。
2026-02-07 cs.CV cs.GR cs.LG
Approximating the Riemannian Metric from Point Clouds via Manifold Moving Least Squares
从欧氏空间的嵌入子流形$\mathcal{M}$上采样的点云上的测地线距离和最短路径的逼近一直是计算几何中的一个长期挑战。给定采样分辨率参数$ h $，最先进的离散方法产生$ O(h) $可证明的近似。在本文中，我们研究了流形移动最小二乘（Manifold-MLS）进行的这种近似的收敛性，这是一种使用Sober \& Levin在2019年开发的给定点云信息构建近似流形$\mathcal{M}^h$的方法。本文证明了：只要$\mathcal{M}\in C^{k}$是闭的（即$\mathcal{M}$是无边界的紧致流形），$ \mathcal{M}^h $的黎曼度量逼近$ \mathcal{M}, $的黎曼度量.明确地，给定点$ p_1, p_2 \in \mathcal{M}$具有测地距离$ ρ_{\mathcal{M}}(p_1, p_2) $，我们证明了它们的对应点$ p_1^h, p_2^h \in \mathcal{M}^h$具有测地距离$ ρ_{\mathcal{M}^h}(p_1^h,p_2^h) = ρ_{\mathcal{M}}(p_1, p_2)(1 + O(h^{k-1})) $（即，流形-MLS几乎是等距的）。然后，我们使用这个结果，以及事实上，$ \mathcal{M}^h $可以被采样与任何所需的分辨率，设计一个朴素的算法，产生近似测地线距离的收敛速度$…
2020-11-20 cs.CG cs.LG cs.NA
Mocap Anywhere: Towards Pairwise-Distance based Motion Capture in the Wild (for the Wild)
Reichman University（雷赫曼大学）；CYENS Centre of Excellence（CYENS卓越中心）；University of Cyprus（塞浦路斯大学）
Mocap Anywhere提出了一种基于成对距离的实时运动捕捉系统，能够无需摄像头在野外环境中实现高精度的3D人体和动物运动重建。
2026-01-27 cs.AI cs.CV cs.GR
