Embedding Signals on Knowledge Graphs with Unbalanced Diffusion Earth Mover's Distance
Yale University(耶鲁大学);Mila -- Quebec AI Institute(米拉-魁北克人工智能研究所)
在现代关系机器学习中,经常会遇到通过许多领域中的观察之间的交互或相似性而产生的大型图。此外,在许多情况下,用于分析的目标实体实际上是这种图上的信号。我们建议比较和组织这样的数据集的图形信号,通过使用地球移动的距离(EMD)的基础图形的测地成本。通常,EMD是通过优化在底层度量空间上将一个概率分布传输到另一个概率分布的成本来计算的。然而,当计算多个信号之间的EMD时,这是低效的。在这里,我们提出了一个不平衡的图EMD,有效地嵌入到一个$L^1$空间,其度量,我们称之为不平衡扩散地球移动的距离(UDEMD)的基础图上的不平衡EMD。接下来,我们将展示这如何给出对噪声具有鲁棒性的图形信号之间的距离。最后,我们将其应用于基于临床笔记组织患者,将细胞建模为基因图上的信号,并将基因建模为大细胞图上的信号。在每种情况下,我们表明,基于UDEMD的嵌入找到准确的距离,是非常有效的其他方法相比。
2022-03-28 cs.LG eess.SP
FEDI: Few-shot learning based on Earth Mover's Distance algorithm combined with deep residual network to identify diabetic retinopathy
糖尿病视网膜病变(diabetic retinopathy,DR)是糖尿病患者致盲的主要原因。但DR通过眼底的诊断,很容易延迟失明的发生。鉴于现实情况,在临床实践中很难收集大量的糖尿病视网膜数据。提出了一种基于Earth Mover距离算法的深度残差网络的Few-Shot学习模型,用于辅助诊断DR。基于39类1000个样本数据,构建了Few-Shot学习的训练和验证分类任务,对深度残差网络进行训练,得到经验最大化的预训练模型。基于预训练模型的权重,Earth Mover的距离算法计算图像之间的距离,获得图像之间的相似性,并改变模型的参数以提高训练模型的准确性。最后,通过实验构建了小样本分类任务的测试集,对模型进行进一步优化,最终在3way10shot任务的糖尿病视网膜测试集上获得了93.5667%的准确率。有关实验代码和结果,请参阅:https://github.com/panliangrui/few-shot-learning-funds。
2022-03-09 cs.CV cs.LG eess.IV
Surrogate-Assisted Framework for SI-Compliant Interconnect Design Optimization Using the Earth Mover's Distance
Information Processing Lab, TU Dortmund University(图腾大学信息处理实验室);Pyramide2525/TU Dortmund University(图腾大学Pyramide2525分部);EMC Technology Center Paderborn, Zuken GmbH(帕德博恩EMC技术中心,祖克纳公司)
提出一种基于推土机距离的确定性机器学习辅助框架,通过代理模型预测波形、决策树筛选SI合规设计,并利用EMD排序,实现可解释且高效的PCB互连优化。
2026-06-16 cs.CE cs.LG eess.SP
Diffusion Earth Mover's Distance and Distribution Embeddings
Yale University(耶鲁大学);Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
我们提出了一种新的快速测量大量相关的高维数据集之间的距离称为扩散地球移动器的距离(EMD)的方法。我们将数据集建模为公共数据图上支持的分布,该公共数据图是从组合数据上计算的亲和矩阵导出的。在这种情况下,图是一个离散化的基本黎曼闭流形,我们证明了扩散EMD是拓扑等价的标准EMD测地线地面距离。扩散EMD可以在$\tilde{O}(n)$时间内计算,并且比类似的快速算法(例如基于树的EMD)更准确。我们还表明,扩散EMD是完全可微的,使其适合于未来在梯度下降框架中的使用,如深度神经网络。最后,我们展示了扩散EMD对从耶鲁纽黑文医院的210个COVID-19患者样本中收集的单细胞数据的应用。在这里,扩散EMD可以比同样精确的方法快至少两个数量级地导出细胞流形上患者之间的距离。患者之间的这种距离矩阵可以嵌入到更高级别的患者流形中,其揭示了患者的结构和异质性。更一般地说,扩散EMD适用于在许多医学和生物系统中并行大量收集的所有数据集。
2021-07-27 cs.LG
Differentiable Earth Mover's Distance for Data Compression at the High-Luminosity LHC
University of California at San Diego(加利福尼亚大学圣迭戈分校);Fermi National Accelerator Laboratory(费米国家加速器实验室);European Organization for Nuclear Research (CERN)(欧洲核子研究中心)
本文提出用卷积神经网络学习可微推土机距离,替代计算密集的EMD实现,并用于高亮度LHC数据压缩的编码器训练,性能优于均方误差损失。
2023-12-29 cs.LG hep-ex physics.ins-det
An Efficient Shared-memory Parallel Sinkhorn-Knopp Algorithm to Compute the Word Mover's Distance
Parallel Computing Labs(并行计算实验室);Intel(英特尔公司)
词移动器距离(WMD)是通过计算将源/查询文档的所有词最优地移动到目标文档的最相似词的成本来测量两个文本文档之间的语义不相似性的度量。计算两个文档之间的WMD是昂贵的,因为它需要解决花费\(O(V^3log(V))\)的优化问题,其中\(V\)是文档中唯一单词的数量。幸运的是,大规模杀伤性武器可以被定义为地球移动者距离(EMD)(也称为最佳运输距离),已经表明,通过向优化问题添加熵惩罚,算法复杂度可以降低到\(O(V^2)\),并且类似的想法可以适用于有效地计算大规模杀伤性武器。另外,可以通过一次针对多个目标文档计算单个查询文档的WMD(例如,发现给定的推文是否与一天中发生的任何其他推文相似)。本文采用\(O(V^2)\) EMD算法,提出了一种共享内存并行Sinkhorn-Knopp算法来计算一个文档对多个文档的WMD。我们使用算法转换将原始的密集计算内核更改为稀疏计算内核,并在最先进的英特尔\textregistered{} 4插槽Cascade Lake机器w.r. t上使用\(96\)内核获得\(67\times\)加速。其连续运行。我们的并行算法比内部使用优化矩阵库调用的朴素并行Python代码快\(700\times\)。
2021-03-22 cs.DC cs.LG stat.ML
DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning
Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
在这项工作中,我们开发的方法Few-Shot图像分类从一个新的角度最佳匹配图像区域之间。我们采用地球移动器的距离(EMD)作为度量来计算密集的图像表示之间的结构距离,以确定图像的相关性。经验模式分解生成匹配代价最小的结构元素间的最优匹配流,用于计算图像距离进行分类。为了生成EMD公式中元素的重要权重,我们设计了一个交叉引用机制,它可以有效地减轻杂乱的背景和类内外观变化大所造成的不利影响。为了实现k-shot分类,我们建议学习一个结构化的全连接层,它可以直接用EMD对密集的图像表示进行分类。基于隐函数定理,EMD可以作为一个层插入到网络中进行端到端训练。我们广泛的实验验证了我们的算法的有效性,该算法在五个广泛使用的Few-Shot分类基准上的性能明显优于最先进的方法,即miniImageNet,tieredImageNet,Fewshot-CIFAR 100(FC 100),Caltech-UCSD Birds-200-2011(CUB)和CIFAR-FewShot(CIFAR-FS)。我们还证明了我们的方法在图像检索任务的有效性,在我们的实验。
2023-03-30 cs.CV cs.LG eess.IV
DeepEMD: A Transformer-based Fast Estimation of the Earth Mover's Distance
University of Geneva(日内瓦大学)
提出基于Transformer的DeepEMD模型,通过估计注意力矩阵近似点云匹配,快速准确计算EMD,加速超两个数量级,支持生成模型训练,并具良好泛化性。
2023-11-16 cs.CV cs.LG
BERT-EMD: Many-to-Many Layer Mapping for BERT Compression with Earth Mover's Distance
Beijing Ultrapower Software Co.,Ltd.(北京超图软件股份有限公司);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
预先训练的语言模型(例如,BERT)在各种自然语言处理(NLP)任务中取得了显著的成功。然而,高存储和计算成本阻碍了预训练的语言模型有效地部署在资源受限的设备上。在本文中,我们提出了一种新的BERT蒸馏方法的基础上多对多层映射,它允许每个中间学生层从任何中间教师层学习。通过这种方式,我们的模型可以自适应地从不同的教师层学习各种NLP任务。%的动机是直觉,不同的NLP任务需要不同水平的语言知识包含在BERT的中间层。此外,我们利用地球移动器的距离(EMD)来计算必须支付的最小累积成本,将知识从教师网络到学生网络。EMD使得多对多层映射的有效匹配成为可能。%EMD可以应用于不同大小的网络层,有效地测量教师网络和学生网络之间的语义距离。此外,我们还提出了一种成本注意力机制来自动学习EMD中使用的层权值,以进一步提高模型的性能并加快收敛时间。在GLUE基准测试上的大量实验表明,与强大的竞争对手相比,我们的模型在准确性和模型压缩方面都具有竞争力的性能。
2020-10-13 cs.CL cs.LG
Quantifying Spatial Domain Explanations in BCI using Earth Mover's Distance
IIT Gandhinagar(印度理工学院甘地纳格尔分校)
本研究针对基于运动想象的脑机接口,提出用推土机距离量化空间特征解释与神经科学领域知识的一致性,并验证了结合领域知识选择通道能显著提升多种深度学习模型的性能。
2024-05-02 cs.ET cs.HC cs.LG
A New Parallel Algorithm for Sinkhorn Word-Movers Distance and Its Performance on PIUMA and Xeon CPU
Intel(英特尔)
词移动器距离(WMD)通过计算将源/查询文档的所有词最佳地移动到目标文档的最相似词的成本来测量两个文本文档之间的语义差异。计算两个文档之间的WMD是昂贵的,因为它需要解决$O(V^3log(V))$优化问题,其中$V$是文档中唯一单词的数量。幸运的是,大规模杀伤性武器可以被定义为地球移动者的距离(EMD),通过向优化问题添加熵惩罚并使用Sinkhorn-Knopp算法求解,可以将算法复杂度降低到$O(V^2)$。另外,通过采用并行方法,即,一次针对多个目标文档计算单个查询文档的WMD。Sinkhorn WMD是许多ML/NLP应用程序中使用的关键内核。通常用Python实现。然而,一个简单的Python实现可能会留下显著的性能,即使它可能在内部调用优化的C++ BLAS例程。本文提出了一种新的稀疏{P}算法{A},该算法采用$O(V^2)$ EMD算法计算{S}inkhorn-Knopp {W}ord-movers {D}距离,计算一个文档到多个文档的语义距离。我们算法转换$O(V^2)$密集计算繁重的EMD版本到一个等效的稀疏一个使用新的融合SDDMM-SpMM(稀疏选择稠密矩阵,稀疏稠密矩阵乘法)内核。我们针对两种截然不同的架构实现并优化了该算法--全新的英特尔可编程集成统一内存架构(PIUMA)和英特尔至强CPU。我们表明,我们能够在两个平台上达到接近峰值的性能。
2022-04-26 cs.AR cs.DC cs.LG
Approximating High-Dimensional Earth Mover's Distance as Fast as Closest Pair
University of California, Santa Cruz(加州大学圣克ruz分校);Google Research NYC(谷歌纽约研究团队);University of Pennsylvania(宾夕法尼亚大学)
通过将(1+ε)-近似EMD归约为(1+ε)-近似CP,改进高维EMD最快近似算法,结合CP最优算法得到n^(2-Ω~(ε^(1/3)))时间复杂度,优于此前n^(2-Ω(ε²)),核心是EMD乘法权重更新框架的亚线性隐式实现。
2025-08-09 cs.DS cs.LG
Regularized Optimal Transport and the Rot Mover's Distance
Qucit;CNRS(法国国家科学研究中心)
本文提出了离散最优运输问题光滑凸正则化的统一框架。在这种情况下,正则化的最优运输原来是等价的矩阵接近度问题的Bregman分歧。因此,我们的框架自然地推广了先前提出的正则化,该正则化基于与库尔贝克-莱布勒散度相关的Boltzmann-Shannon熵,并使用Sinkhorn-Knopp算法求解。我们称之为正则化的最佳运输距离的rotmover的距离在参考经典的推土机的距离。我们开发了两个通用的计划,我们分别称之为交替缩放算法和非负交替缩放算法,有效地计算正则化的最优计划取决于是否域的正则化位于非负正交或不。这些计划是基于Dykstra的算法与交替Bregman投影,并进一步利用牛顿-拉夫森方法时,适用于可分离的分歧。我们增强了可分离的情况下,稀疏扩展,以处理高数据维度。我们还实例化我们提出的框架,并讨论了固有的特性,众所周知的正则化和统计分歧的机器学习和信息几何社区。最后,我们展示了我们的方法的优点与实验使用合成数据来说明不同的正则化和处罚的解决方案,以及真实世界的数据模式识别应用程序的音频场景分类的效果。
2018-07-14 cs.LG stat.ML
Finding NEEMo: Geometric Fitting using Neural Estimation of the Energy Mover's Distance
The NSF AI Institute for Artificial Intelligence and Fundamental Interactions(美国国家科学基金会人工智能与基础交互AI研究所);Massachusetts Institute of Technology(麻省理工学院)
最近开发了一种新的神经架构,通过以最小的方式约束其权重的范数来强制执行模型的Lipschitz常数的精确上限,从而与其他技术相比具有更高的表达能力。我们提出了一个新的和有趣的方向,这种架构:估计Wasserstein度量(地球移动器的距离)在最佳运输采用的Kantorovich-Rubinstein对偶,使其在几何拟合应用程序中的使用。具体来说,我们专注于高能粒子物理学领域,在那里已经表明,粒子对撞机事件的空间度量可以根据Wasserstein度量定义,称为能量移动器的距离(EMD)。这种度量化有可能彻底改变数据驱动的对撞机现象学。这里提出的工作是实现这一目标的一个重要步骤,提供了一种直接计算EMD的可微方法。我们展示了如何灵活,我们的方法使可以用来开发新的聚类算法。
2022-09-30 cs.LG hep-ex hep-ph
Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance
Facebook AI(Facebook人工智能)
文档对齐旨在识别两种不同语言的文档对,这些文档具有可比的内容或彼此的翻译。这种对齐的数据可以用于各种NLP任务,从训练跨语言表示到挖掘用于机器翻译的并行数据。在本文中,我们开发了一个无监督的评分函数,利用跨语言的句子嵌入来计算不同语言的文档之间的语义距离。然后,这些语义距离用于指导文档对齐算法,以正确地将跨语言的Web文档跨各种低、中、高资源语言对进行配对。认识到我们提出的评分函数和其他最先进的方法是计算上棘手的长Web文档,我们利用一个更易处理的贪心算法,执行搜索。我们通过实验证明,我们的距离度量比当前的基线执行更好的对齐,在高资源语言对上比它们表现出7%,在中等资源语言对上比它们表现出15%,在低资源语言对上比它们表现出22%。
2020-10-11 cs.CL cs.IR cs.LG
A Direct $\tilde{O}(1/ε)$ Iteration Parallel Algorithm for Optimal Transport
Stanford University(斯坦福大学)
最佳运输,或计算两个分布之间的瓦瑟斯坦或“地球移动者”距离,是一个基本的原始,出现在许多学习和统计设置。我们给出了一个算法,解决了这个问题的可加$ε$与$\tilde{O}(1/ε)$并行深度,和$\tilde{O}\left(n^2/ε\right)$工作。除非在一个长期存在的算法开放问题上取得突破,否则这对于一阶方法来说是最优的。布朗谢等Quanrud等人的'18,Quanrud '19通过减少到正线性规划和矩阵缩放获得了类似的运行时间。然而,这些基于约简的算法使用复杂的子程序,由于需要求解器进行二阶迭代(矩阵缩放)或非并行化(正LP),这些子程序可能被认为是不切实际的。最快的实用算法在时间上运行$\tilde{O}(\min(n^2 / ε^2, n^{2.5} / ε))$(Dvurechensky et. 18,Lin et. 19)。我们提供了一个并行的,一阶的,$\tilde{O}(1/ε)$迭代算法,没有更好的依赖于尺寸,并提供初步的实验证据表明,我们的算法可以享受改善的实际性能。我们通过原始-对偶超梯度方法获得此运行时间,其动机是最近对最大流的理论改进(Sherman '17)。
2019-06-03 cs.DS cs.LG math.OC
Clustered Federated Learning via Embedding Distributions
Imperial College London(伦敦帝国学院)
针对联邦学习在 non-IID 数据下性能受损的问题,提出基于嵌入空间分布 EMD 的一次性聚类方法 EMD-CFL,并经理论论证和多数据集对比验证其优势。
2025-06-09 cs.LG
Image Data Compression for Covariance and Histogram Descriptors
Washington University in St. Louis(圣路易斯华盛顿大学);NVIDIA Research(英伟达研究院)
协方差和直方图图像描述符提供了一种有效的方式来捕获有关图像的信息。当与特殊用途的距离度量结合使用时,两者都表现出色。对于协方差描述符,这些度量度量测量沿对称正定矩阵的非欧黎曼流形的距离。对于直方图描述符,地球移动器的距离测量两个直方图之间的最佳传输。虽然更精确,但这些距离度量计算起来非常昂贵,使得它们在许多应用中不切实际,即使对于只有几千个示例的数据集也是如此。在本文中,我们提出了两种方法来压缩的协方差和直方图数据集的大小,只有边际增加的k-最近邻分类的测试误差。具体来说,我们可以将数据集减少到16%,在某些情况下甚至减少到原始大小的2%,同时近似匹配kNN分类在整个训练集上的测试误差。事实上,由于压缩集是以监督的方式学习的,它有时甚至优于完整的数据集,同时只需要一小部分空间并大大减少测试时间计算。
2015-05-23 cs.CV cs.LG stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University(西北工业大学)
针对非负张量分解忽略特征边信息的问题,提出Wasserstein流形非负张量分解(WMNTF),通过最小化Wasserstein距离并引入图正则化项,有效利用特征相关性和样本流形信息,实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm
University of California, Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学)
由于大规模数据和高标注成本,预训练-微调成为多个计算机视觉任务中的流行范例。以前的研究已经涵盖了无监督预训练和监督微调在这个范例,而很少注意到利用注释预算微调。为了填补这一空白,我们正式定义了这个新的主动微调任务,重点是在预训练微调范式中选择用于注释的样本。我们提出了一种新的方法称为ActiveFT主动微调任务,选择一个子集的数据分布类似于整个未标记的池,并保持足够的多样性,通过优化参数模型在连续空间。我们证明了地球移动器的分布之间的选定的子集和整个数据池的距离也减少了在这个过程中。大量的实验表明,ActiveFT在图像分类和语义分割方面均优于基线算法,具有领先的性能和高效性。我们的代码发布在https://github.com/yichen928/ActiveFT。
2023-03-25 cs.CV cs.LG
Earthformer: Exploring Space-Time Transformers for Earth System Forecasting
Hong Kong University of Science and Technology(香港科技大学);Amazon Web Services(亚马逊云科技);Rutgers University(罗格斯大学)
传统上,地球系统(例如,天气和气候)预报依赖于具有复杂物理模型的数值模拟,因此计算昂贵并且需要领域专业知识。随着时空地球观测数据在过去十年中的爆炸性增长,应用深度学习(DL)的数据驱动模型在各种地球系统预测任务中表现出令人印象深刻的潜力。作为一种新兴的深度学习架构,Transformer尽管在其他领域取得了广泛的成功,但在该领域的采用却有限。在本文中,我们提出了Earthformer,一个用于地球系统预测的时空Transformer。Earthformer基于一个通用的,灵活的和高效的时空注意力块,称为立方体注意力。其思想是将数据分解为长方体,并并行应用长方体级别的自注意力。这些长方体进一步与全局向量的集合相连接。我们在MovingMNIST数据集和一个新提出的混沌N体MNIST数据集上进行实验,以验证立方体注意力的有效性,并找出Earthformer的最佳设计。对两个真实世界的降水临近预报和厄尔尼诺/南方涛动(ENSO)预报基准的实验表明,Earthformer达到了最先进的性能。代码可用:https://github.com/amazon-science/earth-forecasting-transformer。
2023-03-01 cs.AI cs.CV cs.LG