Wasserstein Graph Distance Based on $L_1$-Approximated Tree Edit Distance between Weisfeiler-Lehman Subtrees
WASEDA University(早稻田大学)
针对Weisfeiler-Lehman检验无法捕捉图细微结构差异的局限,提出结合Wasserstein距离与$L_1$近似树编辑距离的WWLS图度量,在相关实验中性能优于基线。
2023-05-01 cs.AI cs.LG
Learning Embeddings into Entropic Wasserstein Spaces
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
数据的欧几里德嵌入在捕捉潜在语义结构的能力方面受到根本限制,这些结构不需要符合欧几里德空间假设。在这里,我们考虑一种替代方案,它嵌入数据作为离散的概率分布在Wasserstein空间,赋予一个最佳的运输度量。沃瑟斯坦空间比欧几里得空间大得多,也更灵活,因为它们可以成功地嵌入更广泛的度量结构。我们利用这种灵活性,通过学习嵌入,捕捉嵌入分布之间的Wasserstein距离的语义信息。我们经验性地研究了我们学到的Wasserstein嵌入的代表能力,表明它们可以嵌入各种各样的度量结构,其失真比等效的欧几里得嵌入更小。我们还研究了词嵌入的应用,展示了Wasserstein嵌入的独特优势:我们可以直接可视化高维嵌入,因为它是低维空间上的概率分布。这就避免了像t-SNE这样的降维技术用于可视化的需要。
2019-05-08 cs.LG stat.ML
Weisfeiler-Lehman meets Gromov-Wasserstein
University of California San Diego(加利福尼亚大学圣地亚哥分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);The Ohio State University(俄亥俄州立大学);Halıcıoğlu Data Science Institute(哈利奇奥卢数据科学研究所)
Weisfeiler-Lehman(WL)测试是图同构测试的经典过程。WL测试也被广泛用于设计图核和分析图神经网络。在本文中,我们提出了Weisfeiler-Lehman(WL)距离,标记测度马尔可夫链(LMMC)之间的距离的概念,其中标记图是特殊情况。WL距离是多项式时间可计算的,也是兼容的WL测试的意义上,前者是积极的,当且仅当WL测试可以区分两个涉及的图。WL距离捕获并比较底层LMMC的细微结构,因此,它比用于定义最先进的Wasserstein Weisfeiler-Lehman图内核的图之间的距离更具鉴别力。受到WL距离结构的启发,我们在LMMCs上识别出一个神经网络架构,该架构被证明是通用的w.r.t.定义在所有LMMC(包括所有图)的空间上的连续函数,赋予WL距离。最后,WL距离被证明是稳定的w.r.t. Gromov-Wasserstein(GW)距离的自然变体,用于比较我们识别的度量马尔可夫链。因此,WL距离也可以被解释为GW距离的多项式时间下限,其通常是NP难计算的。
2022-02-05 cs.LG math.MG
Wasserstein Hypergraph Neural Network
Department of Computer Science University of Cambridge(计算机科学系剑桥大学)
针对现有超图神经网络聚合多借鉴图方法、采用基础池化的局限,提出将节点与超边邻域视为分布、用切片Wasserstein池化聚合的Wasserstein超图神经网络,可保留分布几何属性,在多真实数据集的节点分类任务上取得最优性能。
2025-06-11 cs.LG
Generalizing Point Embeddings using the Wasserstein Space of Elliptical Distributions
CREST, ENSAE(法国国家信息与自动化研究所(INRIA)巴黎中央理工学院(ENSAE)的CREST(法国国家统计与经济研究中心));Google Brain(谷歌大脑)
在低维空间中嵌入复杂对象作为向量是机器学习中的一个长期问题。在这项工作中,我们提出了一种扩展的方法,它包括在嵌入对象的椭圆概率分布,即分布的密度有椭圆水平集。我们赋予这些措施与2-Wasserstein度量,有两个重要的好处:(i)对于这样的措施,平方2-Wasserstein度量有一个封闭的形式,等于加权和的平方欧几里德距离之间的平均值和协方差阵之间的平方Bures度量。后者是半正定矩阵之间的黎曼度量,它在这种矩阵的适当因子表示上是欧几里得的,这在这些矩阵之间的整个测地线上是有效的。(ii)2-瓦瑟斯坦距离在比较Dirac时可以归结为通常的欧几里得度量,因此提供了一个自然的框架来扩展点嵌入。我们表明,由于这些原因,Wasserstein椭圆嵌入是更直观的和产量的工具,更好地表现数值比高斯嵌入的替代选择与库尔贝克-莱布勒散度。特别是,与以前基于KL几何的工作不同,我们学习了不一定是对角的椭圆分布。我们展示了椭圆嵌入的优势,使用它们的可视化,计算嵌入的话,并反映蕴涵或上位。
2019-02-17 cs.LG stat.ML
Deep Distributional Sequence Embeddings Based on a Wasserstein Loss
Leibniz Institute of Agricultural Engineering and Bioeconomy e.V.(莱布尼茨农业工程与生物经济研究所);University of Potsdam(波茨坦大学)
深度度量学习采用深度神经网络来将实例嵌入度量空间中,使得同一类的实例之间的距离较小,而来自不同类的实例之间的距离较大。在大多数现有的深度度量学习技术中,实例的嵌入由深度神经网络产生的特征向量给出,并且欧几里得距离或余弦相似性定义这些向量之间的距离。在本文中,我们研究了序列的深度分布嵌入,其中序列的嵌入由序列中学习到的深度特征的分布给出。这具有捕获关于嵌入中的序列内的模式的分布的统计信息的优点。当嵌入是分布而不是向量时,测量嵌入之间的距离涉及比较它们各自的分布。我们提出了一个基于Wasserstein距离的距离度量和相应的损失函数的度量学习,这导致了一个新的端到端的可训练嵌入模型。我们根据经验观察到,分布式嵌入优于标准向量嵌入,并且使用建议的Wasserstein度量进行训练优于使用其他距离函数进行训练。
2019-12-04 cs.LG stat.ML
Gromov-Wasserstein Methods for Multi-View Relational Embedding and Clustering
Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学和技术 institute);Federal University of Ceara(塞阿拉联邦大学);Sigma Nova
本文提出Bary-GWMDS和Mean-GWMDS-C方法,通过直接操作距离矩阵学习共识嵌入,保留共享关系结构,并在合成和现实数据集上验证了稳定且几何意义显著的嵌入效果。
2026-04-26 cs.LG stat.ML
Gromov-Wasserstein Learning for Graph Matching and Node Embedding
Infinia ML, Inc.(Infinia ML公司);Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
提出了一种新的Gromov-Wasserstein学习框架,用于联合匹配(对齐)图并学习相关图节点的嵌入向量。使用Gromov-Wasserstein差异,我们测量两个图之间的不相似性,并根据学习到的最佳运输找到它们的对应关系。与两个图相关联的节点嵌入是在最优传输的指导下学习的,最优传输的距离不仅反映了每个图的拓扑结构,而且还产生了图之间的对应关系。这两个学习步骤是互惠互利的,并且在这里通过最小化Gromov-Wasserstein与结构正则化器的差异来统一。这个框架导致一个优化问题,解决了近点法。我们将所提出的方法应用于现实世界中的网络匹配问题,并证明其优越的性能相比,替代方法。
2019-05-07 cs.LG cs.SI stat.ML
Structure-Preserving Multi-View Embedding Using Gromov-Wasserstein Optimal Transport
Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学与技术学院);Sigma Nova;Department of Teleinformatics Engineering, Federal University of Ceará(塞阿拉联邦大学远程信息工程系)
本文提出基于Gromov-Wasserstein最优传输的两种几何感知多视图嵌入方法,通过整合多视图信息以保持内在关系结构,实验验证其在合成数据和现实数据集上的有效性。
2026-04-03 cs.LG stat.ML
Distilled Wasserstein Learning for Word Embedding and Topic Modeling
Infinia ML, Inc.(Infinia ML公司);Duke University(杜克大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种新的Wasserstein方法与蒸馏机制,产生联合学习的词嵌入和主题。所提出的方法是基于这样一个事实,即词嵌入之间的欧几里德距离可以被用作Wasserstein主题模型中的底层距离。主题的词分布,它们对文档的词分布的最佳传输,以及词的嵌入都是在一个统一的框架中学习的。在学习主题模型时,我们利用提取的底层距离矩阵来更新主题分布并平滑地计算相应的最佳传输。这种策略为词嵌入的更新提供了鲁棒的指导,提高了算法的收敛性。作为一个应用程序,我们专注于病人入院记录,其中所提出的方法嵌入的疾病和程序的代码,并学习入院的主题,获得具有临床意义的疾病网络建设,死亡率预测作为入院代码的函数,和程序推荐的优越性能。
2018-09-12 cs.CL cs.LG stat.ML
Learning Wasserstein Embeddings
Université de Bretagne Sud(南布列塔尼大学);IRISA, UMR 6074, CNRS(法国国家信息与自动化研究所);OCA(蔚蓝海岸天文台);Lagrange, UMR 7293, CNRS(拉格朗日实验室);I3S, UMR 7271, CNRS(计算机、信号与系统实验室)
瓦瑟斯坦距离最近在机器学习社区中受到了很多关注,特别是因为它比较分布的原则性方法。它已经在一些困难的问题,如域适应,降维或生成模型中找到了许多应用。然而,它的使用仍然受到沉重的计算成本的限制。我们的目标是通过提供一种近似机制来缓解这个问题,该机制允许打破其固有的复杂性。它依赖于嵌入的搜索,其中欧几里德距离模仿瓦瑟斯坦距离。我们表明,这样的嵌入可以找到与解码器网络,允许从嵌入空间移动回原始输入空间的连体架构。一旦找到这种嵌入,就可以非常快速地进行Wasserstein空间中的计算优化问题(例如重心,主方向甚至原型)。支持这一想法的数值实验进行图像数据集,并显示了广泛的潜在好处,我们的方法。
2017-10-20 cs.CV cs.LG stat.CO
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);EPFL(洛桑联邦理工学院);Univ. Lyon(里昂大学);UCBL(里昂第一大学);Inria(法国国家信息与自动化研究所);École polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);Université Bretagne Sud(南布列塔尼大学)
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架,可同时实现样本与特征降维,兼具经典降维与硬聚类能力,可用于图像数据集可视化,为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
Wasserstein Task Embedding for Measuring Task Similarities
Vanderbilt University(范德堡大学);Loughborough University(拉夫堡大学)
测量不同任务之间的相似性在广泛的机器学习问题中至关重要,包括迁移、多任务、连续和元学习。目前大多数测量任务相似性的方法都是依赖于架构的:1)依赖于预先训练的模型,或者2)在任务上训练网络,并使用前向传输作为任务相似性的代理。在本文中,我们利用最优传输理论,定义了一种新的任务嵌入监督分类,该任务嵌入与模型无关,无需训练,并且能够处理(部分)不相交的标签集。简而言之,给定一个具有地面真实标签的数据集,我们通过多维缩放执行标签嵌入,并将数据集样本与其相应的标签嵌入连接起来。然后,我们将两个数据集之间的距离定义为它们更新后的样本之间的2-Wasserstein距离。最后,我们利用2-Wasserstein嵌入框架将任务嵌入到向量空间中,其中嵌入点之间的欧氏距离近似于任务之间的2-Wasserstein距离。我们表明,与最佳传输数据集距离(OTDD)等相关方法相比,所提出的嵌入导致任务的比较速度明显更快。此外,我们通过各种数值实验证明了我们提出的嵌入的有效性,并显示了我们提出的距离与任务之间的向前和向后传输之间的统计显著相关性。
2022-08-24 cs.LG
Geodesic Properties of a Generalized Wasserstein Embedding for Time Series Analysis
基于传输的度量和相关的嵌入(变换)最近已被用来模拟信号类,其中存在非线性结构或变化。本文研究了具有广义Wasserstein度量的时间序列数据的测地线性质及其符号累积分布变换在嵌入空间中的几何关系。此外,我们展示了如何理解这样的几何特征可以提供额外的解释某些时间序列分类器,并为更强大的分类器的灵感。
2022-06-12 cs.LG eess.SP math.GT
Exploring Predictive States via Cantor Embeddings and Wasserstein Distance
University of California at Davis(加州大学戴维斯分校)
随机过程的预测状态是一个非参数的和可解释的结构,与众多的建模范式相关。根据时间序列数据进行预测状态的自监督重建的最新进展集中在再生核Hilbert空间的使用上。在这里,我们研究如何Wasserstein距离可用于检测预测等价符号数据。我们计算Wasserstein分布之间的距离序列(“预测”),使用有限维嵌入的序列的基础上康托的基础几何。我们表明,探索性数据分析使用所产生的几何结构,通过分层聚类和降维提供了洞察的时间结构的过程,从相对简单的(例如,有限状态隐马尔可夫模型)到非常复杂的(例如,无限状态索引文法)。
2022-06-09 cond-mat.stat-mech cs.LG math.DS
Graph Wasserstein Correlation Analysis for Movie Retrieval
Nanjing University of Science and Technology(南京理工大学)
在以人为中心的检索中,电影图在连接视频和文本的异质模态方面起着重要的作用。在这项工作中,我们提出了图Wasserstein相关分析(GWCA)来处理其中的核心问题,即跨异构图比较。引入谱图滤波对图信号进行编码,然后将其嵌入Wasserstein空间中的概率分布,称为图Wasserstein度量学习。图信号滤波与度量学习的这种无缝集成导致两个学习过程的惊人一致性,其中度量学习的目标只是优化信号滤波器,反之亦然。此外,我们推导出的图比较模型的解决方案作为一个经典的广义特征值分解问题,它有一个精确的封闭形式的解决方案。最后,GWCA连同电影/文本图生成统一到电影检索的框架来评估我们提出的方法。在MovieGrpahs数据集上的大量实验证明了我们的GWCA以及整个框架的有效性。
2020-08-06 cs.LG stat.ML
Heterogeneous Wasserstein Discrepancy for Incomparable Distributions
Université de Technologie de Compiègne(贡比涅技术大学);INSA-Rouen(鲁昂国立应用科学学院);Université de Rouen Normandie(鲁昂诺曼底大学);Criteo AI Lab(Criteo人工智能实验室)
最优传输(OT)度量允许定义两个概率度量之间的差异。Wasserstein距离是在文献中经常使用的著名的OT距离,它寻求在$\textit{same}$度量空间上支持的概率分布。由于其高计算复杂性,已经提出了几个近似的Wasserstein距离的熵正则化或切片的基础上,一维Wasserstein计算。在本文中,我们提出了一种新的扩展Wasserstein距离比较两个不可比的分布,这取决于$\textit{distributional slicing}$的想法,嵌入,并计算封闭形式的Wasserstein距离之间的切片分布。我们提供了一个新的分歧,称为$\textit{heterogeneous Wasserstein discrepancy (HWD)}$的理论分析,我们表明,它保留了几个有趣的属性,包括旋转不变性。我们表明,嵌入HWD中涉及的可以有效地学习。最后,我们提供了大量的实验来说明HWD在生成建模和查询框架中的行为。
2021-10-12 cs.LG stat.ML
Conformal Graph Prediction with Z-Gromov-Wasserstein Distances
本文提出一种基于Z-格罗莫夫瓦瑟斯坦距离的图值输出符合性预测框架,通过融合格罗莫夫-瓦瑟斯坦方法实现图结构的置换不变比较,并引入Score Conformalized Quantile Regression方法以适应复杂输出空间。
2026-07-20 cs.LG stat.ML
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)(塞阿拉联邦学院);Federal University of Ceará (UFC)(塞阿拉联邦大学);Sigma Nova
提出基于重心蒸馏的归纳式框架,将转导式GW-MDS嵌入转化为显式神经映射,在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Set Representation Learning with Generalized Sliced-Wasserstein Embeddings
HRL Laboratories, LLC.(HRL实验室)
越来越多的机器学习任务处理从集合结构化数据中学习表示。这些问题的解决方案涉及置换等变模块的组合(例如,自注意或经由前馈神经网络的个体处理)和置换不变模块(例如,全局平均汇集或通过多头注意力的汇集)。在本文中,我们提出了一个几何可解释的框架,用于从集结构数据中学习表示,该框架植根于最优公共交通问题。特别是,我们把一个集合的元素作为样本的概率测度,并提出了一个精确的欧氏嵌入广义切片Wasserstein(GSW)距离有效地从集合结构化数据学习。我们评估了我们提出的多监督和无监督集学习任务的框架,并证明了它的优越性比国家的最先进的集表示学习方法。
2021-03-05 cs.LG
Joint Metric Space Embedding by Unbalanced OT with Gromov-Wasserstein Marginal Penalization
针对无对应异构数据的无监督对齐,提出带 Gromov-Wasserstein 边缘惩罚的非平衡最优传输联合嵌入方法,证明极小元存在性与极限收敛性,并给出可块坐标下降求解的松弛及数值验证。
2025-05-13 cs.LG
Unsupervised Alignment of Embeddings with Wasserstein Procrustes
Facebook AI Research(脸书人工智能研究院);University of Cambridge(剑桥大学);Statistical Laboratory(统计实验室)
我们考虑在高维空间中对齐两组点的问题,这在自然语言处理和计算机视觉中有许多应用。作为一个例子,它最近表明,它是可能的,推断双语词典,没有监督数据,通过对齐词嵌入训练单语数据。这些最新的进展是基于对抗训练来学习两个嵌入之间的映射。在本文中,我们建议使用另一种配方,基于联合估计的正交矩阵和置换矩阵。虽然这个问题是不凸的,我们建议初始化我们的优化算法,使用凸松弛,传统上认为图同构问题。我们提出了一个随机算法,以最小化我们的成本函数在大规模的问题。最后,我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。在这项任务中,我们的方法获得了最先进的结果,同时需要比竞争方法更少的计算资源。
2018-05-29 cs.CL cs.LG stat.ML
Fused Gromov-Wasserstein Variance Decomposition with Linear Optimal Transport
本文提出2-Wasserstein空间中测度的Fréchet方差分解以量化LOT嵌入解释的方差百分比,将其扩展至Fused Gromov-Wasserstein设定,并通过多数据集实验验证了低维LOT嵌入在方差解释与分类准确率上的有效性。
2024-11-15 cs.LG stat.ME
Fourier Sliced-Wasserstein Embedding for Multisets and Measures
Technion–Israel Institute of Technology(以色列理工学院);Faculty of Mathematics(数学学院);Faculty of Computer Science(计算机科学学院)
提出傅里叶切片-瓦瑟斯坦(FSW)嵌入方法,将R^d上的多重集和测度嵌入欧几里得空间,保留切片瓦瑟斯坦距离,具有单射、双李普希茨特性,输出维度近最优,实验证明能提升学习任务性能。
2025-04-14 cs.LG
Gromov-Wasserstein Factorization Models for Graph Clustering
Infinia ML Inc.(英飞尼亚机器学习公司)
我们提出了一个新的非线性因子分解模型的图的拓扑结构,并可选地,节点属性。这个模型是基于一个伪度量称为Gromov-Wasserstein(GW)的差异,比较关系的方式图。它将观察到的图估计为由一组具有不同权重的原子构造的GW重心。通过最小化每个观察到的图与其基于GW重心的估计之间的GW差异,我们学习与观察到的图相关联的原子及其权重。该模型实现了一种新的灵活的因子分解机制,在GW差异下,观察到的图和可学习的原子可以是不对齐的,并具有不同的大小。我们设计了一个有效的近似算法来学习这个Gromov-Wasserstein分解(GWF)模型,将循环计算展开为堆叠模块并使用反向传播计算梯度。堆叠的模块可以具有两种不同的架构,其分别对应于邻近点算法(PPA)和Bregman交替方向乘法器方法(BADMM)。实验表明,我们的模型在聚类图上获得了令人鼓舞的结果。
2019-11-19 cs.LG stat.ML
Linear Optimal Transport Embedding: Provable Wasserstein classification for certain rigid transformations and perturbations
University of California, San Diego(加州大学圣地亚哥分校);Halicioğlu Data Science Institute(哈利西奥卢数据科学研究所)
区分分布是许多科学领域中的一个重要问题。这促使了线性最优运输(LOT)的引入,它将分布空间嵌入到$L^2$ -空间中。该变换通过计算每个分布到固定参考分布的最佳传输来定义,并且在计算速度和确定分类边界方面具有许多好处。在本文中,我们描述了一些设置中,LOT嵌入家庭的分布到一个空间中,他们是线性可分的。这是真的,在任意维,并为家庭的分布通过扰动的移位和缩放的一个固定distributation.We还证明了条件下,$L^2$距离的LOT嵌入在任意维的两个分布之间的Wasserstein-2距离几乎等距。这具有显著的计算益处,因为必须仅计算$N$最优传输图来定义$N$分布之间的$N^2$成对距离。我们证明了LOT的好处,一些分布分类问题。
2021-05-26 cs.LG math.OC stat.ML
Exploiting Edge Features in Graphs with Fused Network Gromov-Wasserstein Distance
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
本文扩展 Gromov-Wasserstein 距离以同时利用节点与边特征,并提出距离和重心计算算法,在分类及图预测任务中验证其有效性。
2023-09-28 cs.LG stat.ML
Deep Kuratowski Embedding Neural Networks for Wasserstein Metric Learning
Southern Methodist University(南卫理公会大学)
本文提出两种神经网络架构,通过深度 Kuratowski 嵌入网络 (DeepKENN) 和神经ODE (ODE-KENN) 来近似 Wasserstein-2 距离,实验表明 ODE-KENN 在 MNIST 数据集上以更低的均方误差和更小的泛化间隙优于单层基线。
2026-04-06 cs.LG
Wasserstein Barycenter Model Ensembling
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在本文中,我们提出了执行模型集成在一个多类或多标签学习设置使用Wasserstein(W.)重心最佳传输度量,如Wasserstein距离,允许合并语义侧信息,如词嵌入。利用W.找到模型之间的一致性的重心允许我们在找到模型之间的一致性时平衡置信度和语义。我们展示了Wasserstein集成在基于属性的分类、多标签学习和图像描述生成中的应用。这些结果表明,W.集成是基本几何或算术平均集成的可行替代方案。
2019-02-13 cs.LG stat.ML
SLOSH: Set LOcality Sensitive Hashing via Sliced-Wasserstein Embeddings
Vanderbilt University(范德堡大学);Loughborough University(拉夫堡大学)
从集合结构化数据中学习是机器学习和计算机视觉中许多应用的基本问题。本文重点研究了使用近似最近邻(ANN)解决方案,特别是局部敏感散列的非参数和数据无关的集合结构化数据学习。我们考虑的问题,从输入集查询集检索。这种检索问题需要:1)计算集合之间距离/差异的有效机制,以及2)用于快速最近邻搜索的适当数据结构。为此,我们提出了切片Wasserstein集嵌入作为一个计算效率高的“集2向量”机制,使下游人工神经网络,理论上的保证。集合元素被视为来自未知潜在分布的样本,并且切片-Wasserstein距离用于比较集合。我们证明了我们的算法的有效性,表示为集LOCAITY敏感哈希(SLOSH),在各种集检索数据集,并比较我们提出的嵌入与标准的集嵌入方法,包括广义均值(GeM)嵌入/池,逐行排序池(FSPool),和协方差池,并显示一致的改进检索结果。复制我们的结果的代码可以在这里找到:\href{https://github.com/mint-vu/SLOSH}{https://github.com/mint-vu/SLOSH}。
2022-02-08 cs.CV cs.LG
A Regularized Wasserstein Framework for Graph Kernels
School of Computing, Australian National University(澳大利亚国立大学计算机学院)
我们提出了一个学习框架的图形内核,这是理论上的基础上正则化的最佳运输。该框架提供了一种新的最优传输距离度量,即正则化Wasserstein(RW)差异,它可以通过特征及其局部变化,局部重心和全局连通性的Wasserstein距离来保持图的特征和结构。通过引入两个强凸正则项来提高学习能力。一种是将图之间的最优对齐放松为它们的局部连通顶点之间的簇到簇映射,从而保持图的局部聚类结构。另一种是考虑节点度分布,以更好地保持图的全局结构。我们还设计了一个有效的算法,使一个快速的近似解决优化问题。理论上,我们的框架是强大的,可以保证收敛性和数值稳定性的优化。我们使用12个数据集对16个最先进的基线进行了经验验证。实验结果表明,我们的方法始终优于所有国家的最先进的方法在所有的基准数据库的图与离散属性和图与连续属性。
2021-10-08 cs.LG stat.ML
Learning Graphons via Structured Gromov-Wasserstein Barycenters
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的和原则性的方法来学习一个非参数图模型称为graphon,这是定义在一个无限维的空间,并表示任意大小的图。基于图子理论中的弱正则引理,我们利用阶跃函数来逼近图子。我们证明了石墨烯的切割距离可以放宽到阶跃函数的Gromov-Wasserstein距离。因此,给定一组由底层graphon生成的图,我们学习相应的阶跃函数作为给定图的Gromov-Wasserstein重心。此外,我们开发了几个增强和扩展的基本算法,$e.g.$,平滑的Gromov-Wasserstein重心,以保证学习的graphons的连续性和混合的Gromov-Wasserstein重心学习多个结构化的graphons。所提出的方法克服了现有的最先进的方法的缺点,并优于他们的合成和真实世界的数据。该代码可在https://github.com/HongtengXu/SGWB-Graphon上获得。
2020-12-17 cs.LG cs.SI stat.ML
Wasserstein Soft Label Propagation on Hypergraphs: Algorithm and Generalization Error Bounds
The University of Chicago(芝加哥大学)
最近的机器学习和超图数据挖掘算法的发展兴趣的启发,我们调查在本文中的半监督学习算法的传播“软标签”(例如概率分布,类成员分数)超图,通过最佳运输。借用图上Wasserstein传播的见解[Solomon et al. 2014],我们将标签传播过程重新制定为消息传递算法,这使得其本身自然地通过Wasserstein重心适用于超图的推广。此外,在PAC学习框架中,我们通过建立所提出的半监督学习算法的\textit{algorithmic stability},提供了使用2-瓦瑟斯坦距离在图和超图上传播一维分布的泛化误差界。这些理论结果也为更深入地理解图上的Wasserstein传播提供了新的思路。
2018-11-16 cs.LG stat.ML
Wasserstein-based Graph Alignment
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Laboratoire d’informatique Gaspard-Monge(加斯帕尔-蒙日信息实验室);CNRS(法国国家科学研究中心);ESIEE Paris(巴黎高等电子与电工技术工程师学院);Univ Gustave Eiffel(居斯塔夫·埃菲尔大学);Signal Processing Laboratory (LTS4)(信号处理实验室(LTS4))
我们提出了一种新的方法,用于比较不同大小的非对齐图,基于Wasserstein距离的图形信号分布引起的各自的图形拉普拉斯矩阵。具体来说,我们铸造一个新的配方为一对多的图对齐问题,其目的是在匹配一个节点在较小的图中的一个或多个节点在较大的图。通过在我们的图比较框架中集成最优传输,我们生成了一个结构上有意义的图距离,以及一个对图数据结构进行建模的信号传输计划。由此产生的对齐问题解决随机梯度下降,在那里我们使用一种新的Dykstra算子,以确保解决方案是一个一对多(软)分配矩阵。我们展示了我们的新框架的性能图对齐和图分类,我们表明,我们的方法导致显着的改进相对于国家的最先进的算法,这些任务中的每一个。
2020-03-12 cs.LG stat.ML
Wasserstein Wormhole: Scalable Optimal Transport Distance with Transformers
Sloan Kettering Institute(斯隆凯特琳研究所);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Tri-Institutional Training Program in Computational Biology and Medicine(三机构计算生物学与医学培训项目);Weill Cornell Medicine(威尔康奈尔医学院);Columbia University(哥伦比亚大学);Yale University(耶鲁大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
本文提出Wasserstein Wormhole,一种基于transformer的自编码器,将经验分布嵌入潜在空间使欧氏距离近似最优传输距离,实现线性时间计算,并支持重心估计等操作,提升了OT方法的可扩展性与可解释性。
2024-06-04 cs.CG cs.LG q-bio.GN
Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching
Infinia ML Inc.(Infinia ML公司);Duke University(杜克大学)
我们提出了一个可扩展的Gromov-Wasserstein学习(S-GWL)方法,并建立了一个新的和理论支持的大规模图分析的范例。所提出的方法是基于Gromov-Wasserstein差异是一个伪度量的事实。给定两个图,与它们的Gromov-Wasserstein差异相关联的最优传输提供了它们的节点之间的对应关系,并实现了图匹配。当其中一个图具有孤立但自连接的节点($i.e.$,不连通图)时,最优传输指示另一个图的聚类结构并实现图划分。使用这个概念,我们通过学习多个观察图的Gromov-Wasserstein重心图,将我们的方法扩展到多图分区和匹配;重心图扮演断开图的角色,因为它是学习的,所以聚类也是。我们的方法结合了递归的$K$划分机制和正则化的邻近梯度算法,对于具有$E$和$V$节点的图,其时间复杂度为$\mathcal{O}(K(E+V)\log_K V)$.据我们所知,我们的方法是第一次尝试,使Gromov-Wasserstein差异适用于大规模的图分析和统一的图分割和匹配到同一个框架。它优于最先进的图划分和匹配方法,实现了准确性和效率之间的平衡。
2019-10-09 cs.LG cs.SI stat.ML
Entropic Wasserstein Component Analysis
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Université Lyon(里昂大学);CNRS(法国国家科学研究中心);ENS Lyon(里昂高等师范学院);UCB Lyon 1(里昂第一大学克洛德·贝尔纳大学);Ecole Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Université Paris Nanterre(巴黎南泰尔大学)
降维(DR)方法为分析高维数据提供了系统的方法。DR的一个关键要求是在原始样本和嵌入样本之间合并全局依赖关系,同时保留嵌入空间中的聚类。为了实现这一点,我们结合了最佳运输(OT)和主成分分析(PCA)的原则。我们的方法寻求最佳的线性子空间,最大限度地减少重建误差使用熵OT,自然编码的样本的邻域信息。从算法的角度来看,我们提出了一个有效的块优化最小化求解器的Stiefel流形。我们的实验结果表明,我们的方法可以有效地保持高维集群,从而导致更可解释和有效的嵌入。算法和实验的Python代码可在线获得。
2023-03-09 cs.LG stat.ML
On a Novel Application of Wasserstein-Procrustes for Unsupervised Cross-Lingual Learning
Massachusetts Institute of Technology (MIT)(麻省理工学院);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
本文发现多种无监督跨语言词嵌入对齐方法本质上是Wasserstein-Procrustes问题,并提出直接求解该问题的新方法,在标准数据集上显著优于ICP、MUSE等现有方法。
2024-06-16 cs.CL cs.LG stat.ML
Joint Wasserstein Autoencoders for Aligning Multimodal Embeddings
TU Darmstadt(达姆施塔特工业大学)
学习多模态(例如图像和文本)的联合嵌入的关键挑战之一是确保跨数据集推广的连贯的跨模态语义。我们建议通过联合高斯正则化的潜在表示来解决这个问题。基于Wasserstein自编码器(WAE)对每个域中的输入进行编码,我们将潜在嵌入强制为类似于两个域之间共享的高斯先验,确保图像和文本的编码语义表示的兼容连续性。语义对齐是通过匹配的图像-文本对的监督来实现的。为了展示我们的半监督表示的好处,我们将其应用于跨模态检索和短语本地化。由于潜在空间的语义连续性,我们不仅实现了最先进的准确性,而且在数据集之间具有更好的泛化能力。
2019-09-14 cs.CL cs.CV cs.LG
Learning to Predict Graphs with Fused Gromov-Wasserstein Barycenters
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);Ecole Polytechnique(巴黎综合理工学院);Université de Toulouse(图卢兹大学);INRAE(法国国家农业食品与环境研究院);Aalto University(阿尔托大学)
本文介绍了一种新颖的通用框架,通过利用最优传输工具来解决监督标记图预测的旗舰任务。我们制定的问题与融合Gromov-Wasserstein(FGW)的损失回归,并提出了一个预测模型依赖于FGW重心的权重取决于输入。首先,我们介绍了一种基于核岭回归的非参数估计,证明了其相合性和超额风险界等理论结果。接下来,我们提出了一个可解释的参数模型,其中的重心权重建模与神经网络和FGW的重心计算的图形,另外学习。数值实验表明,该方法的强度和它的能力,在标记的图形空间内插模拟数据和一个困难的代谢识别问题,它可以达到非常好的性能,很少的工程。
2022-06-24 cs.LG stat.ML
Fourier Sliced-Wasserstein Embedding for Multisets and Measures
该研究提出傅里叶切片-瓦瑟斯坦(FSW)嵌入方法,可将多重集和测度嵌入欧几里得空间,保留几何结构且具单射和双李普希茨特性,实验表明其在瓦瑟斯坦距离学习和提升PointNet鲁棒性上表现优异。
2025-04-14 cs.AI cs.LG
Linear Partial Gromov-Wasserstein Embedding
Vanderbilt University(范德堡大学)
针对Gromov-Wasserstein类问题的等质量约束局限与非凸导致的计算难题,提出线性部分Gromov-Wasserstein嵌入,将成对距离计算复杂度从O(K²)降至O(K),保留部分匹配优势且提升效率,经形状检索等任务验证有效。
2025-03-22 cs.LG math.OC
Quantitative stability of optimal transport maps and linearization of the 2-Wasserstein space
Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);Univ. Paris-Sud(巴黎第十一大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);Inria Saclay - Ile-de-France(法国国家信息与自动化研究所萨克雷-法兰西岛分部)
这项工作研究了一个明确的嵌入到Hilbert空间的一组概率测度,使用最佳的运输地图从参考概率密度定义。这种嵌入在一定程度上线性化了2-Wasserstein空间,并允许在测量数据上直接使用通用的监督和无监督学习算法。我们的主要结果是,嵌入是(双)Hölder连续的,当参考密度是均匀的凸集上,并可以等价地表述为一个维数无关的Hölder稳定性结果的最佳运输映射。
2019-10-14 cs.LG cs.NA math.MG
Wasserstein Adversarially Regularized Graph Autoencoder
The University of Sydney Business School(悉尼大学商学院);The University of Sydney(悉尼大学)
本文介绍了Wasserstein逆向正则化图自动编码器(WARGA),这是一种隐式生成算法,通过Wasserstein度量将节点嵌入的潜在分布直接正则化为目标分布。该方法已在现实世界图上的链接预测和节点聚类任务中得到验证,其中WARGA通常优于基于Kullback-Leibler(KL)散度和典型对抗框架的最新模型。
2021-11-09 cs.LG
Wasserstein-Fisher-Rao Embedding: Logical Query Embeddings with Local Comparison and Global Transport
HKUST(香港科技大学);Tsinghua University(清华大学);NVIDIA(英伟达)
本文提出Wasserstein-Fisher-Rao嵌入(WFRE),利用非平衡最优传输理论平衡局部比较与全局传输,实现知识图谱复杂查询的高效嵌入,并在标准及层次数据集上超越现有方法。
2023-05-06 cs.AI cs.DB cs.LG
Constrained Sliced Wasserstein Embedding
Duke University(杜克大学);Vanderbilt University(范德堡大学)
本文提出约束切片Wasserstein嵌入方法,通过约束一维传输计划近似原始空间最优计划来优化切片方向,并利用梯度原始-对偶方法训练参数,在图像、点云和蛋白质序列基础模型上验证了其学习更具信息量切片方向的有效性。
2025-06-02 cs.AI cs.LG math.OC
Wasserstein Weisfeiler-Lehman Graph Kernels
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(SIB瑞士生物信息学研究所)
大多数图形内核都是$\mathcal{R}$ -卷积内核类的一个实例,它通过比较对象的子结构来度量对象的相似性。尽管它们在经验上取得了成功,但大多数图内核使用最终子结构集合的朴素聚合,通常是总和或平均值,从而可能会丢弃有关单个组件分布的有价值信息。此外,这些方法中只有有限的实例可以扩展到连续属性图。我们提出了一种新的方法,依赖于两个图的节点特征向量分布之间的Wasserstein距离,它允许通过将图视为高维对象而不是简单的方法来找到数据集中的细微差异。我们进一步提出了一个Weisfeiler-Lehman启发的嵌入方案,用于具有连续节点属性和加权边的图,通过计算Wasserstein距离来增强它,从而提高了几个图分类任务的最新预测性能。
2019-10-30 cs.LG q-bio.MN stat.ML
Outlier-Robust Gromov-Wasserstein for Graph Data
CUHK(香港中文大学);Stanford University(斯坦福大学);HKUST(香港科技大学)
本文提出异常值鲁棒的Gromov-Wasserstein距离RGW,通过KL散度模糊集内的乐观扰动边际约束缓解异常值敏感问题,并设计Bregman近端交替线性化最小化算法高效求解,在图子匹配和部分形状对应任务上验证了有效性。
2023-10-30 cs.LG stat.ML
Gaussian process regression with Sliced Wasserstein Weisfeiler-Lehman graph kernels
Safran Tech(赛峰技术公司);Centre de Mathématiques Appliquées, Ecole Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院应用数学中心,巴黎理工学院);Univ Rennes, Ensai, CNRS, CREST(雷恩大学、法国国立统计与经济管理学校、法国国家科学研究中心、法国国家统计与经济研究所)
针对计算物理中大型稀疏带连续属性图的回归需求,提出具有正定性且复杂度更低的SWWL图核用于高斯过程回归,在分子分类及多物理场大规模图回归任务中验证了有效性与效率。
2024-03-11 cs.LG stat.ML
Laplace Learning in Wasserstein Space
Department of Applied Mathematics and Theoretical Physics, The University of Cambridge(应用数学与理论物理系,剑桥大学);Department of Medicine, The University of Cambridge(医学系,剑桥大学);Department of Statistics, The University of Warwick(统计系,沃里克大学)
本文基于流形假设,将图基半监督学习的拉普拉斯学习从有限维欧氏空间扩展到Wasserstein空间的无限维设置,通过证明能量变分收敛、刻画算子并经基准数据集实验验证,实现高维下分类性能一致。
2025-11-17 cs.LG stat.ML
Recovering Wasserstein Distance Matrices from Few Measurements
Department of Mathematics, University of Texas at Arlington(德克萨斯理工大学数学系);Department of Mathematics, Tufts University(塔夫茨大学数学系);Department of Statistics and Data Science and Department of Computer Science University of Central Florida(中央佛罗里达大学统计与数据科学系和计算机科学系);Division of Data Science, University of Texas at Arlington(德克萨斯理工大学数据科学 division)
本文提出两种算法,用于从少量条目估计平方Wasserstein距离矩阵,这些矩阵用于计算流形学习嵌入,如多维标度分析(MDS)或Isomap,但与欧几里得距离矩阵不同,它们的计算成本极高。本文分析了从上三角样本进行矩阵补全和Nyström补全,证明了在Nyström补全下MDS的稳定性,并展示了在固定样本距离预算下,Nyström补全可以优于矩阵补全。最后,本文证明了即使仅计算距离矩阵的10%列,嵌入数据在OrganCMNIST数据集上的分类也是稳定的。
2025-09-23 cs.LG stat.ML
Theoretical Guarantees for Bridging Metric Measure Embedding and Optimal Transport
Université de Technologie de Compiègne(贡比涅技术大学);Université de Rouen Normandie(鲁昂诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);Criteo AI Lab(Criteo AI实验室)
我们提出了一种新的方法来比较分布的支持不一定位于同一度量空间。不同于Gromov-Wasserstein(GW)距离,它比较每一个分布的元素的成对距离,我们考虑一种方法,允许在一个共同的欧几里得空间中嵌入度量测度空间,并计算嵌入的分布上的最优运输(OT)。这导致了我们所谓的子嵌入鲁棒Wasserstein(SERW)距离。在某些条件下,SERW是使用公共度量考虑(低失真)嵌入分布的OT距离的距离。除了这个新的建议,概括了最近的几个OT作品,我们的贡献站在几个理论分析:(i)我们的特征的嵌入空间定义SERW距离分布对齐;(ii)我们证明,SERW模仿几乎相同的属性GW距离,我们给GW和SERW之间的成本关系。本文还提供了一些数值例子,如何SERW行为的匹配问题。
2021-04-22 cs.LG stat.ML
Graph Harmony: Denoising and Nuclear-Norm Wasserstein Adaptation for Enhanced Domain Transfer in Graph-Structured Data
USC(南加州大学)
针对图结构数据标记稀缺及传统无监督域适配方法存在类别错配、标签质量差的问题,提出融合核范数Wasserstein差异与变分图自编码器去噪的DNAN网络,在图分类基准上性能优于现有最优方法。
2023-12-13 cs.LG
On a linear fused Gromov-Wasserstein distance for graph structured data
研究针对图结构数据,提出将节点特征和拓扑纳入最优传输问题的嵌入框架,定义linearFGW距离,其能兼顾图特征结构且计算快,通过实验验证了该距离在分类和聚类任务中的有效性。
2026-07-28 cs.LG