On Efficient Multilevel Clustering via Wasserstein Distances
Monash University(莫纳什大学);University of California, Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);IBM Research(IBM研究院);VinAI Research(VinAI研究院)
我们提出了一种新的方法来解决多级聚类的问题,其目的是同时划分每个组中的数据,并在一个潜在的大层次结构的数据语料库中发现组之间的分组模式。我们的方法涉及到一个联合优化制定了几个空间的离散概率测度,这是赋予瓦瑟斯坦距离度量。我们提出了这个问题的几个变种,承认快速优化算法,通过利用连接的问题,找到Wasserstein重心。建立了局部和全局聚类估计的一致性性质。最后,合成和真实数据的实验结果表明所提出的方法的灵活性和可扩展性。
2021-05-25 cs.LG stat.ML
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);EPFL(洛桑联邦理工学院);Univ. Lyon(里昂大学);UCBL(里昂第一大学);Inria(法国国家信息与自动化研究所);École polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);Université Bretagne Sud(南布列塔尼大学)
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架,可同时实现样本与特征降维,兼具经典降维与硬聚类能力,可用于图像数据集可视化,为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
Feature Selection Based on Wasserstein Distance
UC, Davis(加州大学戴维斯分校)
本文提出一种基于Wasserstein距离和Markov blanket的特征选择方法,通过评估特征相似性捕捉类别关系,有效降低噪声标签影响,在多数据集上表现优于传统方法。
2024-11-13 cs.LG
Automated regime classification in multidimensional time series data using sliced Wasserstein k-means clustering
Citigroup, London, UK(伦敦英国摩根大通公司);Data Science Institute, London School of Economics, London, UK(伦敦经济学院数据科学研究所)
提出切片Wasserstein k-means聚类方法,通过近似多维Wasserstein距离,实现多维时间序列数据的自动制度分类,并在合成数据和真实外汇数据中验证有效性。
2026-05-24 cs.LG q-fin.CP q-fin.MF
Gromov-Wasserstein Methods for Multi-View Relational Embedding and Clustering
Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学和技术 institute);Federal University of Ceara(塞阿拉联邦大学);Sigma Nova
本文提出Bary-GWMDS和Mean-GWMDS-C方法,通过直接操作距离矩阵学习共识嵌入,保留共享关系结构,并在合成和现实数据集上验证了稳定且几何意义显著的嵌入效果。
2026-04-26 cs.LG stat.ML
Gromov-Wasserstein Factorization Models for Graph Clustering
Infinia ML Inc.(英飞尼亚机器学习公司)
我们提出了一个新的非线性因子分解模型的图的拓扑结构,并可选地,节点属性。这个模型是基于一个伪度量称为Gromov-Wasserstein(GW)的差异,比较关系的方式图。它将观察到的图估计为由一组具有不同权重的原子构造的GW重心。通过最小化每个观察到的图与其基于GW重心的估计之间的GW差异,我们学习与观察到的图相关联的原子及其权重。该模型实现了一种新的灵活的因子分解机制,在GW差异下,观察到的图和可学习的原子可以是不对齐的,并具有不同的大小。我们设计了一个有效的近似算法来学习这个Gromov-Wasserstein分解(GWF)模型,将循环计算展开为堆叠模块并使用反向传播计算梯度。堆叠的模块可以具有两种不同的架构,其分别对应于邻近点算法(PPA)和Bregman交替方向乘法器方法(BADMM)。实验表明,我们的模型在聚类图上获得了令人鼓舞的结果。
2019-11-19 cs.LG stat.ML
Fast Topological Clustering with Wasserstein Distance
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Iowa(爱荷华大学)
许多现实世界中的网络所表现出的拓扑模式激发了基于拓扑的网络相似性评估方法的发展。然而,提取拓扑结构是困难的,特别是对于大型和密集的网络,其节点度范围超过几个数量级。在本文中,我们提出了一种新的和计算上实用的拓扑聚类方法,集群复杂的网络与复杂的拓扑结构,从持久的同源性和最佳运输的原则性理论。这种网络通过基于质心的聚类策略聚合成簇,基于它们的拓扑结构和几何结构,保持不同网络中节点之间的对应关系。拓扑邻近和质心的概念,其特征在于使用一种新的和有效的方法来计算Wasserstein距离和重心的持久性条形码与连接组件和周期。所提出的方法被证明是有效的,使用模拟网络和测量功能的大脑网络。
2022-03-14 cs.LG stat.ML
Gromov-Wasserstein Quantization and Clustering: Structure, Rates, and Algorithms
University of Tübingen(蒂宾根大学)
本文研究格罗莫夫-瓦瑟斯坦量化与聚类,证明其解的存在性,推导量化速率,提出类k-均值算法,实验显示其可用于3D形状、神经网络剪枝等场景,近似质量符合理论速率。
2026-08-12 cs.CG cs.LG math.OC
Fast Discrete Distribution Clustering Using Wasserstein Barycenter with Sparse Support
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Riverside(加州大学河滨分校)
在各种研究领域中,加权矢量袋和直方图是广泛使用的复杂对象的描述符。两者都可以表示为离散分布。D2-聚类追求服从Kantorovich-Wasserstein度量的一组离散分布的最小总簇内变异。D2聚类有一个严重的可扩展性问题,瓶颈是计算质心分布,称为Wasserstein重心,最小化其到集群成员的平方距离之和。在本文中,我们开发了一个修改的Bregman ADMM方法计算近似离散Wasserstein重心的大型集群。在支持点的重心是未知的,并具有低基数的情况下,我们的方法实现了高精度的经验,大大降低了计算成本。我们的方法和它的替代品的优点和缺点,通过实验进行检查,我们建议他们各自的使用方案。此外,我们开发的串行和并行版本的算法。通过对大规模数据的实验,我们证明了新方法的计算效率,并研究了它们的收敛性和数值稳定性。在不同领域的多个数据集上得到的聚类结果与相应领域中广泛使用的一些方法相比具有很强的竞争力。
2017-01-09 cs.LG stat.CO stat.ML
Wasserstein GANs Work Because They Fail (to Approximate the Wasserstein Distance)
Cambridge Image Analysis Group, Department of Applied Mathematics and Theoretical Physics, University of Cambridge(剑桥大学应用数学与理论物理系剑桥图像分析组);Department of Mathematical Sciences, University of Bath(巴斯大学数学科学系);University of Cambridge(剑桥大学);University of Bath(巴斯大学)
Wasserstein GANs基于最小化真实分布和生成分布之间的瓦瑟斯坦距离的想法。我们对训练Wasserstein GANs的理论设置和现实之间的差异进行了深入的数学分析。在这项工作中,我们收集的理论和经验证据表明,WGAN的损失是没有意义的近似的瓦瑟斯坦距离。此外,我们认为Wasserstein距离甚至不是深度生成模型的理想损失函数,并得出结论,Wasserstein GANs的成功实际上可以归因于未能近似瓦瑟斯坦距离。
2021-10-05 cs.LG stat.ML
Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein
ENS de Lyon, CNRS, UMPA UMR 5669(里昂大学、国家科学研究中心、UMPA UMR 5669);EPFL, LTS4(苏黎世联邦理工学院、LTS4);Université Bretagne Sud, IRISA UMR 6074(布列塔尼南部大学、IRISA UMR 6074);École polytechnique, Institut Polytechnique de Paris, CMAP UMR 7641(巴黎高等学院、巴黎理工学院、CMAP UMR 7641);Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP UMR 5668(法国国家科学研究中心、里昂大学、 Claude Bernard Lyon 1 大学、LIP UMR 5668)
本文基于最优传输和Gromov-Wasserstein问题提出分布约简框架,将降维与聚类统一在单一优化问题中,并在图像与基因组数据上验证其识别多尺度低维原型的有效性。
2025-06-27 cs.LG stat.ML
Wasserstein k-means with sparse simplex projection
WASEDA University(早稻田大学)
本文提出了一种更快的Wasserstein $k$ -均值算法的直方图数据,通过减少Wasserstein距离计算和利用稀疏单纯形投影。我们缩小数据样本,质心和地面成本矩阵,这导致了相当大的减少用于解决最佳运输问题的计算,而不损失聚类质量。此外,我们动态地降低了计算复杂性,通过删除低价值的数据样本和利用稀疏单纯形投影,同时保持聚类质量下降。我们指定该算法为稀疏单纯形投影基于Wasserstein $k$ -手段,或SSPW $k$ -手段。通过与Wasserstein $k$ -means算法计算结果的比较,验证了SSPW $k$ -means算法在实际数据集上的有效性
2020-11-25 cs.LG stat.ML
Fast Estimation of Wasserstein Distances via Regression on Sliced Wasserstein Distances
Department of Statistics and Data Sciences University of Texas at Austin(统计与数据科学系得克萨斯大学奥斯汀分校)
本文提出通过回归切片Wasserstein距离快速估计Wasserstein距离的方法,该方法在多种任务中表现出色,尤其在低数据情况下优于现有模型。
2026-03-03 cs.LG stat.ML
Clustering Market Regimes using the Wasserstein Distance
King’s College, London(伦敦国王学院);Imperial College London(帝国理工学院);Kaiju Capital Management(Kaiju资本管理);TU Munich(慕尼黑工业大学);Alan Turing Institute(艾伦·图灵研究所)
快速和自动检测不同的市场制度的问题是金融数学家和从业者都非常感兴趣的话题。在本文中,我们概述了一个无监督的学习算法聚类金融时间序列到一个适当数量的时间段(市场制度)。作为上述的一个特例,我们开发了一个强大的算法,自动化的过程中分类市场制度。该方法是强大的意义上说,它不依赖于建模假设的基础时间序列,因为我们的实验与真实的数据集显示。这种方法-被称为Wasserstein $k$-均值算法-将这样一个问题框定为具有有限$p^\text{th}$矩的概率测度空间上的一个问题,根据(经验)分布之间的$p$-Wasserstein距离。我们比较我们的WK-手段的方法与一个更传统的聚类算法,通过研究所谓的最大平均差异分数之间,集群内。在这两种情况下,它表明,WK-手段算法大大优于所有考虑的竞争对手的方法。我们证明了所有方法的性能都在一个受控的环境中的合成数据,和真实的数据。
2021-10-22 cs.LG q-fin.CP q-fin.MF
On clustering uncertain and structured data with Wasserstein barycenters and a geodesic criterion for the number of clusters
Hellenic Naval Academy(希腊海军学院);Athens University of Economics & Business(雅典经济与商业大学);University of Sussex(萨塞克斯大学);University of the Aegean(爱琴海大学)
本文提出基于Wasserstein重心和测地线准则的不确定与结构化数据聚类方案,利用最优传输理论处理概率测度空间几何,并在模拟和欧元区债券、卫星遥感等实际应用中验证了其有效性。
2022-09-13 cs.LG stat.AP stat.ML
Reinforcement Learning with Wasserstein Distance Regularisation, with Applications to Multipolicy Learning
Huawei Technologies Ltd.(华为技术有限公司);UC Berkeley(加州大学伯克利分校)
我们描述了Wasserstein距离在强化学习中的应用。所讨论的沃瑟斯坦距离是策略轨迹到某个度量空间的映射分布与某个其他固定分布(例如,可能来自另一个策略)之间的距离。不同的策略会导致不同的分布,因此给定一个基本度量,Wasserstein距离可以量化不同的策略。这可以用于通过使用Wasserstein正则化器来学习在这种Wasserstein距离方面不同的多个策略。改变正则化参数的符号,可以学习其轨迹映射分布被吸引到给定固定分布的策略。
2019-07-30 cs.AI cs.LG
Orthogonal Estimation of Wasserstein Distances
University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学);Google Brain(谷歌大脑);Google Research(谷歌研究院);The Alan Turing Institute(艾伦·图灵研究所)
瓦瑟斯坦距离越来越多地用于机器学习中的各种应用中。切片瓦瑟斯坦距离形成了一个重要的子类,可以通过一维排序操作有效地估计。在本文中,我们提出了一个新的变体切片Wasserstein距离,研究使用正交耦合的蒙特卡罗估计的瓦瑟斯坦距离,并绘制连接与分层抽样,并评估我们的方法在一系列的大规模实验生成建模和强化学习的实验。
2019-04-05 cs.LG stat.ML
Learning Structure-enhanced Temporal Point Processes with Gromov-Wasserstein Regularization
Gaoling School of Artificial Intelligence(高瓴人工智能学院)
本研究提出利用Gromov-Wasserstein正则化对时间点过程的序列嵌入施加聚类结构,在最大似然框架下增强模型可解释性,同时保持预测和聚类性能。
2025-03-29 cs.AI cs.LG
Supervised Tree-Wasserstein Distance
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Wasserstein距离是度量文档相似性的有力工具,但它需要很高的计算成本。最近,为了快速计算Wasserstein距离,已经提出了使用树度量来近似Wasserstein距离的方法。这些基于树的方法允许快速比较大量文档;然而,它们是无监督的,并且不学习特定于任务的距离。在这项工作中,我们提出了监督Tree-Wasserstein(STW)距离,这是一种基于树度量的快速监督度量学习方法。具体来说,我们重写Wasserstein距离的树度量的父子关系的树,并制定它作为一个连续的优化问题,使用对比损失。实验表明,STW距离可以快速计算,提高了文档分类任务的准确性。此外,STW距离是由矩阵乘法公式化,在GPU上运行,并且适合于批处理。因此,我们证明了STW距离在比较大量文档时非常有效。
2021-07-23 cs.LG stat.ML
Generalized Sliced Wasserstein Distances
HRL Laboratories, LLC.(HRL实验室有限责任公司);Télécom ParisTech(巴黎高等电信学院);University of Virginia(弗吉尼亚大学)
Wasserstein距离及其变化,例如,切片-Wasserstein(SW)距离最近引起了机器学习社区的关注。SW距离被证明具有与Wasserstein距离相似的性质,同时计算起来要简单得多,因此被用于各种应用,包括生成建模和一般监督/无监督学习。本文首先阐明了SW距离与Radon变换之间的数学联系。然后,我们利用广义Radon变换定义一个新的家庭的概率测度的距离,我们称之为广义切片Wasserstein(GSW)距离。我们还表明,类似的SW距离,GSW距离可以扩展到最大GSW(最大GSW)的距离。然后,我们提供的条件下,GSW和max-GSW距离确实是距离。最后,我们比较了几个生成建模任务,包括SW流和SW自动编码器的建议距离的数值性能。
2019-02-01 cs.LG stat.ML
Orthogonalization of data via Gromov-Wasserstein type feedback for clustering and visualization
Vironova AB(Vironova公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
在本文中,我们提出了一种自适应的方法,通过正交化过程的数据聚类和可视化。从使用扩散映射框架由马尔可夫过程表示的数据点开始,该方法通过应用受Gromov-瓦瑟斯坦距离启发的反馈机制来自适应地增加聚类的正交性。该机制迭代地增加谱间隙并细化数据的正交性以实现具有高特异性的聚类。通过使用扩散图框架并使用转移概率表示数据点之间的关系,该方法对于潜在距离、数据中的噪声和随机初始化都是鲁棒的。我们证明了该方法全局收敛到一个唯一的不动点,某些参数值。我们还提出了一个相关的方法,在马尔可夫过程中的转移概率需要是双重随机的,在这种情况下,该方法产生一个非凸优化问题的极小。我们将该方法应用于来自生物制药制造的冷冻电子显微镜图像数据,在那里我们可以确认与治疗效果相关的生物学相关见解。我们认为一个例子与基因包装的形态变化,并确认该方法产生生物学上有意义的聚类结果与人类专家分类一致。
2022-07-25 cs.LG math.OC stat.ML
Conditional Wasserstein Distances with Applications in Bayesian OT Flow Matching
Technical University of Berlin(柏林技术大学)
本文提出条件Wasserstein距离,推导其理论性质与流常微分方程,并通过松弛该距离扩展OT流匹配方法,用于求解贝叶斯逆问题,在逆问题和类别条件图像生成中验证了数值优势。
2025-08-27 cs.LG math.OC
Normalized Wasserstein Distance for Mixture Distributions with Applications in Adversarial Learning and Domain Adaptation
University of Maryland(马里兰大学)
了解适当的分布之间的距离措施是在几个学习任务,如生成模型,领域自适应,聚类等的核心在这项工作中,我们专注于混合分布,自然出现在几个应用领域的数据包含不同的子群。对于混合分布,已建立的距离度量(如Wasserstein距离)不考虑不平衡的混合比例。因此,即使两个混合分布具有相同的混合成分但不同的混合比例,它们之间的Wasserstein距离也会很大。这通常会导致混合分布的基于距离的学习方法中出现不期望的结果。本文通过引入归一化Wasserstein测度来解决这个问题。关键思想是引入混合比例作为优化变量,有效地规范化Wasserstein公式中的混合比例。使用建议的归一化Wasserstein测量导致显着的性能增益与不平衡的混合比例的混合物分布相比,香草Wasserstein距离。我们证明了所提出的措施的有效性,在GANs,领域自适应和对抗聚类在几个基准数据集。
2019-10-29 cs.LG stat.ML
Quasi Manhattan Wasserstein Distance
准曼哈顿瓦瑟斯坦距离(QMWD)是一种度量,旨在通过将瓦瑟斯坦距离的元素与特定变换相结合来量化两个矩阵之间的相异性。与Manhattan Wasserstein距离(MWD)相比,它提供了改进的时间和空间复杂度,同时保持准确性。QMWD对于大型数据集或计算资源有限的情况特别有利。本文详细介绍了QMWD的原理、计算方法、复杂性分析以及与WD和MWD的比较。
2023-10-19 cs.LG cs.NA math.NA
When OT meets MoM: Robust estimation of Wasserstein Distance
LTCI(通信与信息处理实验室);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
瓦瑟斯坦距离由Optimal Transport发布,由于其吸引人的几何特性和有效近似的日益可用性,在机器学习中获得了重要性。在这项工作中,我们考虑的问题,估计两个概率分布之间的瓦瑟斯坦距离时,观测值被污染的离群值。为此,我们研究了如何利用均值中位数(MoM)估计稳健估计的瓦瑟斯坦距离。利用对偶Kantorovitch公式的瓦瑟斯坦距离,我们介绍和讨论新的矩量法为基础的稳健估计的一致性研究下的数据污染模型,并提供收敛速度。这些MoM估计器使Wasserstein生成对抗网络(WGAN)对离群值具有鲁棒性,正如对两个基准CIFAR10和Fashion MNIST的实证研究所证明的那样。最后,我们讨论了如何将矩量法与瓦瑟斯坦距离的熵正则化近似相结合,并提出了一个简单的基于矩量法的重新加权方案,可以与Sinkhorn算法结合使用。
2022-02-18 cs.LG stat.ML
Federated Wasserstein Distance
Criteo AI Lab(Criteo人工智能实验室);MIT(麻省理工学院)
本研究提出联邦算法FedWad,利用Wasserstein距离的三角不等式与测地线几何性质,在中心服务器不接触原始样本的情况下迭代估算跨客户端样本间的Wasserstein距离,验证了收敛性并将其用于构建新联邦模型、提升主流联邦学习算法性能。
2023-10-03 cs.DC cs.LG
Fast Approximation of the Generalized Sliced-Wasserstein Distance
École Polytechnique(巴黎综合理工学院);University of Texas, Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科技大学)
广义切片瓦瑟斯坦距离是切片瓦瑟斯坦距离的一个变体,它通过给定的定义函数利用非线性投影的能力,以更好地捕捉概率分布的复杂结构。与切片瓦瑟斯坦距离类似,广义切片瓦瑟斯坦距离被定义为随机投影的期望,可以通过蒙特卡罗方法来近似。然而,这种近似的复杂性在高维环境中可能是昂贵的。为此,我们建议,形成确定性和快速近似的广义切片瓦瑟斯坦距离,通过使用的随机投影的浓度时,定义的功能是多项式函数,循环函数,和神经网络型功能。我们的近似取决于一个重要的结果,即一个高维随机向量的一维投影近似高斯。
2022-10-19 cs.LG stat.ML
Note on computational complexity of the Gromov-Wasserstein distance
本文分析了Gromov-Wasserstein距离计算的复杂性,证明其非凸性并举例说明。
2026-02-07 cs.LG stat.ML
Adversarial network training using higher-order moments in a modified Wasserstein distance
A-Alpha Bio(A-Alpha Bio公司)
生成对抗网络(GANs)已被用于在压缩的潜在空间中产生与示例数据非常相似的数据,该压缩的潜在空间接近于足以在原始向量空间中进行重构。Wasserstein度量已被用作二进制交叉熵的替代方案,产生具有更大模式覆盖行为的更稳定的GANs。在这里,一个泛化的瓦瑟斯坦距离,使用高阶矩比平均值,推导出。训练一个GAN与此高阶Wasserstein度量表现出优越的性能,即使在调整略高的计算成本。这示出了生成合成抗体序列。
2022-10-07 cs.LG stat.ML
A New Robust Partial $p$-Wasserstein-Based Metric for Comparing Distributions
North Carolina State University(北卡罗来纳州立大学);Virginia Tech(弗吉尼亚理工大学)
本文提出基于部分 $p$-Wasserstein 距离的新度量族 $k$-RPW,兼具对离群值的鲁棒性与对微小几何差异的敏感性,且经验收敛速率优于 $2$-Wasserstein 距离,在含噪图像检索任务中准确率更高。
2024-06-03 cs.LG stat.ML
Generalized Spectral Clustering via Gromov-Wasserstein Learning
Stanford University(斯坦福大学);Florida State University(佛罗里达州立大学)
我们建立了一个谱聚类和Gromov-Wasserstein学习(GWL),最近的最佳运输为基础的方法图分区之间的桥梁。这种联系既解释了GWL的最新性能,又改进了GWL的最新性能。Gromov-Wasserstein框架通过节点匹配问题的二次规划松弛来提供源图和目标图的节点之间的概率对应。我们的研究结果利用和连接的观察,GW的几何结构仍然有效的任何秩2张量,特别是邻接,距离,和各种核矩阵的图形,和热核优于邻接矩阵产生稳定和信息节点对应。在GWL框架中使用热核提供了新的多尺度图比较,而不损害理论保证,同时立即产生改进的经验结果。GWL框架对图划分的一个关键见解是计算从源图到具有孤立的自连接节点的模板图的GW对应。我们表明,当比较两个节点的模板图使用热核在无限的时间限制,所得到的分区同意与分区产生的费德勒向量。这反过来又产生了一个新的见解,通过镜头的最佳运输的k-割图分割问题。我们在一系列真实网络上的实验取得了与GWL相当的结果,并且在许多情况下表现优于GWL。
2021-03-03 cs.LG math.MG stat.ML
Exact Statistical Inference for the Wasserstein Distance by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
在本文中,我们研究了瓦瑟斯坦距离的统计推断,这已经引起了广泛的关注,并已被应用于各种机器学习任务。文献中已经提出了一些研究,但几乎所有的研究都是基于渐近近似,不具有有限样本有效性。在这项研究中,我们提出了一个精确的(非渐近)推理方法的瓦瑟斯坦距离的启发条件选择性推理(SI)的概念。据我们所知,这是第一个方法,可以提供一个有效的置信区间(CI)的瓦瑟斯坦距离有限样本覆盖保证,这不仅可以应用于一维问题,但也适用于多维问题。我们评估所提出的方法在合成和真实世界的数据集上的性能。
2022-01-20 cs.LG stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind(谷歌DeepMind);CoMPLEX, Computer Science, UCL(伦敦大学学院计算生命科学中心,计算机科学系);Google(谷歌)
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同,Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中,我们描述了概率发散的三个自然属性,这些属性反映了机器学习的要求:和不变性,尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质,但不像Kullback-Leibler分歧,不具有第三个。我们提供的经验证据表明,这是一个严重的问题,在实践中。利用概率预测的见解,我们提出了一种替代Wasserstein度量的Cramér距离。我们表明,Cramér距离具有所有三个所需的属性,结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性,我们设计了一种新的算法,Cramér生成对抗网络(GAN),并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
On the estimation of the Wasserstein distance in generative models
Graz University of Technology(格拉茨工业大学);Austrian Institute of Technology(奥地利技术研究所)
生成对抗网络(GANs)已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数,从而导致Wasserstein生成对抗网络(WGAN)。以此为基础,我们展示了各种方法,其中Wasserstein距离估计生成建模的任务。此外,在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下,我们将当前的工作扩展到不同的算法,不同的成本函数和不同的正则化方案,以改进生成模型。
2019-10-02 cs.LG stat.ML
Private Wasserstein Distance
IORA, National University of Singapore(新加坡国立大学IORA)
本研究提出TriangleWad方法,利用Wasserstein空间的三角性质,在保护原始数据隐私的前提下快速计算不同实体间数据集的Wasserstein距离,兼顾安全性与高精度。
2025-02-02 cs.AI cs.LG
Two-sample Test using Projected Wasserstein Distance
Georgia Institute of Technology(佐治亚理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出投影Wasserstein距离以缓解高维两样本检验中的维数灾难,通过最优低维线性投影最大化分布间距离,并给出理论收敛性质与实用算法。
2024-03-29 cs.LG stat.ML
Fused Gromov-Wasserstein distance for structured objects: theoretical foundations and mathematical properties
Univ. Bretagne-Sud(南布列塔尼大学);CNRS(法国国家科学研究中心);IRISA(法国信息与自动化研究所);Univ. Côte d’Azur(蔚蓝海岸大学);OCA(尼斯天文台);Lagrange(拉格朗日实验室);Univ. Rennes(雷恩大学);LETG(地理环境与社会跨学科研究中心)
最优传输理论最近在机器学习中发现了许多应用,这要归功于其比较被视为分布的各种机器学习对象的能力。康托洛维奇公式,导致瓦瑟斯坦距离,侧重于对象的元素的特征,但独立地对待它们,而格罗莫夫-瓦瑟斯坦距离只关注元素之间的关系,描绘了对象的结构,但丢弃了它的特征。在本文中,我们建议扩展这些距离,以便同时编码的特征和结构信息,在融合Gromov-瓦瑟斯坦距离的结果。我们开发的数学框架,这种新的距离,证明其度量和插值性质,并提供了一个浓度的结果,有限样本的收敛性。我们还说明和解释它的使用在各种情况下,涉及结构化对象。
2018-11-07 cs.LG stat.ML
On the Information Processing of One-Dimensional Wasserstein Distances with Finite Samples
本文针对有限样本下一维Wasserstein距离的信息处理能力展开分析,借助泊松过程分离速率因子,证明其可同时捕捉逐点密度差异与支撑集差异,并通过两类真实数据验证了相关性质。
2025-11-17 cs.LG stat.ML
Y-Diagonal Couplings: Approximating Posteriors with Conditional Wasserstein Distances
针对Wasserstein距离无法控制后验距离的问题,提出带有受限耦合的条件Wasserstein距离,推导其对偶以严格论证条件Wasserstein GANs的损失,并证明其在后验采样中的优势。
2023-10-20 cs.LG math.ST stat.ML
Wasserstein Exponential Kernels
ESAT-STADIUS;KU Leuven(鲁汶大学)
在核方法的上下文中,数据点之间的相似性由核函数编码,该核函数通常由欧几里德距离定义,一个常见的例子是平方指数核。最近,依赖于最优传输理论的其他距离-例如概率分布之间的Wasserstein距离-已经显示出它们对不同机器学习技术的实际意义。在本文中,我们研究使用指数核定义由于正则化Wasserstein距离,并讨论其正定性。更具体地说,我们定义Wasserstein特征图,并说明他们的兴趣监督学习的问题,涉及形状和图像。经验上,Wasserstein平方指数内核产生较小的分类错误的小训练集的形状相比,类似的分类器使用欧几里得距离。
2020-02-05 cs.LG stat.ML
Wasserstein Distance Guided Representation Learning for Domain Adaptation
Shanghai Jiao Tong University(上海交通大学)
领域自适应的目的是通过利用从具有不同但相关的数据分布的源领域中提取的知识来概括目标领域上的高性能学习器。域自适应的一种解决方案是学习域不变特征表示,同时学习的表示在预测中也应该是有区别的。为了学习这样的表示,领域自适应框架通常包括一个领域不变表示学习方法来测量和减少领域差异,以及一个分类器。受Wasserstein GAN的启发,本文提出了一种学习领域不变特征表示的新方法,即瓦瑟斯坦距离引导表示学习(WDGRL)。WDGRL利用由域评论器表示的神经网络来估计源样本和目标样本之间的经验瓦瑟斯坦距离,并优化特征提取器网络以对抗方式最小化估计的瓦瑟斯坦距离。瓦瑟斯坦距离用于领域自适应的理论优势在于其梯度性质和有希望的泛化界。对常见情感和图像分类自适应数据集的实证研究表明,我们提出的WDGRL优于最先进的领域不变表示学习方法。
2018-03-09 cs.LG stat.ML
The Observable Wasserstein Distance
Departamento de Matemática, Universidade Federal de São Carlos(数学系,圣卡洛斯联邦大学);Department of Mathematics, Florida State University(数学系,佛罗里达州立大学)
本文提出可观察的Wasserstein距离,通过1-Lipschitz观测函数将测度投影到实数轴,从而在非欧几里得数据中有效计算Wasserstein距离下界,并通过层次结构伪度量实现精度与计算效率的平衡。
2026-08-18 cs.LG math.MG
Approximating 1-Wasserstein Distance with Trees
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心);Meta AI;SliceX AI(SliceX人工智能公司)
衡量分布之间差异的瓦瑟斯坦距离在各种类型的自然语言处理(NLP)和计算机视觉(CV)应用中显示出功效。估计瓦瑟斯坦距离的挑战之一是,它是计算昂贵的,并没有很好地扩展为许多分布比较任务。在本文中,我们的目标是近似的1-瓦瑟斯坦距离的树-瓦瑟斯坦距离(TWD),其中TWD是一个1-瓦瑟斯坦距离与基于树的嵌入,可以在线性时间内计算的节点数在一棵树上。更具体地说,我们提出了一种简单而有效的L1正则化方法来学习树中边的权重。为此,我们首先表明,1-Wasserstein近似问题可以制定为一个距离近似问题,使用最短路径的距离在一棵树上。然后,我们表明,最短路径距离可以表示为一个线性模型,可以制定为一个基于拉索的回归问题。由于凸公式,我们可以有效地获得全局最优解。此外,我们提出了一个树切片这些方法的变体。通过实验,我们证明了加权TWD可以准确地逼近原始的1-瓦瑟斯坦距离。
2022-06-24 cs.AI cs.LG stat.ML
Controlling Wasserstein Distances by Kernel Norms with Application to Compressive Statistical Learning
Univ Lyon(里昂大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS de Lyon(里昂高等师范学校);UCB Lyon 1(里昂第一大学)
本文研究如何用MMD范数控制Wasserstein距离,并引入Hölder下限制等距性质和Wasserstein正则性概念,为压缩统计学习提供理论保证。
2023-05-31 cs.LG stat.ML
Sliced-Wasserstein Distances and Flows on Cartan-Hadamard Manifolds
ENSAE(法国国家统计与经济行政管理学院);CREST(经济统计研究中心);Institut Polytechnique de Paris(巴黎综合理工学院);IMT Atlantique(法国大西洋电信学院);Université Bretagne Sud(南布列塔尼大学);Irisa(法国雷恩计算机与随机自动化研究所)
针对非正曲率流形上 Wasserstein 距离计算昂贵的问题,本文构造 Cartan-Hadamard 流形上的 Sliced-Wasserstein 距离,并给出应用及基于 Wasserstein 梯度流的非参数最小化方案。
2024-03-11 cs.LG stat.ML
Kernel Wasserstein Distance
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Stony Brook University(石溪大学)
Wasserstein距离是一个基于最优传输理论的强大度量。它给出了两个分布之间距离的自然度量,具有广泛的应用。与Kullback-Leibler或Jensen-Shannon等分布的一些常见分歧相反,它是(弱)连续的,因此非常适合分析损坏的数据。然而,迄今为止,没有核方法处理非线性数据已提出通过Wasserstein距离。在这项工作中,我们开发了一种新的方法来计算使用内核技巧实现的内核空间中的L2-Wasserstein距离。后者是机器学习中用于以非线性方式处理数据的一般方法。我们评估所提出的方法,在确定计算机断层扫描(CT)切片与牙齿伪影在头部和颈部癌症,进行无监督的层次聚类产生的Wasserstein距离矩阵,计算从每个CT切片提取的成像纹理特征。我们的实验表明,核方法优于经典的非核方法在识别CT切片与伪影。
2019-05-22 cs.LG stat.ML
Convergence of Deterministic and Stochastic Diffusion-Model Samplers: A Simple Analysis in Wasserstein Distance
INRIA, Ecole Normale Supérieure PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院巴黎文理研究大学)
本文针对扩散生成模型的随机与确定性采样器,提出统一分析框架,首次推导Heun采样器Wasserstein收敛界、改进Euler采样器结果,结合相关成果收紧误差界。
2025-11-13 cs.LG stat.ML
Wasserstein Distances Made Explainable: Insights Into Dataset Shifts and Transport Phenomena
BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院);Department of Electrical Engineering and Computer Science, Technische Universität Berlin(技术大学柏林电气工程与计算机科学系);Institute for AI in Medicine, Charité – Universitätsmedizin Berlin(柏林夏里特医学院人工智能医学研究所)
本文提出基于可解释AI的方法,用于高效归因Wasserstein距离,揭示数据偏移和运输现象的内在因素。
2026-03-01 cs.AI cs.CV cs.LG
Wasserstein Wormhole: Scalable Optimal Transport Distance with Transformers
Sloan Kettering Institute(斯隆凯特琳研究所);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Tri-Institutional Training Program in Computational Biology and Medicine(三机构计算生物学与医学培训项目);Weill Cornell Medicine(威尔康奈尔医学院);Columbia University(哥伦比亚大学);Yale University(耶鲁大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
本文提出Wasserstein Wormhole,一种基于transformer的自编码器,将经验分布嵌入潜在空间使欧氏距离近似最优传输距离,实现线性时间计算,并支持重心估计等操作,提升了OT方法的可扩展性与可解释性。
2024-06-04 cs.CG cs.LG q-bio.GN
Entropic regularization of Wasserstein distance between infinite-dimensional Gaussian measures and Gaussian processes
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文研究了无穷维Hilbert空间中2-瓦瑟斯坦距离的熵正则化公式,特别是在高斯分布下。首先给出了最小互信息的性质,即Hilbert空间上两个高斯测度的联合测度是联合高斯测度,且具有最小的互信息。这是欧氏空间上高斯密度的最大熵性质的无限维推广。然后,我们给出了封闭形式的最佳熵运输计划,熵2-瓦瑟斯坦距离,和Sinkhorn发散之间的两个高斯措施的Hilbert空间,随着一组高斯措施的重心不动点方程。我们的配方充分利用正则化方面的熵制定和有效的奇异和非奇异设置。在无限维的情况下,熵2-瓦瑟斯坦距离和辛霍恩发散都是弗雷歇可微的,而精确的2-瓦瑟斯坦距离是不可微的。我们的Sinkhorn质心方程是新的,总是有一个唯一的解决方案。相反,熵2-瓦瑟斯坦距离的有限维重心方程不能推广到希尔伯特空间。在再生核Hilbert空间(RKHS)中,我们的距离公式以相应的核Gram矩阵的形式给出,提供了核最大平均离散(MMD)和核2-瓦瑟斯坦距离之间的一个插值.
2022-03-14 cs.LG math.PR stat.ML
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Dupage Medical Group(杜佩奇医疗集团)
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题,分析切片Wasserstein距离的投影复杂度,提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离,可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
The geometry of financial institutions -- Wasserstein clustering of financial data
本文提出基于广义Wasserstein重心的Lloyd算法变体,对概率分布进行聚类,将金融监管中的细粒度数据压缩为可理解的度量空间表示,并验证其在处理缺失值和特征聚类中的有效性。
2025-07-03 cs.LG math.OC math.PR
The Spectral-Domain $\mathcal{W}_2$ Wasserstein Distance for Elliptical Processes and the Spectral-Domain Gelbrich Bound
New York University(纽约大学)
在这篇短文中,我们引入了椭圆随机过程的功率谱的谱域$\mathcal{W}_2$ Wasserstein距离。我们还介绍了谱域Gelbrich界的过程,不一定是椭圆形的。
2021-01-06 cs.LG eess.SP math.PR
Minimax Distribution Estimation in Wasserstein Distance
Carnegie Mellon University(卡内基梅隆大学)
Wasserstein度量是概率分布之间距离的重要度量,在机器学习、统计学、概率论和数据分析中有应用。本文仅使用样本空间的度量性质(如覆盖数和堆积数)和对概率分布的弱矩假设,给出了估计Wasserstein损失下概率分布的统计极大极小率的上界和下界.
2019-11-07 cs.IT cs.LG math.IT