Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);EPFL(洛桑联邦理工学院);Univ. Lyon(里昂大学);UCBL(里昂第一大学);Inria(法国国家信息与自动化研究所);École polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);Université Bretagne Sud(南布列塔尼大学)
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架,可同时实现样本与特征降维,兼具经典降维与硬聚类能力,可用于图像数据集可视化,为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
Gromov-Wasserstein Methods for Multi-View Relational Embedding and Clustering
Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学和技术 institute);Federal University of Ceara(塞阿拉联邦大学);Sigma Nova
本文提出Bary-GWMDS和Mean-GWMDS-C方法,通过直接操作距离矩阵学习共识嵌入,保留共享关系结构,并在合成和现实数据集上验证了稳定且几何意义显著的嵌入效果。
2026-04-26 cs.LG stat.ML
Gromov-Wasserstein Factorization Models for Graph Clustering
Infinia ML Inc.(英飞尼亚机器学习公司)
我们提出了一个新的非线性因子分解模型的图的拓扑结构,并可选地,节点属性。这个模型是基于一个伪度量称为Gromov-Wasserstein(GW)的差异,比较关系的方式图。它将观察到的图估计为由一组具有不同权重的原子构造的GW重心。通过最小化每个观察到的图与其基于GW重心的估计之间的GW差异,我们学习与观察到的图相关联的原子及其权重。该模型实现了一种新的灵活的因子分解机制,在GW差异下,观察到的图和可学习的原子可以是不对齐的,并具有不同的大小。我们设计了一个有效的近似算法来学习这个Gromov-Wasserstein分解(GWF)模型,将循环计算展开为堆叠模块并使用反向传播计算梯度。堆叠的模块可以具有两种不同的架构,其分别对应于邻近点算法(PPA)和Bregman交替方向乘法器方法(BADMM)。实验表明,我们的模型在聚类图上获得了令人鼓舞的结果。
2019-11-19 cs.LG stat.ML
Fast Topological Clustering with Wasserstein Distance
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Iowa(爱荷华大学)
许多现实世界中的网络所表现出的拓扑模式激发了基于拓扑的网络相似性评估方法的发展。然而,提取拓扑结构是困难的,特别是对于大型和密集的网络,其节点度范围超过几个数量级。在本文中,我们提出了一种新的和计算上实用的拓扑聚类方法,集群复杂的网络与复杂的拓扑结构,从持久的同源性和最佳运输的原则性理论。这种网络通过基于质心的聚类策略聚合成簇,基于它们的拓扑结构和几何结构,保持不同网络中节点之间的对应关系。拓扑邻近和质心的概念,其特征在于使用一种新的和有效的方法来计算Wasserstein距离和重心的持久性条形码与连接组件和周期。所提出的方法被证明是有效的,使用模拟网络和测量功能的大脑网络。
2022-03-14 cs.LG stat.ML
Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein
ENS de Lyon, CNRS, UMPA UMR 5669(里昂大学、国家科学研究中心、UMPA UMR 5669);EPFL, LTS4(苏黎世联邦理工学院、LTS4);Université Bretagne Sud, IRISA UMR 6074(布列塔尼南部大学、IRISA UMR 6074);École polytechnique, Institut Polytechnique de Paris, CMAP UMR 7641(巴黎高等学院、巴黎理工学院、CMAP UMR 7641);Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP UMR 5668(法国国家科学研究中心、里昂大学、 Claude Bernard Lyon 1 大学、LIP UMR 5668)
本文基于最优传输和Gromov-Wasserstein问题提出分布约简框架,将降维与聚类统一在单一优化问题中,并在图像与基因组数据上验证其识别多尺度低维原型的有效性。
2025-06-27 cs.LG stat.ML
Wasserstein k-means with sparse simplex projection
WASEDA University(早稻田大学)
本文提出了一种更快的Wasserstein $k$ -均值算法的直方图数据,通过减少Wasserstein距离计算和利用稀疏单纯形投影。我们缩小数据样本,质心和地面成本矩阵,这导致了相当大的减少用于解决最佳运输问题的计算,而不损失聚类质量。此外,我们动态地降低了计算复杂性,通过删除低价值的数据样本和利用稀疏单纯形投影,同时保持聚类质量下降。我们指定该算法为稀疏单纯形投影基于Wasserstein $k$ -手段,或SSPW $k$ -手段。通过与Wasserstein $k$ -means算法计算结果的比较,验证了SSPW $k$ -means算法在实际数据集上的有效性
2020-11-25 cs.LG stat.ML
Automated regime classification in multidimensional time series data using sliced Wasserstein k-means clustering
Citigroup, London, UK(伦敦英国摩根大通公司);Data Science Institute, London School of Economics, London, UK(伦敦经济学院数据科学研究所)
提出切片Wasserstein k-means聚类方法,通过近似多维Wasserstein距离,实现多维时间序列数据的自动制度分类,并在合成数据和真实外汇数据中验证有效性。
2026-05-24 cs.LG q-fin.CP q-fin.MF
Fast Discrete Distribution Clustering Using Wasserstein Barycenter with Sparse Support
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Riverside(加州大学河滨分校)
在各种研究领域中,加权矢量袋和直方图是广泛使用的复杂对象的描述符。两者都可以表示为离散分布。D2-聚类追求服从Kantorovich-Wasserstein度量的一组离散分布的最小总簇内变异。D2聚类有一个严重的可扩展性问题,瓶颈是计算质心分布,称为Wasserstein重心,最小化其到集群成员的平方距离之和。在本文中,我们开发了一个修改的Bregman ADMM方法计算近似离散Wasserstein重心的大型集群。在支持点的重心是未知的,并具有低基数的情况下,我们的方法实现了高精度的经验,大大降低了计算成本。我们的方法和它的替代品的优点和缺点,通过实验进行检查,我们建议他们各自的使用方案。此外,我们开发的串行和并行版本的算法。通过对大规模数据的实验,我们证明了新方法的计算效率,并研究了它们的收敛性和数值稳定性。在不同领域的多个数据集上得到的聚类结果与相应领域中广泛使用的一些方法相比具有很强的竞争力。
2017-01-09 cs.LG stat.CO stat.ML
Normalized Wasserstein Distance for Mixture Distributions with Applications in Adversarial Learning and Domain Adaptation
University of Maryland(马里兰大学)
了解适当的分布之间的距离措施是在几个学习任务,如生成模型,领域自适应,聚类等的核心在这项工作中,我们专注于混合分布,自然出现在几个应用领域的数据包含不同的子群。对于混合分布,已建立的距离度量(如Wasserstein距离)不考虑不平衡的混合比例。因此,即使两个混合分布具有相同的混合成分但不同的混合比例,它们之间的Wasserstein距离也会很大。这通常会导致混合分布的基于距离的学习方法中出现不期望的结果。本文通过引入归一化Wasserstein测度来解决这个问题。关键思想是引入混合比例作为优化变量,有效地规范化Wasserstein公式中的混合比例。使用建议的归一化Wasserstein测量导致显着的性能增益与不平衡的混合比例的混合物分布相比,香草Wasserstein距离。我们证明了所提出的措施的有效性,在GANs,领域自适应和对抗聚类在几个基准数据集。
2019-10-29 cs.LG stat.ML
On clustering uncertain and structured data with Wasserstein barycenters and a geodesic criterion for the number of clusters
Hellenic Naval Academy(希腊海军学院);Athens University of Economics & Business(雅典经济与商业大学);University of Sussex(萨塞克斯大学);University of the Aegean(爱琴海大学)
本文提出基于Wasserstein重心和测地线准则的不确定与结构化数据聚类方案,利用最优传输理论处理概率测度空间几何,并在模拟和欧元区债券、卫星遥感等实际应用中验证了其有效性。
2022-09-13 cs.LG stat.AP stat.ML
Fuzzy clustering of distribution-valued data using adaptive L2 Wasserstein distances
分布(或分布值)数据是一种新类型的数据,来自多个来源,被认为是分布变量的实现。提出了一种新的模糊c-均值算法。该算法使用分布之间的$L2$瓦瑟斯坦距离作为相异性度量。除了扩展的模糊c-均值算法的分布数据,并考虑到分解的平方$L2$瓦瑟斯坦距离,我们提出了一套算法,使用不同的自动方式来计算与变量以及与它们的组件,全球或集群明智的权重。在聚类过程中引入产品对一的约束,计算相关权重。相关性权重引入自适应距离,表达聚类过程中每个变量或每个分量的重要性,也可以作为聚类中的变量选择方法。我们已经测试了人工和真实世界的数据所提出的算法。结果证实,所提出的方法是能够更好地考虑到相对于标准的模糊c-均值,与非自适应距离的数据的聚类结构。
2016-05-02 stat.ML
Orthogonalization of data via Gromov-Wasserstein type feedback for clustering and visualization
Vironova AB(Vironova公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
在本文中,我们提出了一种自适应的方法,通过正交化过程的数据聚类和可视化。从使用扩散映射框架由马尔可夫过程表示的数据点开始,该方法通过应用受Gromov-瓦瑟斯坦距离启发的反馈机制来自适应地增加聚类的正交性。该机制迭代地增加谱间隙并细化数据的正交性以实现具有高特异性的聚类。通过使用扩散图框架并使用转移概率表示数据点之间的关系,该方法对于潜在距离、数据中的噪声和随机初始化都是鲁棒的。我们证明了该方法全局收敛到一个唯一的不动点,某些参数值。我们还提出了一个相关的方法,在马尔可夫过程中的转移概率需要是双重随机的,在这种情况下,该方法产生一个非凸优化问题的极小。我们将该方法应用于来自生物制药制造的冷冻电子显微镜图像数据,在那里我们可以确认与治疗效果相关的生物学相关见解。我们认为一个例子与基因包装的形态变化,并确认该方法产生生物学上有意义的聚类结果与人类专家分类一致。
2022-07-25 cs.LG math.OC stat.ML
Generalized Spectral Clustering via Gromov-Wasserstein Learning
Stanford University(斯坦福大学);Florida State University(佛罗里达州立大学)
我们建立了一个谱聚类和Gromov-Wasserstein学习(GWL),最近的最佳运输为基础的方法图分区之间的桥梁。这种联系既解释了GWL的最新性能,又改进了GWL的最新性能。Gromov-Wasserstein框架通过节点匹配问题的二次规划松弛来提供源图和目标图的节点之间的概率对应。我们的研究结果利用和连接的观察,GW的几何结构仍然有效的任何秩2张量,特别是邻接,距离,和各种核矩阵的图形,和热核优于邻接矩阵产生稳定和信息节点对应。在GWL框架中使用热核提供了新的多尺度图比较,而不损害理论保证,同时立即产生改进的经验结果。GWL框架对图划分的一个关键见解是计算从源图到具有孤立的自连接节点的模板图的GW对应。我们表明,当比较两个节点的模板图使用热核在无限的时间限制,所得到的分区同意与分区产生的费德勒向量。这反过来又产生了一个新的见解,通过镜头的最佳运输的k-割图分割问题。我们在一系列真实网络上的实验取得了与GWL相当的结果,并且在许多情况下表现优于GWL。
2021-03-03 cs.LG math.MG stat.ML
An Agglomerative Clustering of Simulation Output Distributions Using Regularized Wasserstein Distance
Texas A&M University(德州农工大学)
提出一种利用正则化Wasserstein距离对多元经验分布进行凝聚聚类的新算法,用于识别模拟系统性能模式,并应用于呼叫中心模型的异常检测、预优化和在线监控。
2024-11-03 stat.AP stat.ME stat.ML
Wasserstein Measure Coresets
Massachusetts Institute of Technology(麻省理工学院)
大数据集和贝叶斯推断技术的激增激发了对更好的数据稀疏化的需求。核心集提供了一种原则性的方法,通过一个较小的数据集来总结一个大型数据集,该数据集保证在特定问题上与完整数据集的性能相匹配。然而,经典的核心集忽略了底层的数据分布,这往往是连续的。我们通过引入Wasserstein测度coresets来解决这一疏忽,这是coresets的一个扩展,根据定义,它考虑到了泛化。我们制定的问题,这基本上是在最小化的瓦瑟斯坦距离,是通过随机梯度下降可解的。这就产生了一个算法,它只需要样本访问数据分布,并能够处理大型数据流的在线方式。我们验证我们的建设推理和聚类。
2020-03-02 cs.LG stat.ML
Spectral Clustering for Discrete Distributions
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对传统离散分布聚类依赖Wasserstein重心假设不成立、扩展性差的问题,提出结合分布亲和度量的谱聚类方法,用线性最优传输提升扩展性,有理论保证且实验优于基线。
2024-08-16 cs.AI cs.LG stat.ML
The geometry of financial institutions -- Wasserstein clustering of financial data
本文提出基于广义Wasserstein重心的Lloyd算法变体,对概率分布进行聚类,将金融监管中的细粒度数据压缩为可理解的度量空间表示,并验证其在处理缺失值和特征聚类中的有效性。
2025-07-03 cs.LG math.OC math.PR
Understanding Private Evolution as Learning-Augmented Clustering
Apple(苹果公司);Yale University(耶鲁大学)
本文重新诠释私有进化算法为生成模型增强的Wasserstein学习,理论证明其性能界限可依赖内在维度,并提出几何感知版本以解决标准变体在良好聚类实例上的收敛问题,实验表明新算法具有竞争力且能提高召回率。
2026-09-30 cs.CR cs.LG stat.ML
Kernel Wasserstein Distance
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Stony Brook University(石溪大学)
Wasserstein距离是一个基于最优传输理论的强大度量。它给出了两个分布之间距离的自然度量,具有广泛的应用。与Kullback-Leibler或Jensen-Shannon等分布的一些常见分歧相反,它是(弱)连续的,因此非常适合分析损坏的数据。然而,迄今为止,没有核方法处理非线性数据已提出通过Wasserstein距离。在这项工作中,我们开发了一种新的方法来计算使用内核技巧实现的内核空间中的L2-Wasserstein距离。后者是机器学习中用于以非线性方式处理数据的一般方法。我们评估所提出的方法,在确定计算机断层扫描(CT)切片与牙齿伪影在头部和颈部癌症,进行无监督的层次聚类产生的Wasserstein距离矩阵,计算从每个CT切片提取的成像纹理特征。我们的实验表明,核方法优于经典的非核方法在识别CT切片与伪影。
2019-05-22 cs.LG stat.ML
Slicing the Gaussian Mixture Wasserstein Distance
Technische Universität Berlin(柏林工业大学)
针对高斯混合Wasserstein距离计算成本高的问题,提出多种基于切片的近似方法,显著降低复杂度并保持最优传输性质,通过理论等价性证明和数值实验验证了其在聚类、图像比较等任务中的有效性。
2025-08-04 cs.LG cs.NA math.NA
Learning Stable Multilevel Dictionaries for Sparse Representations
Arizona State University(亚利桑那州立大学)
使用学习字典的稀疏表示越来越多地被成功地用于若干数据处理和机器学习应用中。丰富的训练数据的可用性需要开发有效的,鲁棒的和可证明良好的字典学习算法。字典学习算法的目标是建立全局字典,该全局字典可以有效地对与训练样本相似的任何测试数据进行建模。本文提出了一种从大规模数据中学习稀疏表示字典的算法,并证明了所提出的学习算法是稳定的和渐近可推广的。该算法采用了1-D子空间聚类过程,K-超线聚类,以学习一个多层次的字典。我们还提出了一个信息理论的计划,估计在每个级别的学习所需的原子数,并开发一个集成的方法来学习强大的字典。使用所提出的字典,新的测试数据的稀疏代码可以使用低复杂度的追求过程计算。我们证明了所提出的算法的稳定性和泛化特性,使用模拟。我们还评估了多级字典在压缩恢复和子空间学习应用中的实用性。
2013-09-25 cs.CV stat.ML
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw(华沙大学);QED Software(QED软件公司)
高斯混合模型作为一种强大的工具,主要是在聚类问题中,但在特征提取,模式识别,图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时,在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果,Wasserstein距离可能非常有用,但对于混合分布来说,它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似,并将其化为线性问题。此外,有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven(计算机科学系,鲁汶大学);Department of Electrical Engineering, ESAT - STADIUS, KU Leuven(电气工程系,ESAT - STADIUS,鲁汶大学)
贝叶斯回归仍然是一个简单而有效的工具,基于贝叶斯推断技术。对于大规模的应用,复杂的后验分布,马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题,提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外,使用相关样本的方差减少,以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试,几乎所有数据集都实现了加速,而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
Multiple Sample Clustering
聚类算法将每个对象数据视为从某个分布(例如高斯分布)中提取的单个样本,这是几十年来的热门话题。许多聚类算法,如k-means和谱聚类,都是基于单样本假设提出的。然而,在现实生活中,每个输入对象通常可以是从某个隐藏分布中提取的多个样本。传统的聚类算法无法处理这种情况。这就需要多样本聚类算法。但传统的多样本聚类算法只能处理标量样本或高斯分布的样本。这限制了多样本聚类算法的应用范围。在本文中,我们的目的是多样本聚类的一般框架。该框架可以生成各种算法。我们应用这个框架的两个具体情况:Wasserstein距离版本和Bhattacharyya距离版本的合成数据和股票价格数据。仿真结果表明,充分的统计量可以大大提高聚类的准确性和稳定性。
2019-10-24 cs.LG stat.ML
Exploiting Edge Features in Graphs with Fused Network Gromov-Wasserstein Distance
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
本文扩展 Gromov-Wasserstein 距离以同时利用节点与边特征,并提出距离和重心计算算法,在分类及图预测任务中验证其有效性。
2023-09-28 cs.LG stat.ML
A Regularized Wasserstein Framework for Graph Kernels
School of Computing, Australian National University(澳大利亚国立大学计算机学院)
我们提出了一个学习框架的图形内核,这是理论上的基础上正则化的最佳运输。该框架提供了一种新的最优传输距离度量,即正则化Wasserstein(RW)差异,它可以通过特征及其局部变化,局部重心和全局连通性的Wasserstein距离来保持图的特征和结构。通过引入两个强凸正则项来提高学习能力。一种是将图之间的最优对齐放松为它们的局部连通顶点之间的簇到簇映射,从而保持图的局部聚类结构。另一种是考虑节点度分布,以更好地保持图的全局结构。我们还设计了一个有效的算法,使一个快速的近似解决优化问题。理论上,我们的框架是强大的,可以保证收敛性和数值稳定性的优化。我们使用12个数据集对16个最先进的基线进行了经验验证。实验结果表明,我们的方法始终优于所有国家的最先进的方法在所有的基准数据库的图与离散属性和图与连续属性。
2021-10-08 cs.LG stat.ML
Relax and Merge: A Simple Yet Effective Framework for Solving Fair $k$-Means and $k$-sparse Wasserstein Barycenter Problems
University of Science and Technology of China(中国科学技术大学)
针对带组比例公平约束的$k$-均值聚类难题,提出“松弛与合并”框架,取得更优近似比,还可拓展至$k$-稀疏Wasserstein重心问题,实验效果优于基线。
2024-12-07 cs.DS cs.LG stat.ML
The Wasserstein transform
Samsung Research America(三星美国研究院);Department of Mathematics, Rutgers University(罗格斯大学数学系);Department of Computer Science and Engineering, University of Minnesota(明尼苏达大学计算机科学与工程系);Department of Mathematics, University of Missouri(密苏里大学数学系)
本文提出Wasserstein变换,通过更新数据集的距离结构提升特征并去噪。该方法利用概率测度表示数据点的邻域结构,并通过计算Wasserstein距离更新距离。Gaussian Transform作为其实例,利用高斯测度建模邻域结构,计算效率更高。
2026-04-12 cs.LG stat.ML
Sliced Inner Product Gromov-Wasserstein Distances
Center for Applied Mathematics, Cornell University(康奈尔大学应用数学中心);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系);School of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
本文提出切片内积Gromov-Wasserstein距离,解决高维问题的统计和计算扩展性问题,通过旋转不变性性质进行结构和计算性质研究,并在文本聚类和语言模型比较中验证。
2026-05-08 cs.LG math.OC stat.ML
Optimal Transport for Network Comparison: A Unified Review with New Spectral Bounds and Machine Learning Applications
该综述介绍了Wasserstein等三种最优传输距离用于无向无权图比较的方法,推导了相关闭式形式与界,并在聚类和异常检测任务中验证了其应用效果。
2026-09-15 cs.LG cs.SI stat.ML
Exploring Predictive States via Cantor Embeddings and Wasserstein Distance
University of California at Davis(加州大学戴维斯分校)
随机过程的预测状态是一个非参数的和可解释的结构,与众多的建模范式相关。根据时间序列数据进行预测状态的自监督重建的最新进展集中在再生核Hilbert空间的使用上。在这里,我们研究如何Wasserstein距离可用于检测预测等价符号数据。我们计算Wasserstein分布之间的距离序列(“预测”),使用有限维嵌入的序列的基础上康托的基础几何。我们表明,探索性数据分析使用所产生的几何结构,通过分层聚类和降维提供了洞察的时间结构的过程,从相对简单的(例如,有限状态隐马尔可夫模型)到非常复杂的(例如,无限状态索引文法)。
2022-06-09 cond-mat.stat-mech cs.LG math.DS
Relative Wasserstein Spatial Depth for Cluster Number Selection in Distributional Data
Columbia University(哥伦比亚大学)
本文提出相对Wasserstein空间深度(RWSD)作为分布数据聚类中簇数选择的标准,与Wasserstein K-means或K-medians结合,理论保证一致性,模拟和实际数据中优于轮廓分数和Davies-Bouldin指数。
2026-10-08 stat.ME stat.ML
Optimal Transport for structured data with application on graphs
Univ. Bretagne-Sud(南布列塔尼大学);CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所);Univ. Côte d’Azur(蔚蓝海岸大学);OCA Lagrange(蔚蓝海岸天文台拉格朗日研究所);Univ. Rennes(雷恩大学);LETG(环境时空地理研究所)
这项工作考虑的问题,计算结构化对象之间的距离,如无向图,被视为概率分布在一个特定的度量空间。我们考虑一个新的运输距离(即最小化运输概率质量的总成本),揭示了结构化对象空间的几何性质。与Wasserstein或Gromov-Wasserstein度量不同,它们分别单独关注特征(通过考虑特征空间中的度量)或结构(通过将结构视为度量空间),我们的新距离联合利用了这两种信息,因此被称为融合Gromov-Wasserstein(FGW)。在讨论了它的属性和计算方面之后,我们展示了图分类任务的结果,其中我们的方法优于图内核和深度图卷积网络。进一步利用FGW的度量属性,有趣的几何对象,如Fréchet手段或图的重心说明和讨论的聚类上下文中。
2019-05-13 cs.LG stat.ML
Expectation Distance-based Distributional Clustering for Noise-Robustness
Iowa State University(爱荷华州立大学)
本文提出了一种聚类技术,通过学习和聚类的数据分布,然后将数据分配到其分布的集群,以减少对数据噪声的敏感性。在此过程中,降低了噪声对聚类结果的影响。该方法涉及在分布之间引入新的距离,即期望距离(表示为ED),其超出了最佳质量传输的最新分布距离(表示为$2$ -Wasserstein的$W_2$):后者本质上仅取决于边缘分布,而前者还使用关于联合分布的信息。利用ED,本文将经典的$K$ -means和$K$ -medoids聚类扩展到数据分布(而不是原始数据)上,并使用$W_2$引入$K$ -medoids。本文还给出了$W_2$和ED距离测度的封闭表达式。建议的ED和$W_2$距离措施聚类真实世界的天气数据,以及股票数据的实施结果,其中涉及有效地提取和使用的基础数据分布-高斯的天气数据与对数正态的股票数据。结果表明,显着的性能改善,与经典的原始数据的聚类,实现更高的准确性ED。此外,不仅基于分布的聚类提供更高的准确性,但它也降低了计算时间,由于降低了时间复杂度。
2023-03-14 cs.LG stat.ML
Gromov-Wasserstein-like Distances in the Gaussian Mixture Models Space
ENS Paris-Saclay(巴黎萨克雷高等师范学校);CNRS(法国国家科学研究中心);Centre Borelli(博雷利中心);Université de Paris(巴黎大学);MAP5(数学及其应用实验室);Institut Universitaire de France(法国大学研究院)
本文针对高斯混合模型提出 MGW2 和 EW2 两种类 Gromov-Wasserstein 距离,使其具备等距不变性并支持跨维度比较,在形状匹配和高光谱图像颜色迁移等任务中展现出高效性。
2024-09-30 cs.CV cs.LG stat.ML
Mutual Regression Distance
提出一种利用数据流形属性的互回归距离(MRD),证明其伪度量性质,提供紧致与简化变体及核变体,降低计算复杂度,并在分布聚类、生成模型和领域适应中验证有效性。
2025-01-18 cs.LG stat.ML
Bures-Wasserstein Means of Graphs
EPFL(洛桑联邦理工学院)
本文提出在平滑图信号分布嵌入空间中以 Wasserstein 度量定义并计算图的 Bures-Wasserstein 均值,证明其存在唯一性,且在聚类、脑网络分类和多层图节点分类中优于基线。
2024-03-01 cs.LG cs.SI eess.SP
Co-clustering through Optimal Transport
在本文中,我们提出了一种新的方法,共同聚类,一种无监督的学习方法,旨在发现同质组的数据实例和功能,同时将它们分组。所提出的方法使用熵正则化的最佳传输之间的经验措施定义的数据实例和功能,以获得一个估计的联合概率密度函数表示的最佳耦合矩阵。该矩阵进一步因式分解,以获得诱导的行和列分区使用多尺度表示的方法。为了从理论上证明我们的方法,我们展示了如何从变分推断的角度来看待正则化最优运输的解决方案,从而激励其用于联合聚类。基于Gromov-瓦瑟斯坦距离的核化算法具有快速、准确的特点,并能自动确定行簇和列簇的个数。这些功能生动地证明了通过广泛的实验评估。
2017-05-19 stat.ML
Fair Wasserstein Coresets
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心);J.P.Morgan AI Research(摩根大通人工智能研究院)
针对大规模数据下游学习的公平性问题,提出公平Wasserstein核心集方法,通过多数最小化算法兼顾Wasserstein距离最小化与人口均等,在合成与真实数据上实现了有竞争力的公平性-效用权衡,还可降低大语言模型预测偏差。
2024-10-29 cs.CY cs.LG stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题,我们建立一般条件下,家庭的非参数混合模型是可识别的,通过引入一个新的框架,涉及聚类过拟合\emph{parametric}(即误指定)混合模型。这些可识别性条件概括了文献中的现有条件,并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合,我们允许一般的非参数混合成分,而不是施加规律性假设的基础混合措施。作为我们的主要应用程序,我们将这些结果应用到基于分区的聚类,将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外,这个框架是建设性的,使它产生一个实用的算法学习识别的混合物,这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的,度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架,非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Asymptotic Theory of Geometric and Adaptive $k$-Means Clustering
Columbia University(哥伦比亚大学)
本文扩展了 Pollard 的 $k$-means 聚类一致性理论,证明在 Riemannian 流形等几何设置及 $k$-medoids 等自适应参数选择下聚类过程均强一致,并推导出更广泛的渐近极限定理,同时移除了最优聚类中心唯一性假设。
2025-06-27 math.ST stat.ML stat.TH
Convergence of latent mixing measures in finite and infinite mixture models
本文研究了在有限和无限混合模型中出现的潜在混合测度的收敛行为,使用运输距离(即,Wasserstein metrics)。混合测度空间上的Wasserstein距离与混合分布空间上的f-发散泛函(如Hellinger和Kullback-Leibler距离)之间的关系,利用各种可识别性条件进行了详细研究.离散度量的Wasserstein度量的收敛意味着为度量提供支持的单个原子的收敛,从而提供了通常采用混合模型的聚类应用中的聚类收敛的自然解释。对于多元分布的有限混合和基于Dirichlet过程的无限混合,建立了潜在混合测度的后验分布的收敛速度.
2013-04-09 math.ST stat.ML stat.TH
Segmentation analysis and the recovery of queuing parameters via the Wasserstein distance: a study of administrative data for patients with chronic obstructive pulmonary disease
这项工作使用数据驱动的方法来分析慢性阻塞性肺疾病(COPD)患者的资源需求如何变化,量化这些变化如何影响与患者互动的医院系统。这种方法是由一种新颖的组合,往往不同的分析模式:分割,操作排队论,并从不完整的数据恢复参数。通过结合本文所述的这些方法,这项工作表明可以克服细粒度数据可用性的潜在限制。因此,尽管只使用行政数据,也能找到有用的业务结果。本文首先找到一个有用的聚类的人口从这个粒状数据,饲料到多类M/M/C模型,其参数从数据中恢复通过参数化和瓦瑟斯坦距离。然后,该模型用于通过几个假设情景对潜在的排队系统和研究中的人口需求进行信息分析。用于形成和研究该模型的分析实际上考虑了所有类型的患者到达以及这些类型如何影响系统。因此,这项研究发现,没有快速的解决方案来减少COPD患者对系统的影响,包括增加系统的容量。在这项分析中,减少COPD患者造成的压力的唯一有效干预措施是制定外部政策,在COPD患者到达医院之前直接改善他们的整体健康状况。
2020-08-14 stat.AP stat.ML