Fourier Sliced-Wasserstein Embedding for Multisets and Measures
该研究提出傅里叶切片-瓦瑟斯坦(FSW)嵌入方法,可将多重集和测度嵌入欧几里得空间,保留几何结构且具单射和双李普希茨特性,实验表明其在瓦瑟斯坦距离学习和提升PointNet鲁棒性上表现优异。
2025-04-14 cs.AI cs.LG
Fast Approximation of the Generalized Sliced-Wasserstein Distance
École Polytechnique(巴黎综合理工学院);University of Texas, Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科技大学)
广义切片瓦瑟斯坦距离是切片瓦瑟斯坦距离的一个变体,它通过给定的定义函数利用非线性投影的能力,以更好地捕捉概率分布的复杂结构。与切片瓦瑟斯坦距离类似,广义切片瓦瑟斯坦距离被定义为随机投影的期望,可以通过蒙特卡罗方法来近似。然而,这种近似的复杂性在高维环境中可能是昂贵的。为此,我们建议,形成确定性和快速近似的广义切片瓦瑟斯坦距离,通过使用的随机投影的浓度时,定义的功能是多项式函数,循环函数,和神经网络型功能。我们的近似取决于一个重要的结果,即一个高维随机向量的一维投影近似高斯。
2022-10-19 cs.LG stat.ML
Sliced-Wasserstein normalizing flows: beyond maximum likelihood training
University of Toulouse(图卢兹大学);Institut Universitaire de France(法国大学研究院);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
尽管它们有优点,但标准化流通常具有几个缺点,包括它们倾向于生成不切实际的数据(例如,图像)以及它们未能检测到分发外的数据。这些缺陷的一个原因在于传统上仅利用极大似然原理的训练策略。本文提出了一种新的训练模式的基础上的混合目标函数相结合的极大似然原则(MLE)和切片-瓦瑟斯坦距离。合成玩具的例子和真实的图像数据集上获得的结果显示出更好的生成能力的可能性和视觉方面的生成样本。反过来,所提出的方法导致分布外数据的可能性较低,从而表明所产生的流的数据保真度更高。
2022-07-12 cs.AI cs.LG stat.ML
S2WTM: Spherical Sliced-Wasserstein Autoencoder for Topic Modeling
Indian Association for the Cultivation of Science(印度科学培养协会)
本文提出S2WTM模型,通过单位超球面先验与球面切片-Wasserstein距离对齐后验分布,缓解VAE-NTM的后验坍缩问题,从而生成更连贯多样的主题并提升下游任务性能。
2025-07-16 cs.AI cs.CL cs.LG
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
在本文中,我们研究通过自动编码器生成建模,同时使用优雅的几何性质的最佳运输(OT)问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器(SWAE),这是一种生成模型,使人们能够将潜在空间的分布塑造成任何可采样的概率分布,而无需训练对抗网络或定义分布的封闭形式。简而言之,我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明,所提出的配方有一个有效的数值解,提供了类似的功能,Wasserstein自动编码器(WAE)和变分自编码器(VAE),同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Amortized Projection Optimization for Sliced Wasserstein Generative Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在应用切片瓦瑟斯坦距离的过程中,寻找信息丰富的投影方向是一个重要的任务。然而,找到这些方向通常需要在投影方向的空间上的迭代优化过程,这在计算上是昂贵的。此外,计算问题在深度学习应用中甚至更加严重,其中计算两个小批量概率测度之间的距离被重复多次。这种嵌套循环一直是主要的挑战之一,它阻止了在实践中使用基于良好投影的切片瓦瑟斯坦距离。为了解决这一挑战,我们建议利用学习优化技术或摊销优化来预测任何给定的两个小批量概率测度的信息方向。据我们所知,这是第一个工作,桥梁摊销优化和切片Wasserstein生成模型。特别是,我们推导出线性摊销模型,广义线性摊销模型,和非线性摊销模型,这是对应于三种类型的新的小批量损失,命名为摊销切片Wasserstein。我们在标准基准数据集上的深度生成建模中展示了所提出的切片损失的良好性能。
2022-09-23 cs.LG stat.ML
Statistical, Robustness, and Computational Guarantees for Sliced Wasserstein Distances
Cornell University(康奈尔大学)
切片瓦瑟斯坦距离保留了经典瓦瑟斯坦距离的性质,同时对于高维中的计算和估计更具可扩展性。这项工作的目标是从三个关键方面量化这种可扩展性:(i)经验收敛率;(ii)对数据污染的鲁棒性;(iii)有效的计算方法。对于经验收敛,我们得到快速的速度与明确的依赖于尺寸的常数,受对数的总体分布。对于鲁棒性,我们刻画了极小极大最优,无量纲的稳健估计风险,并证明了稳健切片1-Wasserstein估计和稳健均值估计之间的等价性。这使得能够将可用于后者的统计和算法保证提升到切片1-Wasserstein设置。移动到计算方面,我们分析了平均切片距离的蒙特卡罗估计,证明了更大的维度可以导致更快的收敛的数值积分误差。对于最大切片距离,我们专注于一个子梯度为基础的局部优化算法,在实践中经常使用,虽然没有正式的保证,并建立一个$O(ε^{-4})$计算复杂性约束it. Our理论验证的数值实验,这总共提供了一个全面的量化帐户的可扩展性问题。
2022-10-17 cs.LG stat.ML
Revisiting Sliced Wasserstein on Images: From Vectorization to Convolution
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
传统的切片Wasserstein定义在两个概率测度之间,这两个概率测度具有作为向量的实现。当比较图像上的两个概率度量时,从业者首先需要将图像矢量化,然后通过使用样本矩阵和投影矩阵之间的矩阵乘法将它们投影到一维空间。之后,通过平均两个相应的一维投影概率测度来评估切片Wasserstein。然而,这种方法有两个局限性。第一个限制是矢量化步骤不能有效地捕获图像的空间结构;因此,后期切片过程变得难以收集差异信息。第二个限制是内存效率低下,因为每个切片方向是一个向量,具有相同的尺寸的图像。为了解决这些限制,我们提出了新的切片方法切片Wasserstein之间的概率测量图像的卷积运算符的基础上。通过在卷积算子中引入步长、伸缩和非线性激活函数,推导出卷积切片Wasserstein(CSW)及其变体。我们调查CSW的度量以及它的样本复杂性,它的计算复杂性,和它的连接到传统的切片Wasserstein距离。最后,我们证明了CSW在比较图像上的概率度量和训练图像上的深度生成建模方面优于传统的切片Wasserstein。
2022-09-23 cs.CV cs.LG stat.ML
Sliced Wasserstein with Random-Path Projecting Directions
University of Texas at Austin(德克萨斯大学奥斯汀分校);The Institute of Statistical Mathematics (ISM)(统计数学研究所)
本文提出无需优化、可快速采样的随机路径投影方向及 RPSW、IWRPSW 两种切片 Wasserstein 距离,并分析其性质且在梯度流和图像扩散模型训练中验证性能。
2024-05-09 cs.AI cs.CV cs.LG
Learning with Differentially Private (Sliced) Wasserstein Gradients
Universidad de Valladolid and IMUVA(巴利亚多利德大学和IMUVA);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);ANITI & Regalia INRIA(ANITI与INRIA Regalia团队)
本文提出一种基于Wasserstein梯度的差分隐私优化框架,通过控制梯度敏感性实现隐私保护,并结合深度学习与梯度裁剪,在保证准确性的同时支持大规模私有训练。
2025-05-21 cs.AI cs.LG math.ST
Spherical Sliced-Wasserstein
Université Bretagne Sud(南布列塔尼大学);LMBA(勒贝格数学实验室);IRISA(法国国家信息与自动化研究所雷恩分院/IRISA研究所);IMT Atlantique(大西洋国立高等矿业电信学校);Lab-STICC(科学与技术信息与通信实验室)
已经引入了瓦瑟斯坦距离的许多变体以减少其原始计算负担。特别是切片-瓦瑟斯坦距离(SW),其利用一维投影,对于该一维投影,瓦瑟斯坦距离的封闭形式的解是可用的,已经受到很多关注。然而,它仅限于欧几里得空间中的数据,而瓦瑟斯坦距离最近已被研究并用于流形上。我们专注于更具体的领域,我们定义了一个新的SW差异,我们称之为球面切片Wasserstein,使第一步定义SW差异流形。我们的建设是值得注意的是基于封闭形式的解决方案的瓦瑟斯坦距离的圆,连同一个新的球面Radon变换。除了高效的算法和相应的实现,我们还在几个机器学习用例中说明了它的属性,其中数据的球形表示受到威胁:球体上的采样,真实地球数据或超球面自动编码器上的密度估计。
2023-01-30 cs.LG stat.ML
Sliced Wasserstein Kernels for Probability Distributions
Carnegie Mellon University(卡内基梅隆大学)
最佳传输距离,也称为Wasserstein距离,最近在计算机视觉和机器学习中引起了足够的关注,作为概率分布的强大差异度量。最近的发展替代配方的最佳运输允许更快的解决方案的问题,并已修改其在机器学习的实际应用。在本文中,我们利用广泛使用的内核方法,并提供了一个家庭的可证明正定核的基础上切片Wasserstein距离,并证明了这些内核在各种学习任务的好处。我们的工作提供了一个新的视角,通过核方法在机器学习任务中的最佳运输味距离的应用。
2015-11-10 cs.LG stat.ML
Generalized Sliced Wasserstein Distances
HRL Laboratories, LLC.(HRL实验室有限责任公司);Télécom ParisTech(巴黎高等电信学院);University of Virginia(弗吉尼亚大学)
Wasserstein距离及其变化,例如,切片-Wasserstein(SW)距离最近引起了机器学习社区的关注。SW距离被证明具有与Wasserstein距离相似的性质,同时计算起来要简单得多,因此被用于各种应用,包括生成建模和一般监督/无监督学习。本文首先阐明了SW距离与Radon变换之间的数学联系。然后,我们利用广义Radon变换定义一个新的家庭的概率测度的距离,我们称之为广义切片Wasserstein(GSW)距离。我们还表明,类似的SW距离,GSW距离可以扩展到最大GSW(最大GSW)的距离。然后,我们提供的条件下,GSW和max-GSW距离确实是距离。最后,我们比较了几个生成建模任务,包括SW流和SW自动编码器的建议距离的数值性能。
2019-02-01 cs.LG stat.ML
Sliced Multi-Marginal Optimal Transport
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院);University of Cambridge(剑桥大学);University of California, Berkeley(加州大学伯克利分校);Imperial College London(帝国理工学院)
多边际最优运输使人们能够比较多个概率测度,这越来越多地发现在多任务学习问题中的应用。多边缘传输的一个实际限制是测量、样本和维度的数量的计算可扩展性。在这项工作中,我们提出了一个多边缘的最佳运输模式的基础上随机一维投影,其(广义)的距离,我们称之为切片多边缘瓦瑟斯坦距离。为了构建这个距离,我们引入了一维多边缘Kantorovich问题的表征,并使用它来突出切片多边缘瓦瑟斯坦距离的一些属性。特别是,我们表明:(i)切片多边缘瓦瑟斯坦距离是一个(广义)度量,诱导相同的拓扑结构作为标准的瓦瑟斯坦距离,(ii)它承认一个无量纲的样本复杂性,(iii)它是紧密相连的问题下的切片Wasserstein度量重心平均。最后,我们说明了多任务密度估计和多动态强化学习问题的切片多边缘Wasserstein。
2021-11-23 cs.LG stat.ML
Tree-Sliced Variants of Wasserstein Distances
RIKEN AIP(理化学研究所AIP);Kyoto University(京都大学);The Institute of Statistical Mathematics, Japan(日本统计数理研究所);Google Brain, Paris(谷歌大脑巴黎);CREST - ENSAE(CREST - 法国国立统计与经济管理学院)
最优传输(\OT)理论定义了一组用于比较概率分布的强大工具。然而,\OT ~遭受一些缺点,计算和统计,这鼓励了在最近的文献中OT的几个正则化变体的建议,其中最值得注意的是\textit{sliced}制定,它利用一元分布之间的封闭形式的公式,通过投影到随机线的高维措施。我们认为在这项工作中更一般的家庭的地面指标,即\textit{tree metrics},这也产生快速的封闭形式的计算和负定的,其中切片瓦瑟斯坦距离是一个特殊的情况下(树是一个链)。我们提出了树切片的瓦瑟斯坦距离,通过平均这些措施之间的瓦瑟斯坦距离使用随机树度量,自适应地建立在低维或高维空间计算。利用该距离的负定性,我们还提出了一个正定核,并在一些基准任务上对其他基线进行了测试。
2019-10-28 cs.LG stat.ML
Differentially Private Sliced Wasserstein Distance
Criteo AI Lab(Criteo人工智能实验室);Université de Rouen Normandie(鲁昂诺曼底大学)
开发保护隐私的机器学习方法是当今的中心研究课题,具有巨大的实际影响。在解决隐私保护学习的众多方法中,我们在这里考虑在差分隐私(DP)框架下计算分布之间的分歧-能够计算分布之间的分歧对于许多机器学习问题至关重要,例如学习生成模型或领域自适应问题。我们没有采用流行的基于梯度的DP消毒方法,而是通过专注于切片Wasserstein距离并无缝地使其具有差异性来解决问题。我们的主要贡献如下:我们分析了在切片Wasserstein距离的内在随机机制中加入高斯扰动的性质,并建立了由此产生的差分私有机制的敏感性。我们的一个重要发现是,这种DP机制将切片Wasserstein距离转换为另一种距离,我们称之为平滑切片Wasserstein距离。这种新的差分私有分布距离可以插入到生成模型和领域自适应算法中,以透明的方式,我们的经验表明,它产生了很强的竞争力的性能相比,基于梯度的DP方法从文献中,几乎没有损失的准确性,我们考虑的领域自适应问题。
2021-07-05 cs.LG stat.ML
Repulsive Monte Carlo on the sphere for the sliced Wasserstein distance
本文提出基于排斥性数值积分方法计算切线瓦瑟斯坦距离,分析UnifOrtho估计器方差并推荐在不同维度下使用不同的计算方法。
2026-03-10 cs.LG stat.ML
Sliced-Wasserstein-based Anomaly Detection and Open Dataset for Localized Critical Peak Rebates
Polytechnique Montréal(蒙特利尔理工学院);GERAD(GERAD(蒙特利尔大学业务管理研究组));Mila(米拉魁北克人工智能研究所);Hydro-Québec(魁北克水电公司)
提出基于 sliced-Wasserstein 度量的无监督异常检测方法,支持保守数据筛选,并开放北方气候本地化临界峰值返利需求响应数据集及首个基准。
2024-12-01 cs.LG
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research(VinAI研究院);University of Texas, Austin(得克萨斯大学奥斯汀分校)
切片-瓦瑟斯坦距离(SW)及其变体,最大切片-瓦瑟斯坦距离(Max-SW),由于其快速计算和可扩展性,即使概率测度位于非常高维的空间中,近年来也得到了广泛的应用。然而,SW需要许多不必要的投影样本来近似它的值,而Max-SW只使用最重要的投影,这忽略了其他有用的方向的信息。为了解决这些问题,我们提出了一种新的距离,命名为分布切片-瓦瑟斯坦距离(DSW),它找到了一个最佳分布的投影,可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明,DSW是一个推广的Max-SW,它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束,有利于不同的方向。最后,我们用大规模数据集进行了大量的实验,以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
A Sliced-Wasserstein Framework on Correlation Matrices for EEG Decoding
Westlake University(西湖大学);School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院);Jiangnan University(江南大学);Sun Yat-sen University(中山大学)
提出基于拉回欧几里得度量的切片Wasserstein框架,实例化两种相关矩阵切片Wasserstein差异,并构建脑电图解码的域泛化方法,在三个数据集上验证了分布偏移下的泛化能力提升。
2026-07-10 cs.LG
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc(苹果公司)
在这项工作中,我们连接两个不同的概念,无监督领域自适应:域之间的特征分布对齐,利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异(SWD)的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导,以检测远离源的支持的目标样本,并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
Nonparametric Generative Modeling with Conditional Sliced-Wasserstein Flows
Sea AI Lab(Sea人工智能实验室)
本文提出条件切片- Wasserstein 流(CSWF)实现非参数条件生成,并引入图像归纳偏置,在条件和无条件任务上达到与深度参数模型相当的生成性能。
2023-07-25 cs.LG
Sliced Wasserstein Variational Inference
University of Bristol(布里斯托大学)
变分推断通过最小化Kullback-Leibler(KL)发散来近似未归一化的分布。这种发散性虽然计算效率高,并且在实际应用中得到了广泛的应用,但也存在一些不合理的性质。例如,它不是一个适当的指标,即,它是非对称的,并且不保持三角不等式。另一方面,最佳运输距离最近已经显示出比库尔贝克-莱布勒散度更大的优势。借助这些优点,我们提出了一种新的变分推断方法,通过最小化切片瓦瑟斯坦距离,一个有效的度量所产生的最佳运输。该切片瓦瑟斯坦距离可以简单地通过运行MCMC来近似,而无需求解任何优化问题。我们的近似也不需要一个易处理的密度函数的变分分布,使近似家庭可以摊销的发电机一样,神经网络。此外,我们提供了我们的方法的理论特性的分析。仿真和真实数据的实验结果表明了该方法的有效性。
2022-07-26 cs.LG stat.ML
Improving Relational Regularized Autoencoders with Spherical Sliced Fused Gromov Wasserstein
VinAI Research(VinAI研究院);University of Texas, Austin(德克萨斯大学奥斯汀分校)
关系正则化自动编码器(RAE)是一个框架,通过最小化重建损失以及潜在空间上的关系正则化来学习数据的分布。最近的一种尝试,以减少内部差异的先验和聚合的后验分布是将切片融合Gromov-Wasserstein(SFG)之间的这些分布。这种方法有一个弱点,因为它对待每个切片方向类似,同时有几个方向是没有用的判别任务。为了改善差异,从而关系正则化,我们提出了一个新的关系差异,命名为球形切片融合Gromov Wasserstein(SSFG),它可以找到一个重要的预测区域,其特征在于冯米塞斯-费舍尔分布。然后,我们引入了两个变种的SSFG,以提高其性能。第一个变体名为混合球形切片融合Gromov Wasserstein(MSSFG),用冯米塞斯-费舍尔分布的混合来取代vMF分布,以捕获多个彼此远离的重要方向区域。第二种变体,命名为功率球形切片融合Gromov Wasserstein(PSSFG),用功率球形分布代替vMF分布,以改善高维设置中的采样时间。然后,我们将新的差异应用于RAE框架,以实现其新的变体。最后,我们进行了广泛的实验,以表明新提出的自编码器具有良好的性能,在学习潜在的流形结构,图像生成和重建。
2020-10-05 cs.LG stat.ML
A Novel Sliced Fused Gromov-Wasserstein Distance
针对GW和FGW计算复杂、现有切片版本受限的问题,提出基于下界、分层OT和正交规则的新颖切片技术,降低计算量并保持度量不变性,在形状检索等任务中更鲁棒可靠。
2025-11-13 cs.LG math.OC
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Dupage Medical Group(杜佩奇医疗集团)
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题,分析切片Wasserstein距离的投影复杂度,提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离,可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
高斯混合模型(GMM)是一种强大的参数化工具,在机器学习和计算机视觉中有着广泛的应用。期望最大化(EM)是估计GMM参数的最流行的算法。然而,EM仅保证收敛到对数似然函数的稳定点,这可能比最优解更差。受负对数似然函数和Kullback-Leibler(KL)散度之间的关系的启发,我们提出了一种替代配方,用于估计GMM参数使用切片Wasserstein距离,这产生了一个新的算法。具体来说,我们建议最小化混合模型和数据分布之间的切片Wasserstein距离相对于GMM参数。与KL发散相比,切片Wasserstein距离的能量景观更好,因此更适合于随机梯度下降方案以获得最佳GMM参数。我们表明,我们的配方结果的参数估计是更强大的随机初始化,并证明它可以估计高维数据分布更忠实于EM算法。
2017-11-16 cs.CV cs.LG stat.ML
Min Generalized Sliced Gromov Wasserstein: A Scalable Path to Gromov Wasserstein
Department of Computer Science, College of Connected Computing, Vanderbilt University(计算机科学系,连接计算学院,范德比尔特大学);Department of Electrical and Computer Engineering, Vanderbilt University(电气与计算机工程系,范德比尔特大学)
本文提出min-GSGW,通过表达性广义切线器解决Gromov-Wasserstein问题,引入广义切线器、构建高效的运输计划,并开发了可扩展的变体,实验证明其在动物网格匹配、马网格插值和ShapeNet部分转移中具有更低的计算成本和有意义的几何对应。
2026-05-13 cs.CV cs.LG
Sliced Gromov-Wasserstein
最近在各种机器学习上下文中使用的Gromov-瓦瑟斯坦距离(GW)允许比较其支持不一定位于相同度量空间中的分布。然而,这种最优运输(OT)的距离需要解决一个复杂的非凸二次规划,这是非常昂贵的时间和内存的大部分时间。与GW相反,瓦瑟斯坦距离(W)具有允许大规模优化的若干性质(例如对偶性)。其中,仅需要在1D中对离散样本进行排序的实数线上的W的解允许定义切片Wasserstein(SW)距离。本文提出了一种新的发散GW类似SW。我们首先推导出一个封闭的形式GW处理时,一维分布,相关的二次分配问题的一个新的结果的基础上。然后,我们定义了一个新的OT差异,可以处理大规模的分布,通过切片的方法,我们展示了它是如何与GW的距离,同时被$O(n\log(n))$计算。我们在实验中说明了这种所谓的切片Gromov-Wasserstein(SGW)差异的行为,在实验中我们展示了它解决GW类似问题的能力,同时计算速度快了几个数量级。
2022-10-20 cs.LG stat.ML
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay(巴黎-萨克雷大学数学实验室);Centre de recherche en économie et statistique, ENSAE(经济与统计研究中心)
提出基于累积分布函数的切片Wasserstein距离估计器,避免排序并支持大规模数据并行,适用于混合高斯和联邦学习场景。
2026-06-29 cs.LG stat.ML
Sliced-Wasserstein Distances and Flows on Cartan-Hadamard Manifolds
ENSAE(法国国家统计与经济行政管理学院);CREST(经济统计研究中心);Institut Polytechnique de Paris(巴黎综合理工学院);IMT Atlantique(法国大西洋电信学院);Université Bretagne Sud(南布列塔尼大学);Irisa(法国雷恩计算机与随机自动化研究所)
针对非正曲率流形上 Wasserstein 距离计算昂贵的问题,本文构造 Cartan-Hadamard 流形上的 Sliced-Wasserstein 距离,并给出应用及基于 Wasserstein 梯度流的非参数最小化方案。
2024-03-11 cs.LG stat.ML
Distance-Based Tree-Sliced Wasserstein Distance
National University of Singapore(新加坡国立大学);FPT Software AI Center(FPT软件AI中心);Movian AI;The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所革新智能创造领域)
针对 TSW-SL 分裂映射忽视投影域且缺乏欧几里得不变性的问题,本文提出利用全部位置信息的 Db-TSW 及 GPU 友好的树采样,并从理论和实验验证其不变性、效率与性能提升。
2025-03-14 cs.AI cs.LG
Augmented Sliced Wasserstein Distances
University of Surrey(萨里大学);University of Edinburgh(爱丁堡大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然在理论上很有吸引力,但Wasserstein距离在大规模机器学习问题中的应用受到其高昂计算成本的阻碍。切片Wasserstein距离及其变体通过随机投影提高了计算效率,但是如果投影的数量不够大,则它们的准确性低,因为大多数投影导致微不足道的小值。在这项工作中,我们提出了一个新的家庭的距离度量,称为增强切片Wasserstein距离(ASWD),构造的第一个映射样本的高维超曲面参数化的神经网络。它来自一个关键的观察,即驻留在这些超曲面上的样本的(随机)线性投影将转化为原始样本空间中更灵活的非线性投影,因此它们可以捕获数据分布的复杂结构。我们证明了超曲面可以通过梯度上升有效地优化。我们提供的条件下,ASWD是一个有效的度量,并表明,这可以通过一个内射神经网络架构。数值结果表明,ASWD显着优于其他Wasserstein变种的合成和现实世界的问题。
2022-03-17 cs.LG stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute(熨斗研究所);MIT(麻省理工学院);Criteo AI Lab(科韬人工智能实验室)
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界,并提出通过优化理论界学习最具判别力的切片分布,辅以实验验证。
2023-05-31 cs.LG stat.ML
Fourier Sliced-Wasserstein Embedding for Multisets and Measures
Technion–Israel Institute of Technology(以色列理工学院);Faculty of Mathematics(数学学院);Faculty of Computer Science(计算机科学学院)
提出傅里叶切片-瓦瑟斯坦(FSW)嵌入方法,将R^d上的多重集和测度嵌入欧几里得空间,保留切片瓦瑟斯坦距离,具有单射、双李普希茨特性,输出维度近最优,实验证明能提升学习任务性能。
2025-04-14 cs.LG
Hierarchical Sliced Wasserstein Distance
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
切片Wasserstein(SW)距离已被广泛应用于不同的应用场景,因为它可以扩展到大量的支持,而不会遭受维数灾难。切片瓦瑟斯坦距离的值是通过Radon变换(RT)获得的原始测量的一维表示(投影)之间的传输成本的平均值。尽管它的效率在数量上的支持,估计切片Wasserstein需要一个相对较大的数量在高维设置的投影。因此,对于支撑件的数量与尺寸相比相对较小的应用,例如,在使用小批量方法的几个深度学习应用中,Radon变换的矩阵乘法的复杂性成为主要的计算瓶颈。为了解决这个问题,我们建议通过线性和随机组合较少数量的投影(称为瓶颈投影)来获得投影。我们解释了这些投影的使用,通过引入层次Radon变换(HRT),这是通过递归应用Radon变换变量构造。然后,我们制定的方法到一个新的度量之间的措施,命名为分层切片Wasserstein(HSW)距离。通过证明HRT的内射性,我们得到了HSW的度量性。此外,我们调查的HSW的理论特性,包括其连接到SW的变种和它的计算和样本的复杂性。最后,我们使用各种基准数据集(包括CIFAR10,CelebA和Tiny ImageNet)比较了HSW与传统SW在深度生成建模任务上的计算成本和生成质量。
2023-02-06 cs.LG stat.ML
Hyperbolic Sliced-Wasserstein via Geodesic and Horospherical Projections
Université Bretagne Sud(布列塔尼南部大学);IMT Atlantique(大西洋国立高等矿业电信学院)
针对双曲空间中概率分布比较方法稀缺且最优传输计算成本高的问题,提出通过沿极限球面或测地线投影构造新的双曲切片-Wasserstein差异度量,并在采样和图像分类任务中验证其有效性。
2023-06-26 cs.LG stat.ME stat.ML
Sliced-Wasserstein Distance-based Data Selection
Polytechnique Montréal(蒙特利尔理工学院);Mila(米拉研究所);GERAD(GERAD研究所)
针对机器学习训练数据选择问题,提出基于切片-沃瑟斯坦距离的无监督异常检测方法,提供两种高效近似确保可扩展性,公开北方气候关键峰值返利需求响应数据集并完成基准测试。
2025-04-17 cs.LG
Sliced Wasserstein Sketches with Error Certificates
College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
该研究提出带误差保证的切片沃瑟斯坦草图方法,通过分解距离误差得到可计算保证,在减少存储的同时保留分类性能,还可提升泛化能力并支持端到端学习。
2026-10-16 cs.LG
Towards Marginal Fairness Sliced Wasserstein Barycenter
University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内理工大学)
本文首次定义边际公平切片Wasserstein重心问题,并提出三种无需超参数的替代优化方法,通过改进切片分布选择提升效率,在点云平均、颜色协调和公平表示学习等任务中验证了有效性。
2025-02-03 cs.GR cs.LG stat.ML
Sliced Inner Product Gromov-Wasserstein Distances
Center for Applied Mathematics, Cornell University(康奈尔大学应用数学中心);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系);School of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
本文提出切片内积Gromov-Wasserstein距离,解决高维问题的统计和计算扩展性问题,通过旋转不变性性质进行结构和计算性质研究,并在文本聚类和语言模型比较中验证。
2026-05-08 cs.LG math.OC stat.ML
Tree-Sliced Wasserstein Distance: A Geometric Perspective
Movian AI
针对 SW 将测度投影到一维直线导致拓扑信息丢失的问题,本文提出树系统、分裂映射与新型 Radon 变换,构建闭式且高效的 TSW-SL 度量,并在多类实验中优于 SW 及其变体。
2025-06-09 cs.AI cs.LG stat.ML
Fast Estimation of Wasserstein Distances via Regression on Sliced Wasserstein Distances
Department of Statistics and Data Sciences University of Texas at Austin(统计与数据科学系得克萨斯大学奥斯汀分校)
本文提出通过回归切片Wasserstein距离快速估计Wasserstein距离的方法,该方法在多种任务中表现出色,尤其在低数据情况下优于现有模型。
2026-03-03 cs.LG stat.ML
Hierarchical Hybrid Sliced Wasserstein: A Scalable Metric for Heterogeneous Joint Distributions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有切片Wasserstein类度量仅适用于同构域分布、无法有效比较异构联合分布的问题,提出两种新切片算子并构建H2SW距离,验证了其在多类3D相关任务中的优异性能。
2024-10-08 cs.AI cs.CV cs.GR
Understanding Learning with Sliced-Wasserstein Requires Rethinking Informative Slices
Vanderbilt University(范德堡大学);Google Research(谷歌研究院)
针对高维下随机投影缺乏信息量的问题,提出对一维 Wasserstein 距离重新缩放使其等量信息化的方法,证明其可简化为全局缩放因子并等价于学习率搜索,实验表明经典 SWD 经适当配置后性能可媲美或超越复杂变体。
2024-11-16 cs.AI cs.CV cs.LG
SLOSH: Set LOcality Sensitive Hashing via Sliced-Wasserstein Embeddings
Vanderbilt University(范德堡大学);Loughborough University(拉夫堡大学)
从集合结构化数据中学习是机器学习和计算机视觉中许多应用的基本问题。本文重点研究了使用近似最近邻(ANN)解决方案,特别是局部敏感散列的非参数和数据无关的集合结构化数据学习。我们考虑的问题,从输入集查询集检索。这种检索问题需要:1)计算集合之间距离/差异的有效机制,以及2)用于快速最近邻搜索的适当数据结构。为此,我们提出了切片Wasserstein集嵌入作为一个计算效率高的“集2向量”机制,使下游人工神经网络,理论上的保证。集合元素被视为来自未知潜在分布的样本,并且切片-Wasserstein距离用于比较集合。我们证明了我们的算法的有效性,表示为集LOCAITY敏感哈希(SLOSH),在各种集检索数据集,并比较我们提出的嵌入与标准的集嵌入方法,包括广义均值(GeM)嵌入/池,逐行排序池(FSPool),和协方差池,并显示一致的改进检索结果。复制我们的结果的代码可以在这里找到:\href{https://github.com/mint-vu/SLOSH}{https://github.com/mint-vu/SLOSH}。
2022-02-08 cs.CV cs.LG
Markovian Sliced Wasserstein Distances: Beyond Independent Projections
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对切片Wasserstein距离的冗余投影问题,提出马尔可夫切片Wasserstein(MSW)距离,通过一阶马尔可夫结构优化投影方向,兼具理论保证与计算效率,在多个应用中表现优越。
2023-12-31 cs.LG stat.ML
ReSWD: ReSTIR'd, not shaken. Combining Reservoir Sampling and Sliced Wasserstein Distance for Variance Reduction
Stability AI;University of Tübingen(图宾根大学)
针对高维分布下SWD蒙特卡洛估计器方差高、梯度噪声大、收敛慢的问题,提出结合加权储层采样的ReSWD方法,自适应保留信息投影方向,在无偏前提下稳定梯度,在合成基准和色彩校正等任务中表现优于现有方法。
2025-10-01 cs.CV cs.GR cs.LG
Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);ENS Cachan(卡尚高等师范学校);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);University of Oxford(牛津大学)
最小期望距离估计(MEDE)算法已被广泛用于具有难处理的似然函数的概率模型,并且由于其在隐式生成建模(例如Wasserstein生成对抗网络,Wasserstein自编码器)中的使用,它们已变得越来越流行。从计算最优传输中产生的切片-瓦瑟斯坦(SW)距离由于其简单性和计算优势已成为MEDE中的流行选择。虽然有几项研究已经报道了经验的成功与SW生成建模,这种估计的理论属性尚未建立。在这项研究中,我们调查的渐近性质的估计,通过最小化SW。我们首先表明,在SW收敛意味着弱收敛的概率测度在一般Wasserstein空间。然后,我们证明了通过最小化SW(以及SW的近似版本)获得的估计量是渐近一致的。最后我们证明了一个中心极限定理,它刻画了估计量的渐近分布,并建立了$\sqrt{n}$的收敛速度,其中$n$表示观测数据点的个数.我们说明了我们的理论在合成数据和神经网络上的有效性。
2020-03-24 cs.LG stat.ML
Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院);ESSEC Business School(ESSEC商学院)
切片-瓦瑟斯坦距离(SW)越来越多地用于机器学习应用中作为瓦瑟斯坦距离的替代,并且提供显著的计算和统计益处。由于它被定义为随机投影上的期望,因此SW通常通过蒙特卡罗近似。我们采用了一种新的观点来近似SW,利用测量集中现象:在温和的假设下,一个高维随机向量的一维投影近似高斯。基于这一观察,我们开发了一个简单的确定性近似SW。我们的方法不需要采样的随机投影的数量,因此是准确和易于使用相比,通常的蒙特卡罗近似。我们推导出我们的方法的非渐近保证,并表明,近似误差为零,随着维数的增加,在弱依赖条件下的数据分布。我们验证了我们的理论研究结果的合成数据集,并说明了生成建模问题的建议近似。
2022-01-04 cs.LG stat.ML
Quasi-Monte Carlo for 3D Sliced Wasserstein
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对切片Wasserstein距离的蒙特卡洛近似误差非最优问题,提出基于拟蒙特卡洛的QSW和RQSW方法,在三维任务中表现更优。
2024-02-16 cs.GR cs.LG stat.ML
Constrained Sliced Wasserstein Embedding
Duke University(杜克大学);Vanderbilt University(范德堡大学)
本文提出约束切片Wasserstein嵌入方法,通过约束一维传输计划近似原始空间最优计划来优化切片方向,并利用梯度原始-对偶方法训练参数,在图像、点云和蛋白质序列基础模型上验证了其学习更具信息量切片方向的有效性。
2025-06-02 cs.AI cs.LG math.OC
Efficient Gradient Flows in Sliced-Wasserstein Space
Université Bretagne Sud(南布列塔尼大学);CNRS(法国国家科学研究中心);IMT Atlantique(大西洋国立高等工业技术学院)
概率分布空间中的泛函最小化可以用Wasserstein梯度流来完成。为了数值求解它们,一种可能的方法是依赖于Jordan-Kinderlehrer-Otto(JKO)方案,该方案类似于欧几里得空间中的邻近方案。然而,它需要在每次迭代中求解嵌套优化问题,并且以其计算挑战而闻名,特别是在高维中。为了缓解它,最近的工作提出了利用Brenier定理近似JKO方案,并使用输入凸神经网络的梯度来参数化密度(JKO-ICNN)。然而,这种方法具有高计算成本和稳定性问题。相反,这项工作提出了在概率测度空间中使用梯度流,并赋予切片Wasserstein(SW)距离。我们认为,这种方法比JKO-ICNN更灵活,因为SW享有一个封闭形式的可微近似。因此,每一步的密度可以通过任何生成模型来参数化,这简化了计算负担,并使其在更高的维度上易于处理。
2022-11-15 cs.LG math.OC stat.ML
Energy-Based Sliced Wasserstein Distance
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对切片Wasserstein距离中切片分布选择的局限性,提出无参数的基于能量的切片Wasserstein(EBSW)距离,通过能量函数自适应突出关键投影方向,并在多项点云与图像任务中验证了其优越性能。
2023-12-30 cs.CV cs.GR cs.LG