Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent
Massachusetts Institute of Technology(麻省理工学院)
本文针对Bures-Wasserstein流形上高斯分布重心的优化问题,证明了新的测地凸性结果,首次为黎曼梯度下降建立了无维度收敛速率,并扩展到熵正则化重心和几何中位数问题。
2023-10-31 cs.LG math.OC
Hyperbolic Sliced-Wasserstein via Geodesic and Horospherical Projections
Université Bretagne Sud(布列塔尼南部大学);IMT Atlantique(大西洋国立高等矿业电信学院)
针对双曲空间中概率分布比较方法稀缺且最优传输计算成本高的问题,提出通过沿极限球面或测地线投影构造新的双曲切片-Wasserstein差异度量,并在采样和图像分类任务中验证其有效性。
2023-06-26 cs.LG stat.ME stat.ML
Markovian Sliced Wasserstein Distances: Beyond Independent Projections
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对切片Wasserstein距离的冗余投影问题,提出马尔可夫切片Wasserstein(MSW)距离,通过一阶马尔可夫结构优化投影方向,兼具理论保证与计算效率,在多个应用中表现优越。
2023-12-31 cs.LG stat.ML
Sliced-Wasserstein Distances and Flows on Cartan-Hadamard Manifolds
ENSAE(法国国家统计与经济行政管理学院);CREST(经济统计研究中心);Institut Polytechnique de Paris(巴黎综合理工学院);IMT Atlantique(法国大西洋电信学院);Université Bretagne Sud(南布列塔尼大学);Irisa(法国雷恩计算机与随机自动化研究所)
针对非正曲率流形上 Wasserstein 距离计算昂贵的问题,本文构造 Cartan-Hadamard 流形上的 Sliced-Wasserstein 距离,并给出应用及基于 Wasserstein 梯度流的非参数最小化方案。
2024-03-11 cs.LG stat.ML
Busemann Functions in the Wasserstein Space: Existence, Closed-Forms, and Applications to Slicing
本文研究了Wasserstein空间中Busemann函数的存在性与计算,推导了一维分布和高斯测度的闭式表达式,并应用这些结果定义了新的切片Wasserstein距离。
2026-03-11 cs.LG math.MG stat.ML
Projection-free nonconvex stochastic optimization on Riemannian manifolds
Princeton University(普林斯顿大学);MIT(麻省理工学院)
本文研究了黎曼流形上光滑函数约束优化的随机无投影方法,而超出参数域的附加约束是流形。具体来说,我们引入随机黎曼Frank-Wolfe方法的非凸和测地线凸问题。我们提出了纯随机最优化和有限和问题的算法。对于后者,我们开发方差减少的方法,包括最近提出的蜘蛛技术的黎曼适应。对于所有的设置,我们恢复收敛速度,是最有名的速度为他们的欧几里德同行。最后,我们讨论了两个经典任务的应用:计算的Karcher平均值的正定矩阵和Wasserstein重心多元正态分布。对于这两个任务,随机Fw方法产生最先进的经验性能。
2021-04-03 cs.LG math.OC
Barycentric Projections of Optimal Transport Plans on Riemannian Manifolds
Baruch College(巴彻学院)
提出黎曼流形上传输耦合的重心投影框架,通过条件Fréchet均值得到最佳确定性映射,并定义条件方差Monge缺陷,实验验证了内在投影与切向投影的不同作用。
2026-06-06 cs.LG stat.ML
A Wasserstein Geometric Framework for Hebbian Plasticity
Ulrich Tan
本文提出Hebb-Wasserstein-几何框架,通过Wasserstein最小化运动建模记忆状态,将Hebb学习规则形式化为满足序列稳定性条件的Hebb能量,揭示记忆巩固作为扰动Wasserstein梯度流的变分结构。
2026-04-17 cs.LG math.OC math.PR
Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore(新加坡国立大学)
该研究针对Bures-Wasserstein重心计算的二分性问题,提出投影黎曼梯度下降算法,在单位步长下实现与维度无关的线性收敛,多项式改进了迭代复杂度,还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification
University of California, Berkeley(加州大学伯克利分校);CREST - ENSAE(法国国家统计与经济管理学院 Crest 实验室);Google Brain(谷歌大脑)
最优输运(OT)距离越来越多地用作统计推断的损失函数,特别是在生成模型的学习或监督学习中。然而,最小Wasserstein估计的行为知之甚少,特别是在高维制度或模型误指定。在这项工作中,我们采用投影鲁棒(PR)OT的观点,它旨在通过选择一个$k$维子空间,它们可以被投影到两个措施之间的OT成本最大化。我们的第一个贡献是建立PR Wasserstein距离的几个基本统计特性,补充和改进以前的文献,已被限制到一维和指定的情况下。接下来,我们提出了积分PR Wasserstein(IPRW)距离作为PRW距离的替代,通过平均而不是优化子空间。我们的复杂性界限可以帮助解释为什么PRW和IPRW距离优于Wasserstein距离经验在高维推理任务。最后,我们考虑使用PRW距离的参数推断。本文给出了两类最小PRW估计的渐近保证,并给出了模型误设定下最大切片Wasserstein估计的中心极限定理。为了使我们的分析PRW的投影维数大于1,我们设计了一种新的变分分析和统计理论的结合。
2021-07-17 cs.LG math.ST stat.ML
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL(巴黎高等师范学院/巴黎文理研究大学);Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC(诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室);Heriot-Watt University(赫瑞-瓦特大学)
离散朗之万扩散是一种有效的蒙特卡罗方法,用于从对数Lipschitz光滑和(强)对数凹的高维目标密度采样。特别是,欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注,导致详细了解其非渐近收敛的性质和作用,平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决,该扩散具有捕获对数密度的局部几何的度量。然而,从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中,我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如,上界意味着迭代朝着目标密度周围的Wasserstein球收缩,该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果,可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
A Particle-Flow Algorithm for Free-Support Wasserstein Barycenters
Department of Mathematics, Baruch College(数学系,巴彻学院)
本文提出一种自由支撑的Wasserstein重心粒子流算法,通过几何感知的粒子更新保留尖锐特征,理论证明其收敛性与稳定性,实验验证了准确性和可扩展性,是有原则的线性规划与正则化求解替代方案。
2025-09-16 cs.LG stat.CO stat.ML
Understanding MCMC Dynamics as Flows on the Wasserstein Space
Tsinghua University(清华大学)
MCMC中使用的Langevin动力学是Wasserstein空间上库尔贝克-莱布勒散度的梯度流,这有助于收敛性分析并启发了最近的基于粒子的变分推断方法(ParVI).但没有更多的MCMC动力学是以这种方式理解的。在这项工作中,通过开发新的概念,我们提出了一个理论框架,承认一个一般的MCMC动力学的纤维梯度哈密顿流的Wasserstein空间的纤维黎曼泊松流形。流的“守恒+收敛”结构给出了一般MCMC动力学行为的清晰图像。该框架还使ParVI模拟MCMC动态,这丰富了ParVI家族更有效的动态,并适应ParVI优势MCMC。我们开发了两个ParVI方法,一个特定的MCMC动态,并在实验中证明的好处。
2019-07-04 cs.LG stat.ML
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)(塞阿拉联邦学院);Federal University of Ceará (UFC)(塞阿拉联邦大学);Sigma Nova
提出基于重心蒸馏的归纳式框架,将转导式GW-MDS嵌入转化为显式神经映射,在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections
CREST, ENSAE(法国国家统计与经济管理学院 CREST 实验室);Google Brain(谷歌大脑)
计算高维测度间的最优迁移(OT)注定要受到维数灾难的影响。避免这种诅咒的一种流行方法是将输入测度投影到低维子空间(在切片Wasserstein距离的情况下是一维线),解决这些缩减测度之间的OT问题,并解决这些缩减之间的Wasserstein距离,而不是原始测度之间的距离。然而,这种方法很难扩展到想要计算原始测量之间的OT图(Monge图)的情况。由于计算是在低维投影上进行的,因此经典的地图估计技术只能产生在这些降低的维度上操作的地图。在这项工作中,我们提出了两种方法来外推,从一个运输地图,是最佳的子空间,一个几乎是最佳的在整个空间。我们证明,最佳的最优运输计划,采取这样的“子空间绕道”是一个推广的诺特-罗森布拉特运输。我们表明,这些计划可以明确制定时,比较高斯措施(之间的Wasserstein距离通常被称为Bures或Fréchet距离)。我们提供了一个算法来选择最佳的子空间高斯措施对,并研究的情况下,调解子空间可以选择使用先验信息。我们考虑应用程序之间的语义调解椭圆词嵌入和领域自适应高斯混合模型。
2019-10-29 cs.LG stat.ML
Riemannian Projection-free Online Learning
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院);Google Research(谷歌研究院)
本文研究黎曼流形上的无投影在线学习,针对测地凸损失,利用分离预言机和线性优化预言机分别设计了算法,并在完整信息和老虎机设置下获得了次线性的遗憾界。
2024-06-01 cs.LG stat.ML
Wasserstein Adversarial Examples on Univariant Time Series Data
Emory University(埃默里大学);Zhejiang University(浙江大学)
对抗性示例是通过向正常示例添加不可区分的扰动来制作的,以便欺骗训练有素的深度学习模型进行错误分类。在计算机视觉的上下文中,这种不可分割性的概念通常由$L_{\infty}$或其他规范限制。然而,这些规范是不合适的测量时间序列数据的不可否认性。在这项工作中,我们首次在Wasserstein空间中为时间序列数据提出了对抗性示例,并利用Wasserstein距离来限制正常示例和对抗性示例之间的扰动。我们介绍Wasserstein投影梯度下降(WPGD),一个对抗攻击方法扰动单变时间序列数据。我们利用Wasserstein距离在一维空间中的封闭解,利用梯度下降方法有效地计算WPGD的投影步长。我们进一步提出了一个两步投影,以便在Wasserstein空间中搜索对抗性示例时受到欧氏范数的指导和约束,从而产生更有效和更不易察觉的扰动。我们经验性地评估了在医疗保健领域的几个时间序列数据集的攻击。大量的实验结果表明,Wasserstein攻击是强大的,可以成功地攻击大多数的目标分类器,具有较高的攻击成功率。为了更好地研究Wasserstein对抗性示例的性质,我们评估了一种名为Wasserstein平滑的强大防御机制,用于潜在的认证鲁棒性防御。虽然防御可以实现一些准确性增益,但在许多情况下仍然存在局限性,并且为开发更强的认证鲁棒性方法留出了空间,以针对单变时间序列数据的Wasserstein对抗性…
2023-03-22 cs.AI cs.LG
Persistence Fisher Kernel: A Riemannian Manifold Kernel for Persistence Diagrams
RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能项目中心);Kyoto University(京都大学)
代数拓扑方法近年来在复杂几何结构数据(如形状、链接扭曲图和材料数据)的统计分析中发挥了重要作用。其中,\textit{persistent homology}是一个众所周知的工具,以提取鲁棒的拓扑特征,并输出为\textit{persistence diagrams}(PD)。然而,PD是点多集,不能用于矢量数据的机器学习算法。一种新兴的方法是使用核方法,而合适的几何形状是衡量PD相似性的重要因素。PD的常用几何形状是\textit{Wasserstein metric}。然而,瓦瑟斯坦距离不是\textit{negative definite}。因此,在瓦瑟斯坦距离\textit{without approximation}上构建正定核是有限的。在这项工作中,我们依赖于替代\textit{Fisher information geometry}提出一个正定核PD \textit{without approximation},即持久性Fisher(PF)内核。然后,我们分析了核机器的积分算子的特征系统。在此基础上,我们通过覆盖数和Rademacher平均值推导出具有PF核的核机器的泛化误差界。此外,我们展示了一些很好的性质,如稳定性和无限整除建议的内核。此外,我们还提出了一个线性的时间复杂度在PD的点的数量近似我们提出的内核有界误差。在各种基准数据集上进行的许多不同任务的实验中,我…
2018-10-27 cs.LG math.AT stat.ML
Leveraging Optimal Transport via Projections on Subspaces for Machine Learning Applications
Université de Bretagne Sud(南布列塔尼大学);Laboratoire de Mathématiques de Bretagne Atlantique(大西洋布列塔尼数学实验室);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Technische Universität Berlin(柏林工业大学);Université Paris Cité(巴黎西岱大学);Sony Computer Science Laboratories Inc(索尼计算机科学实验室公司);Harvard SEAS(哈佛大学工程与应用科学学院);IMT Atlantique(大西洋国立高等工业技术与矿业学校)
本论文研究利用子空间投影的最优传输替代方案,扩展 Sliced-Wasserstein 距离至黎曼流形并应用于不平衡最优传输、梯度流动力学及不可比空间,以降低计算负担并应用于机器学习。
2023-11-23 cs.LG
Projection Robust Wasserstein Barycenters
University of California, Davis(加利福尼亚大学戴维斯分校)
从多个概率度量或直方图中收集和聚合信息是机器学习中的基本任务。这个任务的一个流行的解决方法是计算Wasserstein度量下的概率测度的重心。然而,由于维数灾难,近似Wasserstein重心在数值上是具有挑战性的。本文提出了投影鲁棒Wasserstein重心(PRWB),有可能减轻维数灾难。由于PRWB在数值上非常具有挑战性,因此我们进一步提出了一种更易于处理的松弛PRWB(RPRWB)模型。RPRWB项目的概率措施到一个低维子空间,最大限度地提高了Wasserstein重心目标。由此产生的问题是一个最大最小的问题在Stiefel流形。结合迭代Bregman投影算法和黎曼优化,我们提出了两个新的算法来计算RPRWB。分析了所提出的算法获得$ε$ -平稳解的算术运算的复杂性。我们将RPRWB引入到离散分布聚类算法中,在真实文本数据集上的数值结果证实了我们的RPRWB模型有助于显着提高聚类性能。
2021-09-27 cs.LG stat.ML
Fast Approximation of the Generalized Sliced-Wasserstein Distance
École Polytechnique(巴黎综合理工学院);University of Texas, Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科技大学)
广义切片瓦瑟斯坦距离是切片瓦瑟斯坦距离的一个变体,它通过给定的定义函数利用非线性投影的能力,以更好地捕捉概率分布的复杂结构。与切片瓦瑟斯坦距离类似,广义切片瓦瑟斯坦距离被定义为随机投影的期望,可以通过蒙特卡罗方法来近似。然而,这种近似的复杂性在高维环境中可能是昂贵的。为此,我们建议,形成确定性和快速近似的广义切片瓦瑟斯坦距离,通过使用的随机投影的浓度时,定义的功能是多项式函数,循环函数,和神经网络型功能。我们的近似取决于一个重要的结果,即一个高维随机向量的一维投影近似高斯。
2022-10-19 cs.LG stat.ML
Differentially Private Sampling from Distributions via Wasserstein Projection
LY Corporation(LY公司)
本文提出基于瓦瑟斯坦距离的差分隐私采样框架,解决传统密度比度量在支持集几何结构和不同分布支持集适用性上的局限。
2026-05-11 cs.CR cs.LG stat.ML
Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院);ESSEC Business School(ESSEC商学院)
切片-瓦瑟斯坦距离(SW)越来越多地用于机器学习应用中作为瓦瑟斯坦距离的替代,并且提供显著的计算和统计益处。由于它被定义为随机投影上的期望,因此SW通常通过蒙特卡罗近似。我们采用了一种新的观点来近似SW,利用测量集中现象:在温和的假设下,一个高维随机向量的一维投影近似高斯。基于这一观察,我们开发了一个简单的确定性近似SW。我们的方法不需要采样的随机投影的数量,因此是准确和易于使用相比,通常的蒙特卡罗近似。我们推导出我们的方法的非渐近保证,并表明,近似误差为零,随着维数的增加,在弱依赖条件下的数据分布。我们验证了我们的理论研究结果的合成数据集,并说明了生成建模问题的建议近似。
2022-01-04 cs.LG stat.ML
Amortized Projection Optimization for Sliced Wasserstein Generative Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在应用切片瓦瑟斯坦距离的过程中,寻找信息丰富的投影方向是一个重要的任务。然而,找到这些方向通常需要在投影方向的空间上的迭代优化过程,这在计算上是昂贵的。此外,计算问题在深度学习应用中甚至更加严重,其中计算两个小批量概率测度之间的距离被重复多次。这种嵌套循环一直是主要的挑战之一,它阻止了在实践中使用基于良好投影的切片瓦瑟斯坦距离。为了解决这一挑战,我们建议利用学习优化技术或摊销优化来预测任何给定的两个小批量概率测度的信息方向。据我们所知,这是第一个工作,桥梁摊销优化和切片Wasserstein生成模型。特别是,我们推导出线性摊销模型,广义线性摊销模型,和非线性摊销模型,这是对应于三种类型的新的小批量损失,命名为摊销切片Wasserstein。我们在标准基准数据集上的深度生成建模中展示了所提出的切片损失的良好性能。
2022-09-23 cs.LG stat.ML
Gromov-Wasserstein Averaging in a Riemannian Framework
Stanford University(斯坦福大学);Florida State University(佛罗里达州立大学)
我们介绍了一个理论框架执行统计任务-包括,但不限于,平均和主成分分析-在空间(可能是不对称的)矩阵与任意条目和大小。这是在Gromov-Wasserstein(GW)距离的镜头下进行的,我们的方法将Sturm开发的GW距离的黎曼框架转化为实用的,可实现的网络数据分析工具。我们的方法说明数据集的字母图,不对称随机块模型网络,平面形状视为度量空间。在理论方面,我们补充工作的斯特姆生产额外的结果切线结构的这个“空间的空间”,以及梯度流的Fréchet功能在这个空间。
2020-04-23 cs.CG cs.LG math.MG
Augmented Sliced Wasserstein Distances
University of Surrey(萨里大学);University of Edinburgh(爱丁堡大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然在理论上很有吸引力,但Wasserstein距离在大规模机器学习问题中的应用受到其高昂计算成本的阻碍。切片Wasserstein距离及其变体通过随机投影提高了计算效率,但是如果投影的数量不够大,则它们的准确性低,因为大多数投影导致微不足道的小值。在这项工作中,我们提出了一个新的家庭的距离度量,称为增强切片Wasserstein距离(ASWD),构造的第一个映射样本的高维超曲面参数化的神经网络。它来自一个关键的观察,即驻留在这些超曲面上的样本的(随机)线性投影将转化为原始样本空间中更灵活的非线性投影,因此它们可以捕获数据分布的复杂结构。我们证明了超曲面可以通过梯度上升有效地优化。我们提供的条件下,ASWD是一个有效的度量,并表明,这可以通过一个内射神经网络架构。数值结果表明,ASWD显着优于其他Wasserstein变种的合成和现实世界的问题。
2022-03-17 cs.LG stat.ML
Wasserstein-based Projections with Applications to Inverse Problems
UCLA(加州大学洛杉矶分校)
逆问题包括从噪声测量的集合中恢复信号。这些通常被视为优化问题,经典方法使用数据保真度项和稳定恢复的分析正则化器。最近的即插即用(Pingdom)的作品提出用数据驱动的去噪器代替优化方法中的解析正则化算子。这些方案获得了最先进的结果,但以有限的理论保证为代价。为了弥合这一差距,我们提出了一个新的算法,从流形的真实数据作为输入的样本,并输出到这个流形上的投影算子的近似。在标准假设下,我们证明了该算法生成一个学习算子,称为基于Wasserstein的投影(WP),以高概率近似真实投影。因此,WPs可以像Pests一样被插入到优化方法中,但是现在有了理论上的保证。所提供的数值示例示出WP获得了用于无监督PSNR信号恢复的最新结果。
2021-04-14 cs.LG stat.ML
Wasserstein Projection Pursuit of Non-Gaussian Signals
Technical University of Munich(慕尼黑工业大学)
我们认为一般的降维问题定位在高维数据云,一个$k$维非高斯子空间的有趣的功能。我们使用投影寻踪的方法-我们搜索相互正交的单位方向,最大限度地提高2-Wasserstein距离的经验分布的数据投影沿这些方向从一个标准的高斯。生成模型下,有一个潜在的(未知的)低维非高斯子空间,我们证明严格的统计保证近似这个未知的子空间的准确性,我们的投影寻踪方法发现的方向。我们的研究结果在该制度的数据维数是可比的样本量,从而补充了最近的文献上的不可行性,通过投影追踪定位感兴趣的方向在互补制度的数据维数是远远大于样本量。
2023-02-24 cs.LG math.ST stat.ML
Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
递归变分自编码器已广泛用于语言建模和文本生成任务。这些模型通常面临一个困难的优化问题,也称为Kullback-Leibler(KL)项消失问题,其中后验很容易崩溃到先验,并且模型将忽略生成任务中的潜在代码。为了解决这个问题,我们引入了一个改进的Wasserstein变分自编码器(WAE)与黎曼规范化流(RNF)的文本建模。RNF将潜在变量转换到一个尊重输入空间几何特征的空间中,这使得后验不可能崩溃为无信息的先验。Wasserstein目标直接最小化边缘分布和先验分布之间的距离,因此不强制后验匹配先验分布。实验结果表明,该模型避免了KL在一系列数据集上的消失,在语言建模、似然近似和文本生成等任务中具有更好的性能。通过对潜在空间的一系列实验和分析,我们证明了我们的模型学习了尊重潜在空间几何的潜在分布,并且能够生成更加多样化的句子。
2019-04-22 cs.CL cs.LG
Tangential Wasserstein Projections
University of Michigan(密歇根大学);MITRE(MITRE公司);Ross School of Business(罗斯商学院)
我们开发了一个概念之间的投影集的概率测度使用的2-Wasserstein空间的几何性质。它是为一般的多元概率测度而设计的,实现起来计算效率高,并且在常规设置中提供了唯一的解决方案。我们的想法是工作的经常切锥的Wasserstein空间使用广义测地线。它的结构和计算特性使该方法适用于各种设置,从因果推断的对象数据的分析。估计因果效应的应用程序产生的综合控制的概念与个人层次的异质性,以及一种方法来估计最佳的权重联合在所有时间段的多变量数据的推广。
2022-08-02 cs.LG econ.EM math.ST
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research(VinAI研究院);University of Texas, Austin(得克萨斯大学奥斯汀分校)
切片-瓦瑟斯坦距离(SW)及其变体,最大切片-瓦瑟斯坦距离(Max-SW),由于其快速计算和可扩展性,即使概率测度位于非常高维的空间中,近年来也得到了广泛的应用。然而,SW需要许多不必要的投影样本来近似它的值,而Max-SW只使用最重要的投影,这忽略了其他有用的方向的信息。为了解决这些问题,我们提出了一种新的距离,命名为分布切片-瓦瑟斯坦距离(DSW),它找到了一个最佳分布的投影,可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明,DSW是一个推广的Max-SW,它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束,有利于不同的方向。最后,我们用大规模数据集进行了大量的实验,以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
Towards Better Spherical Sliced-Wasserstein Distance Learning with Data-Adaptive Discriminative Projection Direction
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
本文提出数据自适应判别球面切片Wasserstein距离DSSW,通过两类投影能量函数学习判别投影方向权重,在梯度流、密度估计和自监督学习等任务上优于现有方法。
2024-12-26 cs.LG
One-Step Generation via Riemannian Wasserstein Gradient Flows
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Applied AI Institute(应用人工智能研究所);AXXX;University of Amsterdam(阿姆斯特丹大学);EPITA(EPITA(法国高等信息技术学院))
本文在通用训练框架下推导并比较多种几何感知的Wasserstein梯度场,用于约束空间上的一步生成,实验表明最佳场因任务而异,凸显目标选择的重要性。
2026-10-06 cs.LG
Tree-Sliced Wasserstein Distance with Nonlinear Projection
VinUniversity(维新大学);Movian AI
本文提出非线性投影的TSW距离框架,在保证Radon变换单射和度量良定义的同时,适用于欧几里得空间与球面,并在梯度流、自监督学习和生成模型中显著优于现有SW及TSW变体。
2025-06-09 cs.AI cs.LG
Gaussian Process regression over discrete probability measures: on the non-stationarity relation between Euclidean and Wasserstein Squared Exponential Kernels
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
高斯过程回归是一种在实际应用中被成功采用的核心方法。最近,有一个越来越大的兴趣,将这种方法扩展到非欧几里德输入空间,如本文所考虑的,由概率测度。虽然可以通过使用合适的距离(Wasserstein距离)来定义正定核,但学习高斯过程模型的常见过程可能会由于数值问题而失败,这些问题比欧几里得输入空间的情况更早更频繁地出现,并且如本文所示,这无法通过添加人工噪声(块金效应)来避免。本文揭示了产生这些问题的主要原因,即基于Wasserstein的平方指数核与基于欧氏的平方指数核之间的非平稳性关系。作为一个相关的结果,高斯过程模型是通过假设输入空间为欧几里德学习,然后使用代数变换,基于未覆盖的关系,将其转换为非平稳和基于Wasserstein的高斯过程模型的概率测量。这种代数变换是简单的对数-exp映射的情况下使用的数据属于黎曼流形,最近扩展到考虑伪黎曼结构的输入空间配备了瓦瑟斯坦距离。
2022-12-02 cs.LG stat.ML
Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction
University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
针对最大切片 Wasserstein 距离的度量性缺失和摊销模型非对称问题,提出基于自注意力架构的 v-DSW 摊销优化,实现线性复杂度并提升点云重建性能。
2023-05-08 cs.CV cs.GR cs.LG
When Riemann flows with Wasserstein: Generative Modeling of Probability Distributions on Manifolds
Genentech Inc.(基因泰克公司);Yale University(耶鲁大学)
针对非欧几里得域上的元分布生成问题,提出RWEFM框架,在黎曼流形的Wasserstein空间上利用最优传输速度回归训练,可生成单细胞和蛋白质构象,且适用于一般三角网格。
2026-09-23 cs.LG
Riemannian Proximal Policy Optimization
Ant Financial Services Group(蚂蚁金融服务集团)
本文提出了一个求解马尔可夫决策过程(MDP)问题的保收敛的一般黎曼近似优化算法。为了对MDP中的策略函数进行建模,我们采用高斯混合模型(GMM),并将其表示为半正定矩阵黎曼空间中的非凸优化问题。对于两个给定的政策功能,我们还提供了它的下界的政策改善使用的界限来自Wasserstein距离的Gyndham。初步的实验表明,我们提出的黎曼近端策略优化算法的有效性。
2020-05-19 cs.LG stat.ML
Wasserstein projection distance for fairness testing of regression models
Department of Computer Science, University of British Columbia(计算机科学系,不列颠哥伦比亚大学);Department of Pathology and Laboratory Medicine, University of British Columbia(病理学与实验室医学系,不列颠哥伦比亚大学);Department of Statistics, University of British Columbia(统计学系,不列颠哥伦比亚大学);BC Cancer Research, Part of Provincial Health Care Authority(BC癌症研究,省卫生保健机构的一部分);Department of Mathematics, University of British Columbia(数学系,不列颠哥伦比亚大学)
本文提出基于Wasserstein距离的回归模型公平性测试框架,通过假设检验和数据扰动方法提升公平性,实验显示其在检测性别差异和污染区域影响方面具有显著效果。
2026-02-09 cs.LG
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Dupage Medical Group(杜佩奇医疗集团)
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题,分析切片Wasserstein距离的投影复杂度,提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离,可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Federated Learning on Riemannian Manifolds: A Gradient-Free Projection-Based Approach
School of Information Management and Engineering, Shanghai University of Finance and Economics(上海金融学院信息管理与工程学院);School of Information Management and Engineering, Shanghai University of Finance and Economics(上海金融学院信息管理与工程学院;明尼苏达大学工业与系统工程系);Department of Industrial and System Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Department of Electrical and Computer Engineering, University of Minnesota
本文针对联邦学习中梯度不可得或参数受约束的问题,提出一种黎曼流形上基于投影的零阶算法,利用欧几里得随机扰动构建高效梯度估计器,并证明其达到与一阶方法相同的次线性收敛速率。
2025-08-21 cs.LG math.OC
Learning to Normalize on the SPD Manifold under Bures-Wasserstein Geometry
School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机学院);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
针对现有黎曼批归一化无法有效处理病态SPD矩阵的问题,提出一种基于广义Bures-Wasserstein几何并引入可学习度量参数及矩阵幂变形的全新RBN算法,提升了SPD网络的表示能力。
2025-04-01 cs.LG
Spherical Sliced-Wasserstein
Université Bretagne Sud(南布列塔尼大学);LMBA(勒贝格数学实验室);IRISA(法国国家信息与自动化研究所雷恩分院/IRISA研究所);IMT Atlantique(大西洋国立高等矿业电信学校);Lab-STICC(科学与技术信息与通信实验室)
已经引入了瓦瑟斯坦距离的许多变体以减少其原始计算负担。特别是切片-瓦瑟斯坦距离(SW),其利用一维投影,对于该一维投影,瓦瑟斯坦距离的封闭形式的解是可用的,已经受到很多关注。然而,它仅限于欧几里得空间中的数据,而瓦瑟斯坦距离最近已被研究并用于流形上。我们专注于更具体的领域,我们定义了一个新的SW差异,我们称之为球面切片Wasserstein,使第一步定义SW差异流形。我们的建设是值得注意的是基于封闭形式的解决方案的瓦瑟斯坦距离的圆,连同一个新的球面Radon变换。除了高效的算法和相应的实现,我们还在几个机器学习用例中说明了它的属性,其中数据的球形表示受到威胁:球体上的采样,真实地球数据或超球面自动编码器上的密度估计。
2023-01-30 cs.LG stat.ML
Adaptive Bregman Alternating Projections for Feasible Gromov-Wasserstein Learning
Rice University(莱斯大学)
针对Gromov-Wasserstein问题,提出自适应KL-BAPG算法,结合固定惩罚预热和递增惩罚阶段,在保证可行性的同时实现高效计算,显著降低可行性差距和残差。
2026-10-06 cs.CG cs.LG math.OC
Stereographic Spherical Sliced Wasserstein Distances
Vanderbilt University(范德堡大学)
本文提出基于球极投影与广义 Radon 变换的高速可并行 S3W 距离,用于比较球面概率测度,并通过理论分析及梯度流、自监督学习实验验证其速度与精度。
2024-06-09 cs.AI cs.CV cs.LG